(57)【特許請求の範囲】
【請求項１】
原画像データにシャープネス強調処理を行い、画像と共にこの画像中に含まれるノイズを鮮鋭化したシャープネス強調画像データを作成し、
前記原画像データに平滑化処理を行って、平滑化画像データを作成し、
前記シャープネス強調画像データから前記平滑化画像データを減算して、シャープネス強調された被写体画像のエッジとシャープネス強調されたノイズとが混在する混在画像データを作成し、
前記原画像データからエッジ検出を行って被写体エッジ領域とノイズ領域を識別するためのエッジ強度データを求め、
このエッジ強度データからノイズ領域の度合いを示すノイズ領域の重み付け係数を求め、
前記混在画像データに、前記ノイズ領域の重み付け係数を乗じて、ノイズデータを求め、
前記原画像データにおけるノイズ抑制の広がりを表すノイズ抑制分布関数を設定し、前記ノイズデータとこのノイズ抑制分布関数との畳み込み積分を行ってノイズ抑制分布を求め、
前記ノイズデータに前記ノイズ抑制分布を乗算することによって、ノイズ抑制成分画像データを算出し、
前記シャープネス強調画像データから前記ノイズ抑制成分画像データを変倍して減算することによって、原画像のノイズ領域におけるノイズ成分を選択的に抑制した画像を作成することを特徴とするデジタル画像のノイズ抑制のための画像処理方法。
【請求項２】
前記ノイズ抑制分布関数は、原画像の画素における、ノイズ抑制の広がりの中心位置において値が最大であり、この中心位置から離れるに従って値が小さくなる単調減少関数である請求項１に記載の画像処理方法。
【請求項３】
前記ノイズ抑制分布関数は、原画像の画素におけるノイズ抑制を及ぼす範囲において一定の値を持つ矩形関数である請求項１に記載の画像処理方法。
【請求項４】
前記ノイズ抑制分布関数の、原画像の画素における前記ノイズ抑制を及ぼす範囲は、画素数で１以上１５以下の範囲の領域である請求項２または３に記載の画像処理方法。
【請求項５】
前記ノイズ抑制分布関数は、原画像の画素におけるノイズ抑制を及ぼす範囲の境界の位置とこの位置での値を定めることによって設定される請求項２〜４のいずれかに記載の画像処理方法。
【請求項６】
前記ノイズ抑制分布関数は、ｒを原画像の画素におけるノイズ抑制の広がりの中心位置からの距離、ａを原画像の画素におけるノイズ抑制の広がりの範囲を定める抑制範囲定数とするとき、下記式（１）〜（３）のいずれかで表される関数ｓ（ｒ）である請求項５に記載の画像処理方法。
ｓ（ｒ）＝  ｅｘｐ（−ｒ／ａ）                            （１）
ｓ（ｒ）＝  ｅｘｐ（−ｒ2 ／ａ2 ）                        （２）
ｓ（ｒ）＝  ｒｅｃｔ（ｒ／ａ）                            （３）
ここで、式（３）のｒｅｃｔ（ｒ／ａ）は、値が１の矩形関数である。
【請求項７】
原画像データにシャープネス強調処理を行い、画像と共にこの画像中に含まれるノイズを鮮鋭化したシャープネス強調画像データを作成するシャープネス強調処理部と、
前記原画像データに平滑化処理を行って、平滑化画像データを作成する平滑化処理部と、
前記シャープネス強調画像データから前記平滑化処理部で作成した前記平滑化画像データを減算して、シャープネス強調された被写体画像のエッジとシャープネス強調されたノイズとが混在する混在画像データを作成するエッジ・ノイズ混在成分抽出部と、
前記原画像データからエッジ検出を行って被写体エッジ領域とノイズ領域を識別するためのエッジ強度データを求めるエッジ検出部と、
このエッジ検出部で求めたエッジ強度データからノイズ領域の度合いを示すノイズ領域の重み付け係数を求めるノイズ領域重み係数演算部と、
前記エッジ・ノイズ混在成分抽出部で作成した前記混在画像データに、前記ノイズ領域重み係数演算部で求めた前記ノイズ領域の重み付け係数を乗じて、ノイズデータを求めるノイズ成分識別分離部と、
前記原画像データにおけるノイズ抑制の広がりを表すノイズ抑制分布関数を設定するノイズ抑制分布関数設定部と、
前記ノイズ成分識別分離部で求めた前記ノイズデータと前記ノイズ抑制分布関数設定部で設定した前記ノイズ抑制分布関数との畳み込み積分を行ってノイズ抑制分布を求めるノイズ抑制分布演算部と、
このノイズ抑制分布演算部において求められた前記ノイズ抑制分布を前記ノイズ成分識別分離部で求めた前記ノイズデータに乗算することによって、ノイズ抑制成分画像データを算出するノイズ抑制成分演算部と、
前記シャープネス強調画像データから前記ノイズ抑制成分演算部で算出した前記ノイズ抑制成分画像データを変倍して減算して処理画像データを求めるノイズ抑制演算処理部とを有することを特徴とするデジタル画像のノイズ抑制のための画像処理装置。
【請求項８】
原画像データにシャープネス強調処理を行い、画像と共にこの画像中に含まれるノイズを鮮鋭化したシャープネス強調画像データを作成する手順と、
前記原画像データに平滑化処理を行って、平滑化画像データを作成する手順と、
前記シャープネス強調画像データから前記平滑化画像データを減算して、シャープネス強調された被写体画像のエッジとシャープネス強調されたノイズとが混在する混在画像データを作成する手順と、
前記原画像データからエッジ検出を行って被写体エッジ領域とノイズ領域を識別するためのエッジ強度データを求める手順と、
前記エッジ強度データからノイズ領域の度合いを示すノイズ領域の重み付け係数を求める手順と、
前記混在画像データに、前記ノイズ領域の重み付け係数を乗じて、ノイズデータを求める手順と、
前記原画像データにおけるノイズ抑制の広がりを表すノイズ抑制分布関数を設定し、前記ノイズデータとこのノイズ抑制分布関数との畳み込み積分を行ってノイズ抑制分布を求める手順と、
前記ノイズデータに前記ノイズ抑制分布を乗算することによって、ノイズ抑制成分画像データを算出する手順と、
前記シャープネス強調画像データから、前記ノイズ抑制成分画像データを変倍して減算する手順をコンピュータに実行させて、原画像のノイズ領域におけるノイズ成分を選択的に抑制した画像を作成することを特徴とするプログラムを記録したコンピュータが読み取り可能な記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、デジタル画像の粒状等をはじめとするノイズ（雑音）成分を抑制し、かつシャープネス強調するデジタル画像の画像処理方法、装置および記録媒体に関する。
【０００２】
【従来の技術】
銀塩写真の画像を画像入力スキャナで走査して収録したデジタル画像や、デジタルスチルカメラ等で撮影したデジタル画像を画像処理し、画像出力プリンタで出力するようなシステムでは、出力された画像はスキャナやカメラとプリンタによる大幅なシャープネス劣化があり、それを回復するために従来からラプラシアンフィルタやアンシャープマスク（ＵＳＭ）によるシャープネス強調が行われている。しかし、画像のシャープネスが向上すると共に粒状などのノイズ（雑音）が悪化する副作用があるため、粒状などのノイズのある画像においては粒状悪化が許容される範囲内で控え目なシャープネス強調しか行えず、原稿画像以上に画質を向上させることが困難であった。
【０００３】
デジタル画像において、ノイズとなる粒状を除去しシャープネスを強調する画像処理法としては幾つか提案されているが、粒状を除去する方法として平均化したり、ぼかす方法を用いているため、ぼけた粒状パターンが視覚的には不快に感じられたり、微小な被写体構造が不自然に消されたりする等の問題点があり、写真のような審美的な画像には適さない。
【０００４】
写真、印刷、テレビジョン、各種複写機等の画像において、カメラ等の光学系による鮮鋭度劣化、写真感光材料に固有の粒状や鮮鋭度劣化、もしくは写真や印刷等の原稿画像を画像入力装置でデジタル化する際に付加されるノイズ（雑音）や鮮鋭度劣化を回復するため、ノイズを抑制したり、シャープネスを強調する画像処理法として種々の方法が考案されている。たとえば、従来の画像処理方法では、粒状除去処理方法としては平滑化やコアリングという方法が用いられ、シャープネス強調処理法としてはアンシャープマスク（ＵＳＭ；Unsharp Masking)やラプラシアン、あるいはハイパスフィルタによる処理が用いられている。しかし、これらの従来の粒状除去処理方法では粒状を抑制すると不自然な違和感のあるアーチィファクトが生じたり、本来は抑制してはならない画像の微細構造を粒状と共に抑制してしまう等の望ましくない欠点を有していた。
【０００５】
たとえば、特表昭５７−５００３１１号公報、同５７−５００３５４号公報および「アンシャープで粒状の目立つ写真画像のデジタル強調方法」、電子画像処理国際会議録、１９８２年７月、第１７９〜１８３頁（P.G.Powell and B.E.Bayer, ``A Method for the Digital Enhancement of Unsharp,Grainy Photographic Images'' ,Proceedingus of the International Conference on Electronic Image Processing,Jul.26-28,1982,pp.179-183)に開示されたポーウェルおよびバイヤーらの処理法では、粒状抑制方法として平滑化処理法（ローパスフィルタ）を用い、シャープネス強調方法としてアンシャープマスク（ハイパスフィルタ）による処理法を用いている。平滑化処理はｎ×ｎ画素の信号値にGaussian型等の重み付けを乗じて信号を平滑化することによって、粒状を抑制する処理である。シャープネス強調処理は、先ずｍ×ｍ画素の画像信号を用いて、中心画素から周囲画素の方向の微分値を求め、その値が設定した閾値より小さい場合は粒状や雑音と見做してコアリング処理で除去し、残った閾値より大きい微分値の和をとり、１．０以上の定数を乗じて上記の平滑化信号に加算することによりシャープネス強調を行う。
【０００６】
この処理法では、粒状パターンをぼかしているので、粒状パターンの濃淡コントラストは低下するが、粒状を構成する粒子の大きな集落（粒状モトル）からなる大きいむらパターンが視覚的には目立つようになったりするため、不快な粒状として見えるという欠点がある。また設定した閾値で粒状と画像の識別を行っている（コアリング処理）ので、コントラストの低い画像信号が粒状誤認され、粒状と共に抑制あるいは除去されてしまったり、除去した信号と強調した画像信号との境界で不連続性が生じ、画像に不自然なアーティファクトが見られるという欠点がある。特に、芝生や絨毯等の微細な画像、および布地等のテクスチャが描写されている画像においてこの欠点が現れ、視覚的には極めて不自然で望ましくないアーティファクトとなる。
【０００７】
【発明が解決しようとする課題】
ところで、上述した従来の粒状抑制・シャープネス強調画像処理方法では、シャープネスはアンシャープマスクで強調し、粒状はぼかしたり、平滑化によって抑制する手法を用い、原画像から粒状（ノイズ）信号と輪郭信号を信号レベルで分離して、輪郭信号はシャープネス強調し、平滑領域は粒状抑制することにより、小さい信号を粒状と見做して処理するので、粒状の信号レベルと近い画像細部信号、すなわち衣類のテクスチャや頭髪等の画像信号が粒状と共に抑制され、画像処理のアーティファクトとして視覚的に不快な画像となる欠点があるという問題があった。すなわち、このような従来法では、粒状抑制の方法として平均化を用いて画像をぼかしており、ぼけた粒状パターン（「ぼけ粒状」）は、画像における濃度の揺らぎとしては小さくなって粒状が良くなったかのように見えるが、逆に濃度揺らぎ量は小さいがぼけて広がった粒状パターンが視覚的には不快なパターンと認識され、特に、ポートレート写真等の顔や肌、あるいは壁や空等の一様な被写体で目立つという問題があった。
【０００８】
また、原画像から粒状（雑音、ノイズ）領域と輪郭領域を信号レベルで分離する従来法では、原画像とぼけ画像の差分信号から輪郭領域と平坦領域を識別し、それぞれの領域に対してアンシャープマスクやラプラシアン等の異なる係数を用いて処理することによって、平坦領域では粒状を抑制しつつ、輪郭領域ではシャープネスを強調してエッジをぼかすことなく粒状抑制をしているが、輪郭領域と粒状領域の認識・分離が閾値となる信号レベルで一律に行われるため、その境界で不連続性が生じるという問題があった。
さらに、このような従来法では、エッジ強調あるいはシャープネス強調方法としてアンシャープマスクやラプラシアンが用いられているが、画像の輪郭・エッジ部にマッキーラインのような縁取りが発生し易く、視覚的に不自然な印象を与えるという問題があった。
このような粒状などのノイズの抑制とシャープネス強調に関する問題は、銀塩写真に特有の問題でなく、デジタルスチルカメラ等で画像を撮影する際にも、ショットノイズや電気的なノイズをはじめとする種々のノイズの抑制とシャープネス強調の問題として発生する。
【０００９】
本発明は、上記従来技術の現状を鑑みてなされたものであって、銀塩写真、デジタルスチルカメラ画像、印刷、テレビジョン、各種複写機等の画像において、カメラによるぼけ、写真感光材料の粒状やぼけ等の原稿画像に固有のノイズ（雑音）と鮮鋭度劣化、もしくはその原稿画像を画像入力装置でデジタル化する際に付加されるノイズやデジタルスチルカメラで撮影する際のショットノイズと鮮鋭度劣化を回復する処理を行う際に、上記従来技術の問題点、すなわち、平滑化によるノイズの抑制を行うとノイズがぼけて大きいむらが視覚的に不快に見えるという問題点、コントラストの低い画像信号が粒状、あるいはノイズと誤認され、抑制あるいは除去される問題点、ノイズ除去領域とシャープネス強調領域の境界が不連続になり画像に不自然なアーティファクトが見られるという問題点を生じさせずに、ノイズを抑制し、画像のシャープネス強調を行うデジタル画像の画像処理方法およびこれを実施する画像処理装置およびこの方法を実施するコンピュータが読み取り可能な記録媒体を提供することを目的とする。
【００１０】
【課題を解決するための手段】
上記目的を達成するために、本発明は、原画像データにシャープネス強調処理を行い、画像と共にこの画像中に含まれるノイズを鮮鋭化したシャープネス強調画像データを作成し、
前記原画像データに平滑化処理を行って、平滑化画像データを作成し、
前記シャープネス強調画像データから前記平滑化画像データを減算して、シャープネス強調された被写体画像のエッジとシャープネス強調されたノイズとが混在する混在画像データを作成し、
前記原画像データからエッジ検出を行って被写体エッジ領域とノイズ領域を識別するためのエッジ強度データを求め、
このエッジ強度データからノイズ領域の度合いを示すノイズ領域の重み付け係数を求め、
前記混在画像データに、前記ノイズ領域の重み付け係数を乗じて、ノイズデータを求め、
前記原画像データにおけるノイズ抑制の広がりを表すノイズ抑制分布関数を設定し、前記ノイズデータとこのノイズ抑制分布関数との畳み込み積分を行ってノイズ抑制分布を求め、
前記ノイズデータに前記ノイズ抑制分布を乗算することによって、ノイズ抑制成分画像データを算出し、
前記シャープネス強調画像データから前記ノイズ抑制成分画像データを変倍して減算することによって、原画像のノイズ領域におけるノイズ成分を選択的に抑制した画像を作成することを特徴とするデジタル画像のノイズ抑制のための画像処理方法を提供するものである。
【００１１】
ここで、前記ノイズ抑制分布関数は、原画像の画素における、ノイズ抑制の広がりの中心位置において値が最大であり、この中心位置から離れるに従って値が小さくなる単調減少関数であるのが好ましく、あるいは、前記ノイズ抑制分布関数は、原画像の画素におけるノイズ抑制を及ぼす範囲において一定の値を持つ矩形関数であるのが好ましい。
【００１２】
また、前記ノイズ抑制分布関数の、原画像の画素における前記ノイズ抑制を及ぼす範囲は、画素数で１以上１５以下の範囲の領域であるのが好ましく、また、前記ノイズ抑制分布関数は、原画像の画素におけるノイズ抑制を及ぼす範囲の境界の位置とこの位置での値を定めることによって設定されるのが好ましい。
【００１３】
前記ノイズ抑制分布関数は、ｒを原画像の画素におけるノイズ抑制の広がりの中心位置からの距離、ａを原画像の画素におけるノイズ抑制の広がりの範囲を定める抑制範囲定数とするとき、下記式（１）で表される関数ｓ（ｒ）であるのが好ましく、
ｓ（ｒ）＝  ｅｘｐ（−ｒ／ａ）                            （１）
ｓ（ｒ）＝  ｅｘｐ（−ｒ2 ／ａ2 ）                        （２）
ｓ（ｒ）＝  ｒｅｃｔ（ｒ／ａ）                            （３）
ここで、式（３）のｒｅｃｔ（ｒ／ａ）は、値が１の矩形関数である。
【００１４】
さらに、上記目的を達成するために、本発明は、原画像データにシャープネス強調処理を行い、画像と共にこの画像中に含まれるノイズを鮮鋭化したシャープネス強調画像データを作成するシャープネス強調処理部と、
前記原画像データに平滑化処理を行って、平滑化画像データを作成する平滑化処理部と、
前記シャープネス強調画像データから前記平滑化処理部で作成した前記平滑化画像データを減算して、シャープネス強調された被写体画像のエッジとシャープネス強調されたノイズとが混在する混在画像データを作成するエッジ・ノイズ混在成分抽出部と、
前記原画像データからエッジ検出を行って被写体エッジ領域とノイズ領域を識別するためのエッジ強度データを求めるエッジ検出部と、
このエッジ検出部で求めたエッジ強度データからノイズ領域の度合いを示すノイズ領域の重み付け係数を求めるノイズ領域重み係数演算部と、
前記エッジ・ノイズ混在成分抽出部で作成した前記混在画像データに、前記ノイズ領域重み係数演算部で求めた前記ノイズ領域の重み付け係数を乗じて、ノイズデータを求めるノイズ成分識別分離部と、
前記原画像データにおけるノイズ抑制の広がりを表すノイズ抑制分布関数を設定するノイズ抑制分布関数設定部と、
前記ノイズ成分識別分離部で求めた前記ノイズデータと前記ノイズ抑制分布関数設定部で設定した前記ノイズ抑制分布関数との畳み込み積分を行ってノイズ抑制分布を求めるノイズ抑制分布演算部と、
このノイズ抑制分布演算部において求められた前記ノイズ抑制分布を前記ノイズ成分識別分離部で求めた前記ノイズデータに乗算することによって、ノイズ抑制成分画像データを算出するノイズ抑制成分演算部と、
前記シャープネス強調画像データから前記ノイズ抑制成分演算部で算出した前記ノイズ抑制成分画像データを変倍して減算して処理画像データを求めるノイズ抑制演算処理部とを有することを特徴とするデジタル画像のノイズ抑制のための画像処理装置を提供するものである。
【００１５】
また、上記目的を達成するために、本発明は、
原画像データにシャープネス強調処理を行い、画像と共にこの画像中に含まれるノイズを鮮鋭化したシャープネス強調画像データを作成する手順と、
前記原画像データに平滑化処理を行って、平滑化画像データを作成する手順と、
前記シャープネス強調画像データから前記平滑化画像データを減算して、シャープネス強調された被写体画像のエッジとシャープネス強調されたノイズとが混在する混在画像データを作成する手順と、
前記原画像データからエッジ検出を行って被写体エッジ領域とノイズ領域を識別するためのエッジ強度データを求める手順と、
前記エッジ強度データからノイズ領域の度合いを示すノイズ領域の重み付け係数を求める手順と、
前記混在画像データに、前記ノイズ領域の重み付け係数を乗じて、ノイズデータを求める手順と、
前記原画像データにおけるノイズ抑制の広がりを表すノイズ抑制分布関数を設定し、前記ノイズデータとこのノイズ抑制分布関数との畳み込み積分を行ってノイズ抑制分布を求める手順と、
前記ノイズデータに前記ノイズ抑制分布を乗算することによって、ノイズ抑制成分画像データを算出する手順と、
前記シャープネス強調画像データから、前記ノイズ抑制成分画像データを変倍して減算する手順をコンピュータに実行させて、原画像のノイズ領域におけるノイズ成分を選択的に抑制した画像を作成することを特徴とするプログラムを記録したコンピュータが読み取り可能な記録媒体を提供するものである。
【００１６】
ここで、上記ノイズとは、銀塩感光材料を用いた写真用フィルム等をフィルムスキャナを用いて読み取って得られる画像データに含まれる、感光材の粒子に起因する粒状のみならず、銀塩感光材料を用いることなくディジタルスチルカメラ等のＣＣＤやＭＯＳ等の撮像素子および種々の撮像管を用いて得られる画像データに含まれるノイズも広く含む。
【００１７】
上記発明は、
・原画像からエッジを検出し、エッジ強度を求め、エッジ強度の弱い領域はノイズ領域と見做し、ノイズ領域をエッジ領域から分割するためのノイズ領域の重み付け係数を算出し、
・原画像からシャープネス強調画像および平滑化画像を作成し、シャープネス強調画像から平滑化画像を減算することにより、シャープネス強調されたエッジとシャープネス強調されたノイズの混在成分を求め、
・ノイズ領域の重み付け係数をエッジとノイズの混在成分に乗算して求めたノイズ成分から、ノイズ抑制分布関数を用いてノイズ抑制分布を求め、このノイズ抑制分布と上記ノイズ成分とからノイズ抑制成分を求め、
・シャープネス強調画像からノイズ抑制成分を減算することによって、
例えば、原画像データが銀塩感光材料を用いた写真用フィルム等からフィルムスキャナを用いて読み取られた場合、感光材料の粒子の大きな集落であり、ノイズ成分を形成する粒状モトルがより大きい（粒状が粗い）部分では粒状を強く抑制し、粒状モトルの小さい部分では粒状を弱く抑制するか、あるいは抑制する。
これによって、粒状等のノイズの揺らぎを抑制、均一化することができ、画像のノイズ領域において粒状モトル等の空間的に大きく揺らぐ部分が選択的に抑制された画質の良い画像を得ることができる。
原画像データがデジタルスチルカメラ等の撮像素子を用いて撮影されて得られた場合、入射光のフォトン揺らぎや、撮像素子中の１個１個の光センサの固有のノイズ、あるいは電気回路で発生する熱雑音（ノイズ）、量子化ノイズ等の種々のノイズが画像中で画素単位の信号、あるいは濃度揺らぎとなって現れるが、ノイズ揺らぎが空間的には疎の部分や密の部分が生じ、銀塩感光材料の粒状モトルと同様に、ノイズモトルを形成しているので、ノイズモトルの大きいところは強く抑制し、ノイズモトルの小さいところは弱く抑制することによって、ノイズを均一化することができ、画質の良い画像を得ることができる。
【００１８】
すなわち、本発明のノイズ抑制の画像処理方法では、ノイズ成分を識別し、そのノイズ成分中のノイズモトル等のように大きく粗いノイズをより強く抑制し、ノイズの小さいものを弱く抑制するか抑制しないような処理を行うことによって、ノイズによる画像濃度の変動を小さく均一にする（揺らぎの大きさのばらつきを小さくする）処理を行う。ノイズ成分が粒状成分である場合、粒状パターンを、従来のように平滑化処理を行うものでなく、大きな粒状モトルを目立たなくするので、銀塩写真感材で微粒子乳剤を用いた時に得られるような細かい粒状（空間的に細かく、かつ振幅も小さく粒状）にすることができる。
【００１９】
【発明の実施の形態】
以下、本発明の画像処理方法を実施する画像処理装置について、添付の図面に示される好適実施例を基に詳細に説明する。
本発明における「ノイズ」は、上述したように雑音全般を指す。また、「ノイズ」は、デジタルスチルカメラ等の電子的撮像系では単にノイズと言うが、銀塩写真感光材料においてはノイズというより、粒状と言うのが一般的である。従って、以降の説明で、特に銀塩写真感光材料を例として説明する場合、「ノイズ」に替えて「粒状」を用いる。また、後述する「ノイズモトル」は、デジタルスチルカメラ等の電子的撮像系においてノイズ揺らぎが空間的に密な部分を形成するノイズモトルの他、銀塩写真感光材料における粒状モトルも含む。
【００２０】
図１は、本発明に係る画像処理装置を組み込んだシステムであって、カラー画像を読み取り、本発明の画像処理方法を行い、カラー画像を出力するカラー画像再生システムのブロック図である。図２は、本発明に係る画像処理方法を実施する画像処理装置の一実施例のブロック図である。図３は、本発明の画像処理方法の処理アルゴリズムの一例を示すフローチャートである。以下の説明では、デジタル画像として銀塩カラー写真画像から得られる画像データを代表例として説明する。
【００２１】
図１に示すように、カラー画像再生システム１０は、カラー写真画像（カラーネガフィルム、カラーリバーサルフィルムなどのフィルム画像などやデジタルカメラ等の撮影画像）などのカラー画像を読み取ってデジタル入力画像データを得る画像入力装置１２と、画像入力装置１２から入力される入力画像データに所要の画像処理とともに本発明のデジタル画像のノイズ抑制およびシャープネス強調のための画像処理を施して、処理画像データＩ1 を得る画像処理装置１４と、画像処理装置１４から出力される処理画像データＩ1 に基づいてプリント画像などのカラー画像を出力する画像出力装置１６とを備える。
【００２２】
画像入力装置１２は、デジタルカラー画像データを作成して、画像処理装置１４への入力画像データとして出力するためのもので、例えば、カラー（またはモノクロ）ネガフィルムやカラー（またはモノクロ）リバーサルフィルムなどのカラーフィルム画像を読み取ってデジタル画像データを作成するフィルムスキャナ装置、印刷物や反射プリント画像などのカラー反射原稿画像を読み取ってデジタル画像データを作成する反射原稿用スキャナ装置が挙げられる。なお、本発明においては、被写体を直接撮影してデジタル画像データを作成するデジタルカメラや電子スチルカメラやビデオカメラ、もしくは、これらで作成されたデジタル画像データを格納した記録媒体、例えば、スマートメディア、メモリーステック、ＰＣカードなどの半導体メモリーやＦＤ、Ｚｉｐなどの磁気記録媒体やＭＯ、ＭＤなどの光磁気記録媒体やＣＤ−ＲＯＭ、Ｐｈｏｔｏ−ＣＤなどの光記録媒体などをドライブしてデジタル画像データとして読み出すドライバ、これらのデジタル画像データを読み込んでソフトコピー画像を表示するＣＲＴモニタ、液晶モニタなどの表示装置、および読み込んだもしくは表示されたデジタル画像データを全体的にもしくは部分的に画像処理する画像処理用ＰＣ、ＷＳなどのコンピュータなどであってもよい。
【００２３】
画像出力装置１６は、最終処理画像データとして画像処理装置１４から出力される処理画像データＩ1 に基づいて、カラー写真画像などのカラー入力画像が再現されたカラー画像を出力するためのもので、反射プリント画像や反射原稿画像などのカラーハードコピー画像を出力するデジタルフォトプリンタや複写機や電子写真、レーザプリンタ、インクジェット、熱昇華型、ＴＡなどの種々の方式のデジタルカラープリンタなどの画像出力装置、ソフトコピー画像として表示するＴＶ、ＣＲＴモニタ、液晶モニタ等の表示装置やＰＣやＷＳなどのコンピュータなどを挙げることができる。
【００２４】
画像処理装置１４は、画像入力装置１２からの入力画像データの色および調子（階調）を画像出力装置１６に所望の色および調子再現で出力するために調整処理して原画像データＩO を作成する色・調子処理部１８と、この色・調子処理部１８によって処理された原画像データＩO に本発明の最も特徴とする部分であって、本発明のデジタル画像のノイズ抑制およびシャープネス強調のための画像処理方法を実施して処理画像データＩ1 を作成するノイズ抑制・シャープネス強調画像処理部２０と、色および調子再現性が調整された画像データに基づいて再生画像を表示する画像モニタおよび種々の所要の画像処理や本発明の画像処理を行うためのパラメータを設定する画像処理パラメータ設定部からなる画像モニタ・画像処理パラメータ設定部２２とを有する。
【００２５】
ここで、色・調子処理部１８は、画像入力装置１２から入力される入力画像データの色および調子（階調）の再現性を画像出力装置１６において適正に再現されるように色変換または色補正（階調変換または補正も含む）を行って、本発明の画像処理方法を実施するための原画像データＩO を作成するものであり、ここで行われる処理としては、例えば、色（グレイ）変換や補正、階調補正、濃度（明るさ）補正、彩度補正、倍率変換、濃度ダイナミックレンジの圧縮・伸長などの種々の処理を挙げることができる。
【００２６】
画像モニタ・画像処理パラメータ設定部２２は、画像モニタおよび画像処理パラメータ設定部からなり、画像モニタに画像入力装置１２から入力された入力画像データに基づいて入力画像を表示するとともに、この画像モニタを用いて（例えばＧＵＩなどによって）入力画像データに色・調子処理部１８および本発明の画像処理方法を実施するためのノイズ抑制画像処理部２０で行う各種の画像処理のパラメータを図示しないマウスやキーボードなどのデータ入力機によって設定するためのものである。ここで、設定されるパラメータは、上述した各種の処理に用いられる補正係数、変換係数、倍率などや後に詳細に説明する本発明の画像処理方法を実施する上で必要となる様々な係数や定数などを挙げることができる。
【００２７】
本発明の画像処理方法を実施するノイズ抑制画像処理部（以下、単に本画像処理部という）２０は、色・調子処理部１８で作成された原画像データＩO に本発明の特徴とするノイズ抑制とシャープネス強調の画像処理を行って、画像出力装置１６に出力するための最終処理画像データである処理画像データＩ1 を作成するためのものである。
【００２８】
ここで、本画像処理部２０は、図２に示すように、原画像データＩO にシャープネス強調処理を行って、画像とともにこの画像中に含まれる粒状をはじめとするノイズ（雑音）をも鮮鋭化したシャープネス強調画像データＩS を作成するシャープネス強調処理部２４と、原画像データＩO に平滑化処理を行って、平滑化画像データＩAVを作成する平滑化処理部２６と、原画像データＩ0 から平滑化画像データＩAVを減算して、被写体画像のエッジとノイズとが混在する混在画像データΔＩEGを作成するエッジ・ノイズ混在成分抽出部２８と、原画像データＩO から被写体画像のエッジ検出を行って、被写体エッジ領域とノイズ領域とを識別するためのエッジ強度データＥO を求めるエッジ検出部３０と、このエッジ強度データＥO からノイズ領域の重み付け係数ＷG を求めるノイズ領域重み係数演算部３２と、エッジ・ノイズ混在成分抽出部２８で得られた混在画像データΔＩEGにノイズ重み係数演算部３２で求められたノイズ領域の重み付け係数ＷG を乗じて、ノイズ領域のノイズデータＧ0 を求めるノイズ成分識別分離部３４と、原画像データＩO におけるノイズ抑制の広がりを表すノイズ抑制分布関数ｓ1 を演算して設定するノイズ抑制分布関数設定部３６と、ノイズ成分識別分離部３４で求めたノイズデータＧ0 とノイズ抑制分布関数設定部３６で設定したノイズ抑制分布関数ｓ1 との畳み込み積分を行ってノイズモトル抑制分布（本発明におけるノイズ抑制分布に相当）Ｍを演算して求めるノイズモトル抑制分布演算部（本発明におけるノイズ抑制分布演算部に相当）３８と、ノイズモトル抑制分布演算部３８で求められたノイズモトル抑制分布Ｍをノイズ成分識別分離部３４で求めたノイズデータＧ0 に乗算することによって、ノイズ抑制成分画像データＧ1 を算出するノイズ抑制成分演算部４０と、ノイズ抑制成分演算部４０で算出されたノイズ抑制成分画像データＧ1 を変倍してシャープネス強調処理部２４で求められたシャープネス強調画像データＩS から減算し、画像出力装置１６に適した処理画像データＩ1 に変換するノイズ抑制演算処理部４２とを有する。
【００２９】
図２に示すノイズ抑制・シャープネス強調画像処理部２０は、基本的に以上のように構成される。
次に、図３に示す本発明の画像処理方法の処理アルゴリズムを示すフローチャートを参照しながら、本処理部２０の作用に基づいて、本発明の画像処理方法を概説する。
【００３０】
本実施例においては、図３に示すように、画素毎に先ず、原画像データＩO から、シャープネス強調処理部２４においてシャープネス強調処理を行い（ステップ１００）、シャープネス強調画像データＩS を得、平滑化処理部２６において平滑化処理を行い（ステップ１０２）、平滑化画像データＩAVを得、エッジ・ノイズ混在成分抽出部２８においてシャープネス強調され鮮鋭化されたエッジとノイズとの混在した混在画像データΔＩEGを抽出する（ステップ１０４）。
【００３１】
一方、エッジ検出部３０において原画像データＩO から被写体エッジ領域とノイズ領域とを識別するためのエッジ強度データＥO を求めてエッジ検出を行い（ステップ１０６）、ノイズ領域重み係数演算部３２において、ノイズ領域の重み付け係数ＷG を計算して求める（ステップ１０８）。
さらに、ノイズ成分識別分離部３４において、ノイズデータの識別・分離を行う（ステップ１１０）。すなわち、混在画像データΔＩEGに、ノイズ重み係数演算部３２で求められたノイズ領域の重み付け係数ＷG を乗じて、ノイズデータＧ0 を求める。
【００３２】
次に、ノイズ抑制分布関数設定部３６において、原画像データＩ0 におけるノイズ抑制の広がりを表すノイズ抑制分布関ｓ1 を設定し、ノイズモトル抑制分布演算部３８において、ノイズデータＧ0 とこのノイズ抑制分布関数ｓ1 との畳み込み積分を行ってノイズモトル抑制分布Ｍを求め（ステップ１１２）、ノイズ抑制成分演算部４０において、ノイズモトル抑制分布ＭをノイズデータＧ0 に乗算することによって、ノイズ抑制成分画像データＧ1 を演算して算出し（ノイズモトル抑制分布の演算を行い）（ステップ１１４）、ノイズ抑制演算処理部４２において、シャープネス強調処理部２４で得られたシャープネス強調画像データＩS から先に算出したノイズ抑制成分画像データＧ1 を変倍して減算し（ノイズ抑制画像の演算を行い）、さらに、必要に応じて、画像出力装置１６に適した画像データに変換することによって処理画像データＩ1 を得る（ステップ１１６）。
【００３３】
次に、本発明の画像処理方法の上述した各工程について詳細に説明する。
まず、シャープネス強調工程（ステップ１００）について説明する。
ここで、画像のシャープネスを強調する方法としては、アンシャープマスク(Unsharp masking, USM)またはラプラシアン(Laplacian) が良く知られている。本発明においても、これらを用いることにより、画像のシャープネス劣化が軽度なものであれば、画像のシャープネスを強調することができる。
【００３４】
アンシャープマスクは、次式のように原画像データＩ0(x,y)（注目する画素位置を、x およびy とする) から、Ｉ0(x,y)を平均化あるいはぼかした画像Ｉav  x,y)を引いて求めたエッジ強調成分Ｉ0(x,y)−Ｉav(x,y) に係数ａを掛けて原画像データＩ0 (x,y) に加算することによって、下記式（４）のように、シャープネス強調画像ＩS (x,y) を求める方法である。
ＩS (x,y) ＝Ｉ0(x,y)＋ａ〔Ｉ0(x,y)−Ｉav  x,y)〕          （４）
ここで、ａはシャープネス強調の程度を調節する定数である。
ラプラシアンは、原画像データＩ0(x,y)の二次微分（ラプラシアン）▽2 Ｉ0(x,y)を原画像データＩ0(x,y)から引くことによって、シャープネス強調する方法で、次式で表される。
ＩS (x,y) ＝Ｉ0(x,y)−▽2 Ｉ0(x,y)                         (５）
ラプラシアンによるシャープネス強調の具体的な例としては、下記式（６）のような３×３の係数配列が良く用いられる。
0004017312.tif 000002
【００３５】
この係数配列では、特に強いシャープネス強調を掛けたときに、画像のエッジに不自然な輪郭が発生し易い。そこで、そのような欠点を少なくするために、本発明では式（７）に示したような正規分布型(Gaussian)のぼけ関数を用いたアンシャープマスクを用いるのが好ましい。
G(x,y)＝(1/2πσ2)exp[−(x2 + y2)/２σ2]                   (７）
ここで、σ2 は正規分布関数の広がりを表すパラメータであり、マスクの端ｘ＝ｘ1 における値とマスクの中心ｘ＝０における値の比、
G(x1,0)/G(0,0)＝exp[−x12/２σ2]                          （８）
が０．１〜１．０となるように調節することによって、３×３のアンシャープマスクのシャープさを所望のものとすることができる。式（８）の値を１．０に近い値にすると、式（５）の中央のラプラシアンフィルタとほぼ同じマスクを作ることができる。
マスクのシャープさを変更するには、この他にマスクの大きさを変更する方法があり、たとえば５×５、７×７、９×９等のマスクを用いることによって、シャープネス強調された画像の空間周波数を大幅に変更することができる。
【００３６】
また、マスクの関数形としても、上記の正規分布型以外のもの、たとえば、下記式（９）のような指数関数型のマスクを用いることができる。
E(x,y)＝exp[−(x2 + y2)1/2／ａ]                           （９）
ここで、ａは式（８）のσ2 と同様にアンシャープマスクの広がりを表すパラメータであり、マスクの端の値とマスクの中心値の比、
E(x1,0)/E(0,0)＝exp[−x1／ａ]                           （１０）
が０．１〜１．０となるように調節することによって、３×３のアンシャープマスクのシャープさを所望のものとすることができる。式（１０）に、E(x1,0)/E(0,0)＝０.3としたときの式（９）の指数関数のマスクの数値例を示す。
0.18    0.30    0.18
0.30    1.00    0.30                                    （１１）
0.18    0.30    0.18
このマスクから、アンシャープマスクの１例を計算すると、次式（１２）のようになる。
−0.12  −0.22  −0.12
−0.21    2.32  −0.21                                  （１２）
−0.12  −0.21  −0.12
【００３７】
このようなアンシャープマスクを用いて、原画像データＩ0(x,y)からシャープネス強調画像データＩS (x,y）を求めることができる。なお、本発明に用いられるアンシャープマスクおよびシャープネス強調方法は、上述したものに限定されるわけではなく、この他の従来公知のアンシャープマスクや空間周波数フィルタリング等によるシャープネス強調方法を適用可能なことはもちろんである。
図４（ａ）には、エッジ成分が支配的な領域Ｅ1 および領域Ｅ2 と、ノイズモトルのある領域Ａや領域Ｂや領域Ｃを含むノイズ領域とを有する原画像データＩ0 の一次元プロファイル波形の一例が示され、このプロファイル波形に対してシャープネス強調を施すことによって、図４（ｂ）に示すように、領域Ｅ1 および領域Ｅ2 のようにエッジ成分の強い領域においてエッジの信号が強調されるとともに、領域Ａ、領域Ｂおよび領域Ｃを含むノイズ領域についてもノイズ成分が強調されるのが判る。
【００３８】
次に、平滑化工程（ステップ１０２）について説明する。
平滑化を行う方法としては、実空間領域の処理と空間周波数領域の処理を挙げることができる。実空間領域処理では、隣接する画素全体の和を求め平均値を計算してその値に置き換える方法、各画素に重み係数、たとえば正規分布型の関数を掛けて平均値を求める方法、メディアンフィルタのような非線型な処理を行う方法等の種々の方法がある。一方、空間周波数領域の処理では、ローパスフィルタを掛ける方法がある。たとえば、重み係数を用いる平均化の方法では下記式（１３）を挙げることができる。なお、ここで、(x,y) 等は、画像内の注目画素の位置座標を表す。
【数１】
0004017312.tif 000003
【００３９】
ただし、ｎは平均化のマスクサイズ、ｗ(x,y) は重み係数である。ｗ(x,y) ＝１．０とすると、単純平均となる。
本発明では、実空間領域処理の中で、正規分布型の重み係数を掛けて平均値を求める方法を用いるが、これに限定されない。この時、処理のマスクとしては、下記のようなｎ×ｎ画素のマスクを用いるのが好ましい。具体的には３×３から５×５、７×７、９×９程度のものを用いるのが好ましい。
0004017312.tif 000004
【００４０】
９×９画素のマスクの一例を示す。この式（１５）では中心の値を１．０に正規化した値で示しているが、実際の処理ではマスク全体の和が１．０になるようにする。
0.09  0.15  0.22  0.28  0.30  0.28  0.22  0.15  0.09
0.15  0.26  0.38  0.47  0.51  0.47  0.38  0.26  0.15
0.22  0.38  0.55  0.69  0.74  0.69  0.55  0.38  0.22
0.28  0.47  0.69  0.86  0.93  0.86  0.69  0.47  0.28
0.30  0.51  0.74  0.93  1.00  0.93  0.74  0.51  0.30      （１５）
0.28  0.47  0.69  0.86  0.93  0.86  0.69  0.47  0.28
0.22  0.38  0.55  0.69  0.74  0.69  0.55  0.38  0.22
0.15  0.26  0.38  0.47  0.51  0.47  0.38  0.26  0.15
0.09  0.15  0.22  0.28  0.30  0.28  0.22  0.15  0.09
【００４１】
このようなマスクを用いて、原画像データＩ0(x,y)から平滑化画像データＩAV（x,y)を求めることができる。なお、本発明に用いられる平滑化方法としては、上述した種々の方法に限定されるわけではなく、従来公知の平滑化方法はいずれも適用可能なことはいうまでもない。
図４（ｃ）には、図４（ａ）に示されるプロファイル波形が、平滑化処理によって処理された結果が示され、ノイズモトルのある領域Ａや領域Ｂや領域Ｃを含むノイズ領域のノイズ成分が抑制され滑らかになるとともに、エッジ成分が支配的な領域Ｅ1 および領域Ｅ2 についても、エッジ信号が抑制され滑らかなプロファイル波形となっていることが判る。
【００４２】
次いで、エッジ・ノイズ混在成分の抽出工程（ステップ１０４）について説明する。
平滑化工程（ステップ１０２）で得られた平滑画像データＩAV(x,y) を、下記式（１６）に従って、シャープネス強調工程（ステップ１００）で得られたシャープネス強調画像データＩS から減算し、シャープネス強調されたエッジとノイズの混在する微細構造データである混在成分ΔＩEG(x,y) を抽出する。
ΔＩEG(x,y）＝Ｉ0 (x,y) −ＩAV(x,y)                     （１６）
図４（ｄ）には、図４（ｂ）および（ｃ）で示されるプロファイル波形を用いてエッジ・ノイズ混在成分の抽出工程によって得られる混在成分ΔＩEG(x,y) のプロファイル波形が抽出されている。
【００４３】
次に、エッジ検出工程（ステップ１０６）について説明する。
ここでは、一例として局所分散方式によるエッジ検出を代表例として説明するが、本発明はこれに限定される訳ではない。
【００４４】
エッジ検出を行う際に先ず、以下のような前処理による濃度変換を行う。このような前処理を行うのは、カラー画像データを構成するＲ画像データとＧ画像データとＢ画像データで相関のないノイズを減少させ以降で行うエッジ検出の際の精度を向上するためである。すなわち、式（１７）に示したように、原画像データＩ0(x,y)のＲ，Ｇ，Ｂの３色の濃度値ＤR ，ＤG ，ＤB に重み係数ｒ，ｇ，ｂを掛けて視覚濃度(Visual density)ＤV に変換する。
ＤV ＝（ｒＤR ＋ｇＤG ＋ｂＤB ）／（ｒ＋ｇ＋ｂ)         （１７）
重み係数としては、例えば、ｒ：ｇ：ｂ＝４：５：１のような値を用いる。この変換を行うのは、Ｒ，Ｇ，Ｂで相関の無いノイズを減少させ、エッジ検出の精度を向上させるためである。前処理の配列の大きさの範囲は５×５、あるいは７×７画素程度のものを用いるのがよいが、それは、後述する所定の配列内の画像濃度の変動を、配列内で小さい配列、例えば、３×３程度の配列を用いて、移動しながら計算するためである。
【００４５】
なお、エッジ検出における重み係数ｒ，ｇ，ｂは以下のようにして求めることができる。
重み係数については、視覚で観察したときに目立つ（これは、分光的な視感度分布に対応するという見方もあるが）、すなわち寄与の大きい色の画像データの重み係数が大きいという考えに基づいて最適な値に設定するのが好ましい。一般には、視覚評価実験等に基づいて経験的な重み係数が求められており、下記のような値が一般的な知見として知られている（公知文献としては、野口高史、「心理対応の良い粒状評価法）、日本写真学会誌，５７（６），４１５（１９９４）があり、色によって異なるが、下記の比に近い数値が示されている）。
ｒ：ｇ：ｂ＝３：６：１
ｒ：ｇ：ｂ＝４：５：１                                （１８）
ｒ：ｇ：ｂ＝２：７：１
ここで、係数の比ｒ：ｇ：ｂとして好ましい値の範囲を規定するとすれば、r ＋ｇ＋ｂ＝１０．０でｂを１．０としたときに、ｇの値として、
ｇ＝５．０〜７．０
の範囲の値が好ましい。ただし、ｒ＝１０．０−ｂ−ｇである。
【００４６】
次ぎに、エッジ検出工程（ステップ１０６）の局所分散によるエッジ検出について説明する。
エッジの検出は、上記視覚濃度ＤV の画像データからｎE ×ｎE 画素の配列を移動しつつ、配列内の画像濃度変動を式（１９）を用いて、その位置毎の局所的な標準偏差である局所分散σを順次注目画素(x,y) ごとに計算することによって、画像中の被写体エッジの検出を行う。画素配列の大きさ（ｎE ×ｎE ）は、検出精度および計算負荷を考慮して適宜決めればよいが、例えば３×３、あるいは５×５程度の大きさを用いるのが好ましい。
【００４７】
【数２】
0004017312.tif 000005
ただし、注目画素位置をx 、y とし、ＤV (x+i-nE /2 -1/2, y+j-nE /2-1/2) は局所分散σ(x,y）を計算するｎE ×ｎE の画素配列の濃度で、< ＤV (x,y) > はその配列の平均濃度で、
【数３】
0004017312.tif 000006
である。
【００４８】
原画像データＩO （ｘ，ｙ）から、上記式（１９）に示した局所分散σ(x,y) を計算し、被写体画像のエッジ強度ＥO (x,y) を求めるには、下記式（２１）のような指数関数で表した式を用いる。
ＥO (x,y) ＝１− exp [−σ(x,y）／ａE ]               （２１）
ただし、ａE は局所分散σ(x,y）の値をエッジ強度に変換する際の係数であって、エッジ強度ＥO ＝０．５に割り付ける局所分散σ(x,y）の閾値σT とすると、
ａE ＝−σT ／ loge (0.5)                             （２２）
である。σT の値は、ノイズと被写体輪郭の信号の大きさによって適切な値にする必要があるが、各色８ｂｉｔ（２５６階調）のカラー画像では、１０〜１００の範囲の値が好ましい。この変換は、ルックアップテーブルとして作成しておくと、変換に要する計算時間を短縮することができる。
【００４９】
エッジ強度ＥO (x,y) を求める変換式としては、上記式に限定されるものではなく、他の式を用いることもできる。たとえば、下記式のようなガウシャン型の関数を用いてもよい。
ＥO (x,y) ＝１− exp｛− [σ(x,y)]2 ／ａE12 ｝        （２３）
ただし、ａE1はσ(x,y) からＥO (x,y) に変換する際の係数で、ＥO (x,y) ＝０．５に割り付ける局所分散σ(x,y) の閾値をσT とすると、
ａE12 ＝−σT 2 ／ loge (0.5)                         （２４）
である。σT の値は、各色８ｂｉｔ（２５６階調）のカラー画像では、１０〜１００の範囲の値が好ましい。
【００５０】
また、このエッジ強度データＥO (x,y) は、以下に示す式（２５）のように、最大の局所分散データσMax で正規化され、０以上１以下の正規化されたエッジ強度データＥO (x,y) を得てもよい。
Ｅ0 (x,y) ＝  σ(x,y) ／σMax                       （２５）
ここで、σmax は、局所分散データσ (x,y)の最大値で、σ (x,y)を正規化するための定数である。σMax の決定方法は、式（１９）で求めた画像全体の局所分散データσ (x,y)から下記式（２６）のように最大値を求める。
σMax ＝Ｍａｘ｛σ (x,y)｝                              （２６）
【００５１】
また、画像全体から求まる最大値を用いず、画像の一部分、例えば画像の重要被写体のある確率の高い画像の中央部分の特定範囲、あるいは全画像から間引いた画像データ（原画像データの１／４〜１／１０程度）から上記式（２５）や（２６）を用いて最大値σMax を求めてもよい。この場合、画像中央部分の特定範囲の画像データや間引いた画像データは、画像処理を施して処理画像データを得る前に予め粗い画素密度で得ることのできる各種処理条件調整用原画像データ（プレスキャン画像データ）を用いてもよいし、原画像データから抜き出してもよい。
より好ましくは、σMax は、局所分散データσ (x,y)を大きい値から順番に並べた際の上位５〜１０％以内に含まれる値の平均値，例えば上位１０％以内に含まれる値の平均値＜σ (x,y)＞Max10%をσMax とし、σ (x,y)がこのσMax を超える場合、すべてσMax に置き換える。この場合、平均値は、画像全体の平均値でも、重要被写体が撮影される場合の多い中央部分の所定の範囲の平均値でも、あるいは、間引いた画像データの平均値であってもよい。
【００５２】
ところで、本発明におけるエッジ検出法としては、上記局所分散方式のエッジ検出法に限定されるわけではなく、他のエッジ検出法も利用可能である。上記局所分散方式以外のエッジ検出法には、一次微分や二次微分に基づく方法があり、それぞれに、更に幾つかの方法がある。
まず、空間的な一次微分に基づく方法としては、下記の２つのオペレータがある。
差分型エッジ抽出オペレータとして、 Prewittのオペレータ、 Sobelのオペレータ、 Robertsのオペレータなどがある。 Robertsのオペレータは下記式で表わすことができる。
g(i,j)＝｛[f(i,j) - f(i+l,j+l)]2＋[f(i+l,j) - f(i,j+l)]2｝1/2 
テンプレート型オペレータとして、８方向のエッジパターンに相当する３×３テンプレートを用いる Robinson のオペレータや Kirshのオペレータがある。
次に、空間的な二次微分に基づく方法としては、ラプラシアンを用いた方法がある。この場合、雑音を強調してしまうので、先ず正規分布型のぼかし処理をしてからエッジ検出する方法が良く用いられる。
【００５３】
図４（ｅ）には、図４（ａ）に示す原画像データＩ0 からエッジ検出工程で求められたエッジ強度データＥ0 の波形を示している。図４（ａ）に示すエッジ強度データＥ0 において、領域Ｅ1 およびＥ2 の付近でエッジ強度データＥ0 の値が大きくなっていることがわかる。
【００５４】
次に、ノイズ領域重付け係数の計算工程（ステップ１０８）を説明する。
エッジ検出工程（ステップ１０６）で得られるエッジ強度データＥO (x,y) を用いて、下記式（２７）に従って、エッジ領域の重み付け係数ＷE (x,y) を求めた後、ノイズ領域の重み付け係数ＷG (x,y) を、下記式（２８）に従って求める。
ＷE (x,y) ＝１−αE ＋αE Ｅ0 (x,y)                       （２７）
ＷG (x,y) ＝１−ＷE (x,y)                                 （２８）
【００５５】
ここで、αE はエッジ領域とノイズ領域の重み付けを設定する定数であり、オペレータが０以上１以下の任意の値を設定することができる。
エッジ領域の重み付け係数ＷE (x,y) は、１−αE 以上１以下の値となり、ＷE (x,y) が大きいほど、その画素位置で被写体のエッジ領域である確率が高いと判断され、ＷE (x,y) が小さいほど、その画素位置でノイズ領域である確率が高いと判断される。正規化されたエッジ強度データＥ0 (x,y) の値が１．０に近いエッジ領域では、αE の値にかかわらずエッジ領域の重み付け係数ＷE (x,y) が１．０に近い大きい値となり、ノイズ領域の重み付け係数ＷG (x,y) は最も小さくなる。一方、正規化されたエッジ強度データＥ0 (x,y) が１．０より小さくなるに連れ、エッジ領域の重み付け係数ＷE (x,y) は最小値１−αE に近づき、ノイズ領域の重み付けデータＷG (x,y) は最大値αE に近づく。このようなαE は一定の値にデフォルト値として予め設定しておき、オペレータがこのデフォルト値によって画像処理された処理画像を見ながらαE の値を必要に応じて調整するようにしてもよい。
なお、αE が１の場合、正規化されたエッジ強度データＥO (x,y) 自身がエッジ領域の重み付け係数ＷE (x,y) となり、１．０−ＥO (x,y) がノイズ領域の重み付け係数ＷG (x,y) となる。
【００５６】
図４（ｆ）には、図４（ｅ）で示されるエッジ強度データから求まるノイズ領域の重み付け係数ＷG (x,y) の波形を示している。領域Ｅ1 およびＥ2 の付近でノイズ領域の重み付け係数ＷG (x,y) の値が小さくなっている。なお、領域Ｅ1 およびＥ2 の付近におけるノイズ領域の重み付け係数ＷG (x,y) の値は上記式（２７）で設定されるエッジ領域とノイズ領域の重み付けを設定する定数αE によって定まる。
【００５７】
次に、ノイズデータの識別・分離工程工程（ステップ１１０）について説明する。エッジ・ノイズ混在成分の抽出工程（ステップ１０４）で得られたシャープネス強調されたエッジ成分およびノイズ成分の混在する混在成分ΔＩEG(x,y) に、下記式（２９）で示されるように、ノイズ重付け係数計算工程（ステップ１０８）で得られたノイズ領域の重み付け係数ＷG (x,y) を乗算して、ノイズデータＧ0 (x,y) を求める。
Ｇ0 (x,y) ＝ΔＩEG(x,y) ×  ＷG (x,y)                 （２９）
図４（ｇ）には、図４（ｄ）に示される混在成分ΔＩEG(x,y) と図４（ｆ）に示されるノイズ領域の重み付け係数ＷG (x,y) を乗算して得られるノイズデータＧ0 (x,y) のプロファイル波形が示され、エッジ成分が支配的な領域Ｅ1 や領域Ｅ2 のエッジの信号成分が除去されていることがわかる。
【００５８】
次に、ノイズモトル抑制分布演算工程（ステップ１１２）について説明する。まず、原画像のノイズ領域の画素におけるノイズ抑制の広がりを表すノイズ抑制分布関数ｓ（ｒ）を式（１）のように設定する。ここでｒは、点Ｐをノイズ抑制の広がりの中心位置（原点）とする座標(x,y) に位置する注目画素の原点Ｐからの距離である。
ｓ（ｒ）＝  ｅｘｐ（−ｒ／ａ）                          （１）
すなわち、ｓ(x,y) ＝  ｅｘｐ（−（ｘ2 ＋ｙ2 ）(1/2) ／ａ）  と表される。
【００５９】
ここで、上式（１）中のａは、原画像の画素におけるノイズ抑制の広がりの範囲を調整する抑制範囲定数であり、予め与えられ、あるいは入力により設定される。抑制範囲定数ａが入力により設定される場合、ノイズ抑制を及ぼす範囲の境界の位置、すなわち抑制距離ｒs とこの位置での値ｓmin を定めることによって設定される。すなわち、抑制距離ｒs での値ｓmin から下記式（３０）によって抑制範囲定数ａを計算して求める。
ａ  ＝  −ｒs ／ｌｏｇ（ｓmin ）                    （３０）
【００６０】
ここで、ｓmin の値は０．１以上０．５以下であるのが好ましく、抑制距離ｒs の値は１以上１５以下の範囲の値であることが好ましい。特に、フィルムに記録された画像をスキャナ等で読み込んで原画像データを得る場合、抑制距離ｒs の値の設定は、フィルムフォーマット（フィルムの１コマの画像サイズ）やフィルムの種類や感度によって異なるフィルムの粒状（粒状モトル）の粗さ、およびフィルムを走査してディジタル画像データを得るスキャナの走査アパーチャサイズに応じて適宜変更することが好ましい。すなわち、粗い粒状（粒状モトルも大きい）の場合、抑制距離ｒs の値を大きくし、逆に細かい粒状の場合、抑制距離ｒs の値を小さくする。また、スキャナの走査アパーチャサイズに応じて適宜変更するのは、同じフィルムであっても、スキャナの走査アパーチャが１５μｍ□の場合と１０μｍ□とした場合、抑制範囲定数ａの値が同じでも、実際の画像密度が１．５倍、１０μｍ□の方の画像の画素密度が高くなり、粒状の粗さが変化するからである。
【００６１】
また、この抑制距離ｒs は、平滑化工程（ステップ１０２）における平均化のマスクサイズを大きくするとステップ１１０で得られるノイズデータＧ0 に含まれるノイズモトルの成分も大きくぼけて広がるため、このノイズモトルの成分を抑制するために抑制距離ｒs を大きくする必要がある。それゆえ、平滑化工程（ステップ１０２）における平均化のためのマスクサイズに応じて、抑制距離ｒs も適宜変更するとよい。
平滑化工程における平均化のためのマスクサイズは、３画素×３画素程度を最小マスクサイズとし、１１画素×１１画素程度を最大マスクサイズとするが、抑制範囲定数ａは、このマスクサイズより１．５倍〜２倍程度大きめの値とし、例えば、マスクサイズが３×３の場合、抑制距離ｒs の値を５程度とするのが好ましい。
【００６２】
このようなノイズ抑制分布関数ｓ（ｒ）として式（２）のような関数を設定してもよい。
ｓ（ｒ）＝  ｅｘｐ（−ｒ2 ／ａ2 ）                        （２）
ここで、ｒは、ノイズ抑制の広がりの中心位置からの距離である。
この場合、抑制範囲定数ａは、抑制距離ｒs とその位置での値ｓmin を用いて下記式（３１）によって求める。
ａ  ＝  ｒs ／［−ｌｏｇ（Ｓmin ）］(1/2)               （３１）
あるいは、ノイズ抑制分布関数ｓ（ｒ）として下記式（３）のような関数を設定してもよい。
ｓ（ｒ）＝  ｒｅｃｔ（ｒ／ａ）                            （３）
ここで、ｒｅｃｔ（ｒ／ａ）は、値が１の矩形関数でであり、ｒは、ノイズ抑制の広がりの中心位置からの距離である。
この場合、抑制範囲定数ａは、設定する抑制距離ｒs とする。また式（２）や式（３）においてｓmin ＝１とすることで式（１）と同一のノイズ抑制分布関数ｓ（ｒ）を得ることができる。
【００６３】
このようなノイズ抑制分布関数ｓ（ｒ）は、下記式（３２）に従って、０以上１以下のノイズ抑制分布関数ｓ1 (x,y) に正規化される。
ｓ1 (x,y) ＝  ｓ(x,y) ／Ｓ                                （３２）
ここで、Ｓは、下記式（３３）によって求まる積分値である。
【数４】
0004017312.tif 000007
図４（ｈ）には、式（１）を用いて得られるノイズ抑制分布関数ｓ(x,y) を式（３３）に従って正規化したノイズ抑制分布関数ｓ1 (x,y) の一例が示される。
【００６４】
次に、この正規化されたノイズ抑制分布関数ｓ1(x,y)とノイズデータＧ0 (x,y) とを用い、下記式（３４）のようにノイズ抑制の及ぼす範囲において畳み込み積分を行い、ノイズモトル抑制分布Ｍ(x,y) を算出する。
【数５】
0004017312.tif 000008
ここで算出するノイズモトル抑制分布Ｍ(x,y) は、ある注目画素位置(x,y) におけるノイズの、他の画素から受ける抑制の程度を畳み込み積分によって求めるものであって、原画像データＩ0 がフィルム画像からスキャナ等で読み取られた画像データである場合の、フィルム感光層中のハロゲン化銀粒子の現像時に生成される現像抑制物質の拡散分布に相当するもので、ノイズデータＧ0 の変動を感光材料の粒子の分布と見なして、原画像データＩ0 に含まれる、感光材料の銀粒子を中心にして生成される現像抑制物質の拡散分布に相当するノイズモトル抑制分布Ｍ(x,y) を求めるものである。
【００６５】
図４に示す例で説明すると、図４（ｇ）に示されるノイズデータＧ0 と図４（ｈ）に示されるノイズ抑制分布関数ｓ1(x,y)を用い、式（３４）に従って算出することで、図４（ｉ）に示されるようなノイズモトル抑制分布Ｍ(x,y) を得る。図４（ｉ）では、図中領域Ａや領域Ｂや領域Ｃに示される部分でノイズモトル抑制分布の値が大きくなり、この領域Ａ、領域Ｂおよび領域Ｃの部分では、銀塩感光材料にの場合、銀塩感光材料で生成される現像抑制物質の濃度が高くなっていることを意味するものである。
このようにしてノイズモトル抑制分布Ｍ(x,y) が算出される。
【００６６】
次に、ノイズモトル抑制成分演算工程（ステップ１１４）を説明する。
ノイズモトル抑制成分演算工程では、ステップ１１２で演算されて算出されたノイズモトル抑制分布Ｍ(x,y) を下記式（３５）で示すように、ステップ１１０で求めたノイズデータＧ0 に乗算することで、ノイズ抑制成分画像データＧ1 (x,y) を演算する。
Ｇ1 (x,y) ＝  Ｇ0(x,y)  ×  Ｍ(x,y)                     （３５）
【００６７】
ノイズモトル抑制分布Ｍ(x,y) をノイズデータＧ0 に乗算するのは、銀塩感光材料の場合、銀塩感光材料中で生成される現像抑制物質と銀粒子の作用に応じて抑制することを考慮するためである。図４に示す例では、図４（ｊ）にノイズ抑制成分画像データＧ1 (x,y) が示される。図４（ｊ）に示されるノイズ抑制成分画像データＧ1 (x,y) を図４（ｇ）に示されるノイズデータＧ0 と比較すると、領域Ａや領域Ｂや領域Ｃでは、それ以外の領域、例えば領域Ｅ1 や領域Ｅ2 に対して、値が相対的に大きくなっていることがわかる。
【００６８】
最後に、ノイズ抑制画像演算工程（ステップ１１６）について説明する。
ノイズ抑制画像演算工程では、ステップ１１４で求めたノイズ抑制成分画像データＧ1 (x,y) を、下記式（３６）で示すように、ノイズ抑制係数αを用いて変倍した後、ステップ１００で求めたシャープネス強調画像データＩS から減算し処理画像データＩ1 ’を求める。
Ｉ1'(x,y) ＝  Ｉ0(x,y)  −  α×Ｇ1(x,y)              （３６）
ここで、ノイズ抑制係数αは、ノイズ抑制の程度を制御する設定可能なパラメータであり、適宜設定入力される。あるいは、予めデフォルト設定値を設け、必要に応じて変更するものであってもよい。
その後、画像出力装置１６に適した画像データの変換を行って処理画像データＩ1 ’から処理画像データＩ1 を得る。
【００６９】
図４に示す例では、図４（ｋ）に示すような処理画像データＩ1 ' のプロファイル波形を得ることができ、領域Ａや領域Ｂや領域Ｃ等のノイズモトルの領域ではノイズが大きく除去され、それ以外のノイズ領域でもノイズが適切に除去されていることがわかる。しかも、図４（ａ）に示される原画像データＩ0 と比較して、領域Ｅ1 や領域Ｅ2 のエッジ領域はシャープネス強調されている。
【００７０】
上記画像処理方法は、写真感光材料等における粒状成分のように、粒状成分が一定の画素領域に影響を及ぼす、すなわち、粒状成分が他の画素の粒状成分に影響を及ぼす場合、粒状抑制のための画像処理として有効であるが、また、上記画像処理法は、他の画素のノイズ成分の影響を受けないＣＣＤやＭＯＳ撮像素子等を利用するデジタルカメラ等においても、他の画素の画像データを利用して傷欠陥補正等を行うことから、効果的に適用することができる。ＣＣＤ撮像素子としては、特開平１０−１３６３９１号に記載のハニカム配列のものにも適用される。
【００７１】
なお、ノイズ抑制のための画像処理方法として、特開平１１−２５０２４６号公報では、画像のエッジ強度から求めた圧縮係数をノイズ成分に乗じてノイズを抑制する方法が提案されているが、ノイズ領域では一定の圧縮係数が掛かるのでノイズの振幅が比例的に圧縮される。また、ノイズの振幅が大きくなる程圧縮率が高くなる圧縮係数を採用することで、すなわち、ノイズの揺らぎの大きさ（振幅）に非線形変換を施すことで、ノイズの揺らぎを上記公報に記載される画像処理方法より均一な方向にすることもできる。しかし、本発明の画像処理方法は、上記２つの方法のようにノイズの振幅に対して抑制処理を施すのと異なり、ノイズモトルのようにノイズ成分の揺らぎが空間的に大きく形成されるノイズ領域、例えば図４（ａ）で示される領域Ａや領域Ｂや領域Ｃに対してノイズ抑制を施す処理であり、ノイズの揺らぎが大きい場所でより大きく抑制し、ノイズの揺らぎを均一化することができる。
【００７２】
本発明の画像処理方法は以上のように説明される。
このような画像処理方法は、回路やハードウェアから成る上述した画像処理装置として構成してもよいし、あるいは、ソフトウェアとしてコンピュータの中で機能を発揮するようなプログラムであってもよく、この場合、上記方法を実行するためのプログラムを記録したコンピュータが読み取り可能な記録媒体、ＣＤ＝ＲＯＭ等として提供するものであってもよい。
【００７３】
このような本発明の画像処理方法を、銀塩カラー写真、例えば３５ｍｍカラーネガフィルムに撮影した写真画像に適用したところ、粒状とシャープネスともに、一見して判る程の顕著な改善効果を得ることができた。
特に、粒状について感光材料の微粒子化による粒状改良に匹敵する処理効果を持つため、従来の平均化や揺らぎの減少に基づく各種の粒状除去処理法の欠点であった「ぼけ粒状」的な不自然さや違和感がなくなった。また、シャープネスについては、上記粒状抑制と組み合わせることにより、粒状を悪化させずに、従来のアンシャープネスマスクやラプラシアンフィルタより大幅な強調効果が得られた。
また、デジタルスチルカメラで撮影した画像にも適用したところ、上記銀塩カラー写真によるカラー画像と同様に顕著な画質向上効果が得られた。
【００７４】
以上、本発明の画像処理方法、画像処理装置および記録媒体について詳細に説明したが、本発明は上記実施例に限定はされず、本発明の要旨を逸脱しない範囲において、各種の改良および変更を行ってもよいのはもちろんである。
【００７５】
【発明の効果】
以上、詳細に説明したように、本発明によれば、先ず原画像をシャープネス強調することによって、被写体画像とノイズの双方を鮮鋭化しておき、その画像から被写体輪郭とノイズ成分を抽出し、ノイズ成分を選択的に除去するので、ノイズがぼけて視覚的に不快に見える大きなむらを形成せず、コントラストの低い画像信号をノイズと誤認することもなく、ノイズ除去領域とシャープネス強調領域の境界に不自然なアーチファクトも形成しない。さらに、ノイズ成分の濃度揺らぎが空間的に粗い領域を抽出し選択的に大きく除去することによってノイズ成分を抑制しているので、ノイズモトル等のような大きく粗いノイズ成分を処理画像が含むことも少なく（濃度揺らぎが小さい）、従って、濃度揺らぎが均一化され、空間的にも細かいノイズにすることができ、視覚的にも自然なノイズの抑制を実現することができる。
【００７６】
また、本発明によると、ノイズが粒状である場合、粒状はシャープネス強調され、かつ、空間的に揺らぎの大きい粒状モトル等の粒状成分が除去・抑制され、粒状パターンが微細化、均一化されるので、銀塩写真の感光材料では微粒子乳剤を用いた時に得られるような細かい粒状となり、平滑化を用いた従来法の欠点であるぼけ粒状のような視覚的な違和感や不快感の無い自然な粒状抑制効果が得られる。また、本発明の画像処理法を銀塩カラー写真感光材料に適用することにより、従来の粒状抑制処理方法の欠点であった、いわゆる「ぼけ粒状」的な不自然さや違和感がなく、粒状が改善され、極めて顕著な改善効果を得ることができ、産業上大きな効果が得られる。
【図面の簡単な説明】
【図１】  本発明に係る画像処理装置を組み込んだ、カラー写真画像を読み取り、ノイズ抑制とシャープネス強調の画像処理を行い、出力装置でカラー画像を出力するシステムの一実施例を示すブロック図である。
【図２】  本発明に係る画像処理装置の、ノイズ抑制とシャープネス強調の画像処理を行う画像処理部の一実施例を示すブロック図である。
【図３】  本発明の画像処理方法の一実施例を示すブロック図である。
【図４】  （ａ）〜（ｋ）は、本発明の画像処理方法によって画像データが処理される一例を示す図である。
【符号の説明】
１０  カラー画像再生システム
１２  画像入力装置
１４  画像処理装置
１６  画像出力装置
１８  色・調子処理部
２０  ノイズ抑制画像処理部
２２  画像モニタ・画像処理パラメータ設定部
２６  平滑化処理部
２８  エッジ・ノイズ混在成分抽出部
３０  エッジ検出部
３２  ノイズ領域重み係数演算部
３４  ノイズ成分識別分離部
３６  ノイズ抑制分布関数設定部
３８  ノイズモトル抑制分布演算部
４０  ノイズ抑制成分演算部
４２  ノイズ抑制演算処理部
【図１】
0004017312.tif 000009
【図２】
0004017312.tif 000010
【図３】
0004017312.tif 000011
【図４】
0004017312.tif 000012