(57)【要約】【課題】  画像中におけるエッジとノイズとを判別するための閾値を画像の明るさのレベル毎に適切に求める。【解決手段】    色差ノイズレベル算出手段は、画像全体の色差ノイズレベルを算出する。輝度ノイズレベル推定手段は、色差ノイズレベルから画像全体の輝度ノイズレベルを推定する。調整手段は、画像が施された露光補正により画像中のノイズの振幅が受けた、明るさのレベル毎に異なるゲインに応じて画像全体のノイズレベルを調整して明るさのレベル毎の閾値を得る。【選択図】          図１５
2005275581.tif 000002
【特許請求の範囲】
【請求項１】
デジタル画像から、該デジタル画像におけるエッジとノイズとを判別するための閾値を求める画像処理方法において、
前記デジタル画像から該デジタル画像全体のノイズレベルを算出し、
該デジタル画像全体のノイズレベルに基づいて前記デジタル画像全体に対する前記閾値を求め、
前記デジタル画像の明るさのレベル毎に、該明るさのレベルに応じて前記デジタル画像全体に対する閾値を調整することによって前記デジタル画像の明るさのレベル毎の閾値を取得することを特徴とする画像処理方法。
【請求項２】
デジタル画像から、該デジタル画像におけるエッジとノイズとを判別するための閾値を求める画像処理方法において、
前記デジタル画像から該デジタル画像全体のノイズレベルを算出し、
前記デジタル画像の明るさのレベル毎に、該明るさのレベルに応じて前記デジタル画像全体のノイズレベルを調整することによって前記デジタル画像の明るさのレベル毎のノイズレベルを取得し、
該明るさのレベル毎のノイズレベルに基づいて、前記デジタル画像の明るさのレベル毎の前記閾値を求めることを特徴とする画像処理方法。
【請求項３】
前記デジタル画像が、原画像に対して明るさを変化させる明るさ変化処理が施されてなるものであり、
前記明るさ変化処理に起因する前記原画像におけるノイズの振幅の変化の度合いを前記デジタル画像の明るさのレベル毎に求め、
前記度合いに応じて前記デジタル画像全体に対する前記閾値または前記デジタル画像全体のノイズレベルを調整することを特徴とする請求項１または２記載の画像処理方法。
【請求項４】
デジタル画像から、該デジタル画像におけるエッジとノイズとを判別するための閾値を求める画像処理装置であって、
前記デジタル画像から該デジタル画像全体のノイズレベルを算出する全体ノイズレベル算出手段と、
該デジタル画像全体のノイズレベルに基づいて前記デジタル画像全体に対する前記閾値を求める全体閾値取得手段と、
前記デジタル画像の明るさのレベル毎に、該明るさのレベルに応じて前記デジタル全体に対する閾値を調整することによって前記デジタル画像の明るさのレベル毎の前記閾値を取得する調整手段とを有してなることを特徴とする画像装置。
【請求項５】
デジタル画像から、該デジタル画像におけるエッジとノイズとを判別するための閾値を求める画像処理装置であって、
前記デジタル画像から該デジタル画像全体のノイズレベルを算出する全体ノイズレベル算出手段と、
前記デジタル画像の明るさのレベル毎に、該明るさのレベルに応じて前記デジタル画像全体のノイズレベルを調整することによって前記デジタル画像の明るさのレベル毎のノイズレベルを取得する調整手段と、
該明るさのレベル毎のノイズレベルに基づいて、前記デジタル画像の明るさのレベル毎の前記閾値を求める閾値取得手段とを有してなることを特徴とする画像処理装置。
【請求項６】
前記デジタル画像が、原画像に対して明るさを変化させる明るさ変化処理が施されてなるものであり、
前記調整手段が、前記明るさ変化処理に起因する前記原画像におけるノイズの振幅の変化の度合いを前記デジタル画像の明るさのレベル毎に求め、
前記度合いに応じて前記デジタル画像全体に対する前記閾値または前記デジタル画像全体のノイズレベルを調整するものであることを特徴とする請求項４または５記載の画像処理装置。
【請求項７】
デジタル画像から、該デジタル画像におけるエッジとノイズとを判別するための閾値を求める処理をコンピュータに実行させるプログラムであって、
前記処理が、前記デジタル画像から該デジタル画像全体のノイズレベルを算出する全体ノイズレベル算出処理と、
該デジタル画像全体のノイズレベルに基づいて前記デジタル画像全体に対する前記閾値を求める全体閾値取得処理と、
前記デジタル画像の明るさのレベル毎に、該明るさのレベルに応じて前記デジタル全体に対する閾値を調整することによって前記デジタル画像の明るさのレベル毎の前記閾値を取得する調整処理とからなることを特徴とするプログラム。
【請求項８】
デジタル画像から、該デジタル画像におけるエッジとノイズとを判別するための閾値を求める処理をコンピュータに実行させるプログラムであって、
前記処理が、前記デジタル画像から該デジタル画像全体のノイズレベルを算出する全体ノイズレベル算出処理と、
前記デジタル画像の明るさのレベル毎に、該明るさのレベルに応じて前記デジタル画像全体のノイズレベルを調整することによって前記デジタル画像の明るさのレベル毎のノイズレベルを取得する調整処理と、
該明るさのレベル毎のノイズレベルに基づいて、前記デジタル画像の明るさのレベル毎の前記閾値を求める閾値取得処理とからなることを特徴とするプログラム。
【請求項９】
前記デジタル画像が、原画像に対して明るさを変化させる明るさ変化処理が施されてなるものであり、
前記調整処理が、前記明るさ変化処理に起因する前記原画像におけるノイズの振幅の変化の度合いを前記デジタル画像の明るさのレベル毎に求め、
前記度合いに応じて前記デジタル画像全体に対する前記閾値または前記デジタル画像全体のノイズレベルを調整する処理であることを特徴とする請求項７または８記載のプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はデジタル画像、特にスナップ写真画像のような自然画像中のエッジとノイズとを判別するための閾値を求める画像処理方法および装置並びにそのためのプログラムに関するものである。
【背景技術】
【０００２】
近年、デジタルスチルカメラ（以下デジタルカメラという）は急速に普及している。デジタルカメラは、光の情報を銀塩フィルムに結像させる代わりに、デジタルデバイス（ＣＣＤや光電子倍増管など）に結像させ、画像をデジタルデータ（以下デジタル画像という）として記録媒体に保存したり、直接コンピュータで利用したりすることができるので、画像処理を施したり保存するのに便利である。
【０００３】
また、従来の撮像方法により銀塩フィルムに光の情報を結像させて得た画像や、写真用紙や、紙などの印刷媒体に印刷して得た画像を、スキャナなどの読取装置で光電変換により読み取ってデジタルデータを、デジタルカメラにより取得されたデジタル画像と同じように保存したり、画像処理を施したりするなどのことも行われている。
【０００４】
このようなデジタル画像（以下略して画像という）は、モニタなどの表示装置に表示されたり、写真用紙にプリントされたりするなどで再生されるが、再生された画像に対して高品位な画質が期待されるので、デジタル画像に対して様々な画像処理を施す必要がある。
【０００５】
これらの画像処理のうち、画像の鮮鋭度を向上させたり、ノイズを抑制したりするなどの像構造変換処理は、処理後の画像の画質に対して大きな影響を与えるものであり、様々な方法が提案されている。また、単純にノイズを抑制するだけでは、画像中のエッジも抑制され、処理後の画像がぼけてしまうという問題があり、単純に鮮鋭度を向上させるだけでは、ノイズも強調され、処理後の画像の画質が良くないという問題があるため、画像に対して鮮鋭度を向上させると共に、ノイズを抑制することが望まれる。
【０００６】
特許文献１には、エッジを失わずにノイズの抑制を図る方法として、画像から高周波数成分の信号を抽出し、抽出した信号の絶対値が所定の閾値以下であればこの信号をノイズと判断して除去（コアリング処理）する一方、抽出した信号の絶対値が所定の閾値より大きければこの信号をエッジと判断して除去しないようにする方法が提案されている。
【０００７】
また、特許文献２にも、画像を鮮鋭化すると共に、ノイズを抑制する方法が提案されている。この方法は、まず、画像に対してローパスフィルタなどの平滑化フィルタによる平滑化処理を行って、ノイズが抑制された（エッジも抑制された）平滑画像を得、注目する画素を中心画素とし、中心画素から周囲画素の方向の微分値を求め、その値が所定の閾値以下である場合はノイズと見なしてコアリング処理により除去する一方、閾値より大きい値である場合はエッジとみなしてそれらの和をとり、１．０以上の定数を乗算することによって強調し、最後に強調された部分を平滑画像に加算するものである。
【０００８】
これらの方法は、画像中のエッジは大きな振幅を有することに対し、ノイズは小さな振幅のゆらぎとして現れることを利用し、画像中におけるノイズが取り得る振幅の大きさ（以下ノイズレベルという）を閾値として設定し、この閾値によりエッジとノイズとを判別、分離し、分離されたエッジを強調して鮮鋭度を向上させたり、ノイズを平滑化してノイズを抑制したりするなどの処理を行うものである。
【特許文献１】特開２０００−１７５０７８
【特許文献１】特表昭５７−５００３１１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
しかしながら、上述した像構造変換処理の方法は、エッジとノイズとを判別する際に、画像に対して一意な閾値を用いている。一方、画像、特にスナップ写真のような自然画像は、広範囲に亘る明るさを有するものであり、このような画像において、傾向的に明るい部分ほどノイズレベルが小さいことが知られている。そのため、画像に対してエッジとノイズとを判別するための閾値が画像の明るさに関係なく一意な値を用いると、エッジとノイズとの判別が適切にならず、この閾値によりエッジとノイズとを分離して像構造変換処理を行っても高品質な画質を有する処理済みの画像を得ることができないという問題がある。
【００１０】
そこで、画像中の明るさのレベル毎にノイズレベルを取得して明るさのレベル毎に閾値を設定する方法も考えられるが、自然画像の場合は、ノイズレベルを取得するための情報量の少ない明るさがあったり、異なる絵柄によってノイズレベルの取得が影響されたりするなどの場合があるため、直接に明るさのレベル毎に求められたノイズレベルの信頼性が低く、画像全体の整合性も取りにくいという問題がある。
【００１１】
本発明は、上記事情に鑑みてなされたものであり、画像の明るさのレベル毎に、エッジとノイズとを判別するための閾値を適切に求めることができる画像処理方法および装置並びにそのためのプログラムを提供することを目的とするものである。
【課題を解決するための手段】
【００１２】
本発明の第１の画像処理方法は、デジタル画像から、該デジタル画像におけるエッジとノイズとを判別するための閾値を求める画像処理方法において、
前記デジタル画像から該デジタル画像全体のノイズレベルを算出し、
該デジタル画像全体のノイズレベルに基づいて前記デジタル画像全体に対する前記閾値を求め、
前記デジタル画像の明るさのレベル毎に、該明るさのレベルに応じて前記デジタル画像全体に対する閾値を調整することによって前記デジタル画像の明るさのレベル毎の閾値を取得することを特徴とするものである。
【００１３】
本発明の第２の画像処理方法は、デジタル画像から、該デジタル画像におけるエッジとノイズとを判別するための閾値を求める画像処理方法において、
前記デジタル画像から該デジタル画像全体のノイズレベルを算出し、
前記デジタル画像の明るさのレベル毎に、該明るさのレベルに応じて前記デジタル画像全体のノイズレベルを調整することによって前記デジタル画像の明るさのレベル毎のノイズレベルを取得し、
該明るさのレベル毎のノイズレベルに基づいて、前記デジタル画像の明るさのレベル毎の前記閾値を求めることを特徴とするものである。
【００１４】
ここで、「デジタル画像」とは、デジタルカメラなどで被写体を撮像して得たデジタル画像は勿論、スキャナなどの読取装置で銀塩写真フィルムや、印刷物（例えばプリント）などにある画像を読み取って得たデジタル画像も含むものである。以下、説明上の便宜のため、単に画像というものも、デジタル画像を意味するものとする。
【００１５】
前述したように、画像において、明るさのレベルが異なると、該レベルの明るさを有する部位のノイズレベルも異なることが知られており、画像中の明るさのレベル毎にエッジとノイズとを判別するための閾値が望まれるが、明るさのレベル毎に直接ノイズレベルを算出するのでは、絵柄の影響などで適切なノイズレベルを得ることが難しいという問題がある。そこで、本発明の第１の画像処理方法は、まず、画像全体のノイズレベルを算出し、この全体のノイズレベルに基づいて画像全体に対する閾値を求める。そして、この画像全体に対する閾値に対して、明るさのレベルに応じた調整を加えることによって、明るさのレベル毎の閾値を得る。本発明の第２の画像処理方法は、まず、画像全体のノイズレベルを算出し、この画像全体のノイズレベルに対して、明るさのレベルに応じた調整を加えることによって明るさのレベル毎のノイズレベルを取得する。そして、この明るさのレベル毎のノイズレベルに基づいて、明るさのレベル毎の閾値を求める。
【００１６】
ここで、「ノイズレベル」とは、ノイズの振幅の大きさを表すことができるものであればよく、例えば、ノイズ分散値（ＲＭＳ粒状度ともいう）を用いることができる。
【００１７】
また、画像は、それを表す空間（ＲＧＢ、ＹＣｒＣｂ、ＬＣ１Ｃ２など）によって異なるチャンネルを有するものである。例えば、画像は、ＲＧＢ空間においてはＲ、Ｇ、Ｂの３チャネルの夫々の成分により表され、輝度色差空間（ＹＣｒＣｂ、ＬＣ１Ｃ２など）においては輝度、色差の３チャンネルの夫々の成分により表される。本発明において、どのチャンネルについてノイズレベルを算出するか、いくつのチャンネルのノイズレベルを算出するかについては、画像を表す空間の種類や、エッジとノイズを判別してから行う像構造変換処理の対象チャンネルなどによって、ノイズレベルを算出するチャンネルを決めるようにすればよい。例えば、デジタルカメラや、スキャナなどの画像を取得する装置において、光電変換素子の夫々のカラー画素で生じるノイズ量が大きく異なることは考えにくく、すなわち、Ｒ、Ｇ、Ｂ各色におけるノイズレベルがほぼ同じであるため、ＲＧＢ空間においては１つのチャンネルのみについてノイズレベルを算出すればよく、輝度色差空間においては、チャンネル毎にノイズレベルを算出するようにすることができる。
【００１８】
または、例えば輝度色差空間の各チャンネルのうち、輝度成分が人間の視覚への寄与が大きく、輝度成分に対して像構造変換処理（鮮鋭度を向上させる処理すなわち鮮鋭化処理および／またはノイズ抑制処理）を行うことによって大きな画質改善効果を得ることができる。そのため、輝度色空間において像構造変換処理を行う際に、輝度成分のみを処理対象とする場合、輝度成分に対してのみノイズレベルを算出すればよい。
【００１９】
また、画像全体のノイズレベルを求める際の手法としては、従来種々の方法を適用することができ、例えば、画像から濃淡変化の少ない（すなわちエッジが少ない）平坦部を抽出し、この平坦部のノイズ分散値を求めて画像全体のノイズレベルとしてもよい。この方法により求められた画像全体のノイズレベルは、あくまでも平坦部のノイズレベルであり、絵柄のある部分など平坦部以外の部分のノイズレベルを正しく評価するのには不足であるため、画像全体から画像のノイズレベルを求めることが好ましい。画像全体からノイズレベルを求める手法としては、例えば、画像全体から色差ノイズレベルを求め、輝度ノイズレベルについては、色差ノイズレベルから推定する方法を用いることができる。画像の輝度成分には、エッジとノイズとが混在し、エッジとノイズとの区別が難しく、輝度成分から直接輝度ノイズレベルを求めることが難しい。一方、画像、特にスナップ写真画像のような自然画像は、色差成分においてはノイズが存在するものの、エッジが少ないという特性を有する。本発明の画像処理方法は、下記のようにして輝度色差空間においてノイズレベルを算出することが好ましい。まず、画像中の色差成分におけるノイズレベル、すなわち色差ノイズレベルを算出する。そして、デジタルカメラなどの撮像装置や、スキャナなどの読取装置により取得された画像は、原理的に輝度と色差のノイズの発生原因が同じであるため、輝度と色差との関係を利用して、色差ノイズレベルから輝度ノイズレベルを推定する。具体的には、例えば、輝度と色差の空間としてのＹＣｒＣｂ空間は下記の式（１）により定義される。
【００２０】
Ｙ＝０．２９９×Ｒ＋０．５８７×Ｇ＋０．１１４×Ｂ
Ｃｒ＝０．５００×Ｒ−０．４１９×Ｇ−０．０８１×Ｂ    （１）
Ｃｂ＝−０．１６９×Ｒ−０．３３１×Ｇ＋０．５００×Ｂ
但し，Ｙ：輝度
Ｃｒ，Ｃｂ：色差
Ｒ，Ｇ，Ｂ：Ｒ値，Ｇ値，Ｂ値
ここで、例えば各成分のノイズレベルをＲＭＳ値、すなわちその成分の標準偏差σとすると、下記の式（２）に示す関係が成立する。
【００２１】
（σＹ）２＝（０．２９９×σＲ）２＋（０．５８７×σＧ）２
＋（０．１１４×σＢ）２
（σＣｒ）２＝（０．５００×σＲ）２＋（０．４１９×σＧ）２      （２）
＋（０．０８１×σＢ）２ 
（σＣｂ）２＝（０．１６９×σＲ）２＋（０．３３１×σＧ）２
＋（０．５００×σＢ）２
但し，σ：標準偏差
一方、前述したように、画像を取得する装置においては、光電変換素子の夫々のカラー画素で生じるノイズ量が大きく異なることは考えにくく、すなわち、Ｒ、Ｇ、Ｂ各色におけるノイズレベルをσＲ、σＧ、σＢとすると、下記の式（３）に示すように、各色のノイズ量がほぼ同じであると考えられる。
【００２２】
σＲ≒σＧ≒σＢ                （３）  
但し，σＲ，σＧ，σＢ：ノイズ量
式（２）と式（３）から、さらに下記の式（４）を推出することができる。
【００２３】
σＹ≒１．０２σＣｒ≒１．０７σＣｂ    （４）
但し，σＹ：輝度ノイズレベル
σＣｒ，σＣｂ：色差ノイズレベル
すなわち、色差ノイズレベルσＣｒまたはσＣｂが分かれば、輝度ノイズレベルσＹを式（４）に従って推定することができる。
【００２４】
また、例えば、輝度色差空間として、下記の式（５）により定義されるＬＣ１Ｃ２空間を用いれば、上記推定と同じように、式（６）のような、輝度ノイズレベルと色差ノイズレベルとの関係を得ることができる。
【００２５】
Ｌ＝０．２９９×Ｒ＋０．５８７×Ｇ＋０．１１４×Ｂ
Ｃ１＝−０．２９９×Ｒ−０．５８７×Ｇ＋０．８８６×Ｂ      （５）
Ｃ２＝０．７０１×Ｒ−０．５８７×Ｇ−０．１１４×Ｂ
但し，Ｌ：輝度
Ｃ１，Ｃ２：色差
σＬ≒σＣ１／１．６５≒σＣ２／１．３８          （６）
但し，σＬ：輝度ノイズレベル
σＣ１，σＣ２：色差ノイズレベル
また、色差ノイズレベルから輝度ノイズレベルを推定する上記の式（４）および式（６）は、Ｒ、Ｇ、Ｂの各色の成分がゲインを受けることがなく、または同じゲインを受けることを前提とした式（３）に基づいたものであり、画像を取得する装置において、ホワイトバランス処理がなされたり、各色の画素の感度設定が異なったりするなどの場合において、Ｒ、Ｇ、Ｂが異なったゲインを受ける可能性があるため、色差ノイズレベルから輝度ノイズレベルを推定する際に、１つの色差ノイズレベルから輝度ノイズレベルを推定するよりも、式（７）、式（８）に示すように、２つの色差ノイズレベルの平均値を用いて輝度ノイズレベルを推定することが好ましい。
【００２６】
σＹ≒（１．０２×σＣｒ＋１．０７×σＣｂ）／２          （７）
但し，σＹ：輝度ノイズレベル
σＣｒ，σＣｂ：色差ノイズレベル
σＬ≒（σＣ１／１．６５＋σＣ２／１．３８）／２    （８）
但し，σＬ：輝度ノイズレベル
σＣ１，σＣ２：色差ノイズレベル
さらに、例えば画像を取得する装置のカラーフィルタの透過率比や、ホワイトバランス処理などの画像処理条件から画像のＲ、Ｇ、Ｂ各色の受けるゲインが式（９）に示すように分かれば、そのゲインに応じて、下記の式（１０）、式（１１）に示すように色差ノイズレベルから輝度ノイズレベルを推定することがさらに好ましい。
【００２７】
Ｒ：Ｇ：Ｂ＝ｇｒ：１．０：ｇｂ                （９）
但し，ｇｒ，ｇｂ：ゲイン
【数１】
2005275581.tif 000003
【数２】
2005275581.tif 000004
【００２８】
ここで、輝度色差空間としてＹＣｒＣｂ空間、ＬＣ１Ｃ２空間と例としたが、Ｌ＊ａ＊ｂ空間などの輝度色差空間も同様に、色差ノイズレベルと輝度ノイズレベルとが所定の関係を有するため、他の輝度色差空間に対しても、色差ノイズレベルから輝度ノイズレベルを推定することができる。
【００２９】
また、通常、画像におけるノイズは、高周波数帯域ほどＳ／Ｎ比が低くなり、逆に低周波数帯域ほどＳ／Ｎ比が高くなるように周波数帯域によって異なる影響を与えるものである。Ｓ／Ｎ比が高いと、画像の元の信号とノイズとの混在程度が高くなり、ノイズレベルの評価が難しくなるため、高周波数帯域においてノイズレベルを算出することが望ましいが、画像を取得する装置において、画像がＪＰＥＧ圧縮処理、シャープネス補正処理などの画像処理が施されて出力されることが殆どであるため、その最も高い周波数帯域においてはノイズレベルを取得するための情報が失われていることが多く、この周波数帯域において取得されるノイズレベルが必ずしも適切ではない。そこで、本発明の画像処理方法において、画像からノイズレベルを算出する際に、最も高い周波数帯域以外の高周波数帯域、望ましくは最も高い周波数帯域の次の周波数帯域においてノイズレベルを算出することが好ましい。
【００３０】
さらに、画像を取得する装置から出力される画像は、拡大縮小処理、すなわち変倍処理がなされる場合があり、変倍処理された画像では、ノイズレベルを求めるのに適した周波数帯域も変るので、本発明の画像処理方法は、画像の変倍率に応じて、ノイズレベルを求める周波数帯域を決定し、前記画像に基づいて、該画像の前記周波数帯域の成分を表す帯域制限画像を作成し、該帯域制限画像から前記ノイズレベルを求めることが好ましい。
【００３１】
また、本発明の第１の画像処理方法は、画像の明るさのレベルに応じて、画像全体のノイズレベルに基づいて求められた画像全体に対する閾値を調整して明るさのレベル毎の閾値を取得するものであるのに対して、本発明の第２の画像処理方法は、画像全体のノイズレベルに対して明るさのレベルに応じた調整を加えることによって明るさのレベル毎のノイズレベルを取得し、この明るさのレベル毎のノイズレベルから明るさのレベル毎の閾値を求めるものであるが、ノイズレベルそのものを閾値とする場合には、画像全体のノイズレベルを調整することと、画像全体に対する閾値を調整することとが同じことであるため、この場合の本発明の第１の画像処理方法と第２の画像処理方法とが同じものとなる。
【００３２】
また、画像の明るさのレベルに応じて調整（画像全体に対する閾値の調整または画像全体のノイズレベルの調整）することは、画像の明るさのレベルに対応したノイズレベルの分布に応じて調整することを意味する。例えば、画像中の明るい部位（すなわち明るさのレベルが大きい部位）ほどノイズレベルが低い傾向を利用し、明るさが大きいほど、画像全体に対する閾値または画像全体のノイズレベルを小さくするように調整して明るさのレベル毎の閾値または明るさのレベル毎のノイズレベルを得るようにすることができる。
【００３３】
また、本発明の処理対象となるデジタル画像は、本発明の画像処理方法による処理の前に、何らかの画像処理が施されていることが多い。これらの画像処理は、デジタルカメラなどの画像取得装置内部において施されることもあれば、画像を転送する過程、例えばネットワーク上のサーバを経由して送信される過程中に施されることもある。これらの画像処理のうち、前述した変倍処理や、ホワイトバランス処理以外に、明るさを変化させる明るさ変化処理もある。明るさ変化処理は、その処理によって画像の明るさが変る処理を意味し、露光補正（ＡＥ補正）や、ガンマ補正や、ハイパートーン処理などを例として挙げることができる。
【００３４】
原画像が明るさ変換処理を施された場合、この明るさ変化処理によって、処理後の画像（本発明の処理対象のデジタル画像に当たる）におけるノイズの振幅の大きさは、原画像におけるノイズの大きさと異なるものとなる。ここで、本発明のデジタル画像が、デジタルカメラにより取得された原画像に対して露光補正が施されてなるものである場合を例にして説明する。
【００３５】
通常、露光補正が濃度空間において行われ、図１７は、濃度とデジタルカメラのＱＬ値との関係を示している。なお、ＱＬ値は、デジタルカメラの撮像素子に入った光量に対応し、撮像素子が飽和になるまで、光量が大きければ大きくなるものであるため、ＱＬ値が大きいほど、デジタル画像における明るさのレベルも大きい。
【００３６】
濃度空間において露光補正を行う際に、原画像全体に対して同じ補正量で濃度を補正するものであり、この補正によってＱＬ値が変化する。図１６は、露光補正によりＱＬ値にもたらした変化を示している。なお、図１６（ａ）、図１６（ｂ）は、濃度に対して夫々０．５、０．７を引いたことによる露光補正の場合のＱＬ値の変化を示している。露光補正によって、画像中のＱＬ値がその大きさによって変化する程度が異なり、図４の右側のゲインカーブに示すように、ＱＬ値が大きいほど、変化の程度（図中ゲイン）が小さい。図１６（ａ）の例では、補正前のＱＬ値が５０ならば、補正後のＱＬ値が１００に、補正前のＱＬ値が１００ならば補正後のＱＬ値が１８０に変化しており、すなわちこの露光補正によって、ＱＬ値が受けたゲインは、補正後のＱＬ値が５０、１００の場合において夫々２．５と２程度となっている。
【００３７】
一方、画像中のノイズの振幅の変化は、ＱＬ値の変化に対応するものであり、ＱＬ値が受けたゲインと同じゲインを、ノイズの振幅が受けることとなっている。例えば、図１６（ａ）の例において、５０である補正後のＱＬ値が、２．５程度のゲインを受けているため、５０である補正後のＱＬ値に対してノイズの振幅も２．５倍に増幅されることとなる。
【００３８】
すなわち、本発明の処理対象となるデジタル画像（例えば、図１６（ａ）に示す露光補正がなされた画像）におけるＱＬ値の大きさ毎に、ノイズの振幅が受けるゲインが異なる。
【００３９】
ここで、露光補正を例にして説明したが、ガンマ補正などの、画像の明るさを変化させる他の処理がなされた場合においても、ＱＬ値が受けたゲインを示すゲインカーブが、図１６に示すゲインカーブと異なるものの、ＱＬ値、およびノイズの振幅が受けたゲインは、ＱＬ値の大きさによって異なる。
【００４０】
本発明の画像処理方法は、このことに着目し、原画像に対して明るさを変化させる明るさ変化処理が施されてなるデジタル画像に対して、該明るさ変化処理に起因する前記原画像におけるノイズの振幅の変化の度合い（例えばノイズの振幅が受けたゲイン）を前記デジタル画像の明るさのレベル毎に求め、
前記度合いに応じて前記デジタル画像全体に対する前記閾値または前記デジタル画像全体のノイズレベルを調整することが好ましい。
【００４１】
本発明の第１の画像処理装置は、デジタル画像から、該デジタル画像におけるエッジとノイズとを判別するための閾値を求める画像処理装置であって、
前記デジタル画像から該デジタル画像全体のノイズレベルを算出する全体ノイズレベル算出手段と、
該デジタル画像全体のノイズレベルに基づいて前記デジタル画像全体に対する前記閾値を求める全体閾値取得手段と、
前記デジタル画像の明るさのレベル毎に、該明るさのレベルに応じて前記デジタル全体に対する閾値を調整することによって前記デジタル画像の明るさのレベル毎の前記閾値を取得する調整手段とを有してなることを特徴とするものである。
【００４２】
本発明の第２の画像処理装置は、デジタル画像から、該デジタル画像におけるエッジとノイズとを判別するための閾値を求める画像処理装置であって、
前記デジタル画像から該デジタル画像全体のノイズレベルを算出する全体ノイズレベル算出手段と、
前記デジタル画像の明るさのレベル毎に、該明るさのレベルに応じて前記デジタル画像全体のノイズレベルを調整することによって前記デジタル画像の明るさのレベル毎のノイズレベルを取得する調整手段と、
該明るさのレベル毎のノイズレベルに基づいて、前記デジタル画像の明るさのレベル毎の前記閾値を求める閾値取得手段とを有してなることを特徴とするものである。
【００４３】
本発明の画像処理装置における前記調整手段は、原画像に対して明るさを変化させる明るさ変化処理が施されてなるデジタル画像に対して、前記明るさ変化処理に起因する前記原画像におけるノイズの振幅の変化の度合いを前記デジタル画像の明るさのレベル毎に求め、
前記度合いに応じて前記デジタル画像全体に対する前記閾値または前記デジタル画像全体のノイズレベルを調整するものであることが好ましい。
【００４４】
また、本発明の画像処理方法を、コンピュータに実行させるプログラムとして提供してもよい。
【発明の効果】
【００４５】
本発明の第１の画像処理方法および装置によれば、画像におけるエッジとノイズとを判別するための閾値を画像の明るさのレベル毎に算出するのに当たり、まず、画像全体のノイズレベルを算出する。そして、該画像全体のノイズレベルに基づいて求められた画像全体に対する閾値を、画像の明るさのレベルに応じて調整することによって明るさのレベル毎の閾値を取得する。こうすることによって、画像の明るさのレベル毎に直接ノイズレベルを算出して閾値を求める方法より、ノイズレベルを算出するための情報量が画像の明るさによってばらついたり、画像の局部の絵柄に影響されたりするなどの要因により信頼性が低下されることを防ぐことができ、適切な閾値を取得することができる。
【００４６】
また、原画像に対して明るさ変化処理が施されたデジタル画像に対して、この明るさ変化処理に起因する前記原画像におけるノイズの振幅の変化の度合い、すなわち、原画像におけるノイズの振幅の大きさから、明るさ変化処理が施されて得た本発明のデジタル画像におけるノイズの振幅の大きさへの変化の度合いを明るさのレベル毎に求め、この度合いに応じて画像全体に対する閾値を調整するようにしてすれば、明るさのレベル毎の閾値をより正確に求めることができる。
【００４７】
本発明の第２の画像処理方法および装置についても同様である。
【発明を実施するための最良の形態】
【００４８】
以下、図面を参照して、本発明の実施形態について説明する。
【００４９】
図１は、本発明の実施形態となる画像処理装置の構成を示すブロック図である。なお、本発明の画像処理装置は、画像に対して、画像中のノイズを補正するための補正処理を行うものであり、補助記憶装置に読み込まれた補正処理プログラムをコンピュータ（たとえばパーソナルコンピュータ等）上で実行することにより実現される。また、この補正処理プログラムは、ＣＤ−ＲＯＭ等の情報記憶媒体に記憶され、もしくはインターネット等のネットワークを介して配布され、コンピュータにインストールされることになる。
【００５０】
また、画像データは画像を表すものであるため、以下、特に画像と画像データの区別をせずに説明を行う。
【００５１】
図１に示すように、本実施形態の画像処理装置は、拡大縮小処理および明るさ変化処理（ここでは、例として露光補正処理）がなされた画像Ｄ０（Ｒ０，Ｇ０，Ｂ０）を入力する画像入力手段１と、画像Ｄ０に対してＹＣＣ変換を行って画像Ｓ０（Ｙ０，Ｃｂ０，Ｃｒ０）を得るＹＣＣ変換手段５と、画像Ｓ０から、互いに周波数応答特性が異なる複数のボケ画像Ｓ１、Ｓ２、・・・Ｓｎ（ｎ：３以上の整数）を輝度Ｙ、色差Ｃｂ、色差Ｃｒ毎に作成するボケ画像作成手段１０と、画像Ｓ０およびボケ画像Ｓ１、Ｓ２、・・・Ｓｎを用いて複数の帯域制限画像Ｔ１、Ｔ２、・・・Ｔｎを輝度色差成分毎に作成する帯域制限画像作成手段２０と、各帯域制限画像からノイズを解析するための、色差成分の帯域制限画像Ｔｐｂ，Ｔｐｒを決定し、決定された帯域制限画像Ｔｐｂ，Ｔｐｒを用いて画像Ｓ０におけるノイズレベルを解析すると共に、画像Ｓ０におけるエッジとノイズとを判別するための閾値λを設定する閾値設定手段３０と、閾値設定手段３０により得られた閾値λに基づいて、画像Ｓ０に対してノイズ補正を行ってノイズ補正済み画像Ｓ´０を得るノイズ補正手段４０とを有してなる。以下、本実施形態の各構成の詳細について説明する。
【００５２】
画像入力手段１は、画像Ｄ０（Ｒ０，Ｇ０，Ｂ０）を入力すると共に、画像Ｄ０の付属情報などから、画像Ｄ０に対して施された拡大縮小処理の拡縮率αおよび露光補正処理の補正量Ｈも取得して閾値設定手段３０に出力する。
【００５３】
ＹＣＣ変換手段５は、上述した式（１）に従って、画像データＤ０のＲ、Ｇ、Ｂ値を輝度値Ｙ、色差値Ｃｂ、Ｃｒに変換する。
【００５４】
Ｙ＝０．２９９×Ｒ＋０．５８７×Ｇ＋０．１１４×Ｂ
Ｃｒ＝０．５００×Ｒ−０．４１９×Ｇ−０．０８１×Ｂ    （１）
Ｃｂ＝−０．１６９×Ｒ−０．３３１×Ｇ＋０．５００×Ｂ
但し，Ｙ：輝度
Ｃｒ，Ｃｂ：色差
Ｒ，Ｇ，Ｂ：Ｒ値，Ｇ値，Ｂ値
ボケ画像作成手段１０は、ＹＣＣ変換手段５により得られた画像Ｓ０を用いて画像Ｓ０の輝度色差成分毎に、複数のボケ画像を作成する。なお、ボケ画像作成手段１０は、各成分に対して同じ手法でボケ画像を作成するものであり、ここでは、輝度成分を例にして、ボケ画像作成手段１０の動作を説明する。図２は、ボケ画像作成手段１０の構成を示すブロック図である。図示のように、ボケ画像作成手段１０は、フィルタリング処理を行ってフィルタリング画像Ｂ１、Ｂ２、・・・Ｂｎを得るフィルタリング手段１２と、各フィルタリング画像に対して補間処理を行う補間手段１４と、フィルタリング手段１２および補間手段１４を制御する制御手段１６とを有してなるものである。フィルタリング手段１２は、ローパスフィルタを用いてフィルタリング処理を行うものであり、このローパスフィルタとしては、例えば図３に示すような５×１のグリッド状の１次元ガウス分布に略対応したフィルタＦを用いることができる。このフィルタＦは下記の式（１２）において、σ＝１としたものである。
【数３】
2005275581.tif 000005
【００５５】
フィルタリング手段１２は、このようなフィルタＦを用いて処理対象となる画像に対して画素のｘ方向およびｙ方向に対してフィルタリング処理を施すことにより処理対象の画像の全体のフィルタリング処理を行う。
【００５６】
図４は、ボケ画像作成手段１０の制御手段１６が、フィルタリング手段１２と補間手段１４に行わせる処理の詳細を示している。図示のように、フィルタリング手段１２は、まず、画像Ｓ０の輝度成分Ｙ０に対して、図３に示すフィルタＦを用いて１画素おきにフィルタリング処理を行う。このフィルタリング処理によってフィルタリング画像Ｂ１（Ｙ１）が得られる。フィルタリング画像Ｂ１のサイズは、画像Ｓ０のサイズの１／４（ｘ方向、ｙ方向に夫々１／２）となっている。次いで、フィルタリング手段１２は、フィルタリング画像Ｂ１（Ｙ１）に対しても１画素おきにフィルタＦによるフィルタリング処理を施し、フィルタリング画像Ｂ２（Ｙ２）を得る。フィルタリング手段１２は、このようなフィルタＦによるフィルタリング処理を繰り返し、ｎ個のフィルタリング画像Ｂｋ（ｋ＝１〜ｎ）を得る。フィルタリング画像Ｂｋのサイズは、画像Ｓ０のサイズの１／２２Ｋとなっている。図５は、例としてｎ＝３としたときに、フィルタリング手段１２により得られた各フィルタリング画像Ｂｋの周波数特性を示している。図示のように、フィルタリング画像Ｂｋのレスポンスはｋが大きいほど高周波成分が除去されたものとなっている。
【００５７】
なお、本実施形態の画像処理装置において、フィルタリング手段１２は、図３に示すフィルタＦにより画像のｘ方向およびｙ方向に対してフィルタリング処理を施すようにしているが、図６に示すような５×５の２次元フィルタにより画像Ｓ０およびフィルタリング画像Ｂｋに対して一度にフィルタリング処理を施すようにしてもよい。
【００５８】
補間手段１４は、フィルタリング手段１２により得られた各フィルタリング画像Ｂｋに対して補間処理を行って、夫々のフィルタリング画像Ｂｋのサイズを画像Ｓ０と同じようにする。補間処理の方法は、Ｂスプラインによる方法など種々挙げられるが、本実施形態においては、フィルタリング手段１２は、ローパスフィルタとしてガウス信号に基づくフィルタＦを用いているため、補間手段１４は、補間処理の補間演算を行うための補間係数としてもガウス信号を用いるものであり、この補間係数は、下記の式（１３）において、σ＝２Ｋ−１と近似したものである。
【数４】
2005275581.tif 000006
【００５９】
フィルタリング画像Ｂ１を補間する際に、ｋ＝１であるため、σ＝１となる。上記式（１３）においてσ＝１としたときの補間を行うためのフィルタは、図７に示すような５×１の１次元フィルタＦ１となる。補間手段１４は、まず、フィルタリング画像Ｂ１に対して１画素おきに値が０の画素を１ずつ補間することによりフィルタリング画像Ｂ１を画像Ｓ０と同じサイズに拡大し、次いで拡大された画像に対して図７に示すフィルタＦ１によりフィルタリング処理を施してボケ画像Ｓ１を得る。このボケ画像Ｓ１は、画像Ｓ０と同じ画素数、すなわち画像Ｓ０と同じサイズを有する。
【００６０】
ここで、図７に示すフィルタＦ１は５×１のフィルタであるが、フィルタＦ１を適用する前にフィルタリング画像Ｂ１に対して１画素おきに値が０である画素を補間しているので、補間手段１４による補間処理は、実質的には２×１のフィルタ（０．５，０．５）および３×１のフィルタ（０．１，０．８，０．１）の２種類のフィルタによるフィルタ処理と等価である。
【００６１】
補間手段１４は、フィルタリング画像Ｂ２に対して補間を行う際に、ｋ＝２であるため、σ＝２である。上記の式（１３）において、σ＝２に対応するフィルタは、図８に示す１１×１の１次元フィルタＦ２となる。補間手段１４は、まず、フィルタリング画像Ｂ２に対して１画素おきに値が０である画素を３つずつ補間することによりフィルタリング画像Ｂ２を画像Ｓ０と同じサイズに拡大し、次いで拡大された画像に対して図８に示すフィルタＦ２によりフィルタリング処理を施してボケ画像Ｓ２を得る。ボケ画像Ｓ２は、画像Ｓ０と同じ画素数、すなわち画像Ｓ０と同じサイズを有する。
【００６２】
同じように、図８に示すフィルタＦ２は１１×１のフィルタであるが、フィルタＦ２を適用する前にフィルタリング画像Ｂ２に対して１画素おきに値が０である画素を３つずつ補間しているので、補間手段１４による補間処理は、実質的には２×１のフィルタ（０．５，０．５）および３×１のフィルタ（０．３，０．６５，０．０５）、（０．３，０．７４，０．１３）、（０．０５，０．６５，０．３）の４種類のフィルタによるフィルタ処理と等価である。
【００６３】
補間手段１４は、このように各フィルタリング画像Ｂｋに対して夫々、１画素おきに値が０である画素を（２Ｋ−１）個ずつ補間することにより、フィルタリング画像Ｂｋを画像Ｓ０と同じサイズに拡大し、そして値が０である画素が補間されたフィルタリング画像Ｂｋに対して、上記の式（１３）に基づいて作成された長さが（３×２Ｋ−１）であるフィルタによるフィルタリング処理を施してボケ画像Ｓｋを得る。
【００６４】
図９は、例としてｎ＝３としたときに、ボケ画像作成手段１０により得られた各ボケ画像Ｓｋの周波数特性を示している。図示のように、ボケ画像Ｓｋは、ｋが大きいほど、画像Ｓ０の高周波成分が除去されたものとなっている。
【００６５】
帯域制限画像作成手段２０は、ボケ画像作成手段１０により得られた各ボケ画像Ｓ１，Ｓ２，・・・Ｓｎを用いて、下記の式（１４）に従って画像Ｓ０の複数の周波数帯域毎の成分を表す帯域制限画像Ｔ１，Ｔ２，・・・Ｔｎを作成する。
【００６６】
Ｔｍ＝Ｓ（ｍ−１）−Ｓｍ                  （１４）
但し，ｍ：１以上ｎ以下の整数
図１０は、例としてｎ＝３としたときに、帯域制限画像作成手段２０により得られた各帯域制限画像Ｔｍの周波数特性を示している。図示のように、帯域制限画像Ｔｍは、ｍが大きいほど、画像Ｓ０の低周波数領域における成分を表すものとなっている。
【００６７】
このようにして、ボケ画像作成手段１０と帯域制限画像作成手段２０は、画像Ｓ０から、輝度Ｙ、色差Ｃｒ、色差Ｃｂ毎の帯域制限画像Ｔ１，Ｔ２，・・・Ｔｎを作成する。
【００６８】
閾値設定手段３０は、画像Ｓ０におけるエッジとノイズとを判別するための閾値λを求めるものである。なお、この閾値λは、画像Ｓ０の各成分に対して求めてもよいが、本実施形態において、輝度成分が人間の視覚への寄与が大きいことから、輝度成分のみに対してノイズ補正を行うため、閾値設定手段３０は、輝度成分の閾値λを求めるものとなる。図１１は、閾値設定手段３０の構成を示すブロック図である。
【００６９】
図１１に示すように、閾値設定手段３０は、画像入力手段１から得られた画像Ｄ０の拡縮率αに応じて、ノイズレベルを解析するための帯域制限画像（ここでは、色差成分の帯域制限画像）Ｔｐｂ，Ｔｐｒを決定する帯域決定手段３１と、決定された帯域制限画像を用いて、色差ノイズレベルσＣｒ，σＣｂを算出する色差ノイズレベル算出手段３５と、色差ノイズレベル算出手段３５により得られた色差ノイズレベルを用いて輝度ノイズレベルσＹを推定する輝度ノイズレベル推定手段３８と、輝度ノイズレベル推定手段３８により得られた輝度ノイズレベルσＹに対して調整を行って、輝度毎のノイズレベルλ（Ｙ）を取得する調整手段３９とを備えてなる。
【００７０】
帯域決定手段３１は、できるだけ高周波数帯域、かつ拡縮率αが大きいほど選択する周波数領域の周波数帯域を低くするように、ノイズレベルを算出するための帯域制限画像を決定するものである。図１２は、本実施形態における帯域決定手段３１が帯域制限画像を決定する態様の例を示している。図示の例では、０．７５以下、０．７５〜１．２５、１．２５より大きいの各拡縮率αに対して、帯域決定手段３１は、夫々Ｔ１、Ｔ２、Ｔ３を選択するようにノイズレベルを算出するための帯域制限画像Ｔｐｂ，Ｔｐｒを決定する。なお、帯域決定手段３１は、帯域制限画像Ｔｐｂ，Ｔｐｒを色差ノイズレベル算出手段３５に出力すると共に、帯域制限画像Ｔｐｂ，Ｔｐｒに対応する周波数帯域の輝度成分の帯域制限画像ＴｐＹも色差ノイズレベル算出手段３５に出力する。
【００７１】
色差ノイズレベル算出手段３５は、帯域決定手段３１により決定された帯域制限画像ＴｐｂおよびＴｐｒを用いて、色差ノイズレベルσＣｂ、σＣｒを求める。図１３は、色差ノイズレベル算出手段３５の構成を示すブロック図である。図示のように、色差ノイズレベル算出手段３５は、輝度エッジ画素除去手段３２と、色差エッジらしい成分除去手段３４と、標準偏差算出手段３６とを備えてなる。輝度エッジ画素除去手段３２は、色差成分の帯域制限画像Ｔｐｂ、Ｔｐｒと共に出力されてきた輝度成分の帯域制限画像ＴｐＹの各画素の輝度値に基づいて、所定の閾値以上の輝度値を有する画素を輝度エッジ画素として、色差成分の帯域制限画像ＴｐｂおよびＴｐｒから、この輝度エッジらしい画素に対応する画素を除去する。なお、ここでの「閾値」は、ノイズの振幅として不可能なほどの大きさに対応し、エッジとしてしか考えられない画素を除去するために十分小さな値である。
【００７２】
次いで、色差エッジらしい成分除去手段３４は、輝度エッジ画素が除去された後の帯域制限画像ＴｐｂおよびＴｐｒから色エッジらしい成分を除去する。なお、色差ノイズレベル算出手段３５の各手段は、ＴｐｂとＴｐｒに対して同じ動作をするので、以下帯域制限画像Ｔｐｂ、Ｔｐｒを特に区別せず、Ｔｐにして説明を行う。
【００７３】
色差エッジらしい成分除去手段３４は、輝度エッジ画素が除去された帯域制限画像Ｔｐに対して、色差の絶対値のヒストグラムを作成し、このヒストグラムにおいて所定のパーセンテージ（例えば８０％や、９０％など）より大きい頻度を有する色差値を、色差エッジらしい成分として除去する。
【００７４】
標準偏差算出手段３６は、色差の絶対値のヒストグラムにおいて、色差エッジらしい成分除去手段３４により色差エッジらしい成分を除去された後の色差値を用いて色差の標準偏差を算出して色差ノイズレベルσＣｒ、σＣｂを得る。なお、ここで、算出された色差の標準偏差に対して、色差エッジらしい成分除去手段３４に用いられたパーセンテージに応じて補正を行って得た値を色差ノイズレベルとするようにしてもよく、こうすることによって色差エッジらしい成分として除去された色差値がノイズの色差値であるとしても妥当なノイズレベルを得ることができる。具体的には、ヒストグラムが完全な正規分布であると仮定すると、０％〜９０％の頻度を有する色差値を用いて算出した標準偏差は、全ての色差値を用いて算出した標準偏差の略０．７９倍となるので、例えば、９０％以上の頻度を有する色差値を色差エッジらしい成分として除去した場合、色差エッジらしい成分以外の色差値を用いて算出した標準偏差に対して、０．７９の逆数となる１．２７を乗算するように補正すればよい。同じように、閾値として８０％または７０％を用いた場合、標準偏差に対して夫々１．５１または１．７８を乗算するようにすればよい。
【００７５】
色差ノイズレベル算出手段３５は、このようにして画像Ｓ０全体の色差ノイズレベルσＣｒ、σＣｂを取得する。
【００７６】
輝度ノイズレベル推定手段３８は、色差ノイズレベル算出手段３５により得られた色差ノイズレベルσＣｒ、σＣｂから画像Ｓ０全体の輝度ノイズレベルを推定する。本実施形態において、輝度色差空間としてＹＣｒＣｂを用いるため、輝度ノイズレベル推定手段３８は、上述した式（７）に従って、色差ノイズレベルσＣｒ、σＣｂから輝度ノイズレベルσＹを推定する。
【００７７】
σＹ≒（１．０２×σＣｒ＋１．０７×σＣｂ）／２          （７）
但し，σＹ：輝度ノイズレベル
σＣｒ，σＣｂ：色差ノイズレベル
調整手段３９は、輝度ノイズレベル推定手段３８により得られた輝度ノイズレベルσＹ（画像全体の輝度ノイズレベル）に対して、画像入力手段１から得られた露光補正量Ｈおよび明るさのレベル（ここでは帯域制限画像ＴｐＹにおける輝度値）に応じた調整を行うことによって、輝度値毎のノイズレベルを取得して画像Ｓ０の明るさのレベル毎の閾値λ（Ｙ）とする。
【００７８】
前述したように、露光補正によって画像中のノイズの振幅が受けたゲインは、ＱＬ値の大きさによって異なる。また、露光補正の補正量Ｈが異なると、ノイズの振幅が受けたゲインを示すゲインカーブも異なる。図１４は、露光補正として濃度を０．５、０．７を引いた夫々の場合の、ノイズの振幅が受けるゲインを示すゲインカーブであり、図中点線は、濃度０．５を引いたときのゲインカーブであり、図中実線は、濃度０．７を引いたときのゲインカーブである。
【００７９】
調整手段３９は、図１４に示すような、補正量Ｈ毎に異なるゲインカーブから、画像入力手段１から得られた補正量Ｈに対応するゲインカーブを選択して、選択されたゲインカーブを用いて、輝度ノイズレベル推定手段３８により得られた輝度ノイズレベルσＹを調整して輝度値毎のノイズレベルλ（Ｙ）を求め、この輝度毎のノイズレベルλ（Ｙ）を画像Ｓ０におけるエッジとノイズとを判別するための閾値としてノイズ補正手段４０に出力する。なお、図１４は、ＱＬ値毎にノイズの振幅が受けたゲインを示しているが、ＱＬ値と輝度値との対応関係から、輝度値毎にノイズの振幅が受けたゲインを換算すればよい。
【００８０】
調整手段３９は、図１４に示すようなゲインカーブを用いて輝度ノイズレベルσＹの調整を行うが、その具体的な手法としては、例えば、図１５に示すように、ノイズレベルσＹを画像中の代表ＱＬ値に対応させて調整しない（調整倍数が１である）ことにし、代表ＱＬ値以外のＱＬ値が受けたゲインと、代表ＱＬ値が受けたゲインとの比を該当するＱＬ値に対応した調整倍数とすることができる。図１５に示すように、このような調整は、画像全体のノイズレベル（ここでは輝度ノイズレベルσＹ）から、明るい部位ほどその閾値（本実施形態の例ではノイズレベルと同じである）を下げ、暗い部位ほどその閾値を上げるものである。
【００８１】
また、代表ＱＬ値としては、画像の輝度Ｙのダイナミックレンジの中間値や、その累積ヒストグラムの５０％点とすることができる。
【００８２】
閾値設定手段３０は、このようにして得たλ（Ｙ）を、画像Ｓ０の輝度成分におけるエッジとノイズとを判別するための輝度値毎の閾値としてノイズ補正手段４０に出力する。
【００８３】
ノイズ補正手段４０は、閾値設定手段３０により得られた輝度値毎の閾値λ（Ｙ）を用いて、画像Ｓ０の輝度成分に対してノイズ補正処理を行うものである。なお、ここのノイズ補正処理は、特許文献１、特許文献２に記載され方法は勿論、エッジとノイズとを判別する閾値を用い、閾値より小さい振幅を有する成分をノイズ成分として抑制し、および／または閾値以上の振幅を有する成分をエッジ成分として強調するいかなるノイズ補正処理の方法を用いてもよい。これらの方法でノイズ補正処理を行う際に、明るさのレベル毎（本実施形態においては輝度値毎）の閾値を適用すればよい。
【００８４】
以上、本発明の望ましい実施形態について説明したが、本発明は、上述した実施形態に限られるものではなく、本発明の主旨を逸脱しない限り、様々な増減、変更を行うことができる。
【００８５】
例えば、本実施形態において、輝度成分が人間の視覚に最も大きく寄与することから、輝度成分のみに対してノイズ補正処理を行うようにしているが、輝度、色差の各チャンネル毎の閾値を求めて、各チャンネルに対してノイズ補正処理を行うようにしてもよい。
【００８６】
また、ボケ画像の作成方法、帯域制限画像の作成方法も、本実施形態に用いられた方法に限らず、従来の種々の方法を適用してもよい。
【００８７】
また、露光補正処理がなされた画像だけではなく、ガンマ補正、ハイパートーンなど画像の明るさを変化させる処理がなされた画像に対しても、その処理によって画像中のノイズの振幅が受けたゲインの態様に応じて画像全体のノイズレベルまたは画像全体に対する閾値を調整して明るさ毎の閾値を求めることができる。
【００８８】
また、画像が、明るさ変化処理が施されたものであるか、どのような明るさ変化処理が施されたか、明るさがどのぐらい変化したか（その明るさ変化処理の補正量）などが把握できない場合には、画像中のノイズレベルの分布傾向に応じて、画像全体に対する閾値または画像全体のノイズレベルに対して、明るい部位ほど小さくなるように調整して画像の明るさのレベル毎の閾値を得るようにしてもよい。
【図面の簡単な説明】
【００８９】
【図１】本発明の実施形態となる画像処理装置の構成を示すブロック図
【図２】図１に示す画像処理装置におけるボケ画像作成手段１０の構成を示すブロック図
【図３】図２に示すボケ画像作成手段１０におけるフィルタリング手段１２が用いる１次元フィルタＦの例を示す図
【図４】図２に示すボケ画像作成手段１０において行われる処理を示す図
【図５】図２に示すボケ画像作成手段１０におけるフィルタリング手段１２により作成されたフィルタリング画像Ｂｋの周波数特性を示す図
【図６】図２に示すボケ画像作成手段１０におけるフィルタリング手段１２が用いる２次元フィルタの例を示す図
【図７】図２に示すボケ画像作成手段１０における補間手段１４がフィルタリング画像Ｂ１の補間に用いるフィルタＦ１の例を示す図
【図８】図２に示すボケ画像作成手段１０における補間手段１４がフィルタリング画像Ｂ２の補間に用いるフィルタＦ２の例を示す図
【図９】図２に示すボケ画像作成手段１０により作成されたボケ画像Ｓｋの周波数特性を示す図
【図１０】図１に示す本発明の実施形態の画像処理装置における帯域制限画像作成手段２０により作成された帯域制限画像Ｔｋの周波数特性を示す図
【図１１】図１に示す本発明の実施形態の画像処理装置における閾値設定手段３０の構成を示すブロック図
【図１２】図１１に示す閾値設定手段３０における帯域決定手段３１を説明するための図
【図１３】図１１に示す閾値設定手段３０における色差ノイズレベル算出手段３５の構成を示すブロック図
【図１４】濃度補正が施された画像におけるノイズの振幅が受けたゲインを示す図
【図１５】図１１に示す閾値設定手段３０における調整手段３９による処理を説明するための図
【図１６】露光補正によりＱＬ値が受けたゲインを示す図
【図１７】濃度とＱＬ値の関係を示す図
【符号の説明】
【００９０】
１    画像入力手段
５    ＹＣＣ変換手段
１０    ボケ画像作成手段
１２    フィルタリング手段
１４    補間手段
１６    制御手段
２０    帯域制限画像作成手段
３０    閾値設定手段
３１    帯域決定手段
３２    輝度エッジ画素除去手段
３４    色差エッジらしい成分除去手段
３５    色差ノイズレベル算出手段
３６    標準偏差算出手段
３８    輝度ノイズレベル推定手段
３９    調整手段  
【図１】
2005275581.tif 000007
【図２】
2005275581.tif 000008
【図３】
2005275581.tif 000009
【図４】
2005275581.tif 000010
【図５】
2005275581.tif 000011
【図６】
2005275581.tif 000012
【図７】
2005275581.tif 000013
【図８】
2005275581.tif 000014
【図９】
2005275581.tif 000015
【図１０】
2005275581.tif 000016
【図１１】
2005275581.tif 000017
【図１２】
2005275581.tif 000018
【図１３】
2005275581.tif 000019
【図１４】
2005275581.tif 000020
【図１５】
2005275581.tif 000021
【図１６】
2005275581.tif 000022
【図１７】
2005275581.tif 000023