(57)【特許請求の範囲】
【請求項１】
入力画像の注目画素と前記注目画素を中心として前記注目画素の周辺の複数の画素とから構成される画素ブロックを抽出する抽出手段と、
前記注目画素を中心にして交差する複数の方向の各々について、前記画素ブロックを構成する画素の画素データ値のそれぞれの２次微分値を求める２次微分値算出手段と、
前記それぞれの２次微分値のうちで、当該２次微分値の絶対値の最大値と最小値との差に基づいて、前記画素ブロックに対応する平滑化閾値εを設定する閾値設定手段と、
前記画素ブロックを構成する画素のうちで、前記注目画素の画素データ値との差分の絶対値が前記平滑化閾値ε以下となる画素データ値を有する画素に対して、平滑化を行なう平滑化手段と
からなるノイズ低減装置。
【請求項２】
注目画素を中心にして交差する複数の方向は、
画素ブロックの縦方向と横方向と右下がり斜め方向と右上がり斜め方向との４方向であること
を特徴とする請求項１に記載のノイズ低減装置。
【請求項３】
画素ブロックは注目画素を中心とする３ｘ３画素から構成されており、
各々の２次微分値を求めるそれぞれの方向をｕ（ｕ＝Ａ，Ｂ，Ｃ，Ｄ）とし、
前記ｕに略直交する方向をｖ（ｖ＝０，１，２）とし、
略ｖの方向に並んだ３画素からなる画素集まりにそれぞれ番号ｗ（ｗ＝０，１，２）を付け、
前記画素ブロックを構成する各画素の画素データ値をｚｗｖと表記し、
前記ｖ方向の重み付け計数をｂｖとした際に、
２次微分値算出手段は、次の３つの式によって２次微分値の絶対値｜Δｕ｜を求めることを特徴とする請求項１または２のいずれかに記載のノイズ低減装置。
【数１】
0004375464.tif 000012
【数２】
0004375464.tif 000013
【数３】
0004375464.tif 000014
【請求項４】
２次微分値の絶対値の最大値と最小値の差が第１の設定閾値Ｔｄ１よりも大きいときには、平滑化閾値εの値を所定の値よりも小さくすること
を特徴とする請求項１乃至３のいずれか１項に記載のノイズ低減装置。
【請求項５】
２次微分値の絶対値の最大値と最小値の差が第２の設定閾値Ｔｄ２よりも小さいときには、平滑化閾値εの値を所定の値よりも大きくすること
を特徴とする請求項１乃至３のいずれか１項に記載のノイズ低減装置。
【請求項６】
複数のフレームのうちの第１のフレームに対応した入力画像の注目画素と前記注目画素を中心として前記注目画素の周辺の複数の画素とから構成される第１の画素ブロックを抽出する抽出手段と、
前記注目画素を中心にして交差する複数の方向の各々について、前記第１の画素ブロックを構成する画素の画素データ値のそれぞれの２次微分値を求める２次微分値算出手段と、
前記それぞれの２次微分値のうちで、当該２次微分値の絶対値の最大値と最小値との差に基づいて、平滑化閾値εを設定する閾値設定手段と、
前記第１の画素ブロックを構成する画素のうちで、前記注目画素の画素データ値との差分の絶対値が前記平滑化閾値ε以下となる画素データ値を有する画素に対して平滑化を行なうとともに、前記複数のフレームのうちの前記第１のフレームとは異なる第２のフレームの第２の画素ブロックを構成する画素のうちで、前記注目画素の画素データ値との差分の絶対値が前記平滑化閾値ε以下となる画素データ値を有する画素に対して平滑化を行なう平滑化手段と
からなるノイズ低減装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、デジタル化された画像に含まれるノイズを低減するノイズ低減装置に関するものであり、特に、入力画像のフィルタ処理を行うノイズ低減装置に関するものである。
【背景技術】
【０００２】
携帯電話端末やデジタルカメラ等の画像の記録ないしは再生を行なう画像情報機器では、画質を向上させるために、デジタル化された画像のノイズを低減する処理が一般的に行なわれている。このノイズを低減する処理を行なうノイズ低減装置において、特に、入力画像の注目画素とその周辺画素のうちで、注目画素との輝度の階調レベル差が平滑化閾値ε以下となる画素のみに平滑化処理を施すという、いわゆるεフィルタを用いたノイズ低減処理がよく行なわれている。
【０００３】
ところで、デジタル化された画像のノイズは、画像のエッジやそのエッジ近傍に生じることが多い。このようなノイズは、エッジ等の輝度の濃淡変化の大きな領域において顕著となるという特徴がある。
【０００４】
そこで、従来のノイズ低減装置では、入力画像に対して、エッジ等の輝度の濃淡変化の大きな領域の画素を検出し、濃淡変化の大きな領域の画素には濃淡変化の小さいテクスチャ部分よりもεフィルタの平滑化閾値εを大きな値に設定することが行なわれていた。具体的には、複数の画素からなる画素ブロック内の注目画素毎に輝度における４方向の１次微分値（１階差分値）の絶対値の最大値に基づいて、注目画素がエッジ領域に含まれているか否かを判定し、注目画素がエッジ領域に含まれていない場合は、閾値εの値を注目画素がエッジ領域に含まれている場合よりも小さく設定するようにしていた（例えば、特許文献１参照）。
【０００５】
また、従来の別のノイズ低減装置では、入力画像に対して、複数の画素からなる画素ブロック内の画素の輝度値の平均値を算出し、その画素ブロック内の各画素との１階差分を絶対値化したものを加算合計し、予め設定したエッジ判定閾値と比較を行なうことで、この画素ブロック内にエッジが含まれているか否かを判定し、エッジが含まれている場合はεフィルタを用いたノイズ低減処理を行なうが、エッジが含まれていない場合はεフィルタを用いたノイズ低減処理を行なわないようにしていた（例えば、特許文献２参照）。
【０００６】
【特許文献１】特開平９−２４７６７４号公報（第６〜７頁、第１図）
【特許文献２】特開２００４−２８２４４２号公報（第５〜６頁、第１図）
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかし、入力画像のエッジ領域全体にεフィルタを用いたノイズ低減処理を行なった場合、エッジの立ち上がり開始点付近とエッジの立ち上がり終了点付近において、輝度のプロファイル形状が顕著に鈍ってしまうという問題があった。そして、上記のような従来のノイズ低減装置及び従来の別のノイズ低減装置のいずれにおいても、入力画像の複数の画素からなる画素ブロック内の画素の輝度における１次微分ないしは１階差分を行い、その１次微分値ないしは１階差分値の絶対値に基づいてエッジ領域の判定をするように構成されていたので、εフィルタを用いた平滑化処理が施されるエッジ領域はエッジの立ち上がり開始点付近及びエッジの立ち上がり終了点付近のいずれをも含むエッジ領域全体であり、エッジの立ち上がり開始点付近とエッジの立ち上がり終了点付近において、輝度のプロファイル形状が顕著に鈍ってしまうという問題を避けることができないという問題があった。
【０００８】
この発明は、上記のような課題を解決するために為されたもので、画像のエッジ領域において、輝度のプロファイル形状の鈍りを抑制できるノイズ低減装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
この発明に係るノイズ低減装置は、入力画像の注目画素と前記注目画素を中心として前記注目画素の周辺の複数の画素とから構成される画素ブロックを抽出する抽出手段と、前記注目画素を中心にして交差する複数の方向の各々について、前記画素ブロックを構成する画素の画素データ値のそれぞれの２次微分値を求める２次微分値算出手段と、前記それぞれの２次微分値のうちで、当該２次微分値の絶対値の最大値と最小値との差に基づいて、前記画素ブロックに対応する平滑化閾値εを設定する閾値設定手段と、前記画素ブロックを構成する画素のうちで、前記注目画素の画素データ値との差分の絶対値が前記平滑化閾値ε以下となる画素データ値を有する画素に対して、平滑化を行なう平滑化手段とからなるものである。
【００１０】
また、この発明に係る別のノイズ低減装置は、複数のフレームのうちの第１のフレームに対応した入力画像の注目画素と前記注目画素を中心として前記注目画素の周辺の複数の画素とから構成される第１の画素ブロックを抽出する抽出手段と、前記注目画素を中心にして交差する複数の方向の各々について、前記第１の画素ブロックを構成する画素の画素データ値のそれぞれの２次微分値を求める２次微分値算出手段と、前記それぞれの２次微分値のうちで、当該２次微分値の絶対値の最大値と最小値との差に基づいて、平滑化閾値εを設定する閾値設定手段と、前記第１の画素ブロックを構成する画素のうちで、前記注目画素の画素データ値との差分の絶対値が前記平滑化閾値ε以下となる画素データ値を有する画素に対して平滑化を行なうとともに、前記複数のフレームのうちの前記第１のフレームとは異なる第２のフレームの第２の画素ブロックを構成する画素のうちで、前記注目画素の画素データ値との差分の絶対値が前記平滑化閾値ε以下となる画素データ値を有する画素に対して平滑化を行なう平滑化手段とからなるものである。
【発明の効果】
【００１１】
この発明に係るノイズ低減装置によれば、入力画像の注目画素を中心とする画素ブロックを抽出し、この注目画素を中心にして交差する複数の方向の各々について前記画素ブロックを構成する画素の画素データ値のそれぞれの２次微分値を求め、入力画像内のエッジの立ち上がりの開始点付近と立ち上がりの終了点付近とを検出し、複数の方向の各々について求めたそれぞれの２次微分値のうちで、当該２次微分値の絶対値の最大値と最小値との差に基づいて画素ブロックに対応する平滑化閾値εを設定するようにしたので、検出されたエッジの立ち上がりの開始点付近と立ち上がりの終了点付近とに生じるエッジの輝度のプロファイル形状の鈍りを抑制できる。
【００１２】
また、この発明に係る別のノイズ低減装置によれば、複数のフレームのうちの第１のフレームに対応した入力画像で設定した平滑化閾値εでもって第１のフレームに対応した入力画像の平滑化を行なうとともに、前記平滑化閾値εでもって複数のフレームのうちの第１のフレームとは異なる第２のフレームに対応した入力画像の平滑化を行なうようにしたので、エッジの輝度のプロファイル形状の鈍りを抑制することができると同時に、ノイズ低減性能が向上するという効果がある。
【発明を実施するための最良の形態】
【００１３】
以下、この発明の実施の形態によるノイズ低減装置について、入力画像の注目画素と前記注目画素を中心として前記注目画素の周辺の複数の画素とから構成される画素ブロックが、３×３画素の場合を例にして説明する。
【００１４】
実施の形態１．
画像のノイズ低減処理において平滑化のためにεフィルタを用いること自体はよく知られているが、この発明に用いるεフィルタについて、まず以下に説明する。
【００１５】
次の式（１）と式（２）は、εフィルタの特性を示す演算式である。
【００１６】
【数１】
0004375464.tif 000002
【００１７】
【数２】
0004375464.tif 000003
ここで、Ｘは次の式（３）である。
【００１８】
【数３】
0004375464.tif 000004
【００１９】
式（２）を満たす非線形関数ｆ（Ｘ）の具体例を図１に示す。図１（ａ）は非線形関数ｆ（Ｘ）の第１の例であり、Ｘ＝±εで不連続な関数となっている。この非線形関数ｆ（Ｘ）のεフィルタを平滑化処理に用いると、入力信号Ｘの絶対値がε以下の場合には、入力信号Ｘに対してεフィルタによる平滑化が行われるが、入力信号Ｘの絶対値がεより大きい場合には平滑化が行われない。したがって、例えば、画像内でエッジに相当する濃淡変化の大きい部分は平滑化が行われず保存され、画像内の濃淡変化の小さい部分は平滑化が行われて、該εフィルタによるフィルタ処理によってノイズが低減できる。
【００２０】
図１（ｂ）は非線形関数ｆ（Ｘ）の第２の例であり、図１（ｂ）は非線形関数ｆ（Ｘ）の第３の例である。いずれにおいても、Ｘ＝±εで連続な関数となっている。これらの非線形関数ｆ（Ｘ）のεフィルタを平滑化処理に用いると、入力信号Ｘの絶対値がε以下の場合には、入力信号Ｘに対してεフィルタによる平滑化が行われるが、入力信号Ｘの絶対値がεより大きい場合には平滑化の程度が抑制される。非線形関数ｆ（Ｘ）が連続な関数であることから、図１（ａ）の非線形関数ｆ（Ｘ）の場合に比べて、平滑化の有無に起因したフィルタ処理後の信号の歪が生じ難いという効果がある。
【００２１】
次に、上述したεフィルタを用いたこの発明に係るノイズ低減装置の実施の形態１について、以下に説明する。
【００２２】
図２は、この発明に係るノイズ低減装置の実施の形態１の構成を示す構成図である。画像入力端子１００に入力された入力画像は、画素ブロック毎にノイズ低減処理が行われるが、該入力画像は、この画素ブロックの中心に位置する注目画素における方向Ａの２次微分値を算出するＡ方向２次微分値算出手段１０１、該注目画素における方向Ｂの２次微分値を算出するＢ方向２次微分値算出手段１０２、該注目画素における方向Ｃの２次微分値を算出するＣ方向２次微分値算出手段１０３、及び、該注目画素における方向Ｄの２次微分値を算出するＤ方向２次微分値算出手段１０４とに入力される。
【００２３】
算出された方向Ａ、方向Ｂ、方向Ｃ、及び、方向Ｄの都合４方向のそれぞれの２次微分値は、方向性２次微分値算出手段１０５に入力されて、注目画素における方向性２次微分値を算出し、平滑化閾値ε設定手段１０６に出力する。平滑化閾値ε設定手段１０６では、入力された注目画素における方向性２次微分値を元にして平滑化閾値εの設定を行い、平滑化閾値εの値をεフィルタ１０７に出力する。
【００２４】
εフィルタ１０７では、入力端子１００に入力された入力画像の画素ブロックに対して、平滑化閾値ε設定手段１０６から出力された平滑化閾値εを用いてフィルタ処理が行われる。なお、注目画素は、入力画像の全ての画素に対して順番に選択されるようになっているので、入力画像の画素毎に注目画素を中心とする画素ブロックが入力画像から抽出されることになる。すなわち、入力画像は、εフィルタ１０７によって、入力画像の各画素毎に変化する平滑化閾値εを用いて平滑化のためのフィルタ処理が施され、該フィルタ処理によりノイズが低減されて画像出力端子２０８から出力画像として出力される。
【００２５】
次に、画素ブロックの中心に位置する注目画素における方向Ａ、方向Ｂ、方向Ｃ、及び、方向Ｄについて、図３を用いて具体的に説明する。
【００２６】
図３は、３×３画素の画素ブロックの中心に位置する注目画素における方向Ａ、方向Ｂ、方向Ｃ、及び、方向Ｄを説明するための説明図である。ここで、３×３画素の画素ブロックは、黒丸が示すＰ０、Ｐ１、Ｐ２、Ｐ３、Ｐ４、Ｐ５、Ｐ６、Ｐ７、及び、Ｐ８の９画素からなり、該画素ブロックの中心に位置するのが注目画素Ｐ０である。
【００２７】
図３（ａ）は、方向Ａを説明するための説明図であり、画素ブロックは横方向に関して、それぞれが３画素からなる３つの画素集まりに分割される。すなわち、３つの画素集まりは、図３（ａ）に示されるように、それぞれ（Ｐ１、Ｐ４、Ｐ６）、（Ｐ２、Ｐ０、Ｐ７）、及び、（Ｐ３、Ｐ５、Ｐ８）となっており、方向Ａとは横方向を意味する。
【００２８】
次に、図３（ｂ）は、方向Ｂを説明するための説明図であり、画素ブロックは縦方向に関して、それぞれが３画素からなる３つの画素集まりに分割される。すなわち、３つの画素集まりは、図３（ｂ）に示されるように、それぞれ（Ｐ１、Ｐ２、Ｐ３）、（Ｐ４、Ｐ０、Ｐ５）、及び、（Ｐ６、Ｐ７、Ｐ８）となっており、方向Ｂとは縦方向を意味する。
【００２９】
次に、図３（ｃ）は、方向Ｃを説明するための説明図であり、画素ブロックは右下がり斜め方向に関して、それぞれが３画素からなる３つの画素集まりに分割される。すなわち、３つの画素集まりは、図３（ｃ）に示されるように、それぞれ（Ｐ１、Ｐ２、Ｐ４）、（Ｐ３、Ｐ０、Ｐ６）、及び、（Ｐ５、Ｐ７、Ｐ８）となっており、方向Ｃとは右下がり斜め方向を意味する。
【００３０】
さらに、図３（ｄ）は、方向Ｄを説明するための説明図であり、画素ブロックは右上がり斜め方向に関して、それぞれが３画素からなる３つの画素集まりに分割される。すなわち、３つの画素集まりは、図３（ｃ）に示されるように、それぞれ（Ｐ４、Ｐ６、Ｐ７）、（Ｐ１、Ｐ０、Ｐ８）、及び、（Ｐ２、Ｐ３、Ｐ５）となっており、方向Ｄとは右上がり斜め方向を意味する。
【００３１】
次に、方向Ａ、方向Ｂ、方向Ｃ、及び、方向Ｄの都合４方向のそれぞれの２次微分値を算出する方法について、図３を用いて説明する。
【００３２】
まず、注目画素Ｐ０における方向Ａの２次微分値を算出する場合について、図３（ａ）を用いて説明する。
【００３３】
方向Ａである図３（ａ）では横方向の２次微分値を算出するに先立って、まず、３つの画素集まり（Ｐ１、Ｐ４、Ｐ６）、（Ｐ２、Ｐ０、Ｐ７）、及び、（Ｐ３、Ｐ５、Ｐ８）の各々で、３画素の平均を取った上で、横方向の１次微分値δ１１及びδ１２を算出する。ここで、各画素Ｐ０〜Ｐ８のそれぞれの階調レベルである画素データ値をｚ１〜ｚ９と置くと、横方向の１次微分値δＡ１は式（４）、横方向の１次微分値δＡ２は式（５）で表すことができる。なお、上記のように３画素の平均を取るので、ノイズ成分の影響を抑制できるという効果がある。
【００３４】
【数４】
0004375464.tif 000005
【００３５】
【数５】
0004375464.tif 000006
【００３６】
次に、方向Ａである横方向の２次微分値の絶対値｜ΔＡ｜は、式（６）で求められる。
【００３７】
【数６】
0004375464.tif 000007
【００３８】
方向Ｂ、方向Ｃ、及び、方向Ｄについてのそれぞれの２次微分値の絶対値｜ΔＢ｜、｜ΔＣ｜、及び、｜ΔＤ｜も、同様の算出方法で、それぞれ図３（ｂ）、図３（ｃ）、及び、図３（ｄ）に示された画像集まりを用いて、求めることができる。
【００３９】
以上の画素ブロックが３×３画素の場合の算出方法を、まとめて表記できるように表記方法を書き換える。そうすれば、４方向の２次微分値の絶対値｜Δｕ｜（ｕ＝Ａ，Ｂ，Ｃ，Ｄ）は、１次微分値δｕ１及びδｕ２が次の式（７）及び式（８）からまず求められ、さらに、式（９）に１次微分値δｕ１及びδｕ２を代入することによって算出される。ただし、ｕの方向と略直交する方向をｖ（ｖ＝０，１，２）とし、略ｖの方向に並んだ３画素からなる３つの画素集まりにそれぞれ番号ｗ（ｗ＝０，１，２）を付け、画素ブロックを構成する各画素の画素データ値をｚｗｖと表記するものとする。さらに、各画素集まりでの３画素の重み付け平均を行う際に略ｖの方向に並んだ３画素のそれぞれに与えるｖ方向の重み付け計数をｂｖとする。
【００４０】
【数７】
0004375464.tif 000008
【００４１】
【数８】
0004375464.tif 000009
【００４２】
【数９】
0004375464.tif 000010
【００４３】
上記の式（７）と式（８）について、図３（ａ）の場合を例として具体的に対応関係を説明する。方向はｕ＝Ａであり、画素集まりは３つあるが、ｗ＝０の画素集まり０は（Ｐ１、Ｐ４、Ｐ６）、ｗ＝１の画素集まり１は（Ｐ２、Ｐ０、Ｐ７）、及び、ｗ＝２の画素集まり２は（Ｐ３、Ｐ５、Ｐ８）となっている。ここで、式（７）と式（８）では、各画素集まりの平均を取る際に、３画素のそれぞれに対して重み付け計数を与えるようにして、ノイズ成分の影響をさらに抑制するようにしている。なお、重み付け平均とせずに、ｂｖ＝１（ｖ＝０，１，２）としてやると、式（７）は式（４）に対応し、式（８）は式（５）に対応する。例えば、画素集まり０を構成する３画素の画素データ値ｚ０ｖ（ｖ＝０，１，２）は画素Ｐ１、Ｐ４、及び、Ｐ６の画素データ値であるｚ１、ｚ４、及び、ｚ６である。また、画素集まり１を構成する３画素の画素データ値ｚ１ｖ（ｖ＝０，１，２）は画素Ｐ２、Ｐ０、及び、Ｐ７の画素データ値であるｚ２、ｚ０、及び、ｚ７である。さらに、画素集まり２を構成する３画素の画素データ値ｚ２ｖ（ｖ＝０，１，２）は画素Ｐ３、Ｐ５、及び、Ｐ８の画素データ値であるｚ３、ｚ５、及び、ｚ８である。
【００４４】
以上のようにして、方向Ｂ、方向Ｃ、及び、方向Ｄについても、式（７）と式（８）で表され、４方向の２次微分値の絶対値を式（９）で算出できる。
【００４５】
次に、方向性２次微分値算出手段１０５において、入力された４方向の２次微分値の絶対値｜Δｕ｜（ｕ＝Ａ，Ｂ，Ｃ，Ｄ）を元に、方向性２次微分値Δｄを算出する方法について説明する。
【００４６】
まず、４方向の２次微分値の絶対値｜Δｕ｜のうちで、最大値である｜Δｍａｘ｜と最小値である｜Δｍｉｎ｜を求める。なお、ここでは、｜Δｍｉｎ｜として４方向の２次微分値の絶対値の中から最小値を選んでいるが、最大値｜Δｍａｘ｜の方向と直交する方向の２次微分値の絶対値を用いても良い。次に、式（１０）に示すように、２次微分値の絶対値の最大値｜Δｍａｘ｜と最小値｜Δｍｉｎ｜の差分を取り、方向性２次微分値算出手段１０５は、この差分の値を方向性２次微分値Δｄとして平滑化閾値ε算出手段１０６に出力する。
【００４７】
【数１０】
0004375464.tif 000011
【００４８】
次に、平滑化閾値ε設定手段１０６では、方向性２次微分値Δｄを元に平滑化閾値εを設定する。具体的には、方向性２次微分値Δｄが第１の設定閾値Ｔｄ１よりも大きいときには、平滑化閾値εの値を小さくする。例えば、ε＝ε１とする。また、方向性２次微分値Δｄが第２の設定閾値Ｔｄ２よりも小さいときには、平滑化閾値εの値を大きくする。例えば、ε＝ε２とする。ただし、ε１≦ε２となるように設定する。以上のようにして設定された平滑化閾値εの値は、平滑化閾値ε算出手段１０６からεフィルタ１０７に出力される。
【００４９】
次に、εフィルタ１０７では、入力端子１００に入力された入力画像の画素ブロックに対して、平滑化閾値ε設定手段１０６から出力された平滑化閾値εを用いて平滑化のためのフィルタ処理が行われる。
【００５０】
以上では、この発明に係るノイズ低減装置の実施の形態１を構成する各手段の動作について説明した。以下では、この実施の形態１によるノイズ低減装置でノイズ低減処理が施されることにより、入力端子１００に入力された入力画像が出力端子１０８からどのような出力画像として出力されるかについて、入力画像の複数の画素からなる画素ブロック内の画素の輝度における１次微分ないしは１階差分を行い、その１次微分値ないしは１階差分値の絶対値に基づいてエッジ領域の判定をするように構成された従来のεフィルタを用いた１次微分値式ノイズ低減装置との対比をしながら説明する。
【００５１】
図４は、上記の１次微分値式ノイズ低減装置に入力された入力画像がどのような出力画像となるかを、エッジ付近の階調レベルついて画素データ値の波形変化で説明する説明図である。図４（ａ）は、入力画像のエッジ付近の空間座標に対する階調レベルを示す図で、画素データ値を黒丸で示している。図４（ａ）は、入力画像のエッジでの濃淡変化が小さく、平坦化閾値εと濃淡変化との差が小さい場合の例である。また、図４（ｂ）は図４（ａ）に示す入力画像が入力された１次微分値式ノイズ低減装置から出力される出力画像を示している。実線はノイズ低減処理を施された波形であり、破線は比較しやすいように記載した図４（ａ）の入力画像の波形である。図４（ｂ）から明らかなように、入力画像の波形はエッジ付近において鈍っている。特に、エッジの立ち上がり開始点付近とエッジの立ち上がり終了点付近において、波形の鈍りが顕著である。
【００５２】
図５は、図４と同じく、上記の１次微分値式ノイズ低減装置に入力された入力画像がどのような出力画像となるかを、エッジ付近の階調レベルついて画素データ値の波形変化で説明する説明図である。図５（ａ）は、入力画像のエッジ付近の空間座標に対する階調レベルを示す図で、画素データ値を黒丸で示している。図５（ａ）は、入力画像のエッジでの濃淡変化が大きく、平坦化閾値εと濃淡変化との差が大きい場合の例である。また、図５（ｂ）は図５（ａ）に示す入力画像が入力された１次微分値式ノイズ低減装置から出力される出力画像を示している。実線はノイズ低減処理を施された波形であり、破線は比較しやすいように記載した図５（ａ）の入力画像の波形である。図５（ｂ）から明らかなように、入力画像のエッジでの濃淡変化が大きく、平坦化閾値εと濃淡変化との差が大きいために、エッジの立ち上がり開始点とエッジの立ち上がり終了点との間の領域では、波形の鈍りがほとんど見られないが、それでも、エッジの立ち上がり開始点付近とエッジの立ち上がり終了点付近においては、波形の鈍りは明らかに発生している。
【００５３】
以上のように、従来のεフィルタを用いた１次微分値式ノイズ低減装置の場合は、εフィルタを用いたノイズ低減処理が施されるエッジ領域はエッジの立ち上がり開始点付近及びエッジの立ち上がり終了点付近のいずれをも含むエッジ領域全体であり、エッジの立ち上がり開始点付近とエッジの立ち上がり終了点付近において、波形の鈍りが顕著となってしまうという問題を避けることができない。
【００５４】
この発明に係るノイズ低減装置の実施の形態１においては、４方向の２次微分値に基づいて画素ブロックに対応する注目画素における平滑化閾値εを設定するようにしており、以下では、１次微分値に基づく場合と２次微分値に基づく場合との違いを、図６を用いて説明する。
【００５５】
図６は、図１に示されたＡ方向２次微分値算定手段１０１、Ｂ方向２次微分値算出手段１０２、Ｃ方向２次微分値算定手段１０３、ないしは、Ｄ方向２次微分値算定手段１０４のいずれかにおいて、２次微分値の絶対値が算出されるまでのエッジ付近の波形変化を説明するための説明図である。図６（ａ）は入力画像の階調レベルの波形を示しており、図６（ｂ）は１次微分値の波形を示している。また、図６（ｃ）は２次微分値の波形を示しており、図６（ｄ）は２次微分値の絶対値の波形を示している。
【００５６】
従来のεフィルタを用いた１次微分値式ノイズ低減装置の場合は、図６（ｂ）に示す１次微分値に基づいて平滑化閾値εを設定するので、エッジの立ち上がり開始点付近から平坦な中央領域を含んでエッジの立ち上がり終了点付近に至るまでのエッジ領域全体に対して、平滑化閾値εが一律に設定されることとなる。
【００５７】
それに対して、この実施の形態１のノイズ低減装置では、図６（ｄ）に示す２次微分値の絶対値に基づいて平滑化閾値εを設定する。図６（ａ）と図６（ｄ）とから明らかなように、２次微分値の絶対値は入力画像のエッジの立ち上がり開始点付近とエッジの立ち上がり終了点付近で大きな値となり、エッジ付近以外の領域だけで無く、エッジの立ち上がり開始点付近とエッジの立ち上がり終了点付近の間の領域においても小さくなる。したがって、２次微分値の絶対値に基づいて平滑化閾値εを設定し、具体的には、２次微分値の絶対値が第１の設定閾値Ｔｄ１よりも大きいときには平滑化閾値εを所定の値よりも小さく設定するか、ないしは、２次微分値の絶対値が第２の設定閾値Ｔｄ２よりも小さいときには平滑化閾値εを所定の値よりも大きく設定することにより、図４及び図５で示したエッジの立ち上がり開始点付近とエッジの立ち上がり終了点付近以外の領域において十分なノイズ低減効果を実現した上で、エッジの立ち上がり開始点付近とエッジの立ち上がり終了点付近において顕著に発生する波形の鈍りを抑制することができる。
【００５８】
図７は、この実施の形態１のノイズ低減装置に入力された入力画像がどのような出力画像となるかを、エッジ付近の階調レベルについて画素データ値の波形変化で説明する説明図である。図７（ａ）は、入力画像のエッジ付近の空間座標に対する階調レベルを示す図で、画素データ値を黒丸で示している。図７（ａ）は、入力画像のエッジでの濃淡変化が小さく、平坦化閾値εと濃淡変化との差が小さい場合の例である。また、図７（ｂ）は図７（ａ）に示す入力画像が入力されたこの実施の形態１のノイズ低減装置から出力される出力画像を示している。実線はノイズ低減処理を施された波形であり、破線は比較しやすいように記載した図７（ａ）の入力画像の波形であるが、実線に重なってしまっており、差異が見られない。図７（ｂ）を図４（ｂ）の従来のεフィルタを用いた１次微分値式ノイズ低減装置の場合と比べると明らかなように、この実施の形態１のノイズ低減装置では、エッジの立ち上がり開始点付近とエッジの立ち上がり終了点付近における波形の鈍りが抑制されている。
【００５９】
図８は、図７と同じく、この実施の形態１のノイズ低減装置に入力された入力画像がどのような出力画像となるかを、エッジ付近の階調レベルについて画素データ値の波形変化で説明する説明図である。図８（ａ）は、入力画像のエッジ付近の空間座標に対する階調レベルを示す図で、画素データ値を黒丸で示している。図８（ａ）は、入力画像のエッジでの濃淡変化が大きく、平坦化閾値εと濃淡変化との差が大きい場合の例である。また、図８（ｂ）は図８（ａ）に示す入力画像が入力されたこの実施の形態１のノイズ低減装置から出力される出力画像を示している。実線はノイズ低減処理を施された波形であり、破線は比較しやすいように記載した図５（ａ）の入力画像の波形であるが、図７（ｂ）と同様に実線に重なってしまっており、差異が見られない。図８（ｂ）を図５（ｂ）の従来のεフィルタを用いた１次微分値式ノイズ低減装置の場合と比べると明らかなように、この実施の形態１のノイズ低減装置では、エッジの立ち上がり開始点付近とエッジの立ち上がり終了点付近における波形の鈍りが抑制されている。
【００６０】
以上のように、この発明に係るノイズ低減装置の実施の形態１によれば、入力画像の注目画素を中心とする画素ブロックを抽出し、この注目画素を中心にして交差する複数の方向の各々について前記画素ブロックを構成する画素の画素データ値のそれぞれの２次微分値を求め、入力画像内のエッジの立ち上がりの開始点付近と立ち上がりの終了点付近とを検出し、複数の方向の各々について求めたそれぞれの２次微分値に基づいて画素ブロックに対応する平滑化閾値εを設定するようにしたので、検出されたエッジの立ち上がりの開始点付近と立ち上がりの終了点付近とに生じるエッジの鈍りを抑制することができる。したがって、エッジの輝度のプロファイル形状の鈍りを抑制すると同時に画像ノイズを低減することができるという格別なる効果がある。
【００６１】
なお、以上では、２次微分値を算出する方向が４方向の場合のみを説明したが、入力画像におけるエッジの方向が特定の方向に偏っており、その方向のエッジのみに注目してノイズ低減処理を施せば良い場合は、４方向よりも少なくても良いことは言うまでも無い。また、２次微分値を算出する方向を４方向よりも多くすれば、さらに他方向のエッジに対して柔軟に対応することができ、エッジの鈍りをいっそう抑制してノイズ低減を図れることは言うまでも無い。
【００６２】
なお、以上では、画素ブロックが３×３画素の場合について説明したが、３×３画素に限定されるものでは無く、３×３よりもさらに多くの画素から構成された画素ブロックを用いるようにしても同様の効果が得られるのは言うまでも無い。
【００６３】
実施の形態２．
この発明に係る実施の形態１のノイズ低減装置においては、入力画像が１フレームの場合について説明したが、入力画像が複数フレームの場合は、複数のフレームのうちの第１のフレームに対応した入力画像で設定した平滑化閾値εを用いて第１のフレームに対応した入力画像の平滑化を行なうとともに、同じ前記平滑化閾値εを用いて複数のフレームのうちの第１のフレームとは異なる第２のフレームに対応した入力画像の平滑化を行なうようにすれば、エッジの鈍りを抑制することができると同時に、ノイズ低減性能が向上するという効果がある。
【００６４】
図９は、この発明に係るノイズ低減装置の実施の形態２の構成を示す構成図である。実施の形態１の図２に示す構成とは、入力画像が複数フレームとなって、入力端子１００に加えて、入力端子２００が追加された点、及び、入力端子１００に入力された第１のフレームに対応した入力画像に基づいて算出された平滑化閾値εを用いて、εフィルタ２０７が入力端子１００に入力された第１のフレームに対応した入力画像の平滑化を行うとともに、同じ平滑化閾値εを用いて、入力端子２００に入力された第２のフレームに対応した入力画像の平滑化も行う点が異なる。εフィルタ２０７は、複数フレームの平滑化処理を行う時間方向も含めた３次元処理を行うようになっている。それ以外は、実施の形態１と同様である。なお、図２と同一符号は同一又は相当部分を示すので説明を省略する。
【００６５】
図１０は、この実施の形態２の場合の注目画素周辺の画素位置を示す図である。図１０（ａ）は平滑化閾値εを設定するための注目画素を含む注目フレームを示しており、図１０（ｂ）は、注目フレームの１フレーム前のフレームを示している。また、図１０（ｃ）は、図１０（ａ）及び図１０（ｂ）のフレーム内の画素の種別を説明するための図である。
【００６６】
図１０（ａ）に示す注目フレームにおいて、注目画素をＰ０、注目画素Ｐ０に隣接する隣接画素をＰ１〜Ｐ８、隣接画素に準じて隣接する準隣接画素Ｐ９〜Ｐ２４としている。また、図１０（ｂ）の１フレーム前のフレームの２５画素は全て準隣接画素としている。
【００６７】
注目画素Ｐ０の処理を行う際には、注目画素を含んでいる注目フレーム上の隣接画素Ｐ１〜Ｐ８を用い、実施の形態１の場合と同様にして方向性２次微分値Δｄを求める。さらに、方向性２次微分値Δｄから設定した平滑化閾値εは、３次元処理を行うεフィルタ２０７の平滑化閾値εとして、注目フレームだけでなく、例えば１フレーム前のフレームのように、他のフレームの画素に対しても適用する。ここで、他のフレームは、１フレーム前の入力画像であっても、１フレーム前の出力画像であっても良い。また、他のフレームを参照する画素位置は、注目フレームの注目画素Ｐ０を中心とした位置と同じ位置でも良いし、動き検出により画像に表示された内容が同じ位置を用いるようにしても良い。
【００６８】
一般的に、１枚のフレームのみを用いてノイズ低減処理を行うよりも、複数のフレームを用いてノイズ低減処理を行う方が、より高いノイズ低減効果が得られる。この実施の形態２においても同様に、平滑化閾値εにより、平滑化処理が施される階調レベルが限定されているため、複数フレームを用いることによる動いている対象の尾引現象も抑えるとが可能となり、さらに、エッジの立ち上がり開始点付近とエッジの立ち上がり終了点付近の平滑化閾値εを小さく設定するので、エッジ情報も保持しやすい効果が得られる。
【図面の簡単な説明】
【００６９】
【図１】εフィルタの非線形関数ｆ（Ｘ）の具体例である。
【図２】この発明に係るノイズ低減装置の実施の形態１の構成を示す構成図である。
【図３】３×３画素の画素ブロックの中心に位置する注目画素における方向Ａ、方向Ｂ、方向Ｃ、及び、方向Ｄを説明するための説明図である。
【図４】エッジ付近の階調レベルついて画素データ値の波形変化で説明する説明図であって、平坦化閾値εと濃淡変化との差が小さい場合の例である。
【図５】エッジ付近の階調レベルついて画素データ値の波形変化で説明する説明図であって、平坦化閾値εと濃淡変化との差が大きい場合の例である。
【図６】２次微分値の絶対値が算出されるまでのエッジ付近の波形変化を説明するための説明図である。
【図７】この実施の形態１のノイズ低減装置において、エッジ付近の階調レベルについて画素データ値の波形変化で説明する説明図であって、平坦化閾値εと濃淡変化との差が小さい場合の例である。
【図８】この実施の形態１のノイズ低減装置において、エッジ付近の階調レベルについて画素データ値の波形変化で説明する説明図であって、平坦化閾値εと濃淡変化との差が大きい場合の例である。
【図９】この発明に係るノイズ低減装置の実施の形態２の構成を示す構成図である。
【図１０】この実施の形態２の場合の注目画素周辺の画素位置を示す図である。
【符号の説明】
【００７０】
１０１  Ａ方向２次微分値算出手段
１０２  Ｂ方向２次微分値算出手段
１０３  Ｃ方向２次微分値算出手段
１０４  Ｄ方向２次微分値算出手段
１０５  方向性２次微分値算出手段
１０６  平滑化閾値ε設定手段
１０７  εフィルタ
２０７  εフィルタ
【図１】
0004375464.tif 000015
【図２】
0004375464.tif 000016
【図３】
0004375464.tif 000017
【図４】
0004375464.tif 000018
【図５】
0004375464.tif 000019
【図６】
0004375464.tif 000020
【図７】
0004375464.tif 000021
【図８】
0004375464.tif 000022
【図９】
0004375464.tif 000023
【図１０】
0004375464.tif 000024