(57)【要約】【課題】ノイズ低減の際に画素の参照パターンにより発生する人工的な模様を低減できるノイズ低減装置及びノイズ低減方法を提供する。【解決手段】順位ラベリング部１は、入力画像Ｉｎの注目画素の周辺画素を含む第１のサイズの領域内の画素値をソートし、注目画素の画素値の第１のサイズの領域内におけるソート順位を、注目画素にラベル付けする。画素選択加重加算部２は、注目画素の順位に応じて定められる加重加算の対象となる順位にラベル付けされている画素を、注目画素を含む第1のサイズのよりも大きな第２のサイズの領域内から選択して加重加算し、加重加算結果に基づいて注目画素の画素値を決定し、出力画像Ｏｕｔの注目画素の値として出力する。【選択図】      図１
2014165566.tif 000002
【特許請求の範囲】
【請求項１】
入力画像の注目画素を含む第１のサイズの領域内の各画素の画素値をソートし、前記第１のサイズの領域内の各画素にソート順位をつけ、前記注目画素のソート順位を前記注目画素にラベル付けする順位ラベリング部と、
前記注目画素のソート順位に応じて決定した加重加算対象順位にラベル付けされた画素を、前記注目画素を含む前記第１のサイズよりも大きな第２のサイズの領域内から選択して、選択された画素の画素値を加重加算し、前記加重加算に基づき前記注目画素の画素値を決定して出力する画素選択加重加算部と、
を備えたノイズ低減装置。
【請求項２】
加重加算対象順位は、注目画素のソート順位と同一であることを特徴とする請求項１に記載のノイズ低減装置。
【請求項３】
加重加算対象順位は、注目画素のソート順位と前記注目画素のソート順位に隣接したソート順位であることを特徴とする請求項１に記載のノイズ低減装置。
【請求項４】
加重加算対象順位は、注目画素のソート順位から、ソートされたすべてのソート順位の中央のソート順位までであることを特徴とする請求項１に記載のノイズ低減装置。
【請求項５】
注目画素のソート順位が、ソートされたすべてのソート順位の最下位または最上位であるとき、前記注目画素のソート順位を加重加算順位から除くことを特徴とした請求項４に記載のノイズ低減装置。
【請求項６】
画素選択加重加算部は、加重加算対象順位にラベル付けされている画素の平均値を算出することを特徴とする請求項１ないし５のいずれか１項に記載のノイズ低減装置。
【請求項７】
画素選択加重加算部は、加重加算対象順位にラベル付けされている画素に対する重み付けを、注目画素からの空間的な距離に応じて変化させることを特徴とする請求項１ないし５のいずれか１項に記載のノイズ低減装置。
【請求項８】
画素選択加重加算部は、加重加算対象順位にラベル付けされている画素に対する重み付けを、前記画素の画素値と注目画素の画素値との差分に応じて変化させることを特徴とする請求項１ないし５のいずれか１項に記載のノイズ低減装置。
【請求項９】
入力画像の注目画素を含む第１のサイズの領域内の各画素の画素値をソートし、前記第１のサイズの領域内の各画素にソート順位をつけ、前記注目画素のソート順位を前記注目画素にラベル付けする順位ラベリングステップと、
前記注目画素のソート順位に応じて決定した加重加算対象順位にラベル付けされた画素を、前記注目画素を含む前記第１のサイズよりも大きな第２のサイズの領域内から選択して、選択された画素の画素値を加重加算し、前記加重加算に基づき前記注目画素の画素値を決定して出力する画素選択加重加算ステップと、
を備えたノイズ低減方法。
【請求項１０】
加重加算対象順位は、注目画素のソート順位と同一であることを特徴とする請求項９に記載のノイズ低減方法。
【請求項１１】
加重加算対象順位は、注目画素のソート順位と前記注目画素のソート順位に隣接したソート順位であることを特徴とする請求項９に記載のノイズ低減方法。
【請求項１２】
加重加算対象順位は、注目画素のソート順位からソートされたすべてのソート順位の中央のソート順位までであることを特徴とする請求項９に記載のノイズ低減方法。
【請求項１３】
注目画素のソート順位が、ソートされたすべてのソート順位の最下位または最上位であるとき、前記注目画素のソート順位を加重加算順位から除くことを特徴とした請求項１２に記載のノイズ低減方法。
【請求項１４】
画素選択加重加算ステップは、加重加算対象順位にラベル付けされている画素の平均値を算出することを特徴とする請求項９ないし１３のいずれか１項に記載のノイズ低減方法。
【請求項１５】
画素選択加重加算ステップは、加重加算対象順位にラベル付けされている画素に対する重み付けを、注目画素からの空間的な距離に応じて変化させることを特徴とする請求項９ないし１３のいずれか１項に記載のノイズ低減方法。
【請求項１６】
画素選択加重加算ステップは、加重加算対象順位にラベル付けされている画素に対する重み付けを、前記画素の画素値と注目画素の画素値との差分に応じて変化させることを特徴とする請求項９ないし１３のいずれか１項に記載のノイズ低減方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像のノイズを低減するノイズ低減装置及びノイズ低減方法に関するものである。
【背景技術】
【０００２】
白色ガウス雑音のように、ノイズが全ての周波数に均等に成分を持つようなノイズを低減するための最も単純な方法として、ローパスフィルタによる方法がある。しかしながら、ローパスフィルタによるノイズ低減方法では、高周波成分のノイズがカットされる一方で、中低周波のノイズが残留してしまう。また、ローパスフィルタ以外の、エッジ保存型平滑化フィルタとして知られるイプシロンフィルタやバイラテラルフィルタを用いた場合でも、画像の平坦領域に対するノイズ低減においては、高周波ノイズに偏ったノイズ低減となってしまう。
【０００３】
低減することが困難な中低周波ノイズは、粒状感の大きいノイズやムラ状のノイズとなって現れるため、人間の視覚特性上、高周波ノイズよりも目障りであることが多い。従って、中低周波ノイズを効果的に低減することが必要となる。
【０００４】
従来の中低周波ノイズ低減方法では、対象画像を低域成分と高域成分とに帯域分割し、低域成分と高域成分の画像のそれぞれについてフィルタ処理を行い、フィルタ処理後の低域成分の画像と、フィルタ処理後の高域成分の画像とを合成して、ノイズ低減後の対象画像（ノイズ低減後画像）を得るようにしている。これにより、中低周波ノイズを低減することが可能となる（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００８−１５３９１７号公報（段落００２０〜００３２、図１）
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１に例示されているような、従来の一般的なノイズ低減手法では、注目画素の周辺画素を、画素配列を基にしたパターンで参照しノイズ除去を行っているため、ノイズ低減後の画像において参照パターンに依存した人工的な模様が発生するという問題があった。人工的な模様とは、例えば、周辺画素の参照範囲より大きなムラ状のノイズやまだら模様などが挙げられる。
【０００７】
本発明は上記のような問題を解決するためになされたものであり、中低周波ノイズを低減する際に発生する、注目画素を含む周辺画素の参照パターンに依存した人工的な模様を抑制することが可能なノイズ低減装置及びノイズ低減方法を提供することにある。
【課題を解決するための手段】
【０００８】
本発明に係るノイズ低減装置は、注目画素を含む第１のサイズの領域内の各画素の画素値をソートし、第１のサイズの領域内の各画素にソート順位をつけ、注目画素のソート順位を注目画素にラベル付けする順位ラベリング部と、注目画素のソート順位に応じて加重加算対象順位を決定し、加重加算対象順位にラベル付けされた画素の画素値を、注目画素を含む第１のサイズよりも大きな第２のサイズの領域内から選択して加重加算し、加重加算に基づき注目画素の画素値を決定する画素選択加重加算部とを備える。
【０００９】
また、本発明に係るノイズ低減方法は、注目画素を含む第１のサイズの領域内の各画素の画素値をソートし、第１のサイズの領域内の各画素にソート順位をつけ、注目画素のソート順位を注目画素にラベル付けする順位ラベリングステップと、注目画素のソート順位に応じて加重加算対象順位を決定し、加重加算対象順位にラベル付けされた画素の画素値を、注目画素を含む第１のサイズよりも大きな第２のサイズの領域内から選択して加重加算し、加重加算に基づき注目画素の画素値を決定する画素選択加重加算ステップとを備える。
【発明の効果】
【００１０】
本発明によれば、注目画素を含む第１のサイズの領域内における画素の画素値によるソート順位を注目画素にラベル付けし、注目画素のソート順位に応じて加重加算対象順位を決定し、第１のサイズよりも大きな第２のサイズの領域内から加重加算対象順位となるソート順位の画素を選択して加重加算し、加重加算結果に基づき注目画素の画素値を決定するので、人工的な模様を抑制することができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施の形態１に係るノイズ低減装置の構成図を示すブロック図である。
【図２】本発明の実施の形態１に係るノイズ低減方法のフローチャートを示す図である。
【図３】本発明の実施の形態１に係る順位ラベリング部のラベル付の一例を示す図である。
【図４】本発明の実施の形態１に係る画素選択加重加算部の加重加算対象順位を示す図である。
【図５】本発明の実施の形態１に係る画素選択加重加算部の加重加算対象順位の選択方法を示す図である。
【図６】本発明の実施の形態１に係る高周波ノイズが残留する原理を示した図である。
【図７】本発明の実施の形態１に係る各画素に対する重み付けの一例を示す図である。
【図８】本発明の実施の形態１に係るノイズ低減装置によるノイズ低減の周波数特性を示す図である。
【図９】本発明の実施の形態１に係るノイズ低減装置を適用した撮像装置を示すブロック図である。
【発明を実施するための形態】
【００１２】
実施の形態１．
図１は本発明の実施の形態１に係るノイズ低減装置の構成を示したものである。本発明の実施の形態１に係るノイズ低減装置１０は、順位ラベリング部１、画素選択加重加算部２、遅延部３を備える。
【００１３】
図１に示す、順位ラベリング部１は、入力画像Ｉｎの注目画素の周辺画素を含む第１のサイズの領域内の画素値をソートし、注目画素の画素値の第１のサイズの領域内におけるソート順位を、注目画素にラベル付けする。画素選択加重加算部２は、注目画素の順位に応じて定められる加重加算の対象となる順位（以降、加重加算対象順位と称す。）にラベル付けされている画素を、注目画素を含む第1のサイズのよりも大きな第２のサイズの領域内から選択して加重加算し、加重加算結果に基づいて注目画素に対して画素値を与える。遅延部３は、入力画像Ｉｎを順位ラベリング部１のラベル付けが完了するまで入力画像Ｉｎを遅延させ、入力画像Ｉｎと順位ラベリング部１のラベル付け結果の画素選択加重加算部２への入力タイミングを一致させる。
【００１４】
画像全体の処理について考えた場合、入力画像Ｉｎが画素毎に順位ラベリング部１及び遅延部３に入力される。順位ラベリング部１は、入力画像Ｉｎを構成するすべての画素を順次、注目画素として設定し、注目画素を含む第1のサイズの領域内の各画素を画素値によりソートし、設定された注目画素毎にソート順位をラベル付けしていく。次に、注目画素の周辺画素を含む第２のサイズの領域内のすべての画素についてラベル付けが完了した段階で、画素選択加重加算部２は、注目画素の順位に応じて加重加算対象順位を決定し、注目画素を含む第２のサイズの領域内から加重加算対象順位に属する画素を選択して加重加算し、加重加算結果に基づいて注目画素に対して画素値を与え、出力画像Ｏｕｔの注目画素の値として出力する。これが出力画像Ｏｕｔの全画素について完了することで1枚の画像のノイズ低減処理が完了する。
【００１５】
図２は、本発明の実施の形態１に係るノイズ低減方法のフローチャートを示したものである。順位ラベリングステップＳ１は、入力画像Ｉｎの注目画素の周辺画素を含む第１のサイズの領域内での順位をラベル付けする。画素選択加重加算ステップＳ２は、注目画素の順位に応じて加重加算対象順位を決定し、注目画素の周辺画素を含む第２のサイズの領域内から加重加算対象順位に属する画素を選択して加重加算し、加重加算結果に基づいて注目画素の画素値を決定し、出力画像Ｏｕｔの注目画素の値として出力する。
【００１６】
順位ラベリング部１について具体的に説明する。図１に示した順位ラベリング部１は、入力画像Ｉｎの注目画素の周辺画素を含む第１のサイズの領域、例えば３×３画素の領域内の画素値をソートし、注目画素の画素値の第１のサイズの領域内におけるソート順位を注目画素に対しラベル付けする。
【００１７】
図３は、図１に示した順位ラベリング部１でのラベル付けの概略を示したものである。図３（ａ）は、第１のサイズの領域の一例として、注目画素を中心とする周辺３×３画素の画素値配列を表している（以降、第１のサイズの領域６とする。）。図３（ｂ）は、図３（ａ）に示す第１の領域６内の画素を画素値に応じて昇順にソートしたソート順位を表している。
【００１８】
図３（ａ）に示すように、第１のサイズの領域６内において太線で囲まれた注目画素５の画素値は１３０である。注目画素５のソート順位は、第１のサイズの領域６内、即ち注目画素５を中心とした周辺３×３画素の領域内で画素値の昇順にソートすると、そのソート順位は第５位となり、この場合には、図３（ｂ）に示すように注目画素の値を「５」とラベル付けする。このとき、注目画素以外の８箇所の画素も順位付けに関わるが、注目画素のソート順位のみをラベル付けする。このようにして、画像を構成するすべての画素についてラベル付をしていく。
【００１９】
なお、第１のサイズの領域６内に同一画素値（同順位）の画素が存在する場合には、その平均順位を当該画素に割り当てるものとする。平均順位が小数点以下の値を含む場合には、例えば四捨五入などして端数を処理して整数化を行ってもよい。
【００２０】
次に、画素選択加重加算部２について具体的に説明する。画素選択加重加算部２は、注目画素５のソート順位に応じて定められる加重加算対象順位にラベル付けされている画素を、注目画素５の周辺画素を含む第1のサイズの領域６よりも大きな第２のサイズ、例えば９×９画素の領域内（以降、第２のサイズの領域７とする。）から選択して加重加算し、加重加算結果に基づいて、例えば、加重加算結果から各画素の画素値の平均を算出し、画素値の平均を注目画素５の画素値とする。図４は、画素選択加重加算部２において加重加算を行う対象となる画素の選択方法を示したものである。画素の選択は、その画素にラベル付けされたソート順位を基にして行われる。例えば、図４に示すように注目画素５のソート順位が「５」であった場合には、「５」とラベル付けされた画素を加算加重の対象とするという方法などが挙げられる。この場合、図４に示すように、第２のサイズの領域７内の「５」とラベル付けされた画素がすべて選択され加重加算の対象になる。
【００２１】
図５は、ソート順位の取り得る値が「１」から「９」までの場合において、加重加算の対象となるソート順位即ち、加重加算対象順位の選択方法について示したものである。図５の加重加算対象順位の選択方法にはパターンＡ、パターンＢ、パターンＣ、パターンＤがある。
【００２２】
まず、加重加算対象順位の選択方法がパターンＡの場合について説明する。説明を分かりやすくするため、ノイズが重畳された平坦画像に対する原理を述べる。ただし、平坦画像とは、局所的な領域で画像を構成する画素間の階調の変化分が非常に小さい画像であるとする。以下に述べるパターンＢ〜Ｄについても同様である。パターンＡでは、図４に示すように第２のサイズの領域７内において、注目画素５のソート順位が「５」であった場合、加重加算対象順位となるのは第２のサイズの領域７内における「５」と順位付けされた画素となる。つまり、パターンＡは注目画素５のソート順位と同一のソート順位の画素を加重加算対象の順位とするパターンである。
【００２３】
画素値の変化が、ランダムなノイズ成分のみにより起こる場合、順位ラベリング部１によるラベル付けの結果は、ノイズによる画素値の変化の大小関係を保存し、隣接する画素の順位ラベルを異ならしめる。したがって、順位ラベリング部１によるラベル付けの結果は高周波ノイズのパターンの大小関係を保存する。
【００２４】
続く画素選択加重加算部２が、注目画素のソート順位と同一のソート順位を加重加算対象順位とすることによって、ノイズによる画素値の分布中心からのずれがほぼ同一の画素群を加重加算の対象とするため、加重加算結果は注目画素の順位ラベルに応じて異なる。順位ラベルは隣接する画素のランダムな成分を保存しているため、隣接する画素の画素値を異ならしめ、高周波ノイズが残留する。
【００２５】
図６は、高周波ノイズが残留する原理を示したものである。ここでは、第１のサイズの領域６が３×３画素であり、ソート順位の取り得る値が「１」から「９」である場合を説明する。図６（ａ）、（ｂ）、（ｃ）は、ノイズが重畳された平坦画像において、画像中の異なる位置にある第１のサイズの領域から抽出したノイズ分布を模式的に表している。
【００２６】
まず、順位ラベリング部１にて画素値をソート順位に置き換えることで、画素値レベルやノイズ振幅に依存しない正規化されたノイズ分布を取り出すことができる。ノイズは画像全体にわたって同じ分布、例えばガウス分布、に従って重畳するが、画素値レベルやノイズ振幅により分布の位置や幅が変化するため、画素値そのものでノイズ分布における位置を区別することができない。しかし、ソート順位に置き換えることで、図６（ａ）、（ｂ）、（ｃ）に示すように、画素値レベルやノイズ振幅に関する仮定を必要とせず、ノイズ分布の中心がおよそソート順位「５」に対応し、ノイズ分布の下限がおよそソート順位「1」に対応し、ノイズ分布の上限がおよそソート順位「９」に対応するようになる。
【００２７】
ここで、画素選択加重加算部２において、パターンＡにより加重加算を行うと、ソート順位で正規化されたノイズ分布における同じ位置の画素のみを加重加算することになる。すなわち、注目画素の順位が「３」である場合、図６（ａ）、（ｂ）、（ｃ）に示すノイズ分布において、ノイズによる画素値の分布中心からのずれがほぼ同一である画素群を加重加算するため、上述したように、順位ラベリング結果のランダム性を保存して隣接画素の画素値を異ならしめ、高周波ノイズが低減されずに残留される。
【００２８】
一方、中低周波ノイズについては、加重加算対象順位にラベル付けされている画素を第１のサイズよりも大きな第２のサイズの領域から選択して加重加算しその結果から、注目画素の画素値を決定するため、有意に低減される。
【００２９】
以上の原理により、注目画素のソート順位と同一の順位を加重加算対象順位とするパターンＡによれば、注目画素５の周辺画素の参照を画素値により決定するので、画素配列を基にした参照方法により発生する人工的な模様を抑制することができる。
【００３０】
また、中低周波ノイズを低減しつつ高周波ノイズを残すことができる。
【００３１】
次に、加重加算対象順位の選択方法がパターンＢの場合について説明する。図５に示すようにパターンＢの場合では、注目画素のソート順位を「Ｒ」とするとき、ソート順位が「Ｒ−１」、「Ｒ」、「Ｒ＋１」である画素を加重加算対象順位とする。但し、注目画素５のソート順位が「１」、「９」であるときには、それぞれ「１−１」、「９＋１」のソート順位が存在しないため、欠番としている。つまり、パターンＢは、注目画素５のソート順位と隣接するソート順位の画素を加重加算対象順位とするパターンである。
【００３２】
パターンＢでは、ノイズによる画素値の分布中心からのずれに対し、幅を持った分布位置にある信号を許容して加算することになるため、画素選択加重加算部２による加重加算結果において、順位ラベル毎の画素値の差が縮まり、高周波ノイズの低減効果が現れる。
【００３３】
また、存在しないソート順位を欠番とする方法以外に、注目画素のソート順位が「１」であるときには「１」、「２」、「３」を、注目画素５のソート順位が「９」であるときには「７」、「８」、「９」を加重加算対象順位とするパターンとしてもよい。
【００３４】
また、パターンＢでは注目画素５のソート順位と隣接するソート順位を加重加算の対象としたが、これに限らず、例えば、注目画素５のソート順位を「Ｒ」とするとき、ソート順位が「Ｒ−ｋ」から「Ｒ＋ｋ」までの画素を加重加算対象画素としてもよい。ただし、参照するソート順位が存在しない場合は、上述のように参照順位をソート順位の中央の順位に寄せて同数のソート順位を確保する方法でもよい。
【００３５】
以上の原理により、注目画素５のソート順位と隣接する順位の画素を加重加算対象順位とするパターンＢによれば、注目画素５の周辺画素の参照を画素値により決定するので、画素配列を基にした参照方法により発生する人工的な模様を抑制することができる。
【００３６】
また、中低周波ノイズを低減しつつ注目画素５のソート順位に関してその順位に隣接したソート順位を参照することにより高周波ノイズの低減度合いを調整することができる。
【００３７】
次に、加重加算対象順位の選択方法がパターンＣの場合について説明する。パターンＣの場合では、注目画素５のソート順位がソートされたすべてのソート順位の中央のソート順位である「５」よりも小さいときまたは大きいとき、注目画素のソート順位から「５」までのソート順位を加重加算の対象とし、注目画素５のソート順位が「５」であるとき、ソートされたすべてのソート順位の中央のソート順位である「５」を加重加算の対象とする。つまり、第１のサイズの領域６内で行われたソートされたすべてのソート順位の中央のソート順位と、注目画素５のソート順位と、その間のソート順位の画素を加重加算の対象とするパターンである。
【００３８】
パターンＣでは、順位ラベリング部１によるラベル付けの結果において、ソート順位の最上位である「１」やソート順位の最下位「９」に近いソート順位、すなわち第１のサイズの領域６内でソートされたすべてのソート順位の中央のソート順位「５」に対してそのソート順位以外に属する画素は、ソート順位の最上位あるいは最下位に近づけば近づく程、ノイズの振幅が大きい画素とみなすことができる。従って、加重加算の対象となる画素を多くして、ノイズの振幅の大きい画素を含めるように選択することで、ノイズの平滑化の度合いを強くするようにしたものである。これは、図６に示すように、第１のサイズの領域６内でソートされたすべてのソート順位の中央のソート順位「５」がノイズ分布の中心、すなわちノイズのない場合の予測値とみなせるためであり、ソート順位の最上位あるいは最下位に近いソート順位である程、より中央のソート順位に寄せたソート順位を加重加算対象順位することは理に適っている。
【００３９】
以上の原理により、第１のサイズの領域６内で行われたソートのソート順位の中央のソート順位と、注目画素５の順位と、その間の順位を加重加算対象順位とするパターンＣによれば、注目画素５の周辺画素の参照を画素値により決定するので、画素配列を基にした参照方法により発生する人工的な模様を抑制することができる。
【００４０】
また、ノイズの振幅が大きい画素のノイズを効果的に抑えながら、高周波ノイズから中低周波ノイズまでをバランス良くノイズ低減することができる。
【００４１】
次に、加重加算対象順位の選択方法がパターンＤの場合について説明するパターンＤの場合では、パターンＣの場合とほぼ同じであるが、注目画素５のソート順位が「１」であるときにはソート順位「１」を加重加算対象順位から除外し、注目画素のソート順位が「９」であるときソート順位「９」を加重加算対象順位から除外している。つまり、第１のサイズの領域６内で行われたソートのソート順位の中央の順位と、注目画素５のソート順位と、その間のソート順位の画素を選択するとともに、第１のサイズの領域６内で行われたソートのソート順位の最上位と最下位にあたるソート順位を加重加算対象順位から除外するパターンである。
【００４２】
対象画像に画素欠陥等によるインパルス性のノイズが含まれる場合、ローパスフィルタを原理とする一般的なノイズ低減方法では、インパルス性のノイズによる点が広がるだけでうまくノイズが低減されない場合が多い。こうした状況に対し、パターンＤによれば、このような突出したノイズのある画素は、ソート順位「１」や「９」にラベル付けされるため、これらのソート順位の画素を加重加算対象から除外することによって、その影響を効果的に取り除くことができる。
【００４３】
以上の原理により、第１のサイズの領域６内で行われたソートのソート順位の中央の順位と、注目画素５のソート順位と、その間のソート順位の画素を選択するとともに、第１のサイズの領域６内で行われたソートのソート順位の最上位と最下位にあたるソート順位を加重加算対象順位から除外するパターンＤによれば、注目画素５の周辺画素の参照を画素値により決定するので、画素配列を基にした参照方法により発生する人工的な模様を抑制することができる。
【００４４】
また、インパルス性のノイズを効果的に低減しながら、高周波ノイズから中低周波ノイズまでをバランス良く低減できる。
【００４５】
このように、画素選択加重加算部２は上述したパターンＡ〜Ｄにより注目画素５のソート順位に応じて加重加算の対象となる画素を、第２のサイズの領域７内から選択し加重加算し、加重加算結果を基に注目画素５の画素値を決定する。
【００４６】
なお、本実施の形態１では、第1のサイズの領域６が、３×３画素であり、ソート順位の取りうる値が「１」から「９」である場合を示したが、第1のサイズの領域６がＮ×Ｎ画素（Ｎは整数）であり、ソート順位の取りうる値が「１」から「Ｎ２」である場合についても同様に加重加算の対象となる画素の決定方法を定めることが可能である。
【００４７】
また、第２のサイズの領域７は、第１のサイズの領域６よりも大きな任意のサイズでよいが、第1のサイズがＮ×Ｎ画素であるとき、第２のサイズをＮ２×Ｎ２画素以上とするのが望ましい。第２のサイズをＮ２×Ｎ２画素以上とすることによって、注目画素５と同じソート順位の加重加算の対象となる画素がある程度見つかり、かつ、順位ラベルによる加重加算画素数の偏りがなくなる。これにより、平均的には、第２のサイズの領域７内に同じ順位の画素が少なくともＮ×Ｎ個ずつ存在する可能性が向上する。
【００４８】
次に、加重加算対象順位の選択方法を決定した後の、注目画素の画素値の決定方法について述べる。最も簡易な構成として、加重加算対象順位により選択された画素の画素値を加算しその加算結果を、加重加算対象順位により選択された画素の画素数で除算し、画素の平均値を求めた後、該平均値を注目画素５の画素値とする方法を用いることができる。この場合、加重加算対象順位により選択された画素を、単に加算しているが、加算する直前に加重加算対象順位により選択された画素に対し重み付け、即ち、加重を行うことができる。例えば、ガウシアンフィルタ等により、加重加算の対象となる画素に対し、注目画素５からの空間的な距離に応じて変化させた重み付け係数を用いることができる。
【００４９】
図７は、第２のサイズの領域７内の各画素に対する重み付けの一例を示したものである。図中の数値は、重み付け係数を示している。例えば、注目画素５の重み付け係数は「１９」である。図７では、注目画素５を中心とし、注目画素５から離れるにつれ重み付けを減少させている。即ち、重み付けを注目画素５からの空間的な距離に応じて変化させている。この場合、加重加算対象順位にあたる画素の画素値に対して、図７に示した重み係数を乗算して加算し、加算結果を加重加算対象順位にあたる画素の重み係数の合計で除算することによって注目画素５の加重加算結果を得ることが可能である。
【００５０】
さらに、こうした重み付けは、イプシロンフィルタやバイラテラルフィルタ等の考え方により、加重加算対象順位にあたる画素と注目画素５の画素値との差分に応じて変化させてもよい。これにより、エッジをまたぐ不規則な画素選択によるエッジの乱れを防止することができる。
【００５１】
次に、本発明の実施の形態１によるノイズの低減効果をさらに詳しく説明する。図８は、本発明の実施の形態１に係るノイズ低減装置によるノイズ低減の周波数特性を模式的に示したものである。図８に示すＷＮはノイズの周波数特性、ＬＮはＷＮに示されるノイズをローパスフィルタにより低減したときの周波数特性を表している。
【００５２】
図８ＷＮに示すように、画像が白色ガウス雑音のようなノイズを持つ場合、全ての周波数において均等にノイズ成分を持っている。図８ＬＮで示すように、一般的なローパスフィルタによるノイズ低減では、図８中のＬＭで示す中低周波領域のノイズが十分に低減できない。
【００５３】
本発明の実施の形態１に係るノイズ低減装置によれば、加重加算対象順位の選択方法がパターンＡの場合、中低周波ノイズを低減しつつ高周波ノイズは残されていることが分かる。また、パターンＢ〜Ｄに示す加重加算対象順位の選択方法により、より多くのソート順位を加重加算対象とすることで高周波ノイズの低減効果が得られていることが分かる。
【００５４】
以上のことから、本発明の実施の形態１によれば、注目画素５の周辺画素の参照パターンを画素値により決定するので、画素配列を基にした参照パターンにより発生する人工的な模様を抑制することができるとともに、加重加算対象順位を適宜選択することで中低周波ノイズだけでなく、高周波ノイズも効果的に低減することができる。
【００５５】
図９は、本発明の実施の形態１のノイズ低減装置１０の適用例として撮像装置１００の構成を示したものである。撮像装置１００は、撮像素子部１０１と、アナログ信号処理部１０２と、Ａ／Ｄ変換部１０３と、デジタル信号処理部１０４を有する。
【００５６】
撮像素子部１０１は、被写体からの光を光電変換して、その結果得られる電気信号を撮像信号Ｓ１０１として出力する。アナログ信号処理部１０２は、アナログのノイズ除去回路やゲインアンプからなり、撮像信号Ｓ１０１のノイズ除去やアナログ信号増幅処理を行ってアナログ処理信号Ｓ１０２を出力する。Ａ／Ｄ変換部１０３は、アナログ処理信号Ｓ１０２をデジタル信号に変換し、デジタル信号Ｓ１０３として出力する。デジタル信号処理部１０４は、デジタル信号Ｓ１０３の信号形式に応じたカラー化処理、階調変換処理、補間処理、フィルタ処理等を施して、後段の信号処理や表示デバイスで利用しやすく信号を加工し、デジタル映像信号Ｓ１０４として出力する。
【００５７】
デジタル信号処理部１０４は、領域判定部１０４ａとノイズ低減部１０４ｂを有している。領域判定部１０４ａは、本発明の実施の形態１のノイズ低減装置１０を適用するに好適な画像の平坦部を判定する。ノイズ低減部１０４ｂは、本発明の実施の形態１のノイズ低減装置１０を内部に有しており、領域判定部１０４ａにより平坦部と判定された領域にノイズ低減を適用する。
【００５８】
本発明の実施の形態１のノイズ低減装置１０を適用した撮像装置１００は、画素配列を基にした参照パターンにより発生する人工的な模様を抑制しつつ、全ての周波数に渡りバランス良くノイズが低減された高画質な画像を出力することができる。
【００５９】
以上で説明したように、本発明の実施の形態１によれば、注目画素のソート順位に応じて定められるソート順位に応じて、第１のサイズよりも大きな第２のサイズの領域内から周辺画素を加重加算することとしたので、人工的な模様を抑制することができるとともに、中低周波ノイズを低減するだけでなく、加重加算対象順位を適宜選択することにより高周波ノイズの低減の度合いを調整することができる。
【００６０】
すなわち、比較的簡易な処理構成で中低周波から高周波までのノイズ低減を制御できるノイズ低減装置を得ることができる。
【００６１】
本発明は、その発明の範囲内において、各実施の形態を自由に組み合わせたり、各実施の形態を適宜変更、省略したりすることができる。
【符号の説明】
【００６２】
１      順位ラベリング部
２      画素選択加重加算部
３      遅延部
５      注目画素
６      第１のサイズの領域
７      第２のサイズの領域
１０    ノイズ低減装置
Ｉｎ    入力画像
Ｏｕｔ  出力画像
【図１】
2014165566.tif 000003
【図２】
2014165566.tif 000004
【図３】
2014165566.tif 000005
【図４】
2014165566.tif 000006
【図５】
2014165566.tif 000007
【図６】
2014165566.tif 000008
【図７】
2014165566.tif 000009
【図８】
2014165566.tif 000010
【図９】
2014165566.tif 000011