(57)【要約】  勾配方向検出部１２は注目画素を中心とするＮ×Ｎ画素からなる領域における画素値の勾配方向を検出し、選択部１３は勾配方向と直交する方向に沿って注目画素を含むＮ画素を選択画素として選択し、フィルタ係数初期化部１４は各選択画素に対応するフィルタ係数の初期化を行い、基準値決定部１５は各選択画素に対する基準値を勾配方向を基に定まる画素の画素値に基づいて決定し、フィルタ係数補正部１６は各選択画素に対する基準値に基づいて各選択画素に対応するフィルタ係数の初期値を補正し、画素値計算部１７は各選択画素に対する画素値と各フィルタ係数の補正値とに基づいて注目画素に対する出力画素値を計算する。
2009037803.tif 000002
【特許請求の範囲】
【請求項１】
注目画素を中心とするＮ×Ｎ（Ｎは３以上の奇数）画素からなる領域における画素値の勾配方向を検出する勾配方向検出手段と、
前記領域内の画素の中から前記勾配方向と直交する方向に沿って前記注目画素を含むＮ画素を選択画素として選択する選択手段と、
各前記選択画素に対応するフィルタ係数の初期化を行うフィルタ係数初期化手段と、
各前記フィルタ係数の補正に用いられる各前記選択画素に対する基準値を前記勾配方向を基に定まる画素の画素値に基づいて決定する基準値決定手段と、
各前記選択画素に対する前記基準値に基づいて各前記選択画素に対応する前記フィルタ係数の初期値を補正するフィルタ係数補正手段と、
各前記選択画素の画素値と各前記フィルタ係数の補正値とに基づいて前記注目画素に対する出力画素値を計算する画素値計算手段と、
を備える画像ノイズ除去装置。
【請求項２】
前記基準値決定手段は、前記選択画素の夫々について、前記勾配方向を基に複数の画素を選択し、選択した複数の画素の画素値に基づいて前記基準値の決定を行う
ことを特徴とする請求項１記載の画像ノイズ除去装置。
【請求項３】
前記基準値決定手段は、
前記注目画素を除く前記選択画素の夫々について、前記勾配方向を基に複数の画素を選択し、選択した複数の画素の画素値に基づいて前記基準値の決定を行い、
前記注目画素である選択画素について、当該注目画素の画素値に基づいて前記基準値の決定を行う
ことを特徴とする請求項１記載の画像ノイズ除去装置。
【請求項４】
前記基準値決定手段は、前記選択画素の夫々について、前記選択画素の画素値を前記基準値に決定する
ことを特徴とする請求項１記載の画像ノイズ除去装置。
【請求項５】
注目画素を中心とするＮ×Ｎ（Ｎは３以上の奇数）画素からなる領域における画素値の勾配方向を検出する勾配方向検出ステップと、
前記領域内の画素の中から前記勾配方向と直交する方向に沿って前記注目画素を含むＮ画素を選択画素として選択する選択ステップと、
各前記選択画素に対応するフィルタ係数の初期化を行うフィルタ係数初期化ステップと、
各前記フィルタ係数の補正に用いられる各前記選択画素に対する基準値を前記勾配方向を基に定まる画素の画素値に基づいて決定する基準値決定ステップと、
各前記選択画素に対する前記基準値に基づいて各前記選択画素に対応する前記フィルタ係数の初期値を補正するフィルタ係数補正ステップと、
各前記選択画素の画素値と各前記フィルタ係数の補正値とに基づいて前記注目画素に対する出力画素値を計算する画素値計算ステップと、
を有する画像ノイズ除去方法。
【請求項６】
コンピュータに、
注目画素を中心とするＮ×Ｎ（Ｎは３以上の奇数）画素からなる領域における画素値の勾配方向を検出する勾配方向検出ステップと、
前記領域内の画素の中から前記勾配方向と直交する方向に沿って前記注目画素を含むＮ画素を選択画素として選択する選択ステップと、
各前記選択画素に対応するフィルタ係数の初期化を行うフィルタ係数初期化ステップと、
各前記フィルタ係数の補正に用いられる各前記選択画素に対する基準値を前記勾配方向を基に定まる画素の画素値に基づいて決定する基準値決定ステップと、
各前記選択画素に対する前記基準値に基づいて各前記選択画素に対応する前記フィルタ係数の初期値を補正するフィルタ係数補正ステップと、
各前記選択画素の画素値と各前記フィルタ係数の補正値とに基づいて前記注目画素に対する出力画素値を計算する画素値計算ステップと、
を実行させるための画像ノイズ除去プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像に含まれるノイズを除去する技術に関する。
【背景技術】
【０００２】
近年、映像機器のデジタル化により、デジタル信号処理による画像処理が画質の向上のために重要になってきている。画質の低下の要因の一つとして原信号にノイズ成分が含まれることを挙げることができ、画質の向上のためにはノイズ成分の除去又はノイズ成分の影響の低減を図ることが重要となる。【０００３】
原信号からノイズ成分を除去する手段として、例えばメディアンフィルタと呼ばれるフィルタが知られている。メディアンフィルタは、原画像の注目画素と当該注目画素に隣接した隣接画素とを取り出し、取り出した画素（注目画素、隣接画素）の輝度値を降順又は昇順に並べた場合にちょうど中央の輝度値を持つ画素の画素値を注目画素に対する出力画素値として出力する。一般的には、注目画素と当該注目画素に隣接する画素とを含む３×３画素の計９個の輝度値を降順又は昇順に並べ、５番目（中央）となる輝度値をもつ画素の画素値を注目画素に対する出力画素値とする。これによって、周辺の画素と画素値が大きく離れた画素、つまり、ノイズ成分と思われる画素が除去され、ノイズの少ない画像を得ることができる。【０００４】
しかしながら、上述したように中央の輝度値を持つ画素の画素値を注目画素に対する出力画素値とすることから、メディアンフィルタにはノイズ除去による画像のボケが大きい、特にエッジ周辺での画像のボケが大きいという問題点がある。また、メディアンフィルタはノイズが多い場合に十分なノイズの除去を行えないという問題がある。【０００５】
上記の問題を解決したノイズ除去手段としてバイラテラルフィルタがある。バイラテラルフィルタは、エッジ保存フィルタの一種であり、画像のエッジを保存しつつノイズ除去を行えるフィルタである。バイラテラルフィルタは、注目画素からの距離と輝度差とに着目し、注目画素の輝度値との差が大きい輝度値を持つ画素、或いは、注目画素と距離が離れている画素の影響を小さくすることで画像のエッジを保存することに特徴がある。バイラテラルフィルタは例えば特許文献１の背景技術に詳述されており、以下、特許文献１の記載を引用しながらバイラテラルフィルタの概要を説明する。【０００６】
バイラテラルフィルタは、注目画素と当該注目画素に隣接する隣接画素とからなる（２Ｎ＋１）×（２Ｎ＋１）画素をフィルタ対象領域として抜き出してフィルタ処理を施し、このフィルタ処理により注目画素に対する出力画素値を求めて出力する。【０００７】
このバイラテラルフィルタにおけるフィルタ処理は以下の通りである。なお、注目画素の座標を（Ｘ，Ｙ）、注目画素の画素値をＩＮ（Ｘ，Ｙ）、注目画素に対する出力画素値をＯＵＴ（Ｘ，Ｙ）、隣接画素の座標を（ＰＸ，ＰＹ）とする。【０００８】
座標（Ｘ，Ｙ）と座標（ＰＸ，ＰＹ）との距離に依存する値をＷｓ（Ｘ，Ｙ，ＰＸ，ＰＹ）、座標（Ｘ，Ｙ）と座標（ＰＸ，ＰＹ）との標準偏差をσsとすると、値Ｗｓ（Ｘ，Ｙ，ＰＸ，ＰＹ）は下記の式（１）で表される。【０００９】
【数１】
2009037803.tif 000003
【００１０】
また、エッジの有無を表すエッジ評価値をＷｒ（Ｘ，Ｙ，ＰＸ，ＰＹ）とすると、エッジ評価値Ｗｒ（Ｘ，Ｙ，ＰＸ，ＰＹ）は下記の式（２）で表される。【００１１】
【数２】
2009037803.tif 000004
【００１２】
但し、式（２）において、Ｅｄｇｅ（Ｘ，Ｙ）は座標（Ｘ，Ｙ）の注目画素の画素値、Ｅｄｇｅ（ＰＸ，ＰＹ）は座標（ＰＸ，ＰＹ）の隣接画素の画素値、σsはフィルタ対象領域内の画素の画素値の標準偏差である。【００１３】
上記の式（１）で算出した値Ｗｓ（Ｘ，Ｙ，ＰＸ，ＰＹ）と上記の式（２）で算出したエッジ評価値Ｗｒ（Ｘ，Ｙ，ＰＸ，ＰＹ）とを下記の式（３）に代入することによって係数Ｗ（Ｘ，Ｙ，ＰＸ，ＰＹ）を求める。【００１４】
【数３】
2009037803.tif 000005
【００１５】
注目画素に対する出力画素値ＯＵＴ（Ｘ，Ｙ）は下記の式（４）により求められる。【００１６】
【数４】
2009037803.tif 000006
【特許文献１】特開２００６−１８０２６８号公報
【発明の開示】
【発明が解決しようとする課題】
【００１７】
しかしながら、バイラテラルフィルタのフィルタ処理では上記の式（１）〜式（４）の演算を行う必要があり、また、Ｎの値がある程度大きくなければノイズ除去等の効果が現れにくいことからＮの値をある程度大きくする必要がある。このため、バイラテラルフィルタにはノイズ除去に要する演算量が大きいという課題がある。【００１８】
本発明は、上記の課題を鑑みてなされたものであり、簡易な演算処理によってエッジ保存を行いつつノイズ除去を効果的に行うことが可能な画像ノイズ除去装置、画像ノイズ除去方法及び画像ノイズ除去プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１９】
上記課題を解決するために、本発明の画像ノイズ除去装置は、注目画素を中心とするＮ×Ｎ（Ｎは３以上の奇数）画素からなる領域における画素値の勾配方向を検出する勾配方向検出手段と、前記領域内の画素の中から前記勾配方向と直交する方向に沿って前記注目画素を含むＮ画素を選択画素として選択する選択手段と、各前記選択画素に対応するフィルタ係数の初期化を行うフィルタ係数初期化手段と、各前記フィルタ係数の補正に用いられる各前記選択画素に対する基準値を前記勾配方向を基に定まる画素の画素値に基づいて決定する基準値決定手段と、各前記選択画素に対する前記基準値に基づいて各前記選択画素に対応する前記フィルタ係数の初期値を補正するフィルタ係数補正手段と、各前記選択画素の画素値と各前記フィルタ係数の補正値とに基づいて前記注目画素に対する出力画素値を計算する画素値計算手段と、を備える。【００２０】
また、本発明の画像ノイズ除去方法は、注目画素を中心とするＮ×Ｎ（Ｎは３以上の奇数）画素からなる領域における画素値の勾配方向を検出する勾配方向検出ステップと、前記領域内の画素の中から前記勾配方向と直交する方向に沿って前記注目画素を含むＮ画素を選択画素として選択する選択ステップと、各前記選択画素に対応するフィルタ係数の初期化を行うフィルタ係数初期化ステップと、各前記フィルタ係数の補正に用いられる各前記選択画素に対する基準値を前記勾配方向を基に定まる画素の画素値に基づいて決定する基準値決定ステップと、各前記選択画素に対する前記基準値に基づいて各前記選択画素に対応する前記フィルタ係数の初期値を補正するフィルタ係数補正ステップと、各前記選択画素の画素値と各前記フィルタ係数の補正値とに基づいて前記注目画素に対する出力画素値を計算する画素値計算ステップと、を有する。【００２１】
さらに、本発明の画像ノイズ除去プログラムは、コンピュータに、注目画素を中心とするＮ×Ｎ（Ｎは３以上の奇数）画素からなる領域における画素値の勾配方向を検出する勾配方向検出ステップと、前記領域内の画素の中から前記勾配方向と直交する方向に沿って前記注目画素を含むＮ画素を選択画素として選択する選択ステップと、各前記選択画素に対応するフィルタ係数の初期化を行うフィルタ係数初期化ステップと、各前記フィルタ係数の補正に用いられる各前記選択画素に対する基準値を前記勾配方向を基に定まる画素の画素値に基づいて決定する基準値決定ステップと、各前記選択画素に対する前記基準値に基づいて各前記選択画素に対応する前記フィルタ係数の初期値を補正するフィルタ係数補正ステップと、各前記選択画素の画素値と各前記フィルタ係数の補正値とに基づいて前記注目画素に対する出力画素値を計算する画素値計算ステップと、を実行させる。
【発明の効果】
【００２２】
上記の画像ノイズ除去装置によれば、簡易な演算処理によってエッジを保存しながら効果的にノイズ除去を行うことができる。【００２３】
上記の画像ノイズ除去装置において、前記基準値決定手段は、前記選択画素の夫々について、前記勾配方向を基に複数の画素を選択し、選択した複数の画素の画素値に基づいて前記基準値の決定を行うようにしてもよい。【００２４】
これによれば、各フィルタ係数の補正に用いられる選択画素に対する基準値を複数の画素の画素値に基づいて決定することによって、ノイズの影響を抑えたフィルタ係数の補正を行うことができる。【００２５】
上記の画像ノイズ除去装置において、前記基準値決定手段は、前記注目画素を除く前記選択画素の夫々について、前記勾配方向を基に複数の画素を選択し、選択した複数の画素の画素値に基づいて前記基準値の決定を行い、前記注目画素である選択画素について、当該注目画素の画素値に基づいて前記基準値の決定を行うようにしてもよい。【００２６】
これによれば、各フィルタ係数の補正に用いられる注目画素（選択画素の一つ）に対する基準値を注目画素の画素値とすると共に、各フィルタ係数の補正に用いられる選択画素（注目画素を除く。）に対する基準値を複数の画素の画素値に基づいて決定することによって、演算量を抑えながらノイズの影響を抑えたフィルタ係数の補正を行うことができる。【００２７】
上記の画像ノイズ除去装置において、前記基準値決定手段は、前記選択画素の夫々について、前記選択画素の画素値を前記基準値に決定するようにしてもよい。【００２８】
これによれば、フィルタ係数の補正をより少ない演算量で行うことが可能になる。
【図面の簡単な説明】
【００２９】
【図１】本発明の実施の形態のノイズ除去装置１の装置構成図。
【図２】図１のノイズ除去部４の構成図。
【図３】図２のノイズ除去部４が処理を行う注目画素と隣接画素との関係の一例を示す図。
【図４】図２の勾配方向検出部１２が３×３画素の場合に検出する勾配方向を示す図。
【図５】図２の勾配方向検出部１２が５×５画素の場合に検出する勾配方向を示す図。
【図６】（ａ）〜（ｄ）は図２の選択部１３が３×３画素の場合に選択する選択画素を示す図。
【図７】（ａ）〜（ｄ）は図２の選択部１３が５×５画素の場合に選択する選択画素を示す図。
【図８】（ａ）〜（ｄ）は図２の基準値決定部１５による３×３画素の場合の各選択画素に対する基準値の決定を説明するための図。
【図９】（ａ）〜（ｄ）は図２の基準値決定部１５による５×５画素の場合の各選択画素に対する基準値の決定を説明するための図。
【図１０】図２のフィルタ係数補正部１６がフィルタ係数の補正に用いる係数補正値のグラフを示す図。
【図１１】図２のフィルタ係数補正部１６による３×３画素の場合のフィルタ係数の補正を説明するための図。
【図１２】図２のフィルタ係数補正部１６による５×５画素の場合のフィルタ係数の補正を説明するための図。
【図１３】図２のノイズ除去部４が行うノイズ除去処理の手順を示すフローチャート。
【図１４】本発明の変形例のコンピュータの装置構成図。
【図１５】（ａ）〜（ｃ）はカラー画像へのノイズ除去処理の適用例を説明するための図。
【符号の説明】
【００３０】
１  画像ノイズ除去装置
２  原画像メモリ
３  処理画像メモリ
４  ノイズ除去部
１１  画素値取得部
１２  勾配方向検出部
１３  選択部
１４  フィルタ係数初期化部
１５  基準値決定部
１６  フィルタ係数補正部
１７  画素値計算部
１８  画素値出力部
【発明を実施するための最良の形態】
【００３１】
以下、本発明の実施の形態について図面を参照しつつ説明する。【００３２】
≪画像ノイズ除去装置１の構成≫
本実施の形態の画像ノイズ除去装置１について図１を参照しつつ説明する。図１は本実施の形態の画像ノイズ除去装置１の装置構成図である。【００３３】
画像ノイズ除去装置１は原画像メモリ２と処理画像メモリ３とノイズ除去部４とを備える。なお、例えば、原画像メモリ２と処理画像メモリ３は論理的なメモリであり、物理的には同一メモリ上に配置されていても良い。【００３４】
原画像メモリ２及び処理画像メモリ３には例えば半導体メモリが利用され、原画像メモリ２はノイズ除去処理前の原画像を記憶し、処理画像メモリ３はノイズ除去部４によるノイズ除去処理後の処理画像を記憶する。ノイズ除去部４は、原画像メモリ２に記憶されている原画像に対してノイズ除去処理を行い、ノイズ除去処理の結果得られた処理画像を処理画像メモリ３に書き込む。【００３５】
＜ノイズ除去部４の構成＞
以下、図１のノイズ除去部４の構成について図２を参照しつつ説明する。図２は図１のノイズ除去部４の構成図である。【００３６】
ノイズ除去部４は、画素値取得部１１と勾配方向検出部１２と選択部１３とフィルタ係数初期化部１４と基準値決定部１５とフィルタ係数補正部１６と画素値計算部１７と画素値出力部１８とを備える。【００３７】
画素値取得部１１は、注目画素を中心とするＮ×Ｎ（Ｎは３以上の奇数）画素の領域内の各画素の画素値を原画像メモリ３から取得し、取得した各画素の画素値を勾配方向検出部１２と選択部１３と基準値決定部１４とへ出力する。なお、以下において、注目画素を中心とするＮ×Ｎ画素の領域内の注目画素以外の各画素を「隣接画素」と言い、注目画素及び各隣接画素からなる原画像の領域を「対象領域」と言う。【００３８】
ここで、図３に対象領域が３×３画素の場合の注目画素と隣接画素との関係を示す。原画像３１の座標（ｘ，ｙ）の画素Ｐ（ｘ、ｙ）が注目画素３２である場合、注目画素３２を取り囲む画素Ｐ（ｘ＋ｉ，ｙ＋ｊ）（ｉは−１以上１以下の整数であり、ｊは−１以上１以下の整数である。但し、ｉが０且つｊが０の場合を除く。）が隣接画素になる。なお、対象領域が５×５画素の場合、原画像３１の座標（ｘ，ｙ）の画素Ｐ（ｘ、ｙ）が注目画素３２であれば、注目画素３２を取り囲む画素Ｐ（ｘ＋ｉ，ｙ＋ｊ）（ｉは−２以上２以下の整数であり、ｊは−２以上２以下の整数である。但し、ｉが０且つｊが０の場合を除く。）が隣接画素になる。なお、ノイズの除去及びそのための処理量の観点から観ると、対象領域を３×３画素或いは５×５画像とするのが好ましい。【００３９】
勾配方向検出部１２は、画素値取得部１１から入力される対象領域内の各画素の画素値に基づいて当該対象領域における画素値の勾配方向の検出を行い、検出した勾配方向を選択部１３と基準値決定部１５とへ出力する。但し、本実施の形態における勾配方向検出部１２によって検出される勾配方向は、予め定められた複数の勾配方向のうち画素値を用いて実際に算出される勾配方向に最も近い勾配方向である。図４に対象領域が３×３画素である場合に勾配方向検出部１２によって検出される勾配方向を示し、勾配方向検出部１２は４つの勾配方向ＤＩＲ１3〜ＤＩＲ４3の中から画素値を用いて実際に算出される勾配方向に最も近い勾配方向を検出する。図５に対象領域が５×５画素である場合に勾配方向検出部１２によって検出される勾配方向を示し、勾配方向検出部１２は４つの勾配方向ＤＩＲ１5〜ＤＩＲ４5の中から画素値を用いて実際に算出される勾配方向に最も近い勾配方向を検出する。なお、本実施の形態では、図４における勾配方向ＤＩＲ１3〜ＤＩＲ４3及び図５における勾配方向ＤＩＲ１5〜ＤＩＲ４5の夫々は、一の方向と当該一の方向と反対方向との２方向を含む。【００４０】
但し、勾配方向検出部１２には例えばエッジ検出によく利用されるゾーベルフィルタ（Sobel Filter）やプレヴィットフィルタ（Prewitt Filter）などを用いることができる。ゾーベルフィルタやプレヴィットフィルタなどは、水平方向の勾配及び垂直方向の勾配を３×３の行列演算により求めるものであり、２つのフィルタ係数を利用することによって水平方向の勾配及び垂直方向の勾配を取得することができる。そして、ゾーベルフィルタやプレヴィットフィルタなどでは、取得した水平方向の勾配及び垂直方向の勾配に基づいて画素値の勾配方向を検出することができる。【００４１】
また、特開平２００１−１４４６１号公報に開示された方法に基づいて対象領域における画素値の勾配方向の検出を行ってもよい。この場合、当該方法によって検出される方向は画素値の勾配に直交する勾配に対する接線方向になるので、検出された方向に直交する方向を勾配方向検出部１２が検出する勾配方向に変換するための処理が必要になる。【００４２】
なお、上記の各勾配方向の検出手段は既知の内容であるため詳細は省略する。また、上記の各勾配方向の検出手段は例であって、画素値の勾配方向を検出することができる手段であればよい。【００４３】
選択部１３は、勾配方向検出部１２から入力される対象領域における画素値の勾配方向に基づいて、当該対象領域内の複数の画素の中から当該勾配方向と直交する方向に沿って注目画素を含むＮ個の画素を選択する。そして、選択部１３は、選択した画素の画素値を画素値計算部１７へ出力すると共に、選択した画素を示す選択画素情報を基準値決定部１５へ出力する。更に言えば、選択部１３は、注目画素の中心点を通り且つ勾配方向と直交する線上に存在する注目画素を含むＮ個の画素を選択する。なお、以下、選択部１３によって選択される画素を「選択画素」と言う。【００４４】
例えば、対象領域が３×３画素の場合に選択部１３によって選択される選択画素を図６（ａ）〜図６（ｄ）に示し、“ａ”、“ｂ”、“ｃ”が付された３つの画素が選択画素であり、“ｂ”が付された選択画素が注目画素である。但し、図６（ａ）は勾配方向ＤＩＲ１3に対応する選択画素を示し、図６（ｂ）は勾配方向ＤＩＲ２3に対応する選択画素を示し、図６（ｃ）は勾配方向ＤＩＲ３3に対応する選択画素を示し、図６（ｄ）は勾配方向ＤＩＲ４3に対応する選択画素を示す。【００４５】
また、対象領域が５×５画素の場合に選択部１３によって選択される選択画素を図７（ａ）〜図７（ｄ）に示し、“ａ”、“ｂ”、“ｃ”、“ｄ”、“ｅ”が付された画素が選択画素であり、“ｃ”が付された選択画素が注目画素である。但し、図７（ａ）は勾配方向ＤＩＲ１5に対応する選択画素を示し、図７（ｂ）は勾配方向ＤＩＲ２5に対応する選択画素を示し、図７（ｃ）は勾配方向ＤＩＲ３5に対応する選択画素を示し、図７（ｄ）は勾配方向ＤＩＲ４5に対応する選択画素を示す。【００４６】
フィルタ係数初期化部１４は各選択画素に対応したフィルタ係数の初期化を行い、各フィルタ係数の初期値をフィルタ係数補正部１６へ出力する。但し、フィルタ係数初期化部１４は、フィルタ係数の初期化の際に、各フィルタ係数の初期値の和が１になるように正規化を行う。【００４７】
例えば、対象領域が３×３画素の場合、フィルタ係数初期化部１４は、フィルタ係数Ｃa3，Ｃb3，Ｃc3の初期値Ｃa3i，Ｃb3i，Ｃc3iの和が１（Ｃa3i＋Ｃb3i＋Ｃc3i＝１）になるようにフィルタ係数Ｃa3，Ｃb3，Ｃc3の初期化を行う。但し、フィルタ係数Ｃa3，Ｃb3，Ｃc3は、夫々、図６（ａ）〜（ｄ）において、“ａ”、“ｂ”、“ｃ”が付された選択画素に対応するフィルタ係数である。各フィルタ係数の初期値の大小関係は、例えば、Ｃa3i＝Ｃb3i＝Ｃc3iや、Ｃb3i＞Ｃa3i＝Ｃc3iである。後者の場合、ノイズ除去によるボケ味が小さくなる。なお、フィルタ係数Ｃa3，Ｃb3，Ｃc3の初期値の大小関係は必ずしも上記のものである必要はない。【００４８】
また、対象領域が５×５画素の場合、フィルタ係数初期化部１４は、フィルタ係数Ｃa5，Ｃb5，Ｃc5，Ｃd5，Ｃe5の初期値Ｃa5i，Ｃb5i，Ｃc5i，Ｃd5i，Ｃe5iの和が１（Ｃa5i＋Ｃb5i＋Ｃc5i＋Ｃd5i＋Ｃe5i＝１）になるようにフィルタ係数Ｃa5，Ｃb5，Ｃc5，Ｃd5，Ｃe5の初期化を行う。但し、フィルタ係数Ｃa5，Ｃb5，Ｃc5，Ｃd5，Ｃe5は、夫々、図７（ａ）〜（ｄ）において、“ａ”、“ｂ”、“ｃ”、“ｄ”、“ｅ”が付された選択画素に対応するフィルタ係数である。各フィルタ係数の初期値の大小関係は、例えば、Ｃa5i＝Ｃb5i＝Ｃc5i＝Ｃd5i＝Ｃe5iや、Ｃc5i＞Ｃb5i＝Ｃd5i＞Ｃa5i＝Ｃe5iである。後者の場合、ノイズ除去によるボケ味が小さくなる。なお、フィルタ係数Ｃa5，Ｃb5，Ｃc5，Ｃd5，Ｃe5の初期値の大小関係は必ずしも上記のものである必要はない。【００４９】
基準値決定部１５は、入力される選択画素情報に示される選択部１３によって選択された選択画素毎に、各フィルタ係数の補正に用いる基準値の決定に用いる画素（以下、「基準画素」と言う。）を勾配方向検出部１２から入力される勾配方向に基づいて決定し、決定した基準画素の画素値に基づいて基準値の算出を行う。そして、基準値決定部１５は各選択画素に対して算出した基準値をフィルタ係数補正部１６へ出力する。【００５０】
例えば、対象領域が３×３画素の場合に基準値決定部１５が行う基準値の算出処理を図８（ａ）〜図８（ｄ）を用いて説明する。但し、図８（ａ）、図８（ｂ）、図８（ｃ）及び図８（ｄ）は、夫々、勾配方向ＤＩＲ１3における基準画素、勾配方向ＤＩＲ２3における基準画素、勾配方向ＤＩＲ３3における基準画素、及び勾配方向ＤＩＲ４3における基準画素を示すための図である。なお、図８（ａ）〜図８（ｄ）における“ａ1”、“ａ2”、“ａ3”が付された画素が図６（ａ）〜図６（ｄ）における“ａ”が付された選択画素に関係する基準画素であり、“ｂ1”、“ｂ2”、“ｂ3”が付された画素が“ｂ”が付された選択画素に関係する基準画素であり、“ｃ1”、“ｃ2”、“ｃ3”が付された画素が“ｃ”が付された選択画素に関係する基準画素である。【００５１】
勾配方向ＤＩＲ１3，ＤＩＲ２3では、基準値決定部１５は、選択画素の夫々について、選択画素の中心点を通り且つ勾配方向検出部１２から入力される勾配方向の線上にある３つの画素を基準画素に決定する（図８（ａ）、図８（ｂ）参照。）。【００５２】
また、勾配方向ＤＩＲ３3，ＤＩＲ４3では、基準値決定部１５は、“ｂ”が付された選択画素について、選択画素の中心点を通り且つ勾配方向検出部１２から入力される勾配方向の線上にある３つの画素を基準画素に決定する。そして、基準値決定部１５は、“ａ”、“ｃ”が付された選択画素の夫々について、選択画素と当該選択画素に辺が接する２つの画素との計３つの画素を基準画素に決定する（図８（ｃ）、図８（ｄ）参照。）。なお、“ａ”、“ｃ”が付された選択画素において、選択画素と辺が接する２つの画素を基準画素にするのは３×３画素を対象として処理することによる。但し、対象領域以外の画素の画素値を原画像メモリ３から取得して、注目画素の中心点を通り且つ勾配方向の線上にある画素を基準画素とするようにしてもよい。【００５３】
続いて、基準値決定部１５は、下記の式（５）を用いて、各選択画素に対する基準値を算出し、各選択画素に対して算出した基準値をフィルタ係数補正部１６へ出力する。【００５４】
【数５】
2009037803.tif 000007
【００５５】
但し、Ｓa、Ｓb、Ｓcは、夫々、“ａ”、“ｂ”、“ｃ”が付された選択画素に対する基準値である。ａ1、ａ2、ａ3は、夫々、“ａ1”、“ａ2”、“ａ3”が付された基準画素の画素値であり、ｂ1、ｂ2、ｂ3は、夫々、“ｂ1”、“ｂ2”、“ｂ3”が付された基準画素の画素値であり、ｃ1、ｃ2、ｃ3は、夫々、“ｃ1”、“ｃ2”、“ｃ3”が付された基準画素の画素値である。また、αa、βa、γa、αb、βb、γb、αc、βc、γcは、夫々、予め定められた定数である。なお、βaはαa、γaと等しい値或いはそれらより大きい値とすることが好ましく、βbはαb、γbと等しい値或いはそれらより大きい値とすることが好ましく、βcはαc、γcと等しい値或いはそれらより大きい値とすることが好ましい。【００５６】
また、対象領域が５×５画素の場合に基準値決定部１５が行う基準値の算出処理を図９（ａ）〜図９（ｄ）を用いて説明する。但し、図９（ａ）、図９（ｂ）、図９（ｃ）及び図９（ｄ）は、夫々、勾配方向ＤＩＲ１5における基準画素、勾配方向ＤＩＲ２5における基準画素、勾配方向ＤＩＲ３5における基準画素、勾配方向ＤＩＲ４5における基準画素を示すための図である。なお、図９（ａ）〜図９（ｄ）における“ａ1”、“ａ2”、“ａ3”が付された画素が図７（ａ）〜図７（ｄ）における“ａ”が付された選択画素に関係する基準画素であり、“ｂ1”、“ｂ2”、“ｂ3”が付された画素が“ｂ”が付された選択画素に関係する基準画素であり、“ｃ1”、“ｃ2”、“ｃ3”が付された画素が“ｃ”が付された選択画素に関係する基準画素であり、“ｄ1”、“ｄ2”、“ｄ3”が付された画素が“ｄ”が付された選択画素に関係する基準画素であり、“ｅ1”、“ｅ2”、“ｅ3”が付された画素が“ｅ”が付された選択画素に関係する基準画素である。【００５７】
勾配方向ＤＩＲ１5，ＤＩＲ２5では、基準値決定部１５は、選択画素の夫々について、選択画素の中心点を通り且つ勾配方向検出部１２から入力される勾配方向の線上にある３つの画素を基準画素に決定する（図９（ａ）、図９（ｂ）参照。）。【００５８】
また、勾配方向ＤＩＲ３5，ＤＩＲ４5では、基準値決定部１５は、“ｂ”、“ｃ”、“ｄ”が付された選択画素の夫々について、選択画素の中心点を通り且つ勾配方向検出部１２から入力される勾配方向の線上にある３つの画素を基準画素に決定する。そして、基準値決定部１５は、“ａ”、“ｅ”が付された選択画素の夫々について、選択画素と当該選択画素に辺が接する２つの画素との計３つの画素を基準画素に決定する（図９（ｃ）、図９（ｄ）参照。）。なお、“ａ”、“ｅ”が付された選択画素において、選択画素と辺が接する２つの画素を基準画素にするのは５×５画素を対象として処理することによる。但し、対象領域以外の画素の画素値を原画像メモリ３から取得して、注目画素の中心点を通り且つ勾配方向の線上にある画素を基準画素とするようにしてもよい。【００５９】
続いて、基準値決定部１５は、下記の式（６）を用いて、各選択画素に対する基準値を算出し、各選択画素に対して算出した基準値をフィルタ係数補正部１６へ出力する。【００６０】
【数６】
2009037803.tif 000008
【００６１】
但し、Ｓa、Ｓb、Ｓc、Ｓd、Ｓeは、夫々、“ａ”、“ｂ”、“ｃ”、“ｄ”、“ｅ”が付された選択画素に対する基準値である。ａ1、ａ2、ａ3は、夫々、“ａ1”、“ａ2”、“ａ3”が付された基準画素の画素値であり、ｂ1、ｂ2、ｂ3は、夫々、“ｂ1”、“ｂ2”、“ｂ3”が付された基準画素の画素値であり、ｃ1、ｃ2、ｃ3は、夫々、“ｃ1”、“ｃ2”、“ｃ3”が付された基準画素の画素値であり、ｄ1、ｄ2、ｄ3は、夫々、“ｄ1”、“ｄ2”、“ｄ3”が付された基準画素の画素値であり、ｅ1、ｅ2、ｅ3は、夫々、“ｅ1”、“ｅ2”、“ｅ3”が付された基準画素の画素値である。また、αa、βa、γa、αb、βb、γb、αc、βc、γc、αd、βd、γd、αe、βe、γeは、夫々、予め定められた定数である。なお、βaはαa、γaと等しい値或いはそれらより大きい値とすることが好ましく、βbはαb、γbと等しい値或いはそれらより大きい値とすることが好ましく、βcはαc、γcと等しい値或いはそれらより大きい値とすることが好ましく、βdはαd、γdと等しい値或いはそれらより大きい値とすることが好ましく、βeはαe、γeと等しい値或いはそれらより大きい値とすることが好ましい。【００６２】
上記のように、勾配方向と直交する方向に沿って選択される選択画素だけでなく、選択画素の周辺の画素も考慮することによって、ノイズの影響を抑えてフィルタ係数の補正を行うことができる。これにより、フィルタ処理による画像のエッジ近辺でのボケ味の発生を抑制することが可能になる。【００６３】
フィルタ係数補正部１６は、選択部１３によって選択された注目画素を除く選択画素の夫々において、注目画素に対する基準値と注目画素以外の選択画素の基準値との差の絶対値（以下、「差分」と言う。）を算出し、算出した差分に基づいてフィルタ係数の補正に用いる係数補正値を求める。なお、本実施の形態では、フィルタ係数補正部１６は、図１０に示す差分と係数補正値との関係の何れか１つを利用して、算出した差分に対する係数補正値を求める。但し、図１０において、横軸は差分を示し、縦軸は係数補正値を示す。なお、図１０中の実線は直線による差分補正、破線は折れ線による差分補正、一点鎖線は曲線による差分補正の例であり、フィルタ係数補正部１６は例えば図１０中の一点鎖線で示す差分と係数補正値との関係を用いる。【００６４】
続いて、フィルタ係数補正部１６は、注目画素以外の選択画素の夫々について、選択画素に対応するフィルタ係数の初期値から求めた係数補正値を減算することによってフィルタ係数の補正値を算出する。また、フィルタ係数補正部１６は、選択画素のうちの注目画素について、注目画素に対応するフィルタ係数の初期値に注目画素以外の選択画素に対して求められた係数補正値の全てを加算することによってフィルタ係数の補正値を算出する。そして、フィルタ係数補正部１６は、算出した各選択画素に対応するフィルタ係数の補正値を画素値計算部１７へ出力する。【００６５】
例えば、対象領域が３×３画素の場合、フィルタ係数補正部１６は、“ｂ”が付された選択画素（注目画素）に対する基準値Ｓbと“ａ”が付された選択画素に対する基準値Ｓaとの差の絶対値（差分）｜Ｓb−Ｓa｜を算出し、図１０に示した差分と係数補正値との関係から算出した差分｜Ｓb−Ｓa｜に対する係数補正値Ｃba3を求める。また、フィルタ係数補正部１６は、“ｂ”が付された選択画素（注目画素）に対する基準値Ｓbと“ｃ”が付された選択画素に対する基準値Ｓcとの差分｜Ｓb−Ｓc｜を算出し、図１０に示した差分値と係数補正値との関係から算出した差分｜Ｓb−Ｓc｜に対する係数補正値Ｃbc3を求める。【００６６】
そして、フィルタ係数補正部１６は、下記の式（７）を用いて、各選択画素に対応するフィルタ係数Ｃa3、Ｃb3、Ｃc3の補正値を算出する。この様子を図１１に示す。【００６７】
【数７】
2009037803.tif 000009
【００６８】
但し、Ｃa3m、Ｃb3m、Ｃc3mは、夫々、フィルタ係数Ｃa3、Ｃb3、Ｃc3の補正値である。【００６９】
また、対象領域が５×５画素の場合、フィルタ係数補正部１６は、“ｃ”が付された選択画素（注目画素）に対する基準値Ｓcと“ａ”が付された選択画素に対する基準値Ｓaとの差分｜Ｓc−Ｓa｜を算出し、図１０に示した差分と係数補正値との関係から算出した差分｜Ｓc−Ｓa｜に対する係数補正値Ｃca5を求める。また、フィルタ係数補正部１６は、“ｃ”が付された選択画素（注目画素）に対する基準値Ｓcと“ｂ”が付された選択画素に対する基準値Ｓbとの差分｜Ｓc−Ｓb｜を算出し、図１０に示した差分と係数補正値との関係から算出した差分｜Ｓc−Ｓb｜に対する係数補正値Ｃcb5を求める。また、フィルタ係数補正部１６は、“ｃ”が付された選択画素（注目画素）に対する基準値Ｓcと“ｄ”が付された選択画素に対する基準値Ｓdとの差分｜Ｓc−Ｓd｜を算出し、図１０に示した差分と係数補正値との関係から算出した差分｜Ｓc−Ｓd｜に対する係数補正値Ｃcd5を求める。また、フィルタ係数補正部１６は、“ｃ”が付された選択画素（注目画素）に対する基準値Ｓcと“ｅ”が付された選択画素に対する基準値Ｓeとの差分｜Ｓc−Ｓe｜を算出し、図１０に示した差分と係数補正値との関係から算出した差分｜Ｓc−Ｓe｜に対する係数補正値Ｃce5を求める。【００７０】
そして、フィルタ係数補正部１６は、下記の式（８）を用いて、各選択画素に対応するフィルタ係数Ｃa5、Ｃb5、Ｃc5、Ｃd5、Ｃe5の補正値を算出する。この様子を図１２に示す。【００７１】
【数８】
2009037803.tif 000010
【００７２】
但し、Ｃa5m、Ｃb5m、Ｃc5m、Ｃd5m、Ｃe5mは、夫々、フィルタ係数Ｃa5、Ｃb5、Ｃc5、Ｃd5、Ｃe5の補正値である。【００７３】
なお、フィルタ係数の補正値が負の値になった場合には、フィルタ係数補正部１６は、負の値になったフィルタ係数を０になるように補正値を修正するとともに、注目画素に対応するフィルタ係数の補正値に当該負の値を加算することによって修正する。【００７４】
以上のように、各選択画素に対する基準値を用いてフィルタ係数の補正を行うことによって、画素値の変化が大きい部分、つまり、エッジ成分の大きい部分などではフィルタ効果を小さくすることができ、エッジ周辺のボケ味を軽減することができる。【００７５】
画素値計算部１７は、選択部１３によって選択された選択画素毎に、選択画素の画素値とフィルタ係数補正部１６によって補正された当該選択画素に対応するフィルタ係数の補正値とを乗算する。そして、画素値計算部１７は、乗算値の全てを加算して、注目画素に対応する出力画素値を算出し、算出した注目画素に対応する出力画素値を画素値出力部１８へ出力する。【００７６】
例えば、対象領域が３×３画素の場合には、画素値決定部１７は下記の式（９）を用いて座標（ｘ，ｙ）の注目画素に対する出力画素値ＯＵＴ（ｘ，ｙ）を算出する。【００７７】
【数９】
2009037803.tif 000011
【００７８】
但し、ａ、ｂ、ｃは、夫々、“ａ”、“ｂ”、“ｃ”が付された選択画素の画素値である。【００７９】
また、対象領域が５×５画素の場合には、画素値決定部１７は下記の式（１０）を用いて座標（ｘ，ｙ）の注目画素に対する出力画素値ＯＵＴ（ｘ，ｙ）を算出する。【００８０】
【数１０】
2009037803.tif 000012
【００８１】
但し、ａ、ｂ、ｃ、ｄ、ｅは、夫々、“ａ”、“ｂ”、“ｃ”、“ｄ”、“ｅ”が付された選択画素の画素値である。【００８２】
画素値出力部１８は、画素値計算部１７から入力される注目画素に対する出力画素値ＯＵＴ（ｘ，ｙ）を処理画像メモリ３に書き込む。【００８３】
＜ノイズ除去部４の動作＞
以下、図２のノイズ除去部４によるノイズ除去処理について図１３を参照しつつ説明する。図１３は図２のノイズ除去部４によるノイズ除去処理の手順を示すフローチャートである。【００８４】
画素値取得部１１は、注目画素の位置の座標を（ｘ，ｙ）に初期化する（ステップＳ１）。初期化の位置の座標としては、例えば、（０，０）を挙げることができる。【００８５】
画素値取得部１１は、注目画素の位置によって定まる対象領域内の各画素（注目画素と各隣接画素）の画素値を原画像メモリ２から取得する（ステップＳ２）。勾配方向検出部１２はステップＳ２で取得した対象領域内の各画素の画素値に基づいて当該対象領域内における画素値の勾配方向の検出を行う（ステップＳ３）。選択部１３は、ステップＳ３における勾配方向の検出結果に基づいて対象領域内の複数の画素の中から選択画素の選択を行う（ステップＳ４）。【００８６】
フィルタ係数初期化部１４は、ステップＳ４において選択された各選択画素に対応するフィルタ係数の初期化を行い（ステップＳ５）、基準値決定部１５はステップＳ４において選択された各選択画素に対する基準値の決定を行う（ステップＳ６）。フィルタ係数補正部１６は、注目画素以外の選択画素の夫々について、注目画素の基準値と注目画素以外の選択画素の画素値との差の絶対値（差分）を計算し（ステップＳ７）、計算により求めた差分に基づいて係数補正値を求める（ステップＳ８）。そして、フィルタ係数補正部１６は、ステップＳ８において求めた各係数補正値に基づいて各選択画素に対応するフィルタ係数の補正を行う（ステップＳ９）。画素値計算部１７は、各選択画素の画素値と各フィルタ係数の補正値とに基づいて注目画素に対する出力画素値を計算し（ステップＳ１０）、画素値出力部１８はステップＳ１０で求められた注目画素に対する出力画素値を処理画像メモリ３に書き込む（ステップＳ１１）。【００８７】
画素値取得部１１は、原画像メモリ２に記憶されている処理対象の原画像の全画素に対してノイズ除去処理が行われたか否かを判定し（ステップＳ１２）、全画素に対してノイズ除去処理が行われていない場合には（Ｓ１２：ＮＯ）、注目画素の位置を未処理の画素の位置に更新し（ステップＳ１３）、ステップＳ２の処理が行われる。全画素に対してノイズ除去処理が行われた場合には（Ｓ１２：ＹＥＳ）、図１３のノイズ除去処理が終了する。【００８８】
上述した実施の形態によれば、バイラテラルフィルタに比べて少ない演算量及び回路規模でエッジ保存を行いつつノイズ除去を行うことができ、少ない演算量でバイラテラルフィルタの近似的な効果を得ることができる。【００８９】
≪変形例≫
＜コンピュータ＞
以下、上述した画像ノイズ除去装置１が行うノイズ除去処理を実行するコンピュータについて図１４を参照しつつ説明する。図１４は本変形例におけるコンピュータの装置構成図である。【００９０】
コンピュータ５１は、プログラムメモリ５２と原画像メモリ５３と処理画像メモリ５４とＣＰＵ（Central Processing Unit）５５とを備える。【００９１】
プログラムメモリ５２、原画像メモリ５３及び処理画像メモリ５４には例えば半導体メモリが利用できる。プログラムメモリ５２には、上述した画像ノイズ除去装置１が行うノイズ除去処理と等価な処理手順を記述した画像ノイズ除去プログラムが格納されている。原画像メモリ５３は原画像を記憶し、処理画像メモリ５４はＣＰＵ５５による画像ノイズ除去プログラムの実行後の処理画像を記憶する。【００９２】
ＣＰＵ５５は、プログラムメモリ５２から画像ノイズ除去プログラムを読み出して、画像ノイズ除去プログラムを実行することによって、原画像メモリ５３に記憶されている原画像からノイズの除去を行い、ノイズの除去の結果得られた処理画像を処理画像メモリ５４に書き込む。【００９３】
なお、ＣＰＵの代わりに例えばＤＳＰ（Digital Signal Processor）などを用いるようにしてもよい。【００９４】
＜カラー画像の取り扱い＞
上記の実施の形態は、画素毎に１つの画素値を持つグレースケール映像や輝度のみの映像を対象にしているが、これに限られるものではなく、例えば、画素値として輝度（Ｙ）と色差（Ｃｂ，Ｃｒ）とを持つ画像を対象とすることも可能である。【００９５】
以下、図１５を参照してカラー画像を対象とした場合のノイズ除去処理について説明する。図１５（ａ）〜（ｃ）はカラー画像へのノイズ除去処理の適用例を説明するための図である。【００９６】
図１５（ａ）の適用例では、画像ノイズ除去装置は、輝度（Ｙ）成分に対してのみ上記の実施の形態で説明したノイズ除去処理を実行し、Ｃｂ成分、Ｃｒ成分は原画像メモリから処理画像メモリへそのままコピーする。つまり、画像ノイズ除去装置は、人間がノイズに対して敏感な輝度（Ｙ）成分に対してのみノイズ除去処理を行い、それ以外の色差（Ｃｂ，Ｃｒ）成分に対してノイズ除去処理を行わない。これにより、人間がノイズに対して敏感な輝度（Ｙ）成分からノイズの除去を行いつつ、ノイズ除去のための処理量を削減することができる。【００９７】
図１５（ｂ）の適用例では、画像ノイズ除去装置は、注目画素ごとに、輝度（Ｙ）成分を用いて選択画素の選択処理及びフィルタ係数の補正値の算出処理を行う。その後、画像ノイズ除去装置は、輝度（Ｙ）成分について、各選択画素の輝度（Ｙ）成分の値と各フィルタ係数の補正値とに基づいて処理画像メモリに出力する輝度（Ｙ）成分の出力値を算出する。これとともに、画像ノイズ除去装置は、Ｃｂ成分について、輝度（Ｙ）成分を用いて選択された各選択画素のＣｂ成分の値と輝度（Ｙ）成分を用いて求められた各フィルタ係数の補正値とに基づいて処理画像メモリに出力するＣｂ成分の出力値を算出する。また、画像ノイズ除去装置は、Ｃｒ成分について、輝度（Ｙ）成分を用いて選択された各選択画素のＣｒ成分の値と輝度（Ｙ）成分を用いて求められた各フィルタ係数の補正値とに基づいて処理画像メモリに出力するＣｒ成分の出力値を算出する。これによれば、処理量を削減しつつ、色差に対してもノイズ除去処理が可能になる。【００９８】
図１５（ｃ）の適用例では、画像ノイズ除去装置は、輝度（Ｙ）成分、Ｃｂ成分、及びＣｒ成分の夫々に対して個別に上記の実施の形態で説明したノイズ除去処理を実行する。これによれば、輝度（Ｙ）、色差（Ｃｂ，Ｃｒ）にあわせたノイズ除去が行われることになり、良好な結果が期待できる。なお、Ｙ，Ｃｂ，Ｃｒ色空間だけでなく、例えばＲ，Ｇ，ＢやＸ，Ｙ，Ｚ色空間においても適用することができる。【００９９】
＜反復実行＞
上記の実施の形態は、ノイズ除去処理の処理量とノイズ除去の効果との観点から見た場合、注目画素を中心とした３×３画素または５×５画素を用いて処理を行うことが好ましい。しかしながら、３×３画素または５×５画素では、フィルタ処理の影響範囲が狭いため大域的なノイズを除去することができないことも考えられる。そこで、大域的なノイズを除去する場合には、処理画像メモリ３に記録された処理画像に対して、再び上記の実施の形態で説明したノイズ除去処理を実行する。但し、処理画像に対するノイズ除去処理の反復実行回数は適宜変更可能である。【０１００】
このように、ノイズ除去処理を反復実行をすることによって、大域的なノイズを除去することが可能となる。また、エッジ成分を保存したノイズ除去を行う性質があるため、反復したノイズ除去を行ってもエッジは保存され、エッジ以外の部分のノイズが除去されていく。【０１０１】
なお、ノイズ除去処理を反復実行する場合には、フィルタ係数の初期値などを変化させるようにしてもよく、或いは、基準値の差の絶対値による補正のグラフ（図１０参照）の傾斜を変化させていくようにしてもよい。例えば、１回目のノイズ除去処理では、フィルタ係数を平坦にしておき（各選択画素に対応するフィルタ係数を互いに等しくしておき）、補正のグラフの傾斜を低くしておくことでフィルタを強く効かせ、２回目以降はフィルタの効果を小さくしてゆくなどが考えられる。【０１０２】
≪補足≫
本発明は上記の実施の形態に限られるものではなく、例えば、次のようなものであってもよい。【０１０３】
（１）上記の実施の形態では、フィルタ係数初期化部１４はフィルタ係数の初期値の和が１になるように正規化を行っているが、これに限らず、例えば、フィルタ係数補正部１６がフィルタ係数の補正値の和が１になるように正規化を行ってもよい。【０１０４】
（２）上記の実施の形態では、フィルタ係数初期化部１４はフィルタ係数を予め定められた値に初期化しているが、これに限られるものではなく、例えば、注目画素毎にフィルタ係数の初期値が異なるようにフィルタ係数の初期化を行ってもよい。例えば、本実施の形態において説明したノイズ除去処理より前に他のノイズ除去処理を行う場合には、フィルタ係数初期化部１４は他のノイズ除去処理の結果を利用してフィルタ係数の初期値を変更するようにしてもよい。また、変形例において説明した本実施の形態において説明したノイズ除去処理を反復実行する場合には、フィルタ係数初期化部１４は、これまでの（例えば、前回の）ノイズ除去処理の結果を利用してフィルタ係数の初期値を変更するようにしてもよい。このようにすることによって、よりボケ味が少なく、且つ、ノイズの除去を効果的に行うことが可能になる。【０１０５】
（３）上記の実施の形態において、基準値決定部１５が対象領域が３×３画素の場合に用いる定数αb及び定数γbの値を０に、定数βbの値を１にしてもよく、対象領域が５×５画素の場合に用いる定数αc及び定数γcの値を０に、定数βcの値を１にしてもよい。この場合、画像ノイズ除去処理のための演算量の軽減が図られる。【０１０６】
なお、上記の場合は、選択画素が注目画素である場合には、選択画素に対する基準画素を当該選択画素のみにし、対象領域が３×３画素の場合にはＳb＝ｂ2、対象領域が５×５画素の場合にはＳc＝ｃ2にすることと等価である。【０１０７】
（４）上記の実施の形態では、各選択画素に対する基準値の決定に際して複数の基準画素の画素値を用いているが、これに限らず、例えば、選択画素の夫々について、選択画素に対する基準値を当該選択画素の画素値としてもよい。【０１０８】
（５）上記の実施の形態において、基準値決定部１５は定数を利用するものとしたが、これに限られず、原画像に応じて変更するようにしてもよい。【０１０９】
（６）上記の実施の形態において、対象領域が５×５画素の場合に基準画素の数を３としているが、これに限られるものではなく、例えば基準画素の数を５としてもよい。【０１１０】
（７）上記の実施の形態では、図１０に示す差分と係数補正値との関係を示すグラフを用いて係数補正値を求めているが、これに限られるものではなく、例えば、差分（ｄｉｆｆ）を変数とする関数ｆ（ｄｉｆｆ）を用意し、係数補正値＝ｆ（ｄｉｆｆ）を用いて係数補正値を求めるようにしてもよい。【０１１１】
（８）上記の実施の形態において、ノイズ除去処理の対象が原画像メモリ２に記憶されている原画像であるとしているが、これに限らず、ノイズ除去処理の対象は例えば他のノイズ除去処理によるノイズ除去処理後の画像であってもよく、特にノイズ除去処理の対象は限定されるものではない。【０１１２】
（９）上記の実施の形態では、注目画素を中心とするＮ×Ｎ（Ｎは３以上の奇数）画素を対象領域としたが、これに限らず、対象領域がＡ×Ａ（Ａは２以上の偶数）画素であってもよく、更に、Ｂ１×Ｂ２（Ｂ１及びＢ２は２以上の整数であって、Ｂ１とＢ２とが互いに異なる。）画素であってもよい。【０１１３】
（１０）上記の実施の形態の構成は、典型的には集積回路であるＬＳＩ（Large Scale Integration）として実現されてもよい。これらは、個別に１チップ化されてもよいし、各実施の形態の全ての構成または一部の構成を含むように１チップ化されてもよい。【０１１４】
ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ（Integrated Circuit）、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。【０１１５】
また、集積回路化の手法はＬＳＩに限られるものではなく、専用回路または汎用プロセッサで実現しても良い。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用しても良い。【０１１６】
さらに、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行っても良い。バイオ技術の適応等が可能性としてあり得る。
【産業上の利用可能性】
【０１１７】
本発明は、デジタルカメラやビデオムービ等の入力段におけるノイズ除去処理、デジタルテレビ等の出力段におけるノイズ除去処理として利用可能である。特に、高速撮影時にはシャッター速度が短くなるため、増感によりノイズ成分が増加してしまうが、本発明はこのノイズ成分を有効に除去するための装置として好適である。
【図１】
2009037803.tif 000013
【図２】
2009037803.tif 000014
【図３】
2009037803.tif 000015
【図４】
2009037803.tif 000016
【図５】
2009037803.tif 000017
【図６】
2009037803.tif 000018
【図７】
2009037803.tif 000019
【図８】
2009037803.tif 000020
【図９】
2009037803.tif 000021
【図１０】
2009037803.tif 000022
【図１１】
2009037803.tif 000023
【図１２】
2009037803.tif 000024
【図１３】
2009037803.tif 000025
【図１４】
2009037803.tif 000026
【図１５】
2009037803.tif 000027
【手続補正書】
【提出日】平成22年2月10日(2010.2.10)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像に含まれるノイズを除去する技術に関する。
【背景技術】
【０００２】
近年、映像機器のデジタル化により、デジタル信号処理による画像処理が画質の向上のために重要になってきている。画質の低下の要因の一つとして原信号にノイズ成分が含まれることを挙げることができ、画質の向上のためにはノイズ成分の除去又はノイズ成分の影響の低減を図ることが重要となる。
原信号からノイズ成分を除去する手段として、例えばメディアンフィルタと呼ばれるフィルタが知られている。メディアンフィルタは、原画像の注目画素と当該注目画素に隣接した隣接画素とを取り出し、取り出した画素（注目画素、隣接画素）の輝度値を降順又は昇順に並べた場合にちょうど中央の輝度値を持つ画素の画素値を注目画素に対する出力画素値として出力する。一般的には、注目画素と当該注目画素に隣接する画素とを含む３×３画素の計９個の輝度値を降順又は昇順に並べ、５番目（中央）となる輝度値をもつ画素の画素値を注目画素に対する出力画素値とする。これによって、周辺の画素と画素値が大きく離れた画素、つまり、ノイズ成分と思われる画素が除去され、ノイズの少ない画像を得ることができる。
【０００３】
しかしながら、上述したように中央の輝度値を持つ画素の画素値を注目画素に対する出力画素値とすることから、メディアンフィルタにはノイズ除去による画像のボケが大きい、特にエッジ周辺での画像のボケが大きいという問題点がある。また、メディアンフィルタはノイズが多い場合に十分なノイズの除去を行えないという問題がある。
上記の問題を解決したノイズ除去手段としてバイラテラルフィルタがある。バイラテラルフィルタは、エッジ保存フィルタの一種であり、画像のエッジを保存しつつノイズ除去を行えるフィルタである。バイラテラルフィルタは、注目画素からの距離と輝度差とに着目し、注目画素の輝度値との差が大きい輝度値を持つ画素、或いは、注目画素と距離が離れている画素の影響を小さくすることで画像のエッジを保存することに特徴がある。バイラテラルフィルタは例えば特許文献１の背景技術に詳述されており、以下、特許文献１の記載を引用しながらバイラテラルフィルタの概要を説明する。
【０００４】
バイラテラルフィルタは、注目画素と当該注目画素に隣接する隣接画素とからなる（２Ｎ＋１）×（２Ｎ＋１）画素をフィルタ対象領域として抜き出してフィルタ処理を施し、このフィルタ処理により注目画素に対する出力画素値を求めて出力する。
このバイラテラルフィルタにおけるフィルタ処理は以下の通りである。なお、注目画素の座標を（Ｘ，Ｙ）、注目画素の画素値をＩＮ（Ｘ，Ｙ）、注目画素に対する出力画素値をＯＵＴ（Ｘ，Ｙ）、隣接画素の座標を（ＰＸ，ＰＹ）とする。
【０００５】
座標（Ｘ，Ｙ）と座標（ＰＸ，ＰＹ）との距離に依存する値をＷｓ（Ｘ，Ｙ，ＰＸ，ＰＹ）、座標（Ｘ，Ｙ）と座標（ＰＸ，ＰＹ）との標準偏差をσsとすると、値Ｗｓ（Ｘ，Ｙ，ＰＸ，ＰＹ）は下記の式（１）で表される。
【０００６】
【数１】
2009037803.tif 000028
【０００７】
また、エッジの有無を表すエッジ評価値をＷｒ（Ｘ，Ｙ，ＰＸ，ＰＹ）とすると、エッジ評価値Ｗｒ（Ｘ，Ｙ，ＰＸ，ＰＹ）は下記の式（２）で表される。
【０００８】
【数２】
2009037803.tif 000029
【０００９】
但し、式（２）において、Ｅｄｇｅ（Ｘ，Ｙ）は座標（Ｘ，Ｙ）の注目画素の画素値、Ｅｄｇｅ（ＰＸ，ＰＹ）は座標（ＰＸ，ＰＹ）の隣接画素の画素値、σsはフィルタ対象領域内の画素の画素値の標準偏差である。
上記の式（１）で算出した値Ｗｓ（Ｘ，Ｙ，ＰＸ，ＰＹ）と上記の式（２）で算出したエッジ評価値Ｗｒ（Ｘ，Ｙ，ＰＸ，ＰＹ）とを下記の式（３）に代入することによって係数Ｗ（Ｘ，Ｙ，ＰＸ，ＰＹ）を求める。
【００１０】
【数３】
2009037803.tif 000030
【００１１】
注目画素に対する出力画素値ＯＵＴ（Ｘ，Ｙ）は下記の式（４）により求められる。
【００１２】
【数４】
2009037803.tif 000031
【先行技術文献】
【特許文献】
【００１３】
【特許文献１】特開２００６−１８０２６８号公報
【発明の概要】
【発明が解決しようとする課題】
【００１４】
しかしながら、バイラテラルフィルタのフィルタ処理では上記の式（１）〜式（４）の演算を行う必要があり、また、Ｎの値がある程度大きくなければノイズ除去等の効果が現れにくいことからＮの値をある程度大きくする必要がある。このため、バイラテラルフィルタにはノイズ除去に要する演算量が大きいという課題がある。
本発明は、上記の課題を鑑みてなされたものであり、簡易な演算処理によってエッジ保存を行いつつノイズ除去を効果的に行うことが可能な画像ノイズ除去装置、画像ノイズ除去方法及び画像ノイズ除去プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１５】
上記課題を解決するために、本発明の画像ノイズ除去装置は、注目画素を中心とするＮ×Ｎ（Ｎは３以上の奇数）画素からなる領域における画素値の勾配方向を検出する勾配方向検出手段と、前記領域内の画素の中から前記勾配方向と直交する方向に沿って前記注目画素を含むＮ画素を選択画素として選択する選択手段と、各前記選択画素に対応するフィルタ係数の初期化を行うフィルタ係数初期化手段と、各前記フィルタ係数の補正に用いられる各前記選択画素に対する基準値を前記勾配方向を基に定まる画素の画素値に基づいて決定する基準値決定手段と、各前記選択画素に対する前記基準値に基づいて各前記選択画素に対応する前記フィルタ係数の初期値を補正するフィルタ係数補正手段と、各前記選択画素の画素値と各前記フィルタ係数の補正値とに基づいて前記注目画素に対する出力画素値を計算する画素値計算手段と、を備える。
【００１６】
また、本発明の画像ノイズ除去方法は、注目画素を中心とするＮ×Ｎ（Ｎは３以上の奇数）画素からなる領域における画素値の勾配方向を検出する勾配方向検出ステップと、前記領域内の画素の中から前記勾配方向と直交する方向に沿って前記注目画素を含むＮ画素を選択画素として選択する選択ステップと、各前記選択画素に対応するフィルタ係数の初期化を行うフィルタ係数初期化ステップと、各前記フィルタ係数の補正に用いられる各前記選択画素に対する基準値を前記勾配方向を基に定まる画素の画素値に基づいて決定する基準値決定ステップと、各前記選択画素に対する前記基準値に基づいて各前記選択画素に対応する前記フィルタ係数の初期値を補正するフィルタ係数補正ステップと、各前記選択画素の画素値と各前記フィルタ係数の補正値とに基づいて前記注目画素に対する出力画素値を計算する画素値計算ステップと、を有する。
【００１７】
さらに、本発明の画像ノイズ除去プログラムは、コンピュータに、注目画素を中心とするＮ×Ｎ（Ｎは３以上の奇数）画素からなる領域における画素値の勾配方向を検出する勾配方向検出ステップと、前記領域内の画素の中から前記勾配方向と直交する方向に沿って前記注目画素を含むＮ画素を選択画素として選択する選択ステップと、各前記選択画素に対応するフィルタ係数の初期化を行うフィルタ係数初期化ステップと、各前記フィルタ係数の補正に用いられる各前記選択画素に対する基準値を前記勾配方向を基に定まる画素の画素値に基づいて決定する基準値決定ステップと、各前記選択画素に対する前記基準値に基づいて各前記選択画素に対応する前記フィルタ係数の初期値を補正するフィルタ係数補正ステップと、各前記選択画素の画素値と各前記フィルタ係数の補正値とに基づいて前記注目画素に対する出力画素値を計算する画素値計算ステップと、を実行させる。
【発明の効果】
【００１８】
上記の画像ノイズ除去装置によれば、簡易な演算処理によってエッジを保存しながら効果的にノイズ除去を行うことができる。
上記の画像ノイズ除去装置において、前記基準値決定手段は、前記選択画素の夫々について、前記勾配方向を基に複数の画素を選択し、選択した複数の画素の画素値に基づいて前記基準値の決定を行うようにしてもよい。
【００１９】
これによれば、各フィルタ係数の補正に用いられる選択画素に対する基準値を複数の画素の画素値に基づいて決定することによって、ノイズの影響を抑えたフィルタ係数の補正を行うことができる。
上記の画像ノイズ除去装置において、前記基準値決定手段は、前記注目画素を除く前記選択画素の夫々について、前記勾配方向を基に複数の画素を選択し、選択した複数の画素の画素値に基づいて前記基準値の決定を行い、前記注目画素である選択画素について、当該注目画素の画素値に基づいて前記基準値の決定を行うようにしてもよい。
【００２０】
これによれば、各フィルタ係数の補正に用いられる注目画素（選択画素の一つ）に対する基準値を注目画素の画素値とすると共に、各フィルタ係数の補正に用いられる選択画素（注目画素を除く。）に対する基準値を複数の画素の画素値に基づいて決定することによって、演算量を抑えながらノイズの影響を抑えたフィルタ係数の補正を行うことができる。
【００２１】
上記の画像ノイズ除去装置において、前記基準値決定手段は、前記選択画素の夫々について、前記選択画素の画素値を前記基準値に決定するようにしてもよい。
これによれば、フィルタ係数の補正をより少ない演算量で行うことが可能になる。
【図面の簡単な説明】
【００２２】
【図１】本発明の実施の形態のノイズ除去装置１の装置構成図。
【図２】図１のノイズ除去部４の構成図。
【図３】図２のノイズ除去部４が処理を行う注目画素と隣接画素との関係の一例を示す図。
【図４】図２の勾配方向検出部１２が３×３画素の場合に検出する勾配方向を示す図。
【図５】図２の勾配方向検出部１２が５×５画素の場合に検出する勾配方向を示す図。
【図６】（ａ）〜（ｄ）は図２の選択部１３が３×３画素の場合に選択する選択画素を示す図。
【図７】（ａ）〜（ｄ）は図２の選択部１３が５×５画素の場合に選択する選択画素を示す図。
【図８】（ａ）〜（ｄ）は図２の基準値決定部１５による３×３画素の場合の各選択画素に対する基準値の決定を説明するための図。
【図９】（ａ）〜（ｄ）は図２の基準値決定部１５による５×５画素の場合の各選択画素に対する基準値の決定を説明するための図。
【図１０】図２のフィルタ係数補正部１６がフィルタ係数の補正に用いる係数補正値のグラフを示す図。
【図１１】図２のフィルタ係数補正部１６による３×３画素の場合のフィルタ係数の補正を説明するための図。
【図１２】図２のフィルタ係数補正部１６による５×５画素の場合のフィルタ係数の補正を説明するための図。
【図１３】図２のノイズ除去部４が行うノイズ除去処理の手順を示すフローチャート。
【図１４】本発明の変形例のコンピュータの装置構成図。
【図１５】（ａ）〜（ｃ）はカラー画像へのノイズ除去処理の適用例を説明するための図。
【発明を実施するための形態】
【００２３】
以下、本発明の実施の形態について図面を参照しつつ説明する。
≪画像ノイズ除去装置１の構成≫
本実施の形態の画像ノイズ除去装置１について図１を参照しつつ説明する。図１は本実施の形態の画像ノイズ除去装置１の装置構成図である。
画像ノイズ除去装置１は原画像メモリ２と処理画像メモリ３とノイズ除去部４とを備える。なお、例えば、原画像メモリ２と処理画像メモリ３は論理的なメモリであり、物理的には同一メモリ上に配置されていても良い。
【００２４】
原画像メモリ２及び処理画像メモリ３には例えば半導体メモリが利用され、原画像メモリ２はノイズ除去処理前の原画像を記憶し、処理画像メモリ３はノイズ除去部４によるノイズ除去処理後の処理画像を記憶する。ノイズ除去部４は、原画像メモリ２に記憶されている原画像に対してノイズ除去処理を行い、ノイズ除去処理の結果得られた処理画像を処理画像メモリ３に書き込む。
【００２５】
＜ノイズ除去部４の構成＞
以下、図１のノイズ除去部４の構成について図２を参照しつつ説明する。図２は図１のノイズ除去部４の構成図である。
ノイズ除去部４は、画素値取得部１１と勾配方向検出部１２と選択部１３とフィルタ係数初期化部１４と基準値決定部１５とフィルタ係数補正部１６と画素値計算部１７と画素値出力部１８とを備える。
【００２６】
画素値取得部１１は、注目画素を中心とするＮ×Ｎ（Ｎは３以上の奇数）画素の領域内の各画素の画素値を原画像メモリ３から取得し、取得した各画素の画素値を勾配方向検出部１２と選択部１３と基準値決定部１４とへ出力する。なお、以下において、注目画素を中心とするＮ×Ｎ画素の領域内の注目画素以外の各画素を「隣接画素」と言い、注目画素及び各隣接画素からなる原画像の領域を「対象領域」と言う。
【００２７】
ここで、図３に対象領域が３×３画素の場合の注目画素と隣接画素との関係を示す。原画像３１の座標（ｘ，ｙ）の画素Ｐ（ｘ、ｙ）が注目画素３２である場合、注目画素３２を取り囲む画素Ｐ（ｘ＋ｉ，ｙ＋ｊ）（ｉは−１以上１以下の整数であり、ｊは−１以上１以下の整数である。但し、ｉが０且つｊが０の場合を除く。）が隣接画素になる。なお、対象領域が５×５画素の場合、原画像３１の座標（ｘ，ｙ）の画素Ｐ（ｘ、ｙ）が注目画素３２であれば、注目画素３２を取り囲む画素Ｐ（ｘ＋ｉ，ｙ＋ｊ）（ｉは−２以上２以下の整数であり、ｊは−２以上２以下の整数である。但し、ｉが０且つｊが０の場合を除く。）が隣接画素になる。なお、ノイズの除去及びそのための処理量の観点から観ると、対象領域を３×３画素或いは５×５画像とするのが好ましい。
【００２８】
勾配方向検出部１２は、画素値取得部１１から入力される対象領域内の各画素の画素値に基づいて当該対象領域における画素値の勾配方向の検出を行い、検出した勾配方向を選択部１３と基準値決定部１５とへ出力する。但し、本実施の形態における勾配方向検出部１２によって検出される勾配方向は、予め定められた複数の勾配方向のうち画素値を用いて実際に算出される勾配方向に最も近い勾配方向である。図４に対象領域が３×３画素である場合に勾配方向検出部１２によって検出される勾配方向を示し、勾配方向検出部１２は４つの勾配方向ＤＩＲ１3〜ＤＩＲ４3の中から画素値を用いて実際に算出される勾配方向に最も近い勾配方向を検出する。図５に対象領域が５×５画素である場合に勾配方向検出部１２によって検出される勾配方向を示し、勾配方向検出部１２は４つの勾配方向ＤＩＲ１5〜ＤＩＲ４5の中から画素値を用いて実際に算出される勾配方向に最も近い勾配方向を検出する。なお、本実施の形態では、図４における勾配方向ＤＩＲ１3〜ＤＩＲ４3及び図５における勾配方向ＤＩＲ１5〜ＤＩＲ４5の夫々は、一の方向と当該一の方向と反対方向との２方向を含む。
【００２９】
但し、勾配方向検出部１２には例えばエッジ検出によく利用されるゾーベルフィルタ（Sobel Filter）やプレヴィットフィルタ（Prewitt Filter）などを用いることができる。ゾーベルフィルタやプレヴィットフィルタなどは、水平方向の勾配及び垂直方向の勾配を３×３の行列演算により求めるものであり、２つのフィルタ係数を利用することによって水平方向の勾配及び垂直方向の勾配を取得することができる。そして、ゾーベルフィルタやプレヴィットフィルタなどでは、取得した水平方向の勾配及び垂直方向の勾配に基づいて画素値の勾配方向を検出することができる。
【００３０】
また、特開平２００１−１４４６１号公報に開示された方法に基づいて対象領域における画素値の勾配方向の検出を行ってもよい。この場合、当該方法によって検出される方向は画素値の勾配に直交する勾配に対する接線方向になるので、検出された方向に直交する方向を勾配方向検出部１２が検出する勾配方向に変換するための処理が必要になる。
なお、上記の各勾配方向の検出手段は既知の内容であるため詳細は省略する。また、上記の各勾配方向の検出手段は例であって、画素値の勾配方向を検出することができる手段であればよい。
【００３１】
選択部１３は、勾配方向検出部１２から入力される対象領域における画素値の勾配方向に基づいて、当該対象領域内の複数の画素の中から当該勾配方向と直交する方向に沿って注目画素を含むＮ個の画素を選択する。そして、選択部１３は、選択した画素の画素値を画素値計算部１７へ出力すると共に、選択した画素を示す選択画素情報を基準値決定部１５へ出力する。更に言えば、選択部１３は、注目画素の中心点を通り且つ勾配方向と直交する線上に存在する注目画素を含むＮ個の画素を選択する。なお、以下、選択部１３によって選択される画素を「選択画素」と言う。
【００３２】
例えば、対象領域が３×３画素の場合に選択部１３によって選択される選択画素を図６（ａ）〜図６（ｄ）に示し、“ａ”、“ｂ”、“ｃ”が付された３つの画素が選択画素であり、“ｂ”が付された選択画素が注目画素である。但し、図６（ａ）は勾配方向ＤＩＲ１3に対応する選択画素を示し、図６（ｂ）は勾配方向ＤＩＲ２3に対応する選択画素を示し、図６（ｃ）は勾配方向ＤＩＲ３3に対応する選択画素を示し、図６（ｄ）は勾配方向ＤＩＲ４3に対応する選択画素を示す。
【００３３】
また、対象領域が５×５画素の場合に選択部１３によって選択される選択画素を図７（ａ）〜図７（ｄ）に示し、“ａ”、“ｂ”、“ｃ”、“ｄ”、“ｅ”が付された画素が選択画素であり、“ｃ”が付された選択画素が注目画素である。但し、図７（ａ）は勾配方向ＤＩＲ１5に対応する選択画素を示し、図７（ｂ）は勾配方向ＤＩＲ２5に対応する選択画素を示し、図７（ｃ）は勾配方向ＤＩＲ３5に対応する選択画素を示し、図７（ｄ）は勾配方向ＤＩＲ４5に対応する選択画素を示す。
【００３４】
フィルタ係数初期化部１４は各選択画素に対応したフィルタ係数の初期化を行い、各フィルタ係数の初期値をフィルタ係数補正部１６へ出力する。但し、フィルタ係数初期化部１４は、フィルタ係数の初期化の際に、各フィルタ係数の初期値の和が１になるように正規化を行う。
例えば、対象領域が３×３画素の場合、フィルタ係数初期化部１４は、フィルタ係数Ｃa3，Ｃb3，Ｃc3の初期値Ｃa3i，Ｃb3i，Ｃc3iの和が１（Ｃa3i＋Ｃb3i＋Ｃc3i＝１）になるようにフィルタ係数Ｃa3，Ｃb3，Ｃc3の初期化を行う。但し、フィルタ係数Ｃa3，Ｃb3，Ｃc3は、夫々、図６（ａ）〜（ｄ）において、“ａ”、“ｂ”、“ｃ”が付された選択画素に対応するフィルタ係数である。各フィルタ係数の初期値の大小関係は、例えば、Ｃa3i＝Ｃb3i＝Ｃc3iや、Ｃb3i＞Ｃa3i＝Ｃc3iである。後者の場合、ノイズ除去によるボケ味が小さくなる。なお、フィルタ係数Ｃa3，Ｃb3，Ｃc3の初期値の大小関係は必ずしも上記のものである必要はない。
【００３５】
また、対象領域が５×５画素の場合、フィルタ係数初期化部１４は、フィルタ係数Ｃa5，Ｃb5，Ｃc5，Ｃd5，Ｃe5の初期値Ｃa5i，Ｃb5i，Ｃc5i，Ｃd5i，Ｃe5iの和が１（Ｃa5i＋Ｃb5i＋Ｃc5i＋Ｃd5i＋Ｃe5i＝１）になるようにフィルタ係数Ｃa5，Ｃb5，Ｃc5，Ｃd5，Ｃe5の初期化を行う。但し、フィルタ係数Ｃa5，Ｃb5，Ｃc5，Ｃd5，Ｃe5は、夫々、図７（ａ）〜（ｄ）において、“ａ”、“ｂ”、“ｃ”、“ｄ”、“ｅ”が付された選択画素に対応するフィルタ係数である。各フィルタ係数の初期値の大小関係は、例えば、Ｃa5i＝Ｃb5i＝Ｃc5i＝Ｃd5i＝Ｃe5iや、Ｃc5i＞Ｃb5i＝Ｃd5i＞Ｃa5i＝Ｃe5iである。後者の場合、ノイズ除去によるボケ味が小さくなる。なお、フィルタ係数Ｃa5，Ｃb5，Ｃc5，Ｃd5，Ｃe5の初期値の大小関係は必ずしも上記のものである必要はない。
【００３６】
基準値決定部１５は、入力される選択画素情報に示される選択部１３によって選択された選択画素毎に、各フィルタ係数の補正に用いる基準値の決定に用いる画素（以下、「基準画素」と言う。）を勾配方向検出部１２から入力される勾配方向に基づいて決定し、決定した基準画素の画素値に基づいて基準値の算出を行う。そして、基準値決定部１５は各選択画素に対して算出した基準値をフィルタ係数補正部１６へ出力する。
【００３７】
例えば、対象領域が３×３画素の場合に基準値決定部１５が行う基準値の算出処理を図８（ａ）〜図８（ｄ）を用いて説明する。但し、図８（ａ）、図８（ｂ）、図８（ｃ）及び図８（ｄ）は、夫々、勾配方向ＤＩＲ１3における基準画素、勾配方向ＤＩＲ２3における基準画素、勾配方向ＤＩＲ３3における基準画素、及び勾配方向ＤＩＲ４3における基準画素を示すための図である。なお、図８（ａ）〜図８（ｄ）における“ａ1”、“ａ2”、“ａ3”が付された画素が図６（ａ）〜図６（ｄ）における“ａ”が付された選択画素に関係する基準画素であり、“ｂ1”、“ｂ2”、“ｂ3”が付された画素が“ｂ”が付された選択画素に関係する基準画素であり、“ｃ1”、“ｃ2”、“ｃ3”が付された画素が“ｃ”が付された選択画素に関係する基準画素である。
【００３８】
勾配方向ＤＩＲ１3，ＤＩＲ２3では、基準値決定部１５は、選択画素の夫々について、選択画素の中心点を通り且つ勾配方向検出部１２から入力される勾配方向の線上にある３つの画素を基準画素に決定する（図８（ａ）、図８（ｂ）参照。）。
また、勾配方向ＤＩＲ３3，ＤＩＲ４3では、基準値決定部１５は、“ｂ”が付された選択画素について、選択画素の中心点を通り且つ勾配方向検出部１２から入力される勾配方向の線上にある３つの画素を基準画素に決定する。そして、基準値決定部１５は、“ａ”、“ｃ”が付された選択画素の夫々について、選択画素と当該選択画素に辺が接する２つの画素との計３つの画素を基準画素に決定する（図８（ｃ）、図８（ｄ）参照。）。なお、“ａ”、“ｃ”が付された選択画素において、選択画素と辺が接する２つの画素を基準画素にするのは３×３画素を対象として処理することによる。但し、対象領域以外の画素の画素値を原画像メモリ３から取得して、注目画素の中心点を通り且つ勾配方向の線上にある画素を基準画素とするようにしてもよい。
【００３９】
続いて、基準値決定部１５は、下記の式（５）を用いて、各選択画素に対する基準値を算出し、各選択画素に対して算出した基準値をフィルタ係数補正部１６へ出力する。
【００４０】
【数５】
2009037803.tif 000032
【００４１】
但し、Ｓa、Ｓb、Ｓcは、夫々、“ａ”、“ｂ”、“ｃ”が付された選択画素に対する基準値である。ａ1、ａ2、ａ3は、夫々、“ａ1”、“ａ2”、“ａ3”が付された基準画素の画素値であり、ｂ1、ｂ2、ｂ3は、夫々、“ｂ1”、“ｂ2”、“ｂ3”が付された基準画素の画素値であり、ｃ1、ｃ2、ｃ3は、夫々、“ｃ1”、“ｃ2”、“ｃ3”が付された基準画素の画素値である。また、αa、βa、γa、αb、βb、γb、αc、βc、γcは、夫々、予め定められた定数である。なお、βaはαa、γaと等しい値或いはそれらより大きい値とすることが好ましく、βbはαb、γbと等しい値或いはそれらより大きい値とすることが好ましく、βcはαc、γcと等しい値或いはそれらより大きい値とすることが好ましい。
【００４２】
また、対象領域が５×５画素の場合に基準値決定部１５が行う基準値の算出処理を図９（ａ）〜図９（ｄ）を用いて説明する。但し、図９（ａ）、図９（ｂ）、図９（ｃ）及び図９（ｄ）は、夫々、勾配方向ＤＩＲ１5における基準画素、勾配方向ＤＩＲ２5における基準画素、勾配方向ＤＩＲ３5における基準画素、勾配方向ＤＩＲ４5における基準画素を示すための図である。なお、図９（ａ）〜図９（ｄ）における“ａ1”、“ａ2”、“ａ3”が付された画素が図７（ａ）〜図７（ｄ）における“ａ”が付された選択画素に関係する基準画素であり、“ｂ1”、“ｂ2”、“ｂ3”が付された画素が“ｂ”が付された選択画素に関係する基準画素であり、“ｃ1”、“ｃ2”、“ｃ3”が付された画素が“ｃ”が付された選択画素に関係する基準画素であり、“ｄ1”、“ｄ2”、“ｄ3”が付された画素が“ｄ”が付された選択画素に関係する基準画素であり、“ｅ1”、“ｅ2”、“ｅ3”が付された画素が“ｅ”が付された選択画素に関係する基準画素である。
【００４３】
勾配方向ＤＩＲ１5，ＤＩＲ２5では、基準値決定部１５は、選択画素の夫々について、選択画素の中心点を通り且つ勾配方向検出部１２から入力される勾配方向の線上にある３つの画素を基準画素に決定する（図９（ａ）、図９（ｂ）参照。）。
また、勾配方向ＤＩＲ３5，ＤＩＲ４5では、基準値決定部１５は、“ｂ”、“ｃ”、“ｄ”が付された選択画素の夫々について、選択画素の中心点を通り且つ勾配方向検出部１２から入力される勾配方向の線上にある３つの画素を基準画素に決定する。そして、基準値決定部１５は、“ａ”、“ｅ”が付された選択画素の夫々について、選択画素と当該選択画素に辺が接する２つの画素との計３つの画素を基準画素に決定する（図９（ｃ）、図９（ｄ）参照。）。なお、“ａ”、“ｅ”が付された選択画素において、選択画素と辺が接する２つの画素を基準画素にするのは５×５画素を対象として処理することによる。但し、対象領域以外の画素の画素値を原画像メモリ３から取得して、注目画素の中心点を通り且つ勾配方向の線上にある画素を基準画素とするようにしてもよい。
【００４４】
続いて、基準値決定部１５は、下記の式（６）を用いて、各選択画素に対する基準値を算出し、各選択画素に対して算出した基準値をフィルタ係数補正部１６へ出力する。
【００４５】
【数６】
2009037803.tif 000033
【００４６】
但し、Ｓa、Ｓb、Ｓc、Ｓd、Ｓeは、夫々、“ａ”、“ｂ”、“ｃ”、“ｄ”、“ｅ”が付された選択画素に対する基準値である。ａ1、ａ2、ａ3は、夫々、“ａ1”、“ａ2”、“ａ3”が付された基準画素の画素値であり、ｂ1、ｂ2、ｂ3は、夫々、“ｂ1”、“ｂ2”、“ｂ3”が付された基準画素の画素値であり、ｃ1、ｃ2、ｃ3は、夫々、“ｃ1”、“ｃ2”、“ｃ3”が付された基準画素の画素値であり、ｄ1、ｄ2、ｄ3は、夫々、“ｄ1”、“ｄ2”、“ｄ3”が付された基準画素の画素値であり、ｅ1、ｅ2、ｅ3は、夫々、“ｅ1”、“ｅ2”、“ｅ3”が付された基準画素の画素値である。また、αa、βa、γa、αb、βb、γb、αc、βc、γc、αd、βd、γd、αe、βe、γeは、夫々、予め定められた定数である。なお、βaはαa、γaと等しい値或いはそれらより大きい値とすることが好ましく、βbはαb、γbと等しい値或いはそれらより大きい値とすることが好ましく、βcはαc、γcと等しい値或いはそれらより大きい値とすることが好ましく、βdはαd、γdと等しい値或いはそれらより大きい値とすることが好ましく、βeはαe、γeと等しい値或いはそれらより大きい値とすることが好ましい。
【００４７】
上記のように、勾配方向と直交する方向に沿って選択される選択画素だけでなく、選択画素の周辺の画素も考慮することによって、ノイズの影響を抑えてフィルタ係数の補正を行うことができる。これにより、フィルタ処理による画像のエッジ近辺でのボケ味の発生を抑制することが可能になる。
フィルタ係数補正部１６は、選択部１３によって選択された注目画素を除く選択画素の夫々において、注目画素に対する基準値と注目画素以外の選択画素の基準値との差の絶対値（以下、「差分」と言う。）を算出し、算出した差分に基づいてフィルタ係数の補正に用いる係数補正値を求める。なお、本実施の形態では、フィルタ係数補正部１６は、図１０に示す差分と係数補正値との関係の何れか１つを利用して、算出した差分に対する係数補正値を求める。但し、図１０において、横軸は差分を示し、縦軸は係数補正値を示す。なお、図１０中の実線は直線による差分補正、破線は折れ線による差分補正、一点鎖線は曲線による差分補正の例であり、フィルタ係数補正部１６は例えば図１０中の一点鎖線で示す差分と係数補正値との関係を用いる。
【００４８】
続いて、フィルタ係数補正部１６は、注目画素以外の選択画素の夫々について、選択画素に対応するフィルタ係数の初期値から求めた係数補正値を減算することによってフィルタ係数の補正値を算出する。また、フィルタ係数補正部１６は、選択画素のうちの注目画素について、注目画素に対応するフィルタ係数の初期値に注目画素以外の選択画素に対して求められた係数補正値の全てを加算することによってフィルタ係数の補正値を算出する。そして、フィルタ係数補正部１６は、算出した各選択画素に対応するフィルタ係数の補正値を画素値計算部１７へ出力する。
【００４９】
例えば、対象領域が３×３画素の場合、フィルタ係数補正部１６は、“ｂ”が付された選択画素（注目画素）に対する基準値Ｓbと“ａ”が付された選択画素に対する基準値Ｓaとの差の絶対値（差分）｜Ｓb−Ｓa｜を算出し、図１０に示した差分と係数補正値との関係から算出した差分｜Ｓb−Ｓa｜に対する係数補正値Ｃba3を求める。また、フィルタ係数補正部１６は、“ｂ”が付された選択画素（注目画素）に対する基準値Ｓbと“ｃ”が付された選択画素に対する基準値Ｓcとの差分｜Ｓb−Ｓc｜を算出し、図１０に示した差分値と係数補正値との関係から算出した差分｜Ｓb−Ｓc｜に対する係数補正値Ｃbc3を求める。
【００５０】
そして、フィルタ係数補正部１６は、下記の式（７）を用いて、各選択画素に対応するフィルタ係数Ｃa3、Ｃb3、Ｃc3の補正値を算出する。この様子を図１１に示す。
【００５１】
【数７】
2009037803.tif 000034
【００５２】
但し、Ｃa3m、Ｃb3m、Ｃc3mは、夫々、フィルタ係数Ｃa3、Ｃb3、Ｃc3の補正値である。
また、対象領域が５×５画素の場合、フィルタ係数補正部１６は、“ｃ”が付された選択画素（注目画素）に対する基準値Ｓcと“ａ”が付された選択画素に対する基準値Ｓaとの差分｜Ｓc−Ｓa｜を算出し、図１０に示した差分と係数補正値との関係から算出した差分｜Ｓc−Ｓa｜に対する係数補正値Ｃca5を求める。また、フィルタ係数補正部１６は、“ｃ”が付された選択画素（注目画素）に対する基準値Ｓcと“ｂ”が付された選択画素に対する基準値Ｓbとの差分｜Ｓc−Ｓb｜を算出し、図１０に示した差分と係数補正値との関係から算出した差分｜Ｓc−Ｓb｜に対する係数補正値Ｃcb5を求める。また、フィルタ係数補正部１６は、“ｃ”が付された選択画素（注目画素）に対する基準値Ｓcと“ｄ”が付された選択画素に対する基準値Ｓdとの差分｜Ｓc−Ｓd｜を算出し、図１０に示した差分と係数補正値との関係から算出した差分｜Ｓc−Ｓd｜に対する係数補正値Ｃcd5を求める。また、フィルタ係数補正部１６は、“ｃ”が付された選択画素（注目画素）に対する基準値Ｓcと“ｅ”が付された選択画素に対する基準値Ｓeとの差分｜Ｓc−Ｓe｜を算出し、図１０に示した差分と係数補正値との関係から算出した差分｜Ｓc−Ｓe｜に対する係数補正値Ｃce5を求める。
【００５３】
そして、フィルタ係数補正部１６は、下記の式（８）を用いて、各選択画素に対応するフィルタ係数Ｃa5、Ｃb5、Ｃc5、Ｃd5、Ｃe5の補正値を算出する。この様子を図１２に示す。
【００５４】
【数８】
2009037803.tif 000035
【００５５】
但し、Ｃa5m、Ｃb5m、Ｃc5m、Ｃd5m、Ｃe5mは、夫々、フィルタ係数Ｃa5、Ｃb5、Ｃc5、Ｃd5、Ｃe5の補正値である。
なお、フィルタ係数の補正値が負の値になった場合には、フィルタ係数補正部１６は、負の値になったフィルタ係数を０になるように補正値を修正するとともに、注目画素に対応するフィルタ係数の補正値に当該負の値を加算することによって修正する。
【００５６】
以上のように、各選択画素に対する基準値を用いてフィルタ係数の補正を行うことによって、画素値の変化が大きい部分、つまり、エッジ成分の大きい部分などではフィルタ効果を小さくすることができ、エッジ周辺のボケ味を軽減することができる。
画素値計算部１７は、選択部１３によって選択された選択画素毎に、選択画素の画素値とフィルタ係数補正部１６によって補正された当該選択画素に対応するフィルタ係数の補正値とを乗算する。そして、画素値計算部１７は、乗算値の全てを加算して、注目画素に対応する出力画素値を算出し、算出した注目画素に対応する出力画素値を画素値出力部１８へ出力する。
【００５７】
例えば、対象領域が３×３画素の場合には、画素値決定部１７は下記の式（９）を用いて座標（ｘ，ｙ）の注目画素に対する出力画素値ＯＵＴ（ｘ，ｙ）を算出する。
【００５８】
【数９】
2009037803.tif 000036
【００５９】
但し、ａ、ｂ、ｃは、夫々、“ａ”、“ｂ”、“ｃ”が付された選択画素の画素値である。
また、対象領域が５×５画素の場合には、画素値決定部１７は下記の式（１０）を用いて座標（ｘ，ｙ）の注目画素に対する出力画素値ＯＵＴ（ｘ，ｙ）を算出する。
【００６０】
【数１０】
2009037803.tif 000037
【００６１】
但し、ａ、ｂ、ｃ、ｄ、ｅは、夫々、“ａ”、“ｂ”、“ｃ”、“ｄ”、“ｅ”が付された選択画素の画素値である。
画素値出力部１８は、画素値計算部１７から入力される注目画素に対する出力画素値ＯＵＴ（ｘ，ｙ）を処理画像メモリ３に書き込む。
＜ノイズ除去部４の動作＞
以下、図２のノイズ除去部４によるノイズ除去処理について図１３を参照しつつ説明する。図１３は図２のノイズ除去部４によるノイズ除去処理の手順を示すフローチャートである。
【００６２】
画素値取得部１１は、注目画素の位置の座標を（ｘ，ｙ）に初期化する（ステップＳ１）。初期化の位置の座標としては、例えば、（０，０）を挙げることができる。
画素値取得部１１は、注目画素の位置によって定まる対象領域内の各画素（注目画素と各隣接画素）の画素値を原画像メモリ２から取得する（ステップＳ２）。勾配方向検出部１２はステップＳ２で取得した対象領域内の各画素の画素値に基づいて当該対象領域内における画素値の勾配方向の検出を行う（ステップＳ３）。選択部１３は、ステップＳ３における勾配方向の検出結果に基づいて対象領域内の複数の画素の中から選択画素の選択を行う（ステップＳ４）。
【００６３】
フィルタ係数初期化部１４は、ステップＳ４において選択された各選択画素に対応するフィルタ係数の初期化を行い（ステップＳ５）、基準値決定部１５はステップＳ４において選択された各選択画素に対する基準値の決定を行う（ステップＳ６）。フィルタ係数補正部１６は、注目画素以外の選択画素の夫々について、注目画素の基準値と注目画素以外の選択画素の画素値との差の絶対値（差分）を計算し（ステップＳ７）、計算により求めた差分に基づいて係数補正値を求める（ステップＳ８）。そして、フィルタ係数補正部１６は、ステップＳ８において求めた各係数補正値に基づいて各選択画素に対応するフィルタ係数の補正を行う（ステップＳ９）。画素値計算部１７は、各選択画素の画素値と各フィルタ係数の補正値とに基づいて注目画素に対する出力画素値を計算し（ステップＳ１０）、画素値出力部１８はステップＳ１０で求められた注目画素に対する出力画素値を処理画像メモリ３に書き込む（ステップＳ１１）。
【００６４】
画素値取得部１１は、原画像メモリ２に記憶されている処理対象の原画像の全画素に対してノイズ除去処理が行われたか否かを判定し（ステップＳ１２）、全画素に対してノイズ除去処理が行われていない場合には（Ｓ１２：ＮＯ）、注目画素の位置を未処理の画素の位置に更新し（ステップＳ１３）、ステップＳ２の処理が行われる。全画素に対してノイズ除去処理が行われた場合には（Ｓ１２：ＹＥＳ）、図１３のノイズ除去処理が終了する。
【００６５】
上述した実施の形態によれば、バイラテラルフィルタに比べて少ない演算量及び回路規模でエッジ保存を行いつつノイズ除去を行うことができ、少ない演算量でバイラテラルフィルタの近似的な効果を得ることができる。
≪変形例≫
＜コンピュータ＞
以下、上述した画像ノイズ除去装置１が行うノイズ除去処理を実行するコンピュータについて図１４を参照しつつ説明する。図１４は本変形例におけるコンピュータの装置構成図である。
【００６６】
コンピュータ５１は、プログラムメモリ５２と原画像メモリ５３と処理画像メモリ５４とＣＰＵ（Central Processing Unit）５５とを備える。
プログラムメモリ５２、原画像メモリ５３及び処理画像メモリ５４には例えば半導体メモリが利用できる。プログラムメモリ５２には、上述した画像ノイズ除去装置１が行うノイズ除去処理と等価な処理手順を記述した画像ノイズ除去プログラムが格納されている。原画像メモリ５３は原画像を記憶し、処理画像メモリ５４はＣＰＵ５５による画像ノイズ除去プログラムの実行後の処理画像を記憶する。
【００６７】
ＣＰＵ５５は、プログラムメモリ５２から画像ノイズ除去プログラムを読み出して、画像ノイズ除去プログラムを実行することによって、原画像メモリ５３に記憶されている原画像からノイズの除去を行い、ノイズの除去の結果得られた処理画像を処理画像メモリ５４に書き込む。
なお、ＣＰＵの代わりに例えばＤＳＰ（Digital Signal Processor）などを用いるようにしてもよい。
【００６８】
＜カラー画像の取り扱い＞
上記の実施の形態は、画素毎に１つの画素値を持つグレースケール映像や輝度のみの映像を対象にしているが、これに限られるものではなく、例えば、画素値として輝度（Ｙ）と色差（Ｃｂ，Ｃｒ）とを持つ画像を対象とすることも可能である。
以下、図１５を参照してカラー画像を対象とした場合のノイズ除去処理について説明する。図１５（ａ）〜（ｃ）はカラー画像へのノイズ除去処理の適用例を説明するための図である。
【００６９】
図１５（ａ）の適用例では、画像ノイズ除去装置は、輝度（Ｙ）成分に対してのみ上記の実施の形態で説明したノイズ除去処理を実行し、Ｃｂ成分、Ｃｒ成分は原画像メモリから処理画像メモリへそのままコピーする。つまり、画像ノイズ除去装置は、人間がノイズに対して敏感な輝度（Ｙ）成分に対してのみノイズ除去処理を行い、それ以外の色差（Ｃｂ，Ｃｒ）成分に対してノイズ除去処理を行わない。これにより、人間がノイズに対して敏感な輝度（Ｙ）成分からノイズの除去を行いつつ、ノイズ除去のための処理量を削減することができる。
【００７０】
図１５（ｂ）の適用例では、画像ノイズ除去装置は、注目画素ごとに、輝度（Ｙ）成分を用いて選択画素の選択処理及びフィルタ係数の補正値の算出処理を行う。その後、画像ノイズ除去装置は、輝度（Ｙ）成分について、各選択画素の輝度（Ｙ）成分の値と各フィルタ係数の補正値とに基づいて処理画像メモリに出力する輝度（Ｙ）成分の出力値を算出する。これとともに、画像ノイズ除去装置は、Ｃｂ成分について、輝度（Ｙ）成分を用いて選択された各選択画素のＣｂ成分の値と輝度（Ｙ）成分を用いて求められた各フィルタ係数の補正値とに基づいて処理画像メモリに出力するＣｂ成分の出力値を算出する。また、画像ノイズ除去装置は、Ｃｒ成分について、輝度（Ｙ）成分を用いて選択された各選択画素のＣｒ成分の値と輝度（Ｙ）成分を用いて求められた各フィルタ係数の補正値とに基づいて処理画像メモリに出力するＣｒ成分の出力値を算出する。これによれば、処理量を削減しつつ、色差に対してもノイズ除去処理が可能になる。
【００７１】
図１５（ｃ）の適用例では、画像ノイズ除去装置は、輝度（Ｙ）成分、Ｃｂ成分、及びＣｒ成分の夫々に対して個別に上記の実施の形態で説明したノイズ除去処理を実行する。これによれば、輝度（Ｙ）、色差（Ｃｂ，Ｃｒ）にあわせたノイズ除去が行われることになり、良好な結果が期待できる。なお、Ｙ，Ｃｂ，Ｃｒ色空間だけでなく、例えばＲ，Ｇ，ＢやＸ，Ｙ，Ｚ色空間においても適用することができる。
【００７２】
＜反復実行＞
上記の実施の形態は、ノイズ除去処理の処理量とノイズ除去の効果との観点から見た場合、注目画素を中心とした３×３画素または５×５画素を用いて処理を行うことが好ましい。しかしながら、３×３画素または５×５画素では、フィルタ処理の影響範囲が狭いため大域的なノイズを除去することができないことも考えられる。そこで、大域的なノイズを除去する場合には、処理画像メモリ３に記録された処理画像に対して、再び上記の実施の形態で説明したノイズ除去処理を実行する。但し、処理画像に対するノイズ除去処理の反復実行回数は適宜変更可能である。
【００７３】
このように、ノイズ除去処理を反復実行をすることによって、大域的なノイズを除去することが可能となる。また、エッジ成分を保存したノイズ除去を行う性質があるため、反復したノイズ除去を行ってもエッジは保存され、エッジ以外の部分のノイズが除去されていく。
なお、ノイズ除去処理を反復実行する場合には、フィルタ係数の初期値などを変化させるようにしてもよく、或いは、基準値の差の絶対値による補正のグラフ（図１０参照）の傾斜を変化させていくようにしてもよい。例えば、１回目のノイズ除去処理では、フィルタ係数を平坦にしておき（各選択画素に対応するフィルタ係数を互いに等しくしておき）、補正のグラフの傾斜を低くしておくことでフィルタを強く効かせ、２回目以降はフィルタの効果を小さくしてゆくなどが考えられる。
【００７４】
≪補足≫
本発明は上記の実施の形態に限られるものではなく、例えば、次のようなものであってもよい。
（１）上記の実施の形態では、フィルタ係数初期化部１４はフィルタ係数の初期値の和が１になるように正規化を行っているが、これに限らず、例えば、フィルタ係数補正部１６がフィルタ係数の補正値の和が１になるように正規化を行ってもよい。
【００７５】
（２）上記の実施の形態では、フィルタ係数初期化部１４はフィルタ係数を予め定められた値に初期化しているが、これに限られるものではなく、例えば、注目画素毎にフィルタ係数の初期値が異なるようにフィルタ係数の初期化を行ってもよい。例えば、本実施の形態において説明したノイズ除去処理より前に他のノイズ除去処理を行う場合には、フィルタ係数初期化部１４は他のノイズ除去処理の結果を利用してフィルタ係数の初期値を変更するようにしてもよい。また、変形例において説明した本実施の形態において説明したノイズ除去処理を反復実行する場合には、フィルタ係数初期化部１４は、これまでの（例えば、前回の）ノイズ除去処理の結果を利用してフィルタ係数の初期値を変更するようにしてもよい。このようにすることによって、よりボケ味が少なく、且つ、ノイズの除去を効果的に行うことが可能になる。
【００７６】
（３）上記の実施の形態において、基準値決定部１５が対象領域が３×３画素の場合に用いる定数αb及び定数γbの値を０に、定数βbの値を１にしてもよく、対象領域が５×５画素の場合に用いる定数αc及び定数γcの値を０に、定数βcの値を１にしてもよい。この場合、画像ノイズ除去処理のための演算量の軽減が図られる。
なお、上記の場合は、選択画素が注目画素である場合には、選択画素に対する基準画素を当該選択画素のみにし、対象領域が３×３画素の場合にはＳb＝ｂ2、対象領域が５×５画素の場合にはＳc＝ｃ2にすることと等価である。
【００７７】
（４）上記の実施の形態では、各選択画素に対する基準値の決定に際して複数の基準画素の画素値を用いているが、これに限らず、例えば、選択画素の夫々について、選択画素に対する基準値を当該選択画素の画素値としてもよい。
（５）上記の実施の形態において、基準値決定部１５は定数を利用するものとしたが、これに限られず、原画像に応じて変更するようにしてもよい。
【００７８】
（６）上記の実施の形態において、対象領域が５×５画素の場合に基準画素の数を３としているが、これに限られるものではなく、例えば基準画素の数を５としてもよい。
（７）上記の実施の形態では、図１０に示す差分と係数補正値との関係を示すグラフを用いて係数補正値を求めているが、これに限られるものではなく、例えば、差分（ｄｉｆｆ）を変数とする関数ｆ（ｄｉｆｆ）を用意し、係数補正値＝ｆ（ｄｉｆｆ）を用いて係数補正値を求めるようにしてもよい。
【００７９】
（８）上記の実施の形態において、ノイズ除去処理の対象が原画像メモリ２に記憶されている原画像であるとしているが、これに限らず、ノイズ除去処理の対象は例えば他のノイズ除去処理によるノイズ除去処理後の画像であってもよく、特にノイズ除去処理の対象は限定されるものではない。
（９）上記の実施の形態では、注目画素を中心とするＮ×Ｎ（Ｎは３以上の奇数）画素を対象領域としたが、これに限らず、対象領域がＡ×Ａ（Ａは２以上の偶数）画素であってもよく、更に、Ｂ１×Ｂ２（Ｂ１及びＢ２は２以上の整数であって、Ｂ１とＢ２とが互いに異なる。）画素であってもよい。
【００８０】
（１０）上記の実施の形態の構成は、典型的には集積回路であるＬＳＩ（Large Scale Integration）として実現されてもよい。これらは、個別に１チップ化されてもよいし、各実施の形態の全ての構成または一部の構成を含むように１チップ化されてもよい。
ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ（Integrated Circuit）、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
【００８１】
また、集積回路化の手法はＬＳＩに限られるものではなく、専用回路または汎用プロセッサで実現しても良い。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（FieldProgrammable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用しても良い。
さらに、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行っても良い。バイオ技術の適応等が可能性としてあり得る。
【産業上の利用可能性】
【００８２】
本発明は、デジタルカメラやビデオムービ等の入力段におけるノイズ除去処理、デジタルテレビ等の出力段におけるノイズ除去処理として利用可能である。特に、高速撮影時にはシャッター速度が短くなるため、増感によりノイズ成分が増加してしまうが、本発明はこのノイズ成分を有効に除去するための装置として好適である。
【符号の説明】
【００８３】
１  画像ノイズ除去装置
２  原画像メモリ
３  処理画像メモリ
４  ノイズ除去部
１１  画素値取得部
１２  勾配方向検出部
１３  選択部
１４  フィルタ係数初期化部
１５  基準値決定部
１６  フィルタ係数補正部
１７  画素値計算部
１８  画素値出力部
【手続補正２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
注目画素を中心とするＮ×Ｎ（Ｎは３以上の奇数）画素からなる領域における画素値の勾配方向を検出する勾配方向検出手段と、
前記領域内の画素の中から前記勾配方向と直交する方向に沿って前記注目画素を含むＮ画素を選択画素として選択する選択手段と、
各前記選択画素に対応するフィルタ係数の初期化を行うフィルタ係数初期化手段と、
各前記フィルタ係数の補正に用いられる各前記選択画素に対する基準値を前記勾配方向を基に定まる画素の画素値に基づいて決定する基準値決定手段と、
各前記選択画素に対する前記基準値に基づいて各前記選択画素に対応する前記フィルタ係数の初期値を補正するフィルタ係数補正手段と、
各前記選択画素の画素値と各前記フィルタ係数の補正値とに基づいて前記注目画素に対する出力画素値を計算する画素値計算手段と、
を備える画像ノイズ除去装置。
【請求項２】
前記基準値決定手段は、前記選択画素の夫々について、前記勾配方向を基に複数の画素を選択し、選択した複数の画素の画素値に基づいて前記基準値の決定を行う
ことを特徴とする請求項１記載の画像ノイズ除去装置。
【請求項３】
前記基準値決定手段は、
前記注目画素を除く前記選択画素の夫々について、前記勾配方向を基に複数の画素を選択し、選択した複数の画素の画素値に基づいて前記基準値の決定を行い、
前記注目画素である選択画素について、当該注目画素の画素値に基づいて前記基準値の決定を行う
ことを特徴とする請求項１記載の画像ノイズ除去装置。
【請求項４】
前記基準値決定手段は、前記選択画素の夫々について、前記選択画素の画素値を前記基準値に決定する
ことを特徴とする請求項１記載の画像ノイズ除去装置。
【請求項５】
注目画素を中心とするＮ×Ｎ（Ｎは３以上の奇数）画素からなる領域における画素値の勾配方向を検出する勾配方向検出ステップと、
前記領域内の画素の中から前記勾配方向と直交する方向に沿って前記注目画素を含むＮ画素を選択画素として選択する選択ステップと、
各前記選択画素に対応するフィルタ係数の初期化を行うフィルタ係数初期化ステップと、
各前記フィルタ係数の補正に用いられる各前記選択画素に対する基準値を前記勾配方向を基に定まる画素の画素値に基づいて決定する基準値決定ステップと、
各前記選択画素に対する前記基準値に基づいて各前記選択画素に対応する前記フィルタ係数の初期値を補正するフィルタ係数補正ステップと、
各前記選択画素の画素値と各前記フィルタ係数の補正値とに基づいて前記注目画素に対する出力画素値を計算する画素値計算ステップと、
を有する画像ノイズ除去方法。
【請求項６】
コンピュータに、
注目画素を中心とするＮ×Ｎ（Ｎは３以上の奇数）画素からなる領域における画素値の勾配方向を検出する勾配方向検出ステップと、
前記領域内の画素の中から前記勾配方向と直交する方向に沿って前記注目画素を含むＮ画素を選択画素として選択する選択ステップと、
各前記選択画素に対応するフィルタ係数の初期化を行うフィルタ係数初期化ステップと、
各前記フィルタ係数の補正に用いられる各前記選択画素に対する基準値を前記勾配方向を基に定まる画素の画素値に基づいて決定する基準値決定ステップと、
各前記選択画素に対する前記基準値に基づいて各前記選択画素に対応する前記フィルタ係数の初期値を補正するフィルタ係数補正ステップと、
各前記選択画素の画素値と各前記フィルタ係数の補正値とに基づいて前記注目画素に対する出力画素値を計算する画素値計算ステップと、
を実行させるための画像ノイズ除去プログラム。
【手続補正３】
【補正対象書類名】図面
【補正対象項目名】全図
【補正方法】変更
【補正の内容】
【図１】
2009037803.tif 000038
【図２】
2009037803.tif 000039
【図３】
2009037803.tif 000040
【図４】
2009037803.tif 000041
【図５】
2009037803.tif 000042
【図６】
2009037803.tif 000043
【図７】
2009037803.tif 000044
【図８】
2009037803.tif 000045
【図９】
2009037803.tif 000046
【図１０】
2009037803.tif 000047
【図１１】
2009037803.tif 000048
【図１２】
2009037803.tif 000049
【図１３】
2009037803.tif 000050
【図１４】
2009037803.tif 000051
【図１５】
2009037803.tif 000052
【国際調査報告】
2009037803.tif 000053
2009037803.tif 000054
2009037803.tif 000055
2009037803.tif 000056