(57)【要約】  【課題】  動き状態から静止状態に状態変化した物体に対してノイズが十分に低減されるまでの時間を短縮することのできる画像処理装置を提供する。  【解決手段】  画像処理装置１は、１フレーム前の巡回画像信号を蓄積するフレームメモリ２と、入力画像信号と巡回画像信号を同時化する同時化部３と、入力画像信号と巡回画像信号から画像の動きを検出する動き検出部４と、画像中の注目画素とその周囲画素の相関に基づいて入力画像信号のノイズ成分を低減する２次元フィルタ６と、画像の動きに応じた巡回係数を用いて入力画像信号と巡回画像信号を加重加算する３次元フィルタ７と、画像の動きに応じた加重係数を用いて２次元フィルタ６と３次元フィルタ７からの出力画像信号を加重加算する信号合成部８を備え、さらに、３次元フィルタ７に入力される巡回画像信号に対するノイズ除去処理を行うノイズ除去部５を備えている。【選択図】  図１
2010219807.tif 000002
【特許請求の範囲】
【請求項１】
１フレーム前の画像信号を巡回画像信号として蓄積するフレームメモリ手段と、
入力画像信号と前記フレームメモリ手段から入力される前記巡回画像信号をそれぞれ複数ライン分同時化する同時化手段と、
同時化された前記入力画像信号と前記巡回画像信号に基づいて、画像の動きを検出する動き検出手段と、
画像中の注目画素とその周囲画素の相関に基づいて、前記入力画像信号のノイズ成分を低減する２次元フィルタ手段と、
検出された前記画像の動きに基づいて決定される巡回係数を用いて、前記入力画像信号と前記巡回画像信号を加重加算することにより、前記入力画像信号のノイズ成分を低減する３次元フィルタ手段と、
検出された前記画像の動きに基づいて決定される重み付け係数を用いて、前記２次元フィルタ手段からの出力画像信号と前記３次元フィルタ手段からの出力画像信号を加重加算する信号合成手段と、
前記３次元フィルタ手段に入力される前記巡回画像信号に対するノイズ除去処理を行うノイズ除去手段と、
を備え、
前記画像の動きが小さい場合の前記巡回係数は、前記画像の動きが大きい場合の前記巡回係数より小さい値に決定されることを特徴とする画像処理装置。
【請求項２】
前記ノイズ除去手段は、メディアンフィルタ、加重メディアンフィルタ、または、スタックフィルタであることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記ノイズ除去手段は、前記注目画素と前記周囲画素の信号レベルとの大小を比較し、前記注目画素の信号レベルが、前記周囲画素の最大信号レベルに基づいて決定される所定の上限値より大きいとき、または、前記周囲画素の最小信号レベルに基づいて決定される所定の下限値より小さいときに、前記注目画素の画素値を置き換える処理を行うことを特徴とする請求項１に記載の画像処理装置。
【請求項４】
１フレーム前の画像信号を巡回画像信号として蓄積することと、
入力画像信号と前記蓄積された巡回画像信号をそれぞれ複数ライン分同時化する同時化処理を行うことと、
同時化された前記入力画像信号と前記巡回画像信号に基づいて、画像の動きを検出する動き検出処理を行うことと、
画像中の注目画素とその周囲画素の相関に基づいて、前記入力画像信号のノイズ成分を低減する２次元フィルタ処理を行うことと、
検出された前記画像の動きに基づいて決定される巡回係数であって、前記画像の動きが小さい場合のほうが記画像の動きが大きい場合より小さい値に決定される前記巡回係数を用いて、前記入力画像信号と前記巡回画像信号を加重加算することにより、前記入力画像信号のノイズ成分を低減する３次元フィルタ処理を行うことと、
検出された前記画像の動きに基づいて決定される重み付け係数を用いて、前記２次元フィルタ処理後の出力画像信号と前記３次元フィルタ処理後の出力画像信号を加重加算する信号合成処理を行うことと、
前記３次元フィルタ処理前の巡回画像信号に対してノイズ除去処理を行うことと、
を含むことを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタル画像処理装置に関し、特に、画像信号のノイズを低減させてＳ／Ｎを改善することにより高画質な画像が得られる画像処理装置に関する。
【背景技術】
【０００２】
一般的に画像信号は、フレーム周期で画像情報が繰り返される信号であり、フレーム間の自己相関性が非常に強い。一方、画像信号に含まれるノイズ成分は一般にその自己相関性がないことから、画像信号をフレーム周期ごとに時間的に平均するとノイズ成分のエネルギーのみが低くなり、ノイズを低減することができることが知られている。従来、フレーム巡回型のノイズ低減装置として、動き検出情報に基づいてノイズ低減を行うノイズ低減装置が知られている（例えば特許文献１参照）。
【特許文献１】特開２００１−１６０９０９号公報
【０００３】
この従来のノイズ低減装置では、動き検出情報を元に、静止画／動画の判定が行われる。そして、静止画と判定された場合には、主にフレーム巡回型ノイズ低減装置（３次元フィルタ）でノイズ低減を行い、動画と判定された場合には、主にエリア選択型ノイズ低減装置（２次元フィルタ）でノイズ低減を行うように、それぞれのノイズ低減装置が制御される。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来のノイズ低減装置においては、巡回係数を大きく設定することで、３次元フィルタのノイズ低減効果を２次元フィルタのノイズ低減効果よりはるかに大きくすることも可能であるが、その場合には、巡回をある程度繰り返さないと３次元フィルタの効果が十分には発揮されないという問題があった。
【０００５】
例えば、画像中のある物体が「動いている」と判定されると、２次元フィルタでその物体の部分（動画の部分）のノイズが低減され、３次元フィルタでその物体の周囲の部分（静止画の部分）のノイズが低減される。なお、２次元フィルタでノイズ低減された部分は、３次元フィルタでノイズ低減された部分よりＳ／Ｎは良くないが、動きのある被写体に対しては「動きボケ」もあるため、ある程度のS/N低下は許容される。そして、例えば、次のフレームからその物体が「静止している」と判定されると、その物体の部分も３次元フィルタによってノイズ低減されることになる。しかし、従来のノイズ低減装置では、動いていた物体が静止した後すぐには、その物体の部分（静止画の部分）についての３次元フィルタのノイズ低減の効果は得られず、ある程度巡回を繰り返した後に、元から静止していた周囲の部分と同等のノイズ低減効果が得られる（同等のＳ／Ｎになる）ようになる。つまり「動いている状態」から「静止している状態」に状態が変わった物体に対しては、ノイズが十分に低減されてＳ／Ｎが改善されるまでに時間がかかり、その部分のノイズが目立つおそれがあるという問題があった。
【０００６】
そこで、「動いている状態」から「静止している状態」に状態が変わった物体に対して、できるだけ早くＳ／Ｎを改善してノイズを目立たせなくすることが望まれていた。特に、ＰＴＺ（パン・チルト・ズーム）機能を備えたカメラでは、ＰＴＺ動作中には全画面が「動いている」と判定されるが、ＰＴＺ動作の終了後にもできるだけ早くノイズを低減してＳ／Ｎを高くすることが求められていた。
【０００７】
本発明は、上記従来の問題を解決するためになされたもので、動き状態から静止状態に状態が変わった物体に対してノイズが十分に低減されるまでの時間を短縮することのできる画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の画像処理装置は、１フレーム前の画像信号を巡回画像信号として蓄積するフレームメモリ手段と、入力画像信号と前記フレームメモリ手段から入力される前記巡回画像信号をそれぞれ複数ライン分同時化する同時化手段と、同時化された前記入力画像信号と前記巡回画像信号に基づいて、画像の動きを検出する動き検出手段と、画像中の注目画素とその周囲画素の相関に基づいて、前記入力画像信号のノイズ成分を低減する２次元フィルタ手段と、検出された前記画像の動きに基づいて決定される巡回係数を用いて、前記入力画像信号と前記巡回画像信号を加重加算することにより、前記入力画像信号のノイズ成分を低減する３次元フィルタ手段と、検出された前記画像の動きに基づいて決定される重み付け係数を用いて、前記２次元フィルタ手段からの出力画像信号と前記３次元フィルタ手段からの出力画像信号を加重加算する信号合成手段と、前記３次元フィルタ手段に入力される前記巡回画像信号に対するノイズ除去処理を行うノイズ除去手段と、を備え、前記画像の動きが小さい場合の前記巡回係数は、前記画像の動きが大きい場合の前記巡回係数より小さい値に決定される構成を有している。
【０００９】
この構成により、３次元フィルタ手段に入力される巡回画像信号に対してノイズ除去処理が行われるため、動き状態から静止状態に状態変化した物体に対してノイズが十分に低減されるまでの時間を短縮することができ、高いＳ／Ｎの画像を素早く得ることができる。
【００１０】
また、本発明の画像処理装置では、前記ノイズ除去手段は、メディアンフィルタ、加重メディアンフィルタ、または、スタックフィルタである構成を有している。
【００１１】
この構成により、３次元フィルタ手段に入力される巡回画像信号に対して繰り返しノイズ除去処理が行われても、必要な画像信号が失われてしまうことがなく、適正なノイズ低減処理がなされた高画質な画像を得ることができる。
【００１２】
また、本発明の画像処理装置では、前記ノイズ除去手段は、前記注目画素と前記周囲画素の信号レベルとの大小を比較し、前記注目画素の信号レベルが、前記周囲画素の最大信号レベルに基づいて決定される所定の上限値より大きいとき、または、前記周囲画素の最小信号レベルに基づいて決定される所定の下限値より小さいときに、前記注目画素の画素値を置き換える処理を行う構成を有している。
【００１３】
この構成により、３次元フィルタ手段に入力される巡回画像信号に対して繰り返しノイズ除去処理が行われても、必要な画像信号が失われてしまうことがなく、適正なノイズ低減処理がなされた高画質な画像を得ることができる。
【００１４】
本発明の画像処理方法は、１フレーム前の画像信号を巡回画像信号として蓄積することと、入力画像信号と前記蓄積された巡回画像信号をそれぞれ複数ライン分同時化する同時化処理を行うことと、同時化された前記入力画像信号と前記巡回画像信号に基づいて、画像の動きを検出する動き検出処理を行うことと、画像中の注目画素とその周囲画素の相関に基づいて、前記入力画像信号のノイズ成分を低減する２次元フィルタ処理を行うことと、検出された前記画像の動きに基づいて決定される重み付け係数を用いて、前記入力画像信号と前記巡回画像信号を加重加算することにより、前記入力画像信号のノイズ成分を低減する３次元フィルタ処理を行うことと、検出された前記画像の動きに基づいて決定される巡回係数であって、前記画像の動きが小さい場合のほうが記画像の動きが大きい場合より小さい値に決定される前記巡回係数を用いて、前記２次元フィルタ処理後の出力画像信号と前記３次元フィルタ処理後の出力画像信号を加重加算する信号合成処理を行うことと、前記３次元フィルタ処理前の巡回画像信号に対してノイズ除去処理を行うことと、を含んでいる。
【００１５】
この方法によっても、上記と同様に、３次元フィルタ処理に用いられる巡回画像信号に対してノイズ除去処理が行われるため、動き状態から静止状態に状態変化した物体に対してノイズが十分に低減されるまでの時間を短縮することができ、高いＳ／Ｎの画像を素早く得ることができる。
【発明の効果】
【００１６】
本発明は、３次元フィルタ手段に入力される巡回画像信号に対するノイズ除去処理を行うノイズ除去手段を設けることにより、動き状態から静止状態に状態変化した物体に対してノイズが十分に低減されるまでの時間を短縮することができるという効果を有する画像処理装置を提供することができるものである。
【発明を実施するための最良の形態】
【００１７】
以下、本発明の実施の形態の画像処理装置について、図面を用いて説明する。本実施の形態では、ＰＴＺ機能を備えたカメラで撮影された画像の画像処理等に用いられる画像処理装置の場合を例示する。
【００１８】
（第１の実施の形態）
本発明の第１の実施の形態の画像処理装置の構成について、図面を参照して説明する。図１は、本実施の形態の画像処理装置の構成を示すブロック図である。図１に示すように、画像処理装置１は、画像信号を巡回画像信号として蓄積するフレームメモリ２と、入力画像信号と巡回画像信号を同時化する処理を行う同時化部３と、画像中の動きを検出する処理を行う動き検出部４と、巡回画像信号のノイズ成分を除去する処理を行うノイズ除去部５を備えている。また、この画像処理装置１は、画像中の画素の相関に基づいて入力画像信号のノイズ成分を除去する２次元フィルタ６と、入力画像信号と巡回画像信号を加重加算することにより入力画像信号のノイズ成分を除去する３次元フィルタ７と、２次元フィルタ６と３次元フィルタ７からの出力画像信号を加重加算する信号合成部８を備えている。
【００１９】
フレームメモリ２には、信号合成部８から出力された１フレーム前の画像信号が入力される。この１フレーム前の画像信号は、巡回画像信号としてフレームメモリ２に一時的に記憶され、次のフレームの入力信号に同期して読み出される。
【００２０】
同時化部３は、ラインメモリ等で構成される。同時化部３には入力画像信号と巡回画像信号が入力され、複数ライン分の入力画像信号と巡回画像信号がそれぞれ同時化される。これにより、注目画素とその周囲画素の画像信号を２次元的に（平面的に）処理できるようになる。
【００２１】
動き検出部４には、同時化部３から出力された入力画像信号と巡回画像信号が入力され、これらの同時化された入力画像信号と巡回画像信号に基づいて、画像の動きが検出される。例えば、入力画像信号と巡回画像信号の差分などに基づいて、画素毎の動き量が算出される。
【００２２】
２次元フィルタ６は、画像中の注目画素とその周囲画素の２次元的な相関に基づいて、入力画像信号のノイズ成分を低減する機能を有している。つまり、この２次元フィルタ６は、入力画像信号に２次元的なノイズ低減処理を施してＳ／Ｎを改善するエリア選択型ノイズ低減装置として機能するともいえる。
【００２３】
３次元フィルタ７は、入力画像信号と巡回画像信号を加重加算することにより、入力画像信号に３次元的な（平面的かつ時間的な）ノイズ低減処理を施して、入力画像信号のノイズ成分を低減する機能を有している。つまり、この３次元フィルタ７は、入力画像信号と同位置の巡回画像信号を加重加算することで、映像の自己相関の高さによってＳ／Ｎを改善するフレーム巡回型ノイズ低減装置として機能するともいえる。
【００２４】
信号合成部８には、２次元フィルタ６から出力された画像信号と３次元フィルタ７から出力された画像信号が入力される。この信号合成部８では、これら２つの画像信号を加重加算して、信号合成を行う処理が行われる。
【００２５】
３次元フィルタ７での加重加算に用いられる巡回係数や、信号合成部８での加重加算に用いられる重み付け係数（加重係数ともいう）は、動き検出部４で算出された動き量に基づいて決定される。例えば、動き検出部４で算出された動き量が大きい場合（動画の場合）には、巡回係数が小さく設定されて、入力画像信号が多く使用され、動き検出部４で算出された動き量が小さい場合（静止画の場合）には、巡回係数が大きく設定されて、巡回画像信号が多く使用される。また、例えば、動き検出部４で算出された動き量が大きい場合（動画の場合）には、加重係数が小さく設定されて、２次元フィルタ出力信号が多く使用され、動き検出部４で算出された動き量が小さい場合（静止画の場合）には、加重係数が大きく設定されて、３次元フィルタ信号が多く使用される。
【００２６】
ノイズ除去部５は、３次元フィルタ７に入力される巡回画像信号（フレームメモリ２から出力される１フレーム前の巡回画像信号）に対してフィルタを用いたノイズ除去処理を行う。本実施の形態のノイズ除去部５では、このノイズ除去処理用のフィルタとして、メディアンフィルタが用いられる。
【００２７】
メディアンフィルタは、入力された複数の画像信号の中央値を出力とするフィルタであり、画像信号からノイズ成分を除去する機能を備えている。なお、メディアンフィルタへの入力信号を得るためには、注目画素の周囲画素の信号が必要になる。この周囲画素の信号を得るためには、通常であれば、ラインメモリ等で複数ラインの同時化処理を行う必要がある（別途、同時化部３を設ける必要がある）。ところが、本実施の形態では、すでに動き検出部４のために同時化部３が設けられているので、これを利用することによって、同時化部３を別途設ける必要がなくなり、回路規模の増加を抑えることができる。
【００２８】
以上のように構成された画像処理装置１について、図面を用いてその動作を説明する。
【００２９】
画像上のある１点が動き画素である場合には、２次元フィルタ６によるノイズ低減処理が行われる。図２は、２次元フィルタ６によるノイズ低減処理の一例を示す図である。図２では、画像上のある１点の信号レベルの時間変化が示されている（縦軸は信号レベルであり、横軸は時間である）。この図２では、原信号（ノイズ低減処理前の画像信号）が「菱形」の記号で示されており、原信号に対して２次元フィルタ６をかけた信号が「正方形」の記号で示されている。この場合、ノイズの無い真のゼロ信号レベルを「０」としており、「０」を中心にしてノイズが加算されている。図２の結果から、２次元フィルタ６によるノイズ低減処理によって、画像信号のノイズ成分がある程度除去されていることが分かる。
【００３０】
この画素が（動き画素から）静止画素になった場合には、３次元フィルタ７によるノイズ低減処理が行われる。図３は、３次元フィルタ７によるノイズ低減処理の一例を示す図である。図３では、この画素の信号レベルの時間変化が示されている（縦軸は信号レベルであり、横軸は時間である）。この図３では、メディアンフィルタを用いてノイズ除去処理を行ってから３次元フィルタ７をかけた信号が「正方形」の記号で示されており、ノイズ除去処理を行わずに３次元フィルタ７をかけた信号（つまり比較例）が「菱形」の記号で示されている。図３の結果から、従来のようにノイズ除去処理を行わずに原信号に３次元フィルタ７をかけると、（特に、巡回フレーム数が増えると）「０」に収束するまで時間がかかってしまうのに対し、本実施の形態のようにノイズ除去処理を行ってから原信号に３次元フィルタ７をかけると、動き状態から静止状態に変化した場合でも「０」に収束するまでの時間が短縮されている（早く収束している）ことが分かる。
【００３１】
なお、この場合、静止画像に対しても、ノイズ除去部５は、巡回画像信号にノイズ除去処理を行う。静止状態では、巡回画像信号の巡回係数が大きく設定されるので、巡回画像信号が何度もノイズ除去部５を通って、何度もノイズ除去処理が施される。したがって、静止状態の画像においてもＳ／Ｎ改善効果が得られる。
【００３２】
このような第１の実施の形態の画像処理装置１によれば、３次元フィルタ７に入力される巡回画像信号に対するノイズ除去処理を行うノイズ除去部５を設けることにより、動き状態から静止状態に状態変化した物体に対してノイズが十分に低減されるまでの時間を短縮することができる。
【００３３】
すなわち、本実施の形態では、３次元フィルタ７に入力される巡回画像信号に対してノイズ除去処理が行われるため、動き状態から静止状態に状態変化した物体に対してノイズが十分に低減されるまでの時間を短縮することができ（図３参照）、高いＳ／Ｎの画像を素早く得ることができる。
【００３４】
ここで、本発明の画像処理装置１の作用効果を、従来の装置と比較してより詳細に説明しておく。
【００３５】
従来の装置では、画像の動き部分への２次元フィルタと、静止部分への３次元フィルタの性能の差の影響により、「動き状態」から「静止状態」となった部分の画質が、周囲の静止部分の画質より劣化してしまうという問題があった。
【００３６】
従来の装置でも、被写体が「動き状態」から「静止状態」となった「最初の１フレーム目」では、２次元フィルタによってある程度Ｓ／Ｎが改善される（ある程度しかＳ／Ｎが改善されないともいえる）。この「最初の１フレーム目」の時点では、動き検出結果は「動きあり」となるので、巡回係数は低く設定され、かつ、加重加算係数は、ほぼ２次元フィルタ出力となるような重み付けになり、出力信号は、ほぼ現在の入力信号に２次元フィルタをかけたものとなる。
【００３７】
ところが、その「次のフレーム」では、動き検出結果は「動きなし」となるので、巡回係数は高く設定され、加重加算係数は、ほぼ３次元フィルタ出力となるような重み付けになり、出力信号は、巡回画像信号に近い信号が出力され。つまり、「動き状態」から「静止状態」となった後の「最初の１フレーム目」のＳ／Ｎの悪い画像（ある程度しかＳ／Ｎが改善されていない画像）が、（「次のフレーム」からは、巡回係数が高く設定され、かつ、加重加算係数がほぼ３次元フィルタ出力となるために）長時間残ってしまうことになり、その結果、「動き状態」から「静止状態」となった部分の画質が、周囲の静止部分の画質より劣化してしまう。
【００３８】
このような問題を解決するための方法として、従来、（１）静止時の巡回係数設定値を下げることや、（２）２次元フィルタの性能を上げることが提案されていた。しかしながら、上記（１）の方法では、「動き状態」から「静止状態」となった部分の画質が周囲と同等になるまでの時間は改善するものの、静止時の画質は下がってしまう。また、上記（２）の方法では、単純に２次元にフィルタの性能を上げてゆくにも限界があり（特にゲイン量が大きい場合には２次元フィルタの効果に限界があり）、また、高性能な複雑なフィルタ回路は回路規模の増大を招くという問題があった。したがって、従来は、上記（１）の方法が用いられることが多く、その場合、「動き状態」から「静止状態」となった部分の画質が、「周囲と同等になるまでの時間」と「静止時の画質」のトレードオフとなることは止むを得なかった。
【００３９】
本発明の画像処理装置１でも、「動き状態」から「静止状態」となった「最初の１フレーム目」の画像は、上記従来と同様、２次元フィルタによってある程度Ｓ／Ｎが改善される。この「最初の１フレーム目」の時点では、動き検出結果は「動きあり」となり、巡回係数は低く設定され、かつ、加重加算係数は、ほぼ２次元フィルタ出力となるような重み付けとなり、出力信号は、ほぼ現在の入力信号に２次元フィルタをかけたものになる。そして、この出力信号がフレームメモリ２に入力され、次のフレームの巡回画像信号となる。
【００４０】
本発明の画像処理装置１では、その「次のフレーム」において、巡回画像信号がノイズ除去部５を通り、ノイズ除去処理が行なわれる（Ｓ／Ｎが改善される）。そして、この「次のフレーム」の時点では、動き検出結果は「動きなし」となり、巡回係数は高く設定され、かつ、加重加算係数は、ほぼ３次元フィルタ出力となるような重み付けとなり、出力信号は、巡回画像信号に近い信号が出力される。そして、この出力信号がフレームメモリ２に入力され、さらに次のフレームの巡回画像信号となる。
【００４１】
本発明の画像処理装置１では、このような処理が繰り返し行なわる。つまり、静止状態の画像では、巡回係数が高く設定され、加重加算係数は、ほぼ３次元フィルタ出力となるような重み付けになり、ノイズ除去部５を何度も信号が通って、Ｓ／Ｎが改善されるという効果がある。このような、Ｓ／Ｎ改善効果は、単純に２次元フィルタを強化するものとも大きく異なるものである。
【００４２】
画像処理装置１の基本性能としては、（動き状態から静止状態に変化した直後だけでなく）通常の静止状態の画像においても、できるだけ高いＳ／Ｎの画像が求められるが、本実施の形態では、上述のように、静止画像に対してもノイズ除去部５が巡回画像信号にノイズ除去処理を行うので、静止状態の画像においてもＳ／Ｎが改善される。
【００４３】
また、本実施の形態では、ノイズ除去部５がメディアンフィルタであるので、３次元フィルタ７手段に入力される巡回画像信号に対して繰り返しノイズ除去処理が行われても、ＦＩＲフィルタやＩＩＲフィルタなどのＬＰＦのように必要な画像信号が失われてしまうことがなく、適正なノイズ低減処理がなされた高画質な画像を得ることができる。
【００４４】
例えば、フィルタとしては、ＦＩＲフィルタやＩＩＲフィルタなどのＬＰＦが一般的であるが、これらのフィルタは、本実施の形態のノイズ除去部５への使用には適さない。その理由を図４を用いて説明する。
【００４５】
上述のとおり、画像が静止状態のとき、３次元フィルタ７の巡回係数は大きくなり、出力信号に占めるフレームメモリ２からの巡回信号の割合が大きくなる。図４には、簡単のために、巡回係数が１００％に設定された場合の１回目の巡回画像信号が「菱形」の記号で示されており、２回目の巡回画像信号が「正方形」の記号で示されており、３回目の巡回画像信号が「三角形」の記号で示されている。図４に示すように、１回目、２回目、３回目と、巡回を繰り返すうちに、画像信号は広がって、信号レベルは下がっていることが分かる。つまり、巡回を繰り返すと、最終的には画像信号が無くなってしまう、あるいは、そこまで極端でなくても、信号が広がることで、静止物体の輪郭付近で静止部分を動き部分と誤検出してしまう不具合が起きるおそれがある。
【００４６】
メディアンフィルタは順序選択型のフィルタであるため、信号が広がることは無く、前記のような不具合は生じない。また、メディアンフィルタは順序選択型のフィルタであるため、仮に巡回係数１００％で巡回を繰り返したとしても、ある程度処理を繰り返すと出力値が収束するので、画像信号が無くなってしまうことは無い。
【００４７】
以上の説明では、ノイズ除去部５をメディアンフィルタで構成した例について説明したが、本発明の範囲はこれに限定されるものではなく、ノイズ除去部５は、例えば、加重メディアンフィルタやスタックフィルタなどで構成されてもよい。
【００４８】
加重メディアンフィルタは、メディアンフィルタを改良したもので、画像の細線部の保存性が良くなる。ある程度の回路規模の増加を許容できれば、画質改善の面から加重メディアンフィルタのほうが好ましい。
【００４９】
スタックフィルタは、入力信号を閾値分割し、各ビット毎にブール代数処理を行って、その後閾値分割の逆変換を行うことで、メディアンフィルタと同等の出力を得ることの出来るフィルタである。このスタックフィルタでは、加重メディアンフィルタやエッジ等の特定の構造を保存するメディアンフィルタの特性を構成することができるので、ある程度の回路規模の増加を許容できれば、画質改善の面からスタックフィルタのほうが好ましい。
【００５０】
このような加重メディアンフィルタやスタックフィルタでノイズ除去部５を構成した場合でも、上記の実施の形態と同様に、３次元フィルタ７手段に入力される巡回画像信号に対して繰り返しノイズ除去処理が行われても、ＦＩＲフィルタやＩＩＲフィルタなどのＬＰＦのように必要な画像信号が失われてしまうことがなく、適正なノイズ低減処理がなされた高画質な画像を得ることができる。
【００５１】
（第２の実施の形態）
次に、本発明の第２の実施の形態の画像処理装置１について、図面を参照して説明する。ここでは、本実施の形態が、第１の実施の形態と相違する点を中心に説明する。つまり、ここで特に言及しない限り、本実施の形態の構成や動作は、第１の実施の形態と同様である。
【００５２】
本実施の形態の画像処理装置１では、ノイズ除去部５が、注目画素と周囲画素の信号レベルとの大小を比較し、注目画素の信号レベルが、周囲画素の最大信号レベルに基づいて決定される所定の上限値（周囲画素の最大値＋閾値）より大きいとき、または、周囲画素の最小信号レベルに基づいて決定される所定の下限値（周囲画素の最小値−閾値）より小さいときに、注目画素の画素値を置き換える処理を行うことに特徴がある。
【００５３】
ここで、図５を参照して、この本実施の形態の特徴について具体的に説明する。図５は、本実施の形態のノイズ除去処理の一例を示す図である。図５では、例えば、ある注目画素（ｉ，ｊ）とその周囲画素（３×３画素）の信号レベルを大小を比較してノイズ除去処理を行う例が示されている。
【００５４】
図５に示すように、この場合には、まず、注目画素値ｘ（ｉ，ｊ）を除いたその周囲３×３画素の値ｘ（ｉ−１，ｊ−１）、ｘ（ｉ−１，ｊ）、ｘ（ｉ−１，ｊ＋１）、ｘ（ｉ，ｊ−１）、ｘ（ｉ−１，ｊ＋１）、ｘ（ｉ＋１，ｊ−１）、ｘ（ｉ＋１，ｊ）、ｘ（ｉ＋１，ｊ＋１）の最大値、最小値を求める。
【００５５】
そして、最大値に対して閾値を加算した上限値と、最小値から閾値を減算した下限値と、注目画素値ｘ（ｉ，ｊ)を比較する。注目画素値ｘ（ｉ，ｊ）が上限値（＝周囲画素の最大値＋閾値）より大きい場合には、注目画素値ｘ（ｉ，ｊ）をその上限値に置き換える。一方、注目画素値ｘ（ｉ，ｊ）が下限値（＝周囲画素の最小値−閾値）より小さい場合には、注目画素値ｘ（ｉ，ｊ）をその下限値に置き換える。
【００５６】
なお、閾値は固定値でも良いし、信号ゲイン量に合わせて制御を行っても良い。また、周囲画素信号の平均値に比例した値を信号比例閾値成分として、閾値に加算しても良い。
【００５７】
本実施の形態のノイズ除去処理も、信号選択型のフィルタであるため、巡回によって処理を繰り返しても信号が広がることは無い。また、第１の実施の形態と同様に、仮に巡回係数１００％で巡回を繰り返したとしても、ある程度処理を行った時点で出力値が収束するので、画像信号が無くなってしまうことも無い。
【００５８】
なお、以上の例では、周囲３×３画素を用いて説明を行ったが、本発明の範囲はこれに限定されるものではない。つまり、ノイズ除去処理に使用する周囲画素は３×３画素に限定されるものではない。
【００５９】
このような第２の実施の形態の画像処理装置１によっても、第１の実施の形態と同様の作用効果が奏される。
【００６０】
すなわち、本実施の形態のノイズ除去部５でも、３次元フィルタ７手段に入力される巡回画像信号に対して繰り返しノイズ除去処理が行われたとしても、ＦＩＲフィルタやＩＩＲフィルタなどのＬＰＦのように必要な画像信号が失われてしまうことがなく、適正なノイズ低減処理がなされた高画質な画像を得ることができる。
【００６１】
以上、本発明の実施の形態を例示により説明したが、本発明の範囲はこれらに限定されるものではなく、請求項に記載された範囲内において目的に応じて変更・変形することが可能である。
【産業上の利用可能性】
【００６２】
以上のように、本発明にかかる画像処理装置は、動き状態から静止状態に状態変化した物体に対してノイズが十分に低減されるまでの時間を短縮することができるという効果を有し、ＰＴＺ機能を備えたカメラで撮影された画像の画像処理等に用いられ、有用である。
【図面の簡単な説明】
【００６３】
【図１】第１の実施の形態における画像処理装置の構成を示すブロック図
【図２】２次元フィルタによるノイズ低減効果の一例を示す図
【図３】３次元フィルタによるノイズ低減効果の一例を示す図
【図４】比較例としてＬＰＦによるノイズ除去処理の一例を示す図
【図５】第２の実施の形態におけるノイズ除去処理の一例を示す図
【符号の説明】
【００６４】
１  画像処理装置
２  フレームメモリ
３  同時化部
４  動き検出部
５  ノイズ除去部
６  ２次元フィルタ
７  ３次元フィルタ
８  信号合成部
【図１】
2010219807.tif 000003
【図２】
2010219807.tif 000004
【図３】
2010219807.tif 000005
【図４】
2010219807.tif 000006
【図５】
2010219807.tif 000007