(57)【要約】【課題】映像信号に含まれるノイズ成分と被写体の動き成分とを高精度に判別し、ノイズ低減効果を向上させることができる技術を提供する。【解決手段】第１平均化回路７は、２フレーム遅延した輝度信号と１フレーム遅延した輝度信号とに基づいてノイズ低減処理を行った１つのフレーム信号を差分検出回路５に出力する。第２平均化回路８は、１フレーム遅延した輝度信号と現フレームの輝度信号とに基づいてノイズ低減処理を行った１つのフレーム信号を差分検出回路５に出力する。差分検出回路５は、第１平均化回路７と第２平均化回路８とによってノイズ低減処理がされたフレーム間の差分を取って動き量を検出するため、被写体の動き成分とノイズ成分とを高精度に判別することができる。【選択図】図１
2012070255.tif 000002
【特許請求の範囲】
【請求項１】
入力映像信号に含まれるノイズ成分を２つの動き検出用信号のフレーム間の差分に基づく動き量に応じて低減するノイズ低減処理回路であって、
前記２つの動き検出用信号は、いずれもノイズ低減処理されている
ことを特徴とするノイズ低減処理回路。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力される映像信号に含まれるノイズ成分を低減するノイズ低減処理回路に係り、特に、フレーム間の差分から得られる動き量に応じてノイズ成分を低減するノイズ低減処理回路に関する。
【背景技術】
【０００２】
一般的に、動画像には、時間的に連続するフレーム間で強い相関性があるが、動画像に含まれるノイズには時間的に連続するフレーム間における相関性が弱いことが知られている。これを利用して、フレーム間の相関性に基づいてノイズを除去する動き適応型のノイズ低減処理がある。
【０００３】
以下、図２を参照しながら、従来の動き適応型のノイズ低減処理回路９００の一例について説明する。
【０００４】
図２では、ＣＣＤ（Charge Coupled Device）等の不図示の撮像部から動き検出用の１０ｂｉｔの輝度信号（Ｙ）と、１０ｂｉｔの輝度信号（Ｙ）及び１０ｂｉｔの色信号（Ｃ）で構成される２０ｂｉｔの映像信号とが入力されるものとする。これに対応して、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）等であるフレームメモリ３には、３０ｂｉｔの入力が可能である場合を例に説明する。
【０００５】
入力される１０ｂｉｔの輝度信号は、フレーム間の動き量を検出するために用いられる。これは、フレーム間の時間平均を取ると、ノイズだけでなく複数フレームに亘る動画像も平均化されてボケや残像が発生するため、映像信号における動き量に応じて時間平均の程度を制御するためである。
【０００６】
この動き量に基づいて、現フレームの映像信号にノイズ低減処理後のフレームの映像信号をどの程度の割合で帰還させるか、すなわち１フレーム遅延された映像信号の巡回量を示す巡回係数ｋ（０≦ｋ≦１）が算出され、巡回加算回路１において巡回係数ｋに基づいた平均化が行われる。
【０００７】
具体的には、巡回加算回路１は、「{ＣＣＤ等から出力される映像信号（現フレームの映像信号）}×（１−ｋ）＋{ノイズ低減処理後の映像信号（１フレーム遅延された映像信号）}×ｋ」の演算を行って、ノイズ低減された映像信号を出力している。
【０００８】
これにより、入力される２０ｂｉｔの映像信号は、巡回加算回路１により、（１−ｋ）を乗算され、フレームメモリ３によって１フレーム遅延された信号分離部４の下位２０ｂｉｔの映像信号をｋ倍したものと加算されて、ノイズ低減処理がされた映像信号として出力される。
【０００９】
入力される１０ｂｉｔの輝度信号と巡回加算回路１によりノイズ低減処理がされた２０ｂｉｔの映像信号とは、信号結合部２により、輝度信号を信号結合部２の上位１０ｂｉｔ、映像信号を信号結合部２の下位２０ｂｉｔとして結合され、フレームメモリ３に入力される。
【００１０】
フレームメモリ３は、ノイズ低減処理に用いる１フレーム遅延された信号を作り出す遅延手段であり、１０ｂｉｔの輝度信号と２０ｂｉｔの映像信号とが結合された３０ｂｉｔの信号を一時的に記憶して、１フレーム周期分遅延させて出力する。
【００１１】
フレームメモリ３から出力される１フレーム遅延された信号は、信号分離部４により分離され、信号分離部４の上位１０ｂｉｔの輝度信号が差分検出回路５に、信号分離部４の下位２０ｂｉｔの映像信号が巡回加算回路１にそれぞれ入力される。また、信号分離部４の下位２０ｂｉｔの映像信号は、巡回加算回路１に入力される前に分岐して、ノイズ低減処理後の映像信号として出力される。
【００１２】
差分検出回路５では、１フレーム遅延された信号分離部４の上位１０ｂｉｔの輝度信号と、ＣＣＤ等から入力される現フレームの輝度信号との差分を取り、９画素×９画素のブロック単位で動き量を検出して、巡回係数算出回路６に出力する。
【００１３】
巡回係数算出回路６は、動き量に基づいて巡回係数ｋを算出し、巡回加算回路１に巡回係数ｋを設定する。ここで、巡回係数ｋは、動き量が大きい場合フレーム間の相関性が弱いので、動画領域で残像を抑えられるよう小さい値に設定され、逆に、動き量が小さい場合フレーム間の相関性が強いので、静止画領域でノイズ低減が行われるよう大きい値に設定される。
【００１４】
上述したとおり、巡回加算回路１は、巡回係数ｋに基づいてノイズリダクション処理を行っており、「{ＣＣＤ等から出力される映像信号（現フレームの映像信号）}×（１−ｋ）＋{ノイズ低減処理後の映像信号（１フレーム遅延された映像信号）}×ｋ」の演算により、残像及びノイズともに少ない映像信号を出力している。
【００１５】
このように、連続する２つのフレームの映像信号を巡回係数ｋによる一定比率で加算することで、フレーム間の相関が高い映像信号成分にはあまり影響を与えず、フレーム毎にレベルが絶えず変動するノイズを平均化により小さくしてノイズ低減を行う技術は、例えば、特許文献１にも開示されている。
【先行技術文献】
【特許文献】
【００１６】
【特許文献１】特開２００５−３３３４２４号公報
【発明の概要】
【発明が解決しようとする課題】
【００１７】
しかしながら、従来技術では、カメラのゲインが上昇し映像信号レベルが大きくなると、映像信号に含まれるノイズ成分も比例して増幅するため、フレーム画像全体でノイズが支配的になった場合、ノイズと被写体の動きとを判別できず、ノイズ低減効果が低下してしまう。
【００１８】
特に、暗闇等の低照度条件下では、撮影される映像信号レベルが小さいので、映像信号レベルを大きくするためにカメラのゲインを上げると、映像信号に含まれるノイズ成分が同時に増幅されて目立ち、フレーム間のノイズによる差分を動きと誤検出しやすくなる。
【００１９】
本発明は上記課題に鑑みてなされたものであり、映像信号に含まれるノイズ成分と被写体の動き成分とを高精度に判別し、ノイズ低減効果を向上させることができる技術を提供することを目的とする。
【課題を解決するための手段】
【００２０】
本発明のノイズ低減処理回路は、入力映像信号に含まれるノイズ成分を２つの動き検出用信号のフレーム間の差分に基づく動き量に応じて低減するノイズ低減処理回路であって、前記２つの動き検出用信号は、いずれもノイズ低減処理されていることを特徴とする。
【発明の効果】
【００２１】
本発明によれば、映像信号に含まれるノイズ成分と被写体の動き成分とを高精度に判別し、ノイズ低減効果を向上させることができる。
【図面の簡単な説明】
【００２２】
【図１】本発明に係る実施形態のノイズ低減処理回路を示した図である。
【図２】従来のノイズ低減処理回路を示した図である。
【発明を実施するための形態】
【００２３】
本実施形態のノイズ低減処理回路は、フレーム遅延させるフレームメモリの容量を増やさずに、動きの検出に用いるフレーム数を前後２フレームから前後３フレームに増やすことで、動きの検出に用いる輝度信号のノイズ成分を低減させ、被写体の動き成分とノイズ成分との判別精度を向上させる。以下、図を参照して本発明の実施形態を詳細に説明する。
【００２４】
図１は、本実施形態のノイズ低減処理回路１００を示した図である。ここでは、従来のノイズ低減処理回路９００と同様の構成には同一の符号を付し、その説明を省略する。
【００２５】
本実施形態のノイズ低減処理回路１００に入力される動き検出用の輝度信号は、従来の１０ｂｉｔから５ｂｉｔにｂｉｔ幅が減少されている。これにより、本実施形態では、従来と同じ容量のフレームメモリ３のまま、動き検出用の遅延輝度信号のフレーム数を増加させている。なお、フレームメモリ３の容量に制限がなければ、輝度信号のｂｉｔ幅を減少させずにフレーム巡回させてもよい。
【００２６】
具体的には、信号結合部２０には、フレームメモリ３によって１フレーム遅延された信号分離部４０の中位５ｂｉｔの輝度信号と、ＣＣＤ等から入力される現フレームの５ｂｉｔの輝度信号と、ＣＣＤ等から入力され巡回加算回路１でノイズリダクション処理がされた現フレームの２０ｂｉｔの映像信号とが入力される。
【００２７】
信号結合部２０は、１フレーム遅延された信号分離部４０の中位５ｂｉｔの輝度信号を信号結合部２０の上位５ｂｉｔとし、現フレームの５ｂｉｔの輝度信号を信号結合部２０の中位５ｂｉｔとし、巡回加算回路１でノイズリダクション処理がされた現フレームの２０ｂｉｔの映像信号を信号結合部２０の下位２０ｂｉｔとして、従来と同じ３０ｂｉｔに結合された信号をフレームメモリ３に出力する。
【００２８】
つまり、フレームメモリ３に記憶される３０ｂｉｔの信号において、その上位５ｂｉｔは、信号結合部２０における上位５ｂｉｔの輝度信号に対応し、その中位５ｂｉｔは、信号結合部２０における中位５ｂｉｔの輝度信号に対応し、その下位２０ｂｉｔは、信号結合部２０における下位２０ｂｉｔの映像信号に対応する。
【００２９】
フレームメモリ３で１フレーム分遅延された信号は、信号分離部４０に入力され、信号分離部４０の上位５ｂｉｔの輝度信号（フレームメモリ３における上位５ｂｉｔの輝度信号に対応）と、信号分離部４０の中位５ｂｉｔの輝度信号（フレームメモリ３における中位５ｂｉｔの輝度信号に対応）と、信号分離部４０の下位２０ｂｉｔの映像信号（フレームメモリ３における下位２０ｂｉｔの映像信号に対応）とに分離される。
【００３０】
信号分離部４０で分離された信号分離部４０の上位５ｂｉｔの輝度信号は、元々フレームメモリ３で１フレーム遅延された信号分離部４０の中位５ｂｉｔの輝度信号であるから、現フレームの輝度信号から見ると、結果的に２フレーム遅延された状態で第１平均化回路７に出力される。
【００３１】
信号分離部４０で分離された信号分離部４０の中位５ｂｉｔの輝度信号は、現フレームの輝度信号から見ると、フレームメモリ３により１フレーム遅延された状態で、第１平均化回路７と第２平均化回路８と信号結合部２０とに出力される。この信号分離部４０の中位５ｂｉｔの輝度信号は、前述した信号結合部２０で結合される信号結合部２０の上位５ｂｉｔの信号となる。
【００３２】
信号分離部４０で分離された信号分離部４０の下位２０ｂｉｔの映像信号は、現フレームの映像信号から見ると、フレームメモリ３により１フレーム遅延された状態で、巡回加算回路１に出力される。
【００３３】
第１平均化回路７は、現フレームの輝度信号に対し２フレーム遅延した信号分離部４０の上位５ｂｉｔの輝度信号と、１フレーム遅延した信号分離部４０の中位５ｂｉｔの輝度信号とを平均化してノイズ低減処理を行い、差分検出回路５に出力する。
【００３４】
具体的には、第１平均化回路７は、例えば、１フレームだけに存在するノイズ成分を両方のフレームに存在する画像成分に埋没させるよう平均化することで、ノイズ低減処理を行うことができる。また、第１平均化回路７は、各フレーム内で任意の画素とその周辺の画素とでメディアンフィルタ等により平均化を行った後に、上記両方のフレームで時間的に平均化するよう処理してもよい。
【００３５】
なお、上述したとおり、ノイズ成分は、時間的相関性がないため、１フレーム内だけで平均化されるよりも、時間的に連続した２フレームで平均化されることで効果的に除去される。この第１平均化回路７における平均化処理は、平均化に伴う計算量や平均化精度等のバランスを考慮して種々の公知技術を用いることができる。
【００３６】
第２平均化回路８は、現フレームの輝度信号に対し１フレーム遅延した信号分離部４０の中位５ｂｉｔの輝度信号と、ＣＣＤ等から入力される現フレームの輝度信号とを平均化してノイズ低減処理を行い、差分検出回路５に出力する。第２平均化回路８における平均化処理は、第１平均化回路７における処理と同様であり、具体的な説明を省略する。
【００３７】
差分検出回路５は、第１平均化回路７と第２平均化回路８とからそれぞれ出力される輝度信号の差分を取り、９画素×９画素のブロック毎の動き量を検出して巡回係数算出回路６に出力する。
【００３８】
ここで、差分検出回路５に入力される輝度信号は、第１平均化回路７と第２平均化回路８との平均化処理によりノイズ成分が低減されたものである。そのため、差分検出回路５で差分処理された差分信号に含まれるノイズ成分も減少するため、動き量の検出に際してノイズを動きと誤検出しなくなり、被写体の動き成分とノイズ成分との判別精度を向上させることができる。
【００３９】
差分検出回路５で検出された動き量に基づいて、巡回係数算出回路６では巡回係数ｋを算出し、巡回加算回路１に設定する。巡回加算回路１では、従来と同じ様に、入力される映像信号と１フレーム遅延された信号分離部４０の下位２０ｂｉｔの映像信号とを巡回係数ｋに基づいて平均化して出力しているが、精度良く算出された巡回係数ｋによりノイズリダクション処理を行っているため、ノイズ除去効果が高い。
【００４０】
このように、本実施形態によれば、フレームメモリ３の容量を増加させることなく、動き検出用のフレーム数を増加させ、時間的に連続するフレーム間でノイズ低減処理を行ってから動き量の検出を行っているため、従来と同等の回路規模で被写体の動き成分とノイズ成分とを高精度に判別することができる。つまり、本実施形態では、動き量を検出するために差分処理される輝度信号に対して、第１平均化回路７と第２平均化回路８によってノイズを低減させる前処理を行うことにより、効果的なノイズ除去効果を得ている。
【００４１】
また、第１平均化回路７と第２平均化回路８において、前後２フレームの輝度信号を平均化することによって得られるノイズ低減効果は、Ｓ／Ｎ比（Signal to Noise ratio）で約３ｄＢ程度と見積もられる。そのため、カメラのゲインを約３ｄＢ程上昇させても、従来と同等の判別精度で被写体の動き成分とノイズ成分とを判別し、ノイズリダクション処理をすることができる。言い換えれば、本実施形態では、Ｓ／Ｎ比を劣化させることなく、従来よりもカメラのゲインを約３ｄＢ程高感度化することができる。
【００４２】
なお、本実施形態において第１平均化回路７と第２平均化回路８とは、入力されるデータが異なるだけでそれぞれの処理内容が共通しているため、第１平均化回路７と第２平均化回路８とを共通化し、１つの回路により構成してもよい。この場合、例えば、入力されるデータの切り替えをセレクタ等により行い、平均化した処理結果を差分検出回路５に１つずつ出力するようにしてもよい。
【００４３】
なお、本実施形態では、巡回係数算出回路６は、第１平均化回路７と第２平均化回路８とによって、連続する３フレームの輝度信号に基づく平均化処理でノイズ低減処理された２つの輝度信号に対し、差分検出回路５によりフレーム間差分が取られて検出された動き量に基づいて、巡回係数ｋを算出していたが、連続する３フレーム以上の輝度信号に基づいて検出された動き量に基づいて巡回係数ｋを算出してもよい。
【００４４】
この場合、連続する３フレームの輝度信号に基づいて平均化処理をする平均化処理部（第１平均化回路７と第２平均化回路８）と、平均化処理部から出力される２つの輝度信号に基づいてフレーム間差分を取って動き量を検出する差分検出回路５との組を複数設けるとよい。巡回係数算出回路６は、この複数の組から取得する複数の動き量に基づいて、巡回係数ｋを算出するとよい。なお、ここで、複数フレームの数は、ノイズ低減処理のバランスを考慮して適宜調整されるとよい。
【００４５】
また、入力映像信号が１フレーム遅延されて巡回加算回路１に入力されるように、入力される映像信号を１フレーム遅延させるフレームメモリ等の遅延手段を巡回加算回路１の前段に設けてもよい。これによれば、巡回加算回路１に入力される２フレームに近い時間軸で算出された巡回係数ｋに基づいて巡回加算回路１で演算がなされる。
【００４６】
以上、本実施形態を概説すると、本実施形態のノイズ低減処理回路は、入力映像信号に含まれるノイズ成分を２つの動き検出用信号のフレーム間の差分に基づく動き量に応じて低減するノイズ低減処理回路であって、前記２つの動き検出用信号は、いずれもノイズ低減処理されていることを特徴とする。
また、連続する３フレームの動き検出用信号に基づいてノイズ低減処理をした前記２つの動き検出用信号を出力する動き検出前処理手段を備えてもよい。
また、連続する２フレームの動き検出用信号をそれぞれ１フレーム遅延させる遅延手段を備え、前記動き検出前処理手段は、前記遅延手段によって現フレームより２フレーム遅延された動き検出用信号と、前記遅延手段によって前記現フレームより１フレーム遅延された動き検出用信号とに対しノイズ低減処理をして１つの動き検出用信号を出力する第１動き検出前処理手段と、前記遅延手段によって前記現フレームより１フレーム遅延された動き検出用信号と、前記現フレームの動き検出用信号とに対しノイズ低減処理をして１つの動き検出用信号を出力する第２動き検出前処理手段とを有してもよい。
また、前記遅延手段は、現フレームの動き検出用信号と、前回１フレーム遅延させた動き検出用信号とを１フレーム遅延させてもよい。
【００４７】
本発明は上述した実施の形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で種々様々に変更が可能であることは言うまでもない。
【符号の説明】
【００４８】
１：巡回加算回路
２，２０：信号結合部
３：フレームメモリ
４，４０：信号分離部
５：差分検出回路
６：巡回係数算出回路６
７：第１平均化回路
８：第２平均化回路
１００，９００：ノイズ低減処理回路
【図１】
2012070255.tif 000003
【図２】
2012070255.tif 000004