(57)【要約】【課題】同じ画像のフレームが連続する場合にも、ランダムノイズを効果的に低減する。【解決手段】入力フレームの１つ前のフレームの画像を格納する第１フレームバッファ１２１と、入力フレームの画像と第１フレームバッファ１２１に格納された画像とを比較し、両画像が同一であるかどうかを判別する比較判別部１２３と、第１フレームバッファ１２１に格納された画像に対して、巡回係数Ｋを用いて巡回型３次元ノイズ除去処理を行なう巡回型３次元ノイズリダクション部１２９とを備え、比較判別部１２３が、両画像が同一であると判別した場合には、巡回係数Ｋを１とする映像処理装置。【選択図】図３
2010226646.tif 000002
【特許請求の範囲】
【請求項１】
入力フレームの１つ前のフレームの画像を格納する第１フレームメモリと、
前記入力フレームの画像と前記第１フレームメモリに格納された画像とを比較し、両画像が同一であるかどうかを判別する比較判別手段と、
前記第１フレームメモリに格納された画像に対して、巡回係数を用いて巡回型３次元ノイズ除去処理を行なう巡回型３次元ノイズリダクション手段とを備え、
前記比較判別手段が、前記両画像が同一であると判別した場合には、前記巡回係数を１とすることを特徴とする映像処理装置。
【請求項２】
請求項１に記載の映像処理装置であって、
前記比較判別手段が、前記両画像が同一でないと判別した場合には、前記巡回係数を０より大きく１より小さい値とすることを特徴とする映像処理装置。
【請求項３】
請求項１または２に記載の映像処理装置であって、
前記巡回型３次元ノイズリダクション手段は、
１フレーム分の画像を格納する第２フレームメモリと、
前記第１フレームメモリに格納された画像と前記第２フレームメモリに格納された画像との差分を算出する第１減算器と、
前記第１減算器の出力に前記巡回係数を乗じる乗算器と、
前記第１フレームメモリに格納された画像と前記乗算器の出力との差分を算出して、ノイズ除去後の画像として出力するとともに、前記第２フレームメモリに出力する第２減算器とを備えることを特徴とする映像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像処理装置に係り、特に、同じフレーム画像が連続する場合にも効果的にランダムノイズを低減させる映像処理装置に関する。
【背景技術】
【０００２】
近年のＩＴ技術やネットワーク技術の発展に伴い、セキュリティ分野においても映像監視システムのネットワーク化が進んでいる。ネットワーク化された映像監視システムでは、監視側にネットワークレコーダを配置し、ネットワークカメラで撮影された映像を記録することも広く行なわれている。
一般に、映像監視システムでは、夜間や暗所を対象に監視を行なうことが多いため、暗い映像を明るく、鮮明に表示することが求められている。例えば、特許文献１には、映像の低輝度領域に階調の厚みを持たせることで、暗所や逆光の映像を、見やすく表示させることが記載されている。この場合、低輝度領域に発生したノイズ成分も強調されてしまうため、ノイズ低減処理を別途行なうことが望ましい。
【０００３】
ノイズを低減する手法として代表的なものとして、１フレームの画像データ内でノイズ低減処理を行なう２次元ノイズリダクション（２ＤＮＲ）と、隣接する複数フレーム間での相関に着目してノイズ低減処理を行なう３次元ノイズリダクション（３ＤＮＲ）とが知られている。
【０００４】
３次元ノイズリダクションでは、前のフレームの画像を加算することでＳ／Ｎを向上させるものや、前フレームの画像との差分画像に巡回係数を乗じて減算する巡回型が広く用いられている。図９は、巡回型３次元ノイズリダクションの基本構成を示すブロック図である。本図に示すように巡回型３次元ノイズリダクション３００は、フレームバッファ３０１を備えており、フレームバッファ３０１に格納された１つ前のフレームの画像と、入力フレームの画像との差分を減算器３０２で算出することで、入力フレームの画像で新たに発生したノイズ成分を抽出する。抽出されたノイズ成分は、乗算器３０３によって巡回係数Ｋが乗じられ、さらに、減算器３０４によって入力画像から減算されることで、入力フレームの画像に対するノイズ除去が行なわれる。
【０００５】
いずれの３次元ノイズリダクション方式も前後のフレームの静止領域に発生したランダムノイズに関して効果を得ることができるが、動きのある領域に関しては前フレーム画像の残像が生じることになる。
【０００６】
このため、動き検出機能を備えさせ、フレーム内での動き部分と静止部分とで巡回係数を変えることが行なわれている。例えば、特許文献２には、フレーム内の動きのない領域には３次元ノイズリダクションを適用し、動きのある領域には３次元ノイズリダクションの効果を弱めに設定し、２次元ノイズリダクションと併用することが記載されている。また、特許文献３には、入力されたフレームとノイズリダクション出力フレームとの差分画像にローパスフィルタを施すことにより高周波ノイズ成分を除去することで、動き検出の精度を上げ、巡回係数を決定する手法が記載されている。さらに、近年では、動き補償型３次元ノイズリダクションとして、各画素の動きベクトルを算出し、補正をかけた後に３次元ノイズリダクションを行なう手法も提案されている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００８−１２３４７２号公報
【特許文献２】特公平７−１１００４９号公報
【特許文献３】特開平５−３２８１７４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
ところで、ネットワーク監視システムでは、ネットワークへの負荷を軽減するとともに、ネットワークレコーダにおける映像記録の効率性を高めるために、映像の圧縮率を高めたり、映像のフレームレートを落としてネットワークレコーダに記録することが頻繁に行なわれている。このとき、映像の重要度や監視対象ごとにフレームレートを変更することも行なわれている。映像のフレームレートを落とした場合には、映像を表示装置に表示する際に、映像装置の周波数にフレームレートが合わせられる。
【０００９】
例えば、撮影時のフレームレートをネットワーク伝送時に３分の１に落とすとする。この場合、図１０（ａ）に示すような撮影時に得られた１ｆ〜１０ｆの１０個のフレーム画像は、図１０（ｂ）に示すように、１ｆ、４ｆ、７ｆ、１０ｆの４個のフレームとしてネットワークに伝送されることになる。すなわち、１ｆ〜９ｆの９個のフレーム画像が、３分の１の１ｆ、４ｆ、７ｆの３個のフレームとなっている。なお、フレーム画像内の黒小点は、ネットワークカメラ側で発生したランダムノイズを示している。
【００１０】
フレームレートを落とした映像を、表示装置において撮影時のフレームレートと同じ周波数で表示すると、図１０（ｃ）に示すように、同じ画像のフレームが３フレームずつ連続して表示されることになる。
【００１１】
このため、ネットワークカメラ側で発生したランダムノイズに対するノイズ低減処理を行なわない場合には、同じ画像のフレームが連続する間、同じノイズが連続して表示される。そこで、図９に示した巡回型３次元ノイズリダクションを適用することが考えられる。
【００１２】
巡回型３次元ノイズリダクションにおいて、乗算器３０３の巡回係数Ｋを１とした場合、新たに発生したノイズを除去することができる。しかしながら、フレームバッファ３０１に格納された前のフレーム画像のノイズの影響を大きく受けることになる。そこで、巡回係数を０＜Ｋ＜１の範囲で設定することで、ランダムノイズに対するＳ／Ｎの向上が図られている。
【００１３】
落としたフレームレートを再度上げて表示する場合に従来の巡回型３次元ノイズリダクションを適用すると、図１０（ｃ）に示すように、表示装置側において１ｆ→４ｆ、４ｆ→７ｆ、７ｆ→１０ｆのようにフレーム画像の内容が変化する際には、十分なＳ／Ｎの向上を得ることができる。しかしながら、例えば、４ｆが連続する場合には、前後のフレーム画像で差が生じず、ランダムノイズとして見なされないため、ノイズ低減の効果を十分得ることができない。
【００１４】
そこで、本発明は、同じ画像のフレームが連続する場合にも、ランダムノイズを効果的に低減することができる映像処理装置を提供することを目的とする。
【課題を解決するための手段】
【００１５】
上記課題を解決するため、本発明による映像処理装置は、入力フレームの１つ前のフレームの画像を格納する第１フレームメモリと、前記入力フレームの画像と前記第１フレームメモリに格納された画像とを比較し、両画像が同一であるかどうかを判別する比較判別手段と、前記第１フレームメモリに格納された画像に対して、巡回係数を用いて巡回型３次元ノイズ除去処理を行なう巡回型３次元ノイズリダクション手段とを備え、前記比較判別手段が、前記両画像が同一であると判別した場合には、前記巡回係数を１とすることを特徴とする。
【００１６】
ここで、前記比較判別手段が、前記両画像が同一でないと判別した場合には、前記巡回係数を０より大きく１より小さい値とすることができる。
【００１７】
また、前記巡回型３次元ノイズリダクション手段は、１フレーム分の画像を格納する第２フレームメモリと、前記第１フレームメモリに格納された画像と前記第２フレームメモリに格納された画像との差分を算出する第１減算器と、前記第１減算器の出力に前記巡回係数を乗じる乗算器と、前記第１フレームメモリに格納された画像と前記乗算器の出力との差分を算出して、ノイズ除去後の画像として出力するとともに、前記第２フレームメモリに出力する第２減算器とを備えることができる。
【発明の効果】
【００１８】
本発明によれば、同じ画像のフレームが連続する場合にも、ランダムノイズを効果的に低減することができる映像処理装置が提供される。
【図面の簡単な説明】
【００１９】
【図１】本実施形態に係るネットワーク映像監視システムの構成を示すブロック図である。
【図２】映像処理装置の構成を示すブロック図である。
【図３】ノイズ低減部の構成を示すブロック図である。
【図４】ヒストグラムの例を示す図である。
【図５】ブロックの出力信号の具体例について説明する図である。
【図６】本実施形態の効果を具体的に示す図である。
【図７】本実施形態の別効果を具体的に示す図である。
【図８】ノイズ低減部の別構成を示すブロック図である。
【図９】従来の循環型３次元ノイズリダクションの構成を示すブロック図である。
【図１０】撮影の際のフレームと伝送の際のフレームと表示の際のフレームとを比較する図である。
【発明を実施するための形態】
【００２０】
本発明の実施の形態について図面を参照して詳細に説明する。図１は、本実施形態に係るネットワーク映像監視システムの構成を示すブロック図である。本図に示すようにネットワーク映像監視システムは、複数台の監視カメラ２０（２０ａ、２０ｂ、２０ｃ、２０ｄ）と、ハブ装置４０と、ネットワークデコーダ装置５０と、映像処理装置１００と、表示装置２００とを備えて構成される。
【００２１】
監視カメラ２０は、所定のフレームレートで撮影を行ない、外部に出力する際にフレームレートを落として通信経路の負荷を低減するようにしている。ハブ装置４０は、複数台の監視カメラ２０からの映像データを受信し、ネットワークデコーダ装置５０に出力する。ネットワークデコーダ装置５０は、受信した映像データをデコードし、映像処理装置１００に出力する。この際に、ネットワークデコーダ装置５０は、表示装置２００の表示周波数に合わせるために受信した映像データのフレームレートを高めて出力する。このため、ノイズ成分を含めた同じ画像のフレームが連続することになる。ここでは、表示装置２００の表示周波数は、監視カメラ２０の撮影の際のフレームレートを同じであるものとする。映像処理装置１００は、ネットワークデコーダ装置５０が出力する映像データを受信し、ノイズ低減処理を施して表示装置２００に出力する。
【００２２】
図２は、映像処理装置１００の構成を示すブロック図である。本図に示すように、映像処理装置１００は、ネットワークデコーダ装置５０から映像データを受信し、フレーム毎に出力する映像受信部１１０と、映像受信部１１０が出力するフレーム画像のノイズ成分を低減するノイズ低減部１２０と、ノイズ成分が低減されたフレーム画像を映像データとして表示装置２００に出力する映像出力部１３０とを備えている。なお、映像処理装置１００は、ＣＰＵ、メモリ、インタフェース等を備えた情報処理装置を用いて構成することができる。
【００２３】
以下では、説明を簡単にするため、１台の監視カメラ２０から映像データを入力する場合を例に説明するが、図１に示すように複数台の監視カメラ２０から映像データを入力することができるものとする。また、映像データのフォーマットは限定されないが、例えば、ＲＧＢ、ＹＣｂＣｒ等とすることができる。
【００２４】
図３は、ノイズ低減部１２０の構成を示すブロック図である。本図に示すように、ノイズ低減部１２０は、第１フレームバッファ１２１と、第２フレームバッファ１２２と、比較判別部１２３とを備えている。比較判別部１２３は、減算器１２４と判別器１２５とを備えており、入力フレームの画像Ｓ１と、第１フレームバッファ１２１に格納された１つ前のフレームの画像との差分を減算器１２４で算出し、判別器１２５により、両フレームの画像が同一であるかどうかを判別する。
【００２５】
比較判別部１２３は、例えば、図４に示すような差分画像のヒストグラムを用いて、入力フレームの画像と１つ前のフレームの画像とがノイズ成分を含めて同一であるかどうかを判別することができる。ここで、図４（ａ）は、同一画像の場合の差分画像のヒストグラムを示し、図４（ｂ）は、異なる画像の場合の差分画像のヒストグラムを示している。本例では、２５６階調の画素レベルを１６区分に分割して、それぞれの区分に含まれる画素の頻度をグラフ化している。図４（ａ）に示すように同一画像であれば差分画像の画素レベルは０に分布し、図４（ｂ）に示すように異なる画像であれば差分画像の画素レベルは広い範囲で分布することになる。したがって、比較判別部１２３は、差分画像の画素レベルの分布状態によって、前後のフレームで画像が同一であるかどうかを判別することができる。
【００２６】
第２フレームバッファ１２２には、第１フレームバッファ１２１に格納された１つ前のフレームよりさらに１つ前のフレームに基づく画像が格納される。そして、第１フレームバッファ１２１に格納された画像と、第２フレームバッファ１２２に格納された画像との差分を減算器１２６で算出することで、ノイズ成分を抽出する。抽出されたノイズ成分は、乗算器１２７によって巡回係数Ｋが乗じられ、さらに、減算器１２８によって第１フレームバッファ１２１に格納された画像から減算されることで、第１フレームバッファ１２１に格納された画像に対するノイズ除去が行なわれ、出力フレームの画像Ｓｏｕｔとして出力される。すなわち、第２フレームバッファ１２２と、減算器１２６と、乗算器１２７と、減算器１２８とで、従来と同様の巡回型３次元ノイズリダクション部１２９を構成している。
【００２７】
ここで、判別器１２５が、前後のフレームで画像が同一でないと判別した場合には、次フレーム処理時において乗算器１２７によって乗じられる巡回係数Ｋを、０＜ｋ１＜１を満たすｋ１とする。これにより、ランダムノイズに対するＳ／Ｎの向上を図ることができるようになる。巡回係数Ｋは、固定値であっても、可変値としてもよい。巡回係数Ｋは、大きいほど新たに発生したノイズを低減できることから、図４に示したヒストグラムを参照してノイズ成分が多いと判定できるときは大きくするようにしてもよい。
【００２８】
一方、判別器１２５が、前後のフレームで画像が同一であると判別した場合には、次フレーム処理時において乗算器１２７によって乗じられる巡回係数Ｋを「１」とする。これにより、第２フレームバッファ１２２は、１つ前のフレームと同じ状態を保つことができる。また、出力フレームの画像Ｓｏｕｔも１つ前の出力フレームの画像Ｓｏｕｔと同じ画像となる。
【００２９】
このように、図３に示した構成は、最新のフレームの画像と１つ前のフレームの画像とが同一か否かによって、適用する巡回係数を変化させるようにしている。具体的には、同一であれば巡回係数を１とし、同一でなければ、巡回係数を０＜ｋ１＜１を満たすｋ１とする。これにより、フレーム画像に変化がある場合のみ３ＤＲＮを効果的に効かせ、変化がない場合には３次元ノイズリダクションの効果を保持することができるようになる。
【００３０】
次に、各ブロックの出力信号の具体例について図５を参照して説明する。ここで、入力フレームの画像信号をＳ１とし、第１フレームバッファ１２１の出力信号をＳ２とする。判別器１２５の出力信号をＳ３とし、「Ｘ」が前後のフレームの画像が同一でないことを示し、「０」が前後のフレームの画像が同一であることを示すものとする。第２フレームバッファ１２２の出力信号をＳ４とし、減算器１２６の出力信号をＳ５とし、乗算器１２７の出力信号をＳ６とする。Ｋは、乗算器１２７における巡回係数である。
【００３１】
また、入力フレームは同じ画像が３フレーム連続するものとし、説明を簡単にするため、ノイズ成分を含む静止画像であるとする。以下では、「Ａ」が静止画像成分を表わし、「ａ」「ｂ」「ｃ」は監視カメラ２０で発生したノイズ成分を表わすものとする。このため、入力フレーム信号Ｓ１として、１ｆから３ｆまでは「Ａ＋ａ」が入力され、４ｆから６ｆまでは「Ａ＋ｂ」が入力され、７ｆから９ｆまでは「Ａ＋ｃ」が入力されることになる。
【００３２】
まず、処理開始時から第２フレームバッファ１２２に１ｆのフレームが入力されるまでの２フレーム時間は、巡回係数Ｋは０にセットする。同じ画像が３フレーム連続するため、４ｆ、７ｆが入力された時点で、前のフレームの画像と相違することになり、Ｓ３の出力が「Ｘ」となる。この結果、５ｆ、８ｆが入力された時点で適用される巡回係数Ｋがｋ１となり、その他の時点における巡回係数Ｋは１となる。
【００３３】
このため、Ｓｏｕｔは、巡回係数が１である３ｆ、４ｆにおいては、前フレームと同じ「Ａ＋ａ」となり、巡回係数がｋ１となる５ｆにおいて、Ａ＋ｂ−Ｎ１となる。ここで、Ｎ１は、ｋ１×（ｂ−ａ）を表わしている。その後も、巡回係数が１である６ｆ、７ｆにおいては、前フレームと同じ「Ａ＋ｂ−Ｎ１」となり、巡回係数がｋ１となる８ｆにおいて、Ａ＋ｃ−Ｎ２となる。ここで、Ｎ２は、ｋ１×（ｃ−（ｂ−Ｎ１））を表わしている。Ｓ４は、Ｓｏｕｔから１フレーム遅れた出力となり、Ｓ５は、Ｓ２−Ｓ４で求められ、Ｓ６は、Ｓ５×Ｋで求めることができる。
【００３４】
より具体例を用いて、本実施形態の効果について説明する。図６（ａ）は、図５の一部を抽出したものであり、巡回係数Ｋのｋ１を１／２とした場合の図である。また、図６（ｂ）には、比較のために巡回係数Ｋを１／２に固定した場合の従来方式の例を示す。
【００３５】
本図において５ｆでは、本実施形態の方式、従来方式とも減算されるべきノイズ成分（ｂ−ａ）／２となり、減算結果が蓄積される６ｆのＳ４において、ノイズ成分「ａ」「ｂ」がおのおの１／２となっていることが分かる。
【００３６】
次に、同一のフレーム画像が入力される６ｆでは、図６（ｂ）に示した従来方式によれば、７ｆのＳ４で示されるように、ノイズ成分「ａ」は１／４に低減されるが、ノイズ成分「ｂ」は３／４となり、前フレーム画像と比べて増加することになる。すなわち、仮に連続して「Ａ＋ｂ」が入力された場合、ノイズ成分「ｂ」はさらに増え、ノイズ低減効果は損なわれてしまう。
【００３７】
これに対し、図６（ａ）に示すように、本実施形態の方式を用いた場合、７ｆのＳ４ではノイズ成分「ａ」とノイズ成分「ｂ」とが均等に保持されるため、ノイズ低減効果を保持することができる。
【００３８】
さらに、本実施形態では、前後のフレームの画像が同一のときに巡回係数を１にすることで、伝送路上で発生したランダムノイズを除去する効果もある。具体例を図７に示す。本図に示すように、６ｆにおいて伝送路上でノイズｚが付加されたとする。この場合、Ｓ５では（ｂ−ａ）／２にｚが加算されるが、巡回係数が１の場合には、Ｓ２から減算することで、
（Ａ＋ｂ＋ｚ）−｛ｚ＋（ｂ−ａ）／２｝＝Ａ＋（ｂ＋ａ）／２
となり、ノイズｚは、完全に除去することができる。
【００３９】
以上示したように、本実施形態によれば、同じ画像のフレームが連続する場合にも、３次元ノイズリダクションの効果を最適に保つことができるため、ランダムノイズを効果的に低減することができるようになる。
【００４０】
図８は、ノイズ低減部の別構成例を示すブロック図である。図３と同じブロックについては同じ符号を付している。本図に示す別構成例では、ノイズ低減部１２０ａは、比較判別部１２３の判別器１２５からの出力信号に基づいて、変化しているフレーム画像のみを抽出して３次元ノイズリダクション（３ＤＮＲ）部１４１により３次元ノイズリダクションを施し、出力において低下したフレームレートを再度表示装置２００の表示周波数と同じフレームレートに変換するようにしている。これにより図３に示したノイズ低減部１２０と同様の効果を得ることができる。しかしながら、この場合、第１出力フレームバッファ１４３と第２出力フレームバッファ１４４とを追加することになり、回路規模が大きくなってしまう。このように、図３に示した構成は、回路規模を最小限に抑えつつ、ランダムノイズを効果的に低減することができることになる。
【００４１】
本実施形態では、監視カメラ２０からの映像を静止画像として説明した。本発明を動画像に適用する場合には、例えば、比較判別部１２３に、既知の動き検出機能を追加し、フレーム内の静止領域と、動きのある領域とを判別し、それぞれの巡回係数を変化させるようにする。これにより本発明を動画像に効果的に適用することができる。
【符号の説明】
【００４２】
２０…監視カメラ
４０…ハブ装置
５０…ネットワークデコーダ装置
１００…映像処理装置
１１０…映像受信部
１１２…フレームバッファ
１２０…ノイズ低減部
１２１…第１フレームバッファ
１２２…第２フレームバッファ
１２３…比較判別部
１２４…減算器
１２５…判別器
１２６…減算器
１２７…乗算器
１２８…減算器
１２９…巡回型３次元ノイズリダクション部
１３０…映像出力部
１４１…３次元ノイズリダクション部
１４３…第１出力フレームバッファ
１４４…第２出力フレームバッファ
２００…表示装置
【図１】
2010226646.tif 000003
【図２】
2010226646.tif 000004
【図３】
2010226646.tif 000005
【図４】
2010226646.tif 000006
【図５】
2010226646.tif 000007
【図６】
2010226646.tif 000008
【図７】
2010226646.tif 000009
【図８】
2010226646.tif 000010
【図９】
2010226646.tif 000011
【図１０】
2010226646.tif 000012