(57)【要約】【課題】動画部分および静止画部分に対して適切なノイズ低減処理を個別に実施することにより、画像の細かい部分を残したまま、高いノイズ低減効果を得る。【解決手段】情報が入力される画像入力部１１と、画像入力部１１から入力された映像信号の一フレーム内を動画領域と静止画領域に区分する領域区分部５０と、動画領域と静止画領域とに対して互いに異なる手法のノイズ低減処理を実行するノイズ低減処理部１３とを備える。【選択図】図１
2007235319.tif 000002
【特許請求の範囲】
【請求項１】
情報が入力される入力手段と、
前記入力手段から入力された映像信号の一フレーム内を動画領域と静止画領域に区分する領域区分手段と、
前記動画領域と前記静止画領域とに対して互いに異なる手法のノイズ低減処理を実行するノイズ低減処理手段と
を具備するノイズ低減処理装置。
【請求項２】
前記ノイズ低減処理手段が、前記静止画領域に対しては面間処理を実行し、前記動画領域に対しては面内処理を実行する請求項１に記載のノイズ低減処理装置。
【請求項３】
前記ノイズ低減処理手段が、前記静止画領域に対して面間処理と面内処理とを実行する請求項１または請求項２に記載のノイズ低減処理装置。
【請求項４】
前記ノイズ低減処理手段が、前記動画領域に対しては、動きベクトルの大きさに応じてノイズ低減レベルを異ならせる請求項１乃至請求項３のいずれかに記載のノイズ低減処理装置。
【請求項５】
前記領域区分手段は、前記一フレーム内において、動きベクトルが、同一方向、かつ、同一の大きさである領域をパン／チルト領域として区分し、
前記ノイズ低減処理手段が、前記パン／チルト領域に対して前記静止画領域と同じノイズ低減処理を実行する請求項１から請求項４のいずれかに記載のノイズ低減処理装置。
【請求項６】
前記動画領域と前記静止画領域との境界領域を検出し、前記境界領域におけるノイズ低減レベルの差を低減させる境界領域処理手段を備える請求項１から請求項５のいずれかに記載のノイズ低減処理装置。
【請求項７】
前記境界領域処理手段は、
前記境界領域におけるノイズ低減レベルの差を検出する不連続性検出手段と、
前記境界領域において、ノイズ低減レベルが低い領域である高ノイズ領域に対して、前記不連続性検出手段によって検出された前記ノイズ低減レベルの差に応じたノイズ低減処理を実行するレベル差低減手段と
を備える請求項６に記載のノイズ低減処理装置。
【請求項８】
前記ノイズ低減処理手段が、前記一フレーム内における位置に応じて前記ノイズ低減レベルを異ならせる請求項１から請求項７のいずれかに記載のノイズ低減処理装置。
【請求項９】
前記ノイズ低減処理手段が、前記一フレーム内において、中央部および中央部近傍の静止画領域に対するノイズ低減レベルを最も低くし、中央部および中央部近傍の動画領域、外周部および外周部近傍の静止画領域、外周部および外周部近傍の動画領域の順で、ノイズ低減レベルを次第に高くする請求項８に記載のノイズ低減処理装置。
【請求項１０】
前記ノイズ低減処理手段が、前記一フレーム内における輝度に応じて前記ノイズ低減レベルを異ならせる請求項１から請求項９のいずれかに記載のノイズ低減処理装置。
【請求項１１】
前記ノイズ低減処理手段は、輝度が中間レベルにある中間輝度領域に対して、他の領域よりもノイズ低減レベルの高いノイズ低減処理を実行する請求項１０に記載のノイズ低減処理装置。
【請求項１２】
前記動画領域情報の周波数成分を検出する周波数検出手段を有し、
前記ノイズ低減処理手段が、低周波成分の領域のノイズ低減レベルよりも前記高周波成分の領域のノイズ低減レベルを低くする請求項１から請求項１１のいずれかに記載のノイズ低減処理装置。
【請求項１３】
前記領域区分手段により前記一フレーム内が前記動画領域と前記静止画領域とに区分される際に用いられる閾値を調整する閾値調整手段を備える請求項１から請求項１２のいずれかに記載のノイズ低減処理装置。
【請求項１４】
動画を重視する動画モードと静止画を重視する静止画モードとを設定可能なモード設定手段を備え、
前記閾値調整手段が、前記モード設定手段にて設定されたモードに応じて前記閾値を調整する請求項１３に記載のノイズ低減処理装置。
【請求項１５】
情報が入力される入力過程と、
入力された映像信号の一フレーム内を動画領域と静止画領域に区分する領域分離過程と、
前記動画領域と前記静止画領域とで異なる手法のノイズ低減処理を実行するノイズ低減処理過程と
を有するノイズ低減処理方法。
【請求項１６】
情報が入力される入力ステップと、
入力された映像信号の一フレーム内を動画領域と静止画領域に区分する領域分離ステップと、
前記動画領域と前記静止画領域とで異なる手法のノイズ低減処理を実行するノイズ低減処理ステップと
をコンピュータに実行させるためのノイズ低減プログラム。
【請求項１７】
被写体を結像する光学手段と、
前記光学手段が結像した前記被写体像を光電変換する撮像手段と、
前記撮像手段が光電変換した映像信号が入力される入力手段と、
前記入力手段から出力された映像信号の一フレーム内を動画領域と静止画領域とに区分する領域区分手段と、
前記動画領域と前記静止画領域とで異なる手法のノイズ低減処理を実行するノイズ低減処理手段と
を具備するカメラ装置。
【請求項１８】
前記撮像手段の露光期間中に発生する画像のブレを補正する手振れ補正手段を備え、
前記領域区分手段が、前記手振れ補正手段にて補正された映像信号の一フレーム内を前記動画領域と前記静止画領域とに区分する請求項１７に記載のカメラ装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば、デジタルカメラ等により撮影された画像のノイズを低減するノイズ低減装置、方法、プログラムおよびカメラ装置に関するものである。
【背景技術】
【０００２】
アナログ入力された画像をデジタル表示する場合、変換処理に伴う画像の各種ノイズ（ブロックノイズ、モスキートノイズ、ランダムノイズ等）が発生することが知られている。これらのノイズを低減する手法として、従来、一フレーム内でノイズリダクション（ＮＲ）処理を行う面内ノイズリダクション処理（以下、「面内ＮＲ処理」という。）や、複数のフレームを加算してノイズリダクション処理を行う面間ノイズリダクション処理（以下、「面間ＮＲ処理」という。）などが知られている。
しかしながら、上記面内ＮＲ処理において、フレーム全体のノイズをなるべく低減するためにＮＲ処理を強くかけすぎると、画像の細かい部分がつぶれてしまい、画像が劣化するという問題がある。一方、細かい部分に劣化が生じないように、ＮＲ処理を弱くすると、画像全体のノイズ低減効果が低下するという問題があった。更に、上記面間ＮＲ処理では、被写体が動いている場合には、その動き部分がフレーム加算されてしまうことから、動き部分にボケ（多重像）が生じてしまうという問題があった。
【０００３】
そこで、近年、上述したような問題を解決するさまざまな技術が提案されている。
例えば、特許文献１には、入力画像の特徴（フレーム内の動画／静止画領域など）を判断し、この特徴に対してＮＲ効果の強弱を変えてノイズ低減処理を実行する技術が開示されている。
また、例えば、特許文献２には、あるフレーム画像において被写体の動きを検出し、面内ＮＲ処理もしくは面間ＮＲ処理のうちのいずれかを選択してノイズ低減を行う技術が開示されている。
【０００４】
【特許文献１】特開平５−０９１５３２号公報
【特許文献２】特開２００２−０１０１０６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述の特許文献１や特許文献２に開示されている発明においては、フレーム内の静止画領域もしくは動画領域のいずれかに適したＮＲ処理を行うこととしているため、部分的にノイズが残存する、過度の平滑化によりぼやけた画像になる等の問題があった。
【０００６】
本発明は、このような事情に鑑みてなされたものであって、動画部分および静止画部分に対して適切なノイズ低減処理を個別に実施することにより、画像の細かい部分を残したまま、高いノイズ低減効果を得ることのできるノイズ低減処理装置、方法、プログラムおよびカメラ装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明は以下の手段を採用する。
本発明は、情報が入力される入力手段と、前記入力手段から入力された映像信号の一フレーム内を動画領域と静止画領域に区分する領域区分手段と、前記動画領域と前記静止画領域とに対して互いに異なる手法のノイズ低減処理を実行するノイズ低減処理手段とを具備するノイズ低減処理装置を提供する。
【０００８】
このような構成によれば、映像信号の一フレーム内は動画領域と静止画領域とに区分され、更に、動画領域と静止画領域とに対して異なる手法のノイズ低減処理が施されることとなる。これにより、動画領域には動画に適したノイズ処理を、また、静止画領域には静止画に適したノイズ処理を個別に施すことが可能となるので、細部の劣化を抑制しながら、高いノイズ低減効果を得ることができる。これにより、画質の向上を図ることが可能となる。
【０００９】
上記のノイズ低減処理装置において、前記ノイズ低減処理手段が、前記静止画領域に対しては面間処理を実行し、前記動画領域に対しては面内処理を実行することとしてもよい。
【００１０】
このような構成によれば、静止画領域に対して面間処理が施され、動画領域に対しては面内処理が施されるので、フレーム加算によるボケ（多重像）や細部の劣化を防止しながら高いノイズ低減効果を得ることが可能となる。
【００１１】
上記のノイズ低減処理装置において、前記ノイズ低減処理手段が、前記静止画領域に対して面間処理と面内処理とを実行することとしても良い。
【００１２】
このような構成によれば、静止画領域に対しては面間処理と面内処理とを実行するので、更に高いノイズ低減効果を得ることができる。
【００１３】
上記のノイズ低減処理装置において、前記ノイズ低減処理手段が、前記動画領域に対しては、動きベクトルの大きさに応じてノイズ低減レベルを異ならせることとしても良い。
【００１４】
このような構成によれば、動画領域に対しては動きベクトルの大きさに応じてノイズ低減レベルを異ならせるので、動きベクトルの大きさが小さい領域に対しては、ノイズ低減レベルを低くすることにより、ボケや細部の劣化を回避することが可能となる。逆に、動きベクトルの大きさが大きい領域に対しては、ノイズ低減レベルを高くすることにより、ボケや細部の劣化を許容（動いている被写体にはもともとボケがある）し、高いノイズ低減効果を得ることが可能となる。このように、各動画領域の特性に応じた、より詳細なノイズ低減処理を実施することが可能となる。
【００１５】
上記のノイズ低減処理装置において、前記領域区分手段は、前記一フレーム内において、動きベクトルが、同一方向、かつ、同一の大きさである領域をパン／チルト領域として区分し、前記ノイズ低減処理手段が、前記パン／チルト領域に対して前記静止画領域と同じノイズ低減処理を実行することとしても良い。
【００１６】
例えば、映像信号を撮像する際に、パンやチルトなどの機能が用いられることにより、静止している被写体がフレーム間においては動いているように撮影されてしまう場合がある。このような場合でも、動きベクトルが同一方向、かつ、同一の大きさである領域をパン／チルト領域として区分し、静止画領域と同様に取り扱うので、適切なノイズ低減処理を実施することができる。
【００１７】
上記のノイズ低減処理装置は、前記動画領域と前記静止画領域との境界領域を検出し、前記境界領域におけるノイズ低減レベルの差を低減させる境界領域処理手段を更に備えていても良い。
【００１８】
このような構成によれば、動画領域と静止画領域との境界領域に生ずるノイズ低減レベルの差を低減させることが可能となるので、動画領域と静止画領域とに異なる手法のノイズ低減処理が施されることに起因する違和感を低減させることができる。
【００１９】
上記のノイズ低減処理装置において、前記境界領域処理手段は、前記境界領域におけるノイズ低減レベルの差を検出する不連続性検出手段と、前記境界領域において、ノイズ低減レベルが低い領域である高ノイズ領域に対して、前記不連続性検出手段によって検出された前記ノイズ低減レベルの差に応じたノイズ低減処理を実行するレベル差低減手段とを備えていても良い。
【００２０】
このような構成によれば、境界領域において、ノイズ低減レベルの低い領域に対して、ノイズ低減レベルを他の領域と一致させるようなノイズ低減処理が施されるので静止画領域と動画領域との境界に生じている不連続性を低減させることができる。
【００２１】
上記のノイズ低減処理装置において、前記ノイズ低減処理手段が、前記一フレーム内における位置に応じて前記ノイズ低減レベルを異ならせることとしても良い。
【００２２】
このような構成によれば、一フレーム内における位置に基づいてノイズ低減レベルを異ならせるので、フレーム内において視線を集める重要領域に対して、細部の劣化を抑えた好適なノイズ低減処理を実施することが可能となる。
【００２３】
上記のノイズ低減処理装置において、前記ノイズ低減処理手段が、前記一フレーム内において、中央部および中央部近傍の静止画領域に対するノイズ低減レベルを最も低くし、中央部および中央部近傍の動画領域、外周部および外周部近傍の静止画領域、外周部および外周部近傍の動画領域の順で、ノイズ低減レベルを次第に高くすることとしても良い。
【００２４】
このような構成によれば、一フレーム内において最もユーザの視線を集める中央部およびその近傍に対しては、ノイズ低減レベルを低く設定するので、ボケや細部の劣化が少なく、ノイズ低減された画像を提供することができる。
【００２５】
上記のノイズ低減処理装置において、前記ノイズ低減処理手段が、前記一フレーム内における輝度に応じて前記ノイズ低減レベルを異ならせることとしても良い。
【００２６】
このような構成によれば、一フレーム内における輝度に基づいてノイズ低減レベルを異ならせるので、フレーム内において人間がノイズを認識しやすい輝度を有する領域に対しては高いノイズ低減が施された好適なノイズ低減処理を実施することが可能となる。
【００２７】
上記のノイズ低減処理装置において、前記ノイズ低減処理手段は、輝度が中間レベルにある中間輝度領域に対して、他の領域よりもノイズ低減レベルの高いノイズ低減処理を実行することとしても良い。
【００２８】
このような構成によれば、一フレーム内において輝度が中間レベルにあり、他の領域に対して視認されやすい領域については、ノイズ低減レベルを高くすることにより、ノイズ低減効果を高めることができる。
【００２９】
上記のノイズ低減処理装置は、前記動画領域情報の周波数成分を検出する周波数検出手段を有し、前記ノイズ低減処理手段が、低周波成分の領域のノイズ低減レベルよりも前記高周波成分の領域のノイズ低減レベルを低くすることとしても良い。
【００３０】
このような構成によれば、高周波成分の領域に対してはノイズ低減レベルを低くするため、画像の細部の劣化をより少なくすることが可能となり、また、低周波成分の領域に対してはノイズ低減レベルを高くすることにより、ノイズ低減効果を高めることが可能となる。
【００３１】
上記のノイズ低減処理装置は、前記領域区分手段により前記一フレーム内が前記動画領域と前記静止画領域とに区分される際に用いられる閾値を調整する閾値調整手段を備えることとしても良い。
【００３２】
このような構成によれば、静止画領域と動画領域とに区分する際に基準とされる閾値を調整することが可能となるので、所望する画質の画像を作成することができる。
【００３３】
上記のノイズ低減処理装置は、動画を重視する動画モードと静止画を重視する静止画モードとを設定可能なモード設定手段を備えていても良く、前記閾値調整手段が、前記モード設定手段にて設定されたモードに応じて前記閾値を調整することとしても良い。
【００３４】
このような構成によれば、ユーザにより動画を重視する動画モードか、或いは、静止画を重視する静止画モードかが選択されることにより、各モードに適した閾値を自動的に設定することが可能となる。
【００３５】
本発明は、情報が入力される入力過程と、入力された映像信号の一フレーム内を動画領域と静止画領域に区分する領域分離過程と、前記動画領域と前記静止画領域とで異なる手法のノイズ低減処理を実行するノイズ低減処理過程とを有するノイズ低減処理方法を提供する。
【００３６】
本発明は、情報が入力される入力ステップと、入力された映像信号の一フレーム内を動画領域と静止画領域に区分する領域分離ステップと、前記動画領域と前記静止画領域とで異なる手法のノイズ低減処理を実行するノイズ低減処理ステップとをコンピュータに実行させるためのノイズ低減プログラムを提供する。
【００３７】
本発明は、被写体を結像する光学手段と、前記光学手段が結像した前記被写体像を光電変換する撮像手段と、前記撮像手段が光電変換した映像信号が入力される入力手段と、前記入力手段から出力された映像信号の一フレーム内を動画領域と静止画領域とに区分する領域区分手段と、前記動画領域と前記静止画領域とで異なる手法のノイズ低減処理を実行するノイズ低減処理手段とを具備するカメラ装置を提供する。
【００３８】
このような構成によれば、光学手段にて結像された被写体像は撮像手段により光電変換され、電気信号の映像信号として入力手段に入力される。この映像信号は、入力手段から領域区分手段へ転送され、ここで、一フレーム内において動画領域と静止画領域とに区分される。更に、ノイズ低減処理手段により動画領域および静止画領域に対して異なる手法のノイズ低減処理が実行され、ノイズ低減処理後の画像データが出力されることとなる。これにより、動画領域には動画に適したノイズ処理を、また、静止画領域には静止画に適したノイズ処理を個別に施すことが可能となるので、画像品質を向上させることが可能となる。
【００３９】
上記のカメラ装置は、前記撮像手段の露光期間中に発生する画像のブレを補正する手振れ補正手段を備えていてもよく、前記領域区分手段が、前記手振れ補正手段にて補正された映像信号の一フレーム内を前記動画領域と前記静止画領域とに区分することとしても良い。
【００４０】
このような構成によれば、入力手段等から出力された映像信号に対して、撮影時における画像のブレを補正する手振れ補正が実施され、この手振れ補正後の映像信号が領域区分手段に出力されることとなるので、ブレのすくないきれいな画像に基づいて後続の処理を行うことができ、画像品質を向上させることが可能となる。
【００４１】
本発明のノイズ低減処理装置は、特に、放送用据え置き型カメラ、ＥＮＧカメラ、民生用ハンディカメラ、デジタルカメラ等の製品に搭載されて好適なものである。また、動画を扱う映像信号補正プログラム（ＣＧプログラム）、画像編集装置などにも用いられる。
【発明の効果】
【００４２】
本発明によれば、動画部分および静止画部分に対して適切なノイズ低減処理を個別に実施するので、画像の細かい部分を残したまま、高いノイズ低減効果を得ることができるという効果を奏する。
【発明を実施するための最良の形態】
【００４３】
以下、本発明のノイズ低減処理装置の実施形態について、図面を参照して説明する。
〔第１の実施形態〕
図１は、本発明の第１の実施形態に係るノイズ低減処理装置の概略構成を模式的に示したブロック図である。
図１に示すように、本実施形態に係るノイズ低減処理装置は、情報として映像信号が入力される画像入力部（入力手段）１１と、画像入力部１１から入力された映像信号の一フレーム内を動画領域と静止画領域とに区分する領域区分部（領域区分手段）５０と、領域区分部５０により区分された動画領域および静止画領域とにそれぞれ異なる手法のノイズ低減処理を実行するノイズ低減処理部（ノイズ低減処理手段）１３とを備えている。
【００４４】
上記領域区分部５０は、画像入力部１１からの映像信号において動きベクトルを検出するとともに、この動きベクトルに基づいて一フレーム内を静止画領域と動画領域とに区分し、この区分結果を領域情報として出力する動き検出部１４、および、動き検出部１４からの領域情報に基づいて画像入力部１１からの映像信号を静止画領域と動画領域とに分離してノイズ低減部１３に出力する領域分離部１２を備えている。動き検出部１４は、例えば、画像入力部１１からの映像信号からなる一フレームの画像を適当な画素サイズでブロック化し、このブロックを検出単位として画像内で領域探索を行うことにより、動き位置を推定する。さらに、動き検出部１４は、後述する判定手法１乃至４などに従って、動画領域と静止画領域とに一フレーム内を区分する。
【００４５】
上記ノイズ低減処理部１３は、図１および図２に示すように、静止画領域に対してＮＲ処理を実行する静止画領域ＮＲ処理部１７と、動画領域に対してＮＲ処理を実行する動画領域ＮＲ処理部１８と、静止画領域ＮＲ処理部１７から出力されたＮＲ処理後の静止画領域信号と動画領域ＮＲ処理部１８から出力されたＮＲ処理後の動画領域信号とを合成して一フレームの映像信号を作成する画像合成部１９とを備えている。図２に示すように、ノイズ低減処理部１３の静止画領域ＮＲ処理部１７は、静止画領域信号に対して面間ＮＲ処理を実行する。動画領域ＮＲ処理部１８は、動画領域信号に対し、後述する動画領域ＮＲ係数決定部１５により決定されたＮＲ係数を用いて面内ＮＲ処理を実行する。
【００４６】
また、本実施形態に係るノイズ低減処理装置は、動き検出部１４からの動きベクトルに基づいて動画領域のＮＲ処理に用いるＮＲ係数を決定する動画領域ＮＲ係数決定部１５、およびノイズ低減処理部１３によりＮＲ処理された後の映像信号を出力する画像出力部１６を備えている。ここで、ＮＲ係数は、ノイズリダクション効果（ＮＲ効果）の強弱に関係するパラメータであり、ＮＲ係数が高いほど、ノイズ低減レベルが高くなる。
【００４７】
次に、上述した動き検出部１４における静止画領域と動画領域との判定手法について図を参照して詳しく説明する。
〔判定手法１〕
判定手法１では、動き検出部１４は、図２１に示すように、一フレームを同じ大きさの複数のブロック（本実施形態では、９つのブロックＡ乃至Ｉ）に分割する。このとき、ブロックＡ乃至Ｉの大きさおよび形状については、予め設定されている値を用いる。続いて、各ブロックＡ乃至Ｉにおいて、画素毎に静止画画素か動画画素かを判断し、各ブロック内で静止画画素の占める割合が動画画素の占める割合よりも多い場合は、そのブロックを静止画領域として定め、動画画素の占める割合が多い場合は、そのブロックを動画領域として定める。このように、判定手法１では、１画面を分割したブロック毎に静止画領域か動画領域かを決定する。
【００４８】
〔判定手法２〕
判定手法２では、図２２に示すように、一フレームにおいて、最も視線を集めやすいフレーム中央部分（図２１におけるブロックＥの位置に相当）を他の領域に比べて細かいブロックに分割する。このとき、ブロックの大きさおよび形状等については、予め設定されている値を用いる。静止画領域か動画領域かの判定については、上述した判定手法１と同様の手法を用いる。このように、判定手法２では、一フレーム内を等分するのではなく、注目を集める領域については、ブロックを細分化するので、ノイズ低減処理の精度を高めることができる。
【００４９】
〔判定手法３〕
判定手法３では、一フレーム内を所定の条件に基づいて複数のブロックに分割する。続いて、各ブロックにおいて、静止画画素と動画画素とを判別し、当該ブロック内において静止画画素が占める割合が所定の閾値以上になるように、当該ブロックを更に細分化する。
以下、この判定手法３について図２３を参照して説明する。
【００５０】
まず、図２３のステップＳＢ１において、一フレーム内を予め決めた条件に基づいて複数のブロックに分割する。ここで、複数のブロックに分割する手法は、上述した分離手法１のように、均等な大きさであるブロックに分割しても良いし、注目領域か否かに応じて、そのブロックの大きさや形状を変えることとしても良い。ここで分割するブロックの大きさは、後述するステップＳＢ６で判定する閾値Ｔｈ１より大きいことを条件とする。このようにして、一フレーム内を複数のブロックに分割すると、各ブロックに対して、以下のステップＳＢ２からステップＳＢ８の処理を実行する。
【００５１】
まず、ステップＳＢ２において、当該ブロックと連続する次のフレームにおける該当ブロックとを比較することにより、当該ブロックを構成する各画素が静止画画素か動画画素かを判定する。更に、当該ブロックを構成する全ての画素数に対して静止画の画素数が占める割合Ｒを算出する。
続いて、ステップＳＢ３において、ブロック内において、静止画画素が占める割合Ｒが所定の閾値Ｔｈ２よりも大きかった場合には、ステップＳＢ４に進み、当該ブロックを静止画領域と認定し、次のブロックに対しても同様の判定処理を実施する。
【００５２】
一方、上記ステップＳＢ３において、静止画画素が占める割合Ｒが所定の閾値Ｔｈ２以下であった場合には、ステップＳＢ５に進み、当該ブロックを更に細かく分割する（以下、この分割したブロックを「細分ブロック」という。）。続いて、ステップＳＢ６において、各細分ブロックの大きさが予め設定された閾値Ｔｈ１より大きいか否かを判断する。この結果、細分ブロックの大きさが閾値Ｔｈ１以下であると判断された場合には、ステップＳＢ７に進み、上記ステップＳＢ５において細分化した細分ブロックを再結合する。続いて、ステップＳＢ８において、再結合した当該ブロックを動画領域と認定し、次のブロックに対しても同様の判定処理を実施する。
一方、上記ステップＳＢ６において、細分ブロックの大きさが閾値Ｔｈ１よりも大きいと判断された場合には、ステップＳＢ２に戻り、上述したステップＳＢ２以降の処理を繰り返し実行する。
このように、判定手法３によれば、細分ブロックの面積が閾値Ｔｈ１以下となったことにより動画領域であると認定されるか、或いは、その細分ブロック内において静止画画素が占める割合が閾値Ｔｈ２以上となることにより、静止画領域であると認定されるまで、ブロックの細分化が繰り返し行われることとなる。この結果、図２４に示すように、当該判定手法にて分割されるブロックは、形状および大きさが異なるものとなる。
【００５３】
〔判定手法４〕
判定手法４では、一フレームを所定の条件に基づいて複数のブロックに分割する。続いて、各ブロックにおいて、静止画画素と動画画素とを判別し、静止画画素のみからなる静止画領域と、動画画素のみからなる動画領域とに当該ブロックを細分化する。これにより、当該手法によれば、画素単位でブロックが細分化され、静止画領域は静止画画素のみ、動画領域は動画画素のみで構成される。なお、この例に限れず、動画領域は、動画画素のみではなく、静止画素が含まれていても良い。
【００５４】
上記説明したように、判定手法１または２によれば、一フレーム内を動画領域と静止画領域とに非常に容易に区分することが可能となる。一方、判定手法３または判定手法４によれば、非常に細かいレベルで動画領域と静止画領域とに区分できるので、非常に高精度なＮＲ処理を施すことが可能となる。これにより、ＮＲ処理後の画像品質を向上させることができる。特に、静止画領域に動画画素が含まれてしまうと、面間ＮＲ処理を実行したときにボケ（二重像）が生じてしまうという問題があるが、判定手法４によれば、静止画領域は静止画画素のみで構成されるので、ボケの発生などの上述の問題を解消することができる。
【００５５】
なお、フレーム内を動画領域と静止画領域とに区分する判定手法については、上述した判定手法に限定されることなく、種々の手法を用いることが可能である。また、動き検出部による動きベクトルの検出手法においても、公知の技術を適宜選択して採用することが可能である。例えば、画像を２値化した場合の明暗の階調信号のレベルから動きを推定する手法などを採用しても良い。
【００５６】
次に、本実施形態に係るノイズ低減処理装置の作用について図１および図２を参照して説明する。
まず、画像入力部１１は、撮像素子などから映像信号を受け付け、この映像信号を領域分離部１２および動き検出部１４に出力する。動き検出部１４は、入力された映像信号における一フレーム内を静止画領域と動画領域とに区分し、この区分結果を領域情報として領域分離部１２に出力する。更に、動き検出部１４は、動画領域における被写体の動きベクトルを算出し、この動きベクトルを動画領域ＮＲ係数決定部１５に出力する。
動画領域ＮＲ係数決定部１５は、動き検出部１４から入力された動きベクトルに基づいてＮＲ係数を決定し、決定したＮＲ係数を動画領域ＮＲ処理部１８に出力する。このとき動画領域ＮＲ係数決定部１５は、動きベクトルの大きさが大きいほど、ＮＲ係数を大きな値に設定する。これにより、動きベクトルが大きいほど、ノイズ低減レベルが高く設定される。
【００５７】
一方、領域分離部１２は、動き検出部１４から領域情報が入力されると、画像入力部１１からの映像信号における一フレームの画像を当該領域情報に基づいて静止画領域と動画領域とに分離し、静止画領域信号を静止画領域ＮＲ処理部１７に、動画領域信号を動画領域ＮＲ処理部１８にそれぞれ出力する。
静止画領域ＮＲ処理部１７は、所定のＮＲ係数を予め保有しており、このＮＲ係数を用いて、図２に示すように、領域分離部１２から受け付けた静止画領域信号に対して面間ＮＲ処理を実行し、処理後の静止画領域信号を出力する。動画領域ＮＲ処理部１８は、図２に示すように、動画領域ＮＲ係数決定部１５から受け付けたＮＲ係数を用いて、領域分離部１２から受け付けた動画領域信号に対して面内ＮＲ処理を実行し、処理後の動画領域信号を出力する。画像合成部１９は、静止画領域ＮＲ処理部１７からの静止画領域信号と動画領域ＮＲ処理部１８からの動画領域信号とを合成して一フレームの映像信号を作成し、この合成映像信号を画像出力部１６へ出力する。
【００５８】
以上説明したように、本実施形態に係るノイズ低減処理装置によれば、静止画領域に対して面間ＮＲ処理を行うので、加算によるボケ（多重像）や画像の細部の劣化がなくＮＲ処理を実現させることができる。更に、動画領域においても被写体の動きベクトルの大きさに応じたＮＲ係数を用いて面内ＮＲ処理を行うので、ＮＲ処理後の画像において細部の劣化を少なくすることが可能となる。
このように、本実施形態によれば、フレーム内の静止画領域および動画領域に対して、それぞれに適したＮＲ処理を行うことができるので、画像の細かい部分を残したまま高いＮＲ効果をもたせることができる。
【００５９】
なお、上述した実施形態においては、動画領域ＮＲ処理部１８にて用いられるＮＲ係数を自動的に決定する動画領域ＮＲ係数決定部１５を設けていたが、これに代えて、ユーザがＮＲ係数を任意に設定するためのＮＲ係数手動設定部を備えることとしてもよい。あるいは、動画領域ＮＲ係数決定部１５により決定されたＮＲ係数をユーザが調節可能なＮＲ調節部を更に備えることとしてもよい。
【００６０】
〔第２の実施形態〕
次に、本発明の第２の実施形態に係るノイズ低減処理装置について図を参照して説明する。第２の実施形態は、第１の実施形態と基本的には同じであるが、図３に示すように、動き検出部１４がパン／チルト領域検出部２０を備える点が異なる。以下、本実施形態に係るノイズ低減処理装置について、第１の実施形態と共通する点については説明を省略し、異なる点についてのみ説明する。なお、上述の第１の実施形態と同一の構成要素については、同一符号を付し、その詳細な説明を省略する。
【００６１】
図３は、本実施形態に係るノイズ低減処理装置の一構成例を示すブロック図である。この図に示すように、動き検出部１４には、パン／チルト領域検出部２０が設けられている。このパン／チルト領域検出部２０は、検出した動きベクトルの動きの方向（ｘ，ｙ）と、その移動量の絶対値を推定し、推定した動きベクトルが、同一方向かつ同一の大きさであった場合に、当該映像信号を撮像したカメラ装置等において、パン/チルト撮影が実施されたことにより、当該動きベクトルが生じていると判断し、この領域（つまり、動きベクトルが同一方向かつ同一の大きさである全ての領域）をパン/チルト領域情報として領域分離部１２に出力する。
【００６２】
領域分離部１２は、動き検出部１４からパン／チルト領域情報が入力されると、画像入力部１１からの映像信号における一フレームの画像を動き検出部１３からのパン／チルト領域情報に基づいてパン／チルト領域と動画領域（パン／チルト領域以外の領域が該当する）とに分離し、パン／チルト領域信号を静止画領域ＮＲ処理部１７に、動画領域信号を動画領域ＮＲ処理部１８にそれぞれ出力する。
これにより、静止画領域ＮＲ処理部１７によりパン／チルト領域信号に対して面間ＮＲ処理が実行され、一方、動画領域ＮＲ処理部１８により動画領域信号に対して面内ＮＲ処理が実行されることとなる。
ここで、静止画領域ＮＲ処理部１７において、面間ＮＲ処理（フレーム加算）はフレーム間の同一の絵柄の領域に対して行われる。同一の絵柄領域の判別は、例えば、ブロック内の動きベクトルの探索時における領域内の２値の積分値などが用いられる。
このようにして、それぞれＮＲ処理が施された後の映像信号は、画像合成部１９により合成され、画像出力部１６へ出力される。
【００６３】
以上、説明してきたように、本実施形態に係るノイズ低減処理装置によれば、カメラ装置のパン/チルトによる画像の動きを静止画領域として捉え、フレーム間の同一部分で面間ＮＲ（フレーム加算）処理を行うので、画像の細かい部分を残したまま、高いＮＲ効果を実現させることができる。
【００６４】
〔第３の実施形態〕
次に、本発明の第３の実施形態に係るノイズ低減処理装置について図を参照して説明する。第３の実施形態は、第１の実施形態と基本的には同じであるが、静止画領域ＮＲ処理部が、静止画領域に対して面間ＮＲ処理に加え面内ＮＲ処理を実行する点が異なる。また、静止画領域ＮＲ処理部が面内ＮＲ処理を実行するに当たり、ＮＲ係数を決定する静止画領域ＮＲ係数決定部を更に備えている。
以下、本実施形態に係るノイズ低減処理装置について、第１の実施形態と共通する点については説明を省略し、異なる点についてのみ説明する。なお、上述の第１の実施形態と同一の構成要素については、同一符号を付し、その詳細な説明を省略する。
【００６５】
図４および図５は、本実施形態に係るノイズ低減処理装置の一構成例を示すブロック図である。この図に示すように、本実施形態に係るノイズ低減処理装置は、静止画領域ＮＲ処理部２２にて用いられるＮＲ係数を決定する静止画領域ＮＲ係数決定部２１を備えている。更に、図５に示すように、静止画領域ＮＲ処理部２２は、静止画領域に対して面間ＮＲ処理を実施するとともに、この面間ＮＲ処理が施された静止画領域信号に対して面内ＮＲ処理を実行する。ここで、静止画領域ＮＲ係数決定部２１によるＮＲ係数の決定は、例えば、ユーザが任意の係数を指定することにより行われる。
【００６６】
以上説明したように、本実施形態に係るノイズ低減処理装置によれば、静止画領域において面間ＮＲ処理と面内ＮＲ処理が実施されるので、上述の第１の実施形態に係るノイズ低減処理装置に比べて、静止画領域のＮＲ効果を高めることができる。更に、面内ＮＲ処理を実施することにより、加算フレーム数が少なくても、高いＮＲ効果を得ることが可能となるので、フレームメモリの数を減らすことができる。例えば、非巡回型の面間ＮＲ処理でＳＮＲ６ｄＢ改善のノイズ抑圧を行う場合、４フレーム分の加算が必要なことからフレームメモリは３つ必要となる。しかし、本実施形態のように、面間ＮＲと面内ＮＲとを併用することにより、面間２フレーム加算（３ｄＢ改善）＋面内ＮＲ（３ｄＢ改善）とすることができ、１つのフレームメモリを用いるだけで６ｄＢ改善することが可能となる。この結果、フレーム加算数が少ないため処理速度が高速となり、早いフレームレートで撮像される画像にも対応できるといったメリットがある。
【００６７】
〔第４の実施形態〕
次に、本発明の第４の実施形態に係るノイズ低減処理装置について図を参照して説明する。第４の実施形態は、第１の実施形態と基本的には同じであるが、動画領域と静止画領域間の処理の差をなくすための境界領域処理部（境界領域処理手段）を備える点で異なる。
以下、本実施形態に係るノイズ低減処理装置について、第１の実施形態と共通する点については説明を省略し、異なる点についてのみ説明する。なお、上述の第１の実施形態と同一の構成要素については、同一符号を付し、その詳細な説明を省略する。
【００６８】
図６は、本実施形態に係るノイズ低減処理装置の一構成例を示すブロック図である。この図に示すように、本実施形態に係るノイズ低減処理装置は、画像合成部１９から出力された合成画像データにおいて、動画領域と静止画領域間の処理の差をなくすための境界領域処理を行う境界領域処理部２５を備えている。
例えば、上述した第１の実施形態では、動画領域と静止画領域とで異なるＮＲ処理を実施するため、互いの領域間にノイズ低減レベルの差が生じ、違和感のある画像となる可能性がある。本実施形態においては、この違和感（画質の不連続性）を低減するために、動画領域と静止画領域の境界(以下、境界領域)でノイズ低減レベルの差が目立たないように徐々に画像が変化するような処理を施す境界領域処理部２５を設け、上記問題を解決する。
【００６９】
具体的には、境界領域処理部２５は、図７に示すように、動画領域と静止画領域の境界領域を検出する境界検出部２６、静止画領域と動画領域とのノイズ低減レベルの差を検出する不連続性検出部（不連続性検出手段）２７、およびノイズ軽減効果が少ない領域に対して、面内ＮＲ処理の係数を変えてＮＲ処理を実行する面内ＮＲ処理部（レベル差低減手段）２８を備えている。ここで、境界領域とは、図８に示した一フレーム内において斜線で示した領域であり、例えば、静止画領域と動画領域との境界を含む近傍の領域、具体的には、静止画領域と動画領域との境界線を中心とした所定の幅を持つ領域である。
【００７０】
次に、上記境界領域処理部２５の面内ＮＲ処理部２８について、図を参照して説明する。例えば、一フレーム内を複数のブロックに分割した場合において、図９に示すように、隣接するブロックＤおよびブロックＥにおいて、ブロックＤがブロックＥに比べてノイズ低減効果が少ない場合、つまり、ブロックＤがブロックＥに対してノイズが多い場合、面内ＮＲ処理部２８は、ブロックＤに対して面内ＮＲ処理を実行する。ここで、ブロックＤが静止画領域で、ブロックＥが動画領域の場合もあれば、逆に、ブロックＤが動画領域でブロックＥが静止画領域の場合もありえる。ここで、面内ＮＲ処理部２８は、領域Ｄ内において、境界に近いほど、ノイズ低減レベルが隣接するブロックＥと同じになるように、ノイズ低減処理を実行する。
【００７１】
つまり、図９に示した一例では、ブロックＤにおいて、ａ領域のＮＲ処理に最も大きいＮＲ係数が用いられ、ｂ領域、ｃ領域、ｄ領域の順に、徐々に小さいＮＲ係数が用いられる。これにより、境界に近い部分においては、隣接する領域とノイズ低減効果をほぼ同一にすることができ、境界から遠い領域においては、ＮＲ処理をかけない、もしくは、弱くかけることにより、画像の細部の劣化を防止することが可能となる。
【００７２】
以上説明してきたように、本実施形態に係るノイズ低減処理装置によれば、動画領域と静止画領域とでＮＲ処理が異なることに起因する両者間の境界付近の違和感を低減させることが可能となる。これにより、画像の品質を向上させることができる。
【００７３】
〔第５の実施形態〕
次に、本発明の第５の実施形態に係るノイズ低減処理装置について図を参照して説明する。第５の実施形態は、第１の実施形態と基本的には同じであるが、一フレーム内の位置に応じてＮＲ係数を変化させることとした点で異なる。
以下、本実施形態に係るノイズ低減処理装置について、第１の実施形態と共通する点については説明を省略し、異なる点についてのみ説明する。なお、上述の第１の実施形態と同一の構成要素については、同一符号を付し、その詳細な説明を省略する。
【００７４】
図１０は、本実施形態に係るノイズ低減処理装置の一構成例を示すブロック図である。この図に示すように、本実施形態に係るノイズ低減処理装置は、画像入力部１１から映像信号が入力され、この映像信号に基づくフレーム内における位置を検出し、この位置情報を領域分離部１２に出力する画面位置検出部３０を更に備えている。
【００７５】
このような構成において、画像入力部１１は、映像信号を領域分離部１２、動き検出部１４、および画面位置検出部３０に出力する。動き検出部１４は入力された映像信号から一フレーム内を静止画領域と動画領域とに区分し、区分した領域情報を画面位置検出部３０に出力する。更に、動き検出部１４は、動画領域における被写体の動きベクトルを算出し、画面位置検出部３０に出力する。
画面位置検出部３０は、映像信号から一フレーム内の画面位置を検出し、この画面位置の情報および動き検出部１４から入力された動きベクトルならびに領域情報を動画領域ＮＲ係数決定部１５に出力する。更に、画面位置検出部３０は、領域情報と画面位置情報とを領域分離部１２に出力する。
【００７６】
領域分離部１２は、画面位置検出部３０からの領域情報に基づいて、画像入力部１１からの映像信号を静止画領域信号と動画領域信号とに分離し、静止画領域信号を静止画領域ＮＲ処理部１７へ出力するとともに、動画領域信号を動画領域ＮＲ処理部１８に出力する。一方、動画領域ＮＲ係数決定部１５は、画面位置検出部３０から入力された動きベクトルおよび画面位置に基づいてＮＲ係数を決定し、動画領域ＮＲ処理部１８に出力する。
【００７７】
ここで、人間の視覚特性によれば、自然な監視状態の注視点は画面中央位置にくる。また、動く物体に対して注視する特性はあるものの、物体の動き成分に引きずられて画質の判別能力が低下する傾向がある。そこで、本実施形態においては、視線を集める画面中央部およびその近傍部を重要領域については、面内ＮＲ処理を弱くかけることにより、細部の劣化を少なくし、逆に、重要度が低い領域(基本的には画面端)は面内ＮＲ処理を強めにかけることにより、ノイズ効果を高める。なお、動きがある動画領域の場合については、画質劣化がわかりにくいので、ＮＲの係数（強さ）を強めにかけることとしても良い。
【００７８】
以下に、フレーム内における位置と被写体の動きとＮＲ係数との関係、つまり、動きベクトルとノイズ低減レベルとの関係を示す。
ａ．フレーム周辺部の大きい動き＞ｂ．フレーム周辺部の中程度の動き＞ｃ．フレーム周辺部の静止画＞ｄ．フレーム中央部および中央近傍の大きい動き＞ｅ．フレーム中央部および中央近傍の中程度の動き＞ｆ．フレーム中央部および中央近傍の静止画
ここで、各符号ａ乃至ｆは、図１１に示される符号ａ乃至ｆに対応している。
このように、フレーム周辺部における動きベクトルが大きい動画領域においては最も大きいＮＲ係数を用いることによりノイズ低減レベルを高く設定し、フレーム中央部および中央近傍の静止画領域に対しては最も小さいＮＲ係数を用いることによりノイズ低減レベルを低く設定する。
【００７９】
以上説明してきたように、本実施形態に係るノイズ低減処理装置によれば、フレーム内における位置におうじて最適なＮＲ係数を用いてノイズ低減処理を実施するので、視線を最も集める重要領域についてはノイズ低減レベルを低くして細部の劣化を抑えることが可能となり、一方、視線があつまらない非重要領域についてはノイズ低減レベルを高くしてノイズ低減効果を高めることが可能となる。
【００８０】
〔第６の実施形態〕
次に、本発明の第６の実施形態に係るノイズ低減処理装置について図を参照して説明する。第６の実施形態は、第１の実施形態と基本的には同じであるが、人間のノイズ検知特性に基づいて、ＮＲの強弱を変えることとした点で異なる。
以下、本実施形態に係るノイズ低減処理装置について、第１の実施形態と共通する点については説明を省略し、異なる点についてのみ説明する。なお、上述の第１の実施形態と同一の構成要素については、同一符号を付し、その詳細な説明を省略する。
【００８１】
図１２は、本実施形態に係るノイズ低減処理装置の一構成例を示すブロック図である。この図に示すように、本実施形態に係るノイズ低減処理装置は、画像入力部１１から映像信号が入力され、この映像信号に基づくフレーム内における輝度を検出し、この輝度情報を領域分離部１２に出力する輝度検出部３１を更に備えている。
【００８２】
このような構成において、画像入力部１１は、映像信号を領域分離部１２、動き検出部１４、および輝度検出部３１に出力する。動き検出部１４は入力された映像信号の一フレーム内を静止画領域と動画領域とに区分し、区分結果を領域情報として輝度検出部３１に出力する。更に、動き検出部１４は、動画領域における被写体の動きベクトルを算出し、輝度検出部３１に出力する。
輝度検出部３１は、映像信号から一フレーム内の各領域における輝度を検出し、この輝度情報を動き検出部１４からの動きベクトルに付加して、動画領域ＮＲ係数決定部１５に出力する。更に、輝度検出部３１は、領域情報と輝度情報とを領域分離部１２に出力する。
【００８３】
領域分離部１２は、画面位置検出部３０からの領域情報に基づいて、画像入力部１１からの映像信号を静止画領域信号と動画領域信号とに分離し、静止画領域信号を静止画領域ＮＲ処理部１７へ出力するとともに、動画領域信号を動画領域ＮＲ処理部１８に出力する。一方、動画領域ＮＲ係数決定部１５は、輝度検出部３１から入力された動きベクトルおよび輝度情報に基づいてＮＲ係数を決定し、動画領域ＮＲ処理部１８に出力する。動画領域ＮＲ係数決定部１５は、以下の関係に基づいてＮＲ係数を決定する。
【００８４】
すなわち、人間の目の検知特性から画面内の輝度によりノイズが良く見える部分とノイズが見えにくい部分がある。人間のノイズの検知特性は、真っ暗な箇所よりも多少明るい箇所が目立ち、さらに明るくなると目立ちにくいという特性がある。
そこで、本実施形態では、ノイズが良く見える輝度領域の部分は、つまり、輝度が中間レベルである中間輝度領域においては、ＮＲ係数を大きな値に設定することでノイズ低減レベルを高め、ノイズが見えにくい部分、つまり、上記中央輝度領域以外の領域についてはＮＲ係数を小さな値に設定することで、ノイズ低減レベルを低くする。
【００８５】
以下に、フレーム内における輝度とＮＲ係数との関係、つまり、輝度とノイズ低減レベルとの関係を示す。
ノイズが良く見える部分の大きい動き＞ノイズが良く見える部分の中程度の動き＞ノイズが良く見える部分の静止＞ノイズが見えにくい部分の大きい動き＞ノイズが見えにくい部分の中程度の動き＞ノイズが見えにくい部分の静止
【００８６】
以上説明したように、本実施形態に係るノイズ低減処理装置によれば、輝度情報に応じてノイズ低減処理を行うため、画像のノイズが目立つ部分に効果の高いＮＲ処理を実施できるとともに、ノイズが目立たない部分については、細部の劣化がより少ないようにＮＲ処理を実施することができる。このように、フレーム内の静止画領域および動画領域ともに、輝度に応じた適切なＮＲ処理を行うことができるので、ノイズ低減効果を向上させることができる。
【００８７】
〔第７の実施形態〕
次に、本発明の第７の実施形態に係るノイズ低減処理装置について図を参照して説明する。第７の実施形態は、第１の実施形態と基本的には同じであるが、図１３に示すように、動画領域であるか静止画領域であるかを判断する際に用いる閾値を調整する閾値調整部（閾値調整手段）３２を備える点で異なる。以下、本実施形態に係るノイズ低減処理装置について、第１の実施形態と共通する点については説明を省略し、異なる点についてのみ説明する。なお、上述の第１の実施形態と同一の構成要素については、同一符号を付し、その詳細な説明を省略する。
【００８８】
図１３は、本実施形態に係るノイズ低減処理装置の一構成例を示すブロック図である。この図に示すように、本実施形態に係るノイズ低減処理装置は、画像入力部１１から映像信号が入力され、この映像信号に基づくフレーム内における静止画領域と動画領域とを予め指定されている閾値に基づいて判別する閾値調整部３２を更に備えている。
【００８９】
このような構成において、画像入力部１１は、映像信号を領域分離部１２、動き検出部１４に出力する。動き検出部１４は入力された映像信号から一フレーム内を静止画領域と動画領域とに区分し、区分結果を領域情報として閾値調整部３２に出力する。更に、動き検出部１４は、動画領域における被写体の動きベクトルを算出し、閾値調整部３２に出力する。
閾値調整部３２は、指定された閾値と動きベクトルの大きさを比較して、動きベクトルが閾値未満の領域を静止画領域、動きベクトルが閾値以上の領域を動画領域として再区分し、この再区分結果を領域情報を領域分離部に入力する。更に、閾値調整部３２は、動画領域の動きベクトルを動画領域ＮＲ係数決定部１５に出力する。ここで、閾値調整部３２の閾値はユーザにより決定される。
【００９０】
以上説明したように、本実施形態に係るノイズ低減処理装置によれば、静止画領域と動画領域とを区分する際に基準とされる閾値をユーザが調整することが可能となる。これにより、ユーザが所望する画質の画像を生成することができる。
【００９１】
なお、上記実施形態においては、ユーザが直接的に閾値を設定するのではなく、例えば、モードを選択することにより閾値が自動的に調整される構成としてもよい。例えば、動画重視モードと静止画重視モードとを設け、ユーザがこれらのモードのうち、所望のモードを選択することにより、各モードに適した閾値が自動的に設定される構成としてもよい。このモード設定の具体的な態様としては、例えば、当該ノイズ低減処理装置を搭載する動画カメラやデジタルカメラなどに、閾値設定用の選択ボタン（スイッチ）などを設け、この選択ボタンをユーザが操作することにより、上記閾値の設定を実現させる。
【００９２】
〔第８の実施形態〕
次に、本発明の第８の実施形態に係るノイズ低減処理装置について図を参照して説明する。第８の実施形態は、第１の実施形態と基本的には同じであるが、図１４に示すように、一フレーム画像の周波数成分を検出する周波数成分検出部（周波数成分検出手段）３３を備える点で異なる。
以下、本実施形態に係るノイズ低減処理装置について、第１の実施形態と共通する点については説明を省略し、異なる点についてのみ説明する。なお、上述の第１の実施形態と同一の構成要素については、同一符号を付し、その詳細な説明を省略する。
【００９３】
図１４は、本実施形態に係るノイズ低減処理装置の一構成例を示すブロック図である。この図に示すように、本実施形態に係るノイズ低減処理装置は、画像入力部１１から映像信号が入力され、この映像信号に基づくフレーム内における周波数成分を検出し、この周波数成分を領域分離部１２および動画領域ＮＲ係数決定部１５に出力する周波数成分検出部３３を更に備えている。
【００９４】
このような構成において、画像入力部１１は、映像信号を領域分離部１２、動き検出部１４、および周波数検出部３３に出力する。動き検出部１４は入力された映像信号の一フレーム内を静止画領域と動画領域とに区分し、区分結果を領域情報として周波数成分検出部３３に出力する。更に、動き検出部１４は、動画領域における被写体の動きベクトルを算出し、周波数検出部３３に出力する。
周波数検出部３３は、映像信号から一フレーム内の周波数成分を検出し、この周波数成分を動き検出部１４からの動きベクトルに付加して、動画領域ＮＲ係数決定部１５に出力する。更に、周波数成分検出部３３は、領域情報と周波数成分情報とを領域分離部１２に出力する。ここで、上記周波数成分検出部３３は、例えば、一フレーム画像を複数のブロックに分割し、各ブロックをフーリエ変換することにより周波数成分を検出する。
【００９５】
領域分離部１２は、周波数成分検出部３３からの領域情報に基づいて、画像入力部１１からの映像信号を静止画領域信号と動画領域信号とに分離し、静止画領域信号を静止画領域ＮＲ処理部１７へ出力するとともに、動画領域信号を動画領域ＮＲ処理部１８に出力する。
動画領域ＮＲ係数決定部１５は、周波数成分検出部３３から入力された動きベクトルおよび周波数成分情報に基づいてＮＲ係数を決定し、動画領域ＮＲ処理部１８に出力する。これにより、動きベクトルだけでなく、周波数成分も加味されたＮＲ係数を用いた動画領域のＮＲ処理が実行されることとなる。このとき、動画領域ＮＲ係数決定部１５は、周波数成分が高い領域ほど、ＮＲ係数を低く設定する。
【００９６】
以上説明してきたように、本実施形態に係るノイズ低減処理装置によれば、高周波成分の領域に対するノイズ低減レベルを低くするため、画像の細部の劣化がより少なくＮＲ処理ができる。これにより、高周波領域については、ノイズ低減レベルを低くすることにより細部を残しながら適度なノイズ低減を行うことができるとともに、低周波領域についてはノイズ低減レベルを高くすることによりノイズ低減効果を高めることができる。
【００９７】
〔第９の実施の形態〕
次に、本発明の第９の実施形態に係るノイズ低減処理装置について図を参照して説明する。第９の実施形態は、第１の実施形態と基本的には同じであるが、図１５に示すように、手振れ補正を行う手振れ補正部（手振れ補正手段）３５を備える点で異なる。
このような構成によれば、画像入力部１１からの映像信号は手振れ補正部３５に入力されることにより、手振れによる影響が解消され、手振れ補正後の映像信号が領域分離部１２および動き検出部１４に出力されることとなる。これにより、手振れ補正後の映像信号に対して上述したノイズ低減処理が実行されることとなる。
このように、本実施形態に係るノイズ低減処理装置によれば、手振れ補正を行った映像信号に基づいて動き検出が行われるため、被写体の動きと手振れによる動きの誤認識がなくなり、ノイズ低減効果を高めることができる。
【００９８】
〔第１０の実施の形態〕
次に、本発明の第１０の実施形態に係るノイズ低減処理装置について図を参照して説明する。第１０の実施形態は、上述した第１乃至第９の実施形態に係るノイズ低減処理装置の各構成要素を組み合わせた構成を備える。
以下、本実施形態に係るノイズ低減処理装置について図１６を参照して説明する。
図１６に示すように、画像入力部１１から手振れ補正部３５に出力された映像信号は、手振れ補正部３５にて手振れ補正が施され、補正後の映像信号が領域分離部１２、動き検出部１４、画面位置検出部３０、輝度検出部３１、および周波数成分検出部３３に入力される。
【００９９】
動き検出部１４は、入力された映像信号の一フレーム内を静止画領域と動画領域戸に区分し、区分結果を領域情報として閾値調整部３２に出力する。更に、動き検出部１４は動画領域における被写体の動きベクトルを算出し、閾値調整部３２にこの動きベクトルを出力する。閾値調整部３２は、ユーザにより指定された閾値と動き検出部１４により検出された動きベクトルとを比較し、動きベクトルが閾値以上の領域を動画領域とし、動きベクトルが閾値以内の領域を静止画領域として、領域の再区分を行う。閾値調整部３２は、動き検出部１４から入力された動きベクトルと、この再区分の結果を領域情報として画面位置検出部３０および動画領域ＮＲ係数決定部１５に出力する。
【０１００】
画面位置検出部３０は、手振れ補正部３５からの映像信号から一フレーム内の画面位置を検出し、この画面位置情報を閾値調整部３２から転送されてきた動きベクトルおよび領域情報に付加して輝度検出部３１に出力する。輝度検出部３１は、手振れ補正部３５からの映像信号から一フレーム内の各領域における輝度を検出し、この輝度情報、および画面位置検出部３０からの情報である、動きベクトル、画面位置情報、領域情報を周波数成分検出部３３に出力するとともに、動きベクトル、画面位置情報、および輝度情報を動画領域ＮＲ係数決定部１５に出力する。周波数成分検出部３３は、手振れ補正部３５からの映像信号から一フレーム内の周波数成分を検出し、この周波数成分情報および輝度検出部３１からの情報である動きベクトル、画面位置情報、輝度情報、領域情報を領域分離部１２に出力するとともに、動きベクトル、画面位置情報、輝度情報および周波数成分情報を動画領域ＮＲ係数決定部１５に出力する。動画領域ＮＲ係数決定部１５は、動きベクトル、画面位置情報、輝度情報、および周波数成分情報に基づいてＮＲ係数を決定し、動画領域ＮＲ処理部１８に出力する。具体的には、動画領域ＮＲ係数決定部１５は、図１８乃至図２０に示したフローチャートにおけるステップＳＡ５乃至ステップＳＡ１９の判定処理を実行することによりＮＲ係数を設定する。
【０１０１】
領域分離部１２は、周波数成分検出部３３からの領域情報に基づいて、手振れ補正部３５から入力された映像信号を静止画領域信号と動画領域信号とに分離し、静止画領域信号を静止画領域ＮＲ処理部２２に出力するとともに、動画領域信号を動画領域ＮＲ処理部１８に出力する。
【０１０２】
静止画領域ＮＲ処理部２２は、図１７に示すように、領域分離部１２から入力された静止画領域信号に対して面間ＮＲ処理を施した後に、更に、静止画領域ＮＲ係数決定部２１から入力されたＮＲ係数を用いて面内ＮＲ処理を実行する。ここで、静止画領域ＮＲ係数決定部２１から入力されるＮＲ係数は、動きベクトル、画面位置情報、輝度情報、および周波数成分情報に基づいて決定されるものである。より具体的には、静止画領域ＮＲ係数決定部１５は、図１８乃至図２０に示したフローチャートにおけるステップＳＡ２０乃至ステップＳＡ３４の判定処理を実行することによりＮＲ係数を決定する。
静止画領域ＮＲ処理部２２は、ＮＲ処理後の静止画領域信号を画像合成部１９に出力する。
一方、動画領域ＮＲ処理部１８は、領域分離部１２から入力された動画領域信号に対して、動画領域ＮＲ係数決定部１５から入力されたＮＲ係数を用いて面内ＮＲ処理を実行し、ＮＲ処理後の動画領域信号を画像合成部１９に出力する。
【０１０３】
画像合成部１９は、静止画領域信号と動画領域信号とを合成することにより一フレームの合成画像信号を作成し、この合成画像信号を境界領域処理部２５に出力する（図１６参照）。境界領域処理部２５は、静止画領域と動画領域との境界領域に対してＮＲ処理を実行することにより、境界領域における違和感を軽減し、処理後の画像信号を画像出力部１６に出力する。
【０１０４】
以上説明してきたように、本実施形態に係るノイズ低減処理装置によれば、フレーム内の静止画領域および動画領域に対して、適切なＮＲ処理を実行することができるので、画像の細かい部分を残したまま、高いＮＲ効果をもたせることができる。これにより、高品質の画像を提供することが可能となる。
【０１０５】
なお、上述した実施形態においては、全ての構成要素を具備した場合について述べたが、これら構成要素は、適宜選択し、採用することが可能である。また、どの構成要素を用いてノイズ低減処理を実現させるかをユーザが適宜選択できる構成としてもよい。これは、例えば、当該ノイズ低減処理装置を搭載する装置において、スイッチなどの選択部を設ける態様をとることができる。
【０１０６】
なお、上述した実施形態においては、ノイズ低減処理装置としてハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。例えば、別途ソフトウェアにて処理する構成も可能である。この場合、ノイズ低減処理装置は、ＣＰＵ、ＲＡＭ等の主記憶装置、上記処理の全て或いは一部を実現させるためのプログラムが記録されたコンピュータ読み取り可能な記録媒体を備えている。そして、ＣＰＵが上記記憶媒体に記録されているプログラムを読み出して、情報の加工・演算処理を実行することにより、上述のノイズ低減処理装置と同様の処理を実現させる。
【０１０７】
ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしても良い。
【０１０８】
以下、ＣＰＵがノイズ低減処理プログラムを実行することにより実現されるノイズ低減処理方法の処理手順について図１８乃至図２０を参照して説明する。
まず、図１８のステップＳＡ１において、入力画像部から入力された映像信号に対して手振れ補正を実行し、続くステップＳＡ２において、連続する２フレームの画像から動きベクトルを算出する。続いて、ステップＳＡ３において、動きベクトルが算出された領域が画面上でどのような位置に当たるかを示す画面位置を検出するとともに、輝度値および周波数成分を検出する。
【０１０９】
続いて、ステップＳＡ４において、動きベクトルが予め設定されている閾値以上であるか否かを判別する。この結果、動きベクトルが予め設定されている閾値以上であった場合には、動画領域と認定し、閾値未満であった場合には静止画領域と認定する。続いて、動画領域であった場合には、ステップＳＡ５に進み、当該領域が画面注目領域であるかを判別する。この結果、画面注目領域であった場合には、ステップＳＡ６に進み、当該領域の輝度値がノイズが目立たない輝度であるか否かを判定する。
【０１１０】
続いて、ノイズが目立つ輝度であった場合には、ステップＳＡ７に進み、当該領域の周波数成分が高いか否かを判定する。この結果、周波数成分が高い場合には、ステップＳＡ８に進み、ＮＲ係数ａ１を用いた面内ＮＲ処理を実行し、周波数成分が高くない場合には、ステップＳＡ９に進み、ＮＲ係数ｂ１を用いた面内ＮＲ処理を実行する。一方、上記ステップＳＡ６において、ノイズが目立たない輝度でなかった場合には、ステップＳＡ１０に進み、当該領域の周波数成分が高いか否かを判定する。この結果、周波数成分が高い場合には、ステップＳＡ１１に進み、ＮＲ係数ｃ１を用いた面内ＮＲ処理を実行し、一方、周波数成分が高くない場合には、ステップＳＡ１２に進み、ＮＲ係数ｄ１を用いた面内ＮＲ処理を実行する。
【０１１１】
また、上述のステップＳＡ５において、当該領域が画面注目領域でなかった場合には、ステップＳＡ１３（図１９参照）に進み、ノイズが目立たない輝度であるか否かを判定する。続いて、ノイズが目立つ輝度であった場合には、ステップＳＡ１４に進み、当該領域の周波数成分が高いか否かを判定する。この結果、周波数成分が高い場合には、ステップＳＡ１５に進み、ＮＲ係ｅ１を用いた面内ＮＲ処理を実行し、一方、周波数成分が高くない場合には、ステップＳＡ１６に進み、ＮＲ係数ｆ１を用いた面内ＮＲ処理を実行する。
【０１１２】
一方、ステップＳＡ１３において、ノイズが目立たない輝度でなかった場合には、ステップＳＡ１７に進み、当該領域の周波数成分が高いか否かを判定する。この結果、周波数成分が高い場合には、ステップＳＡ１８に進み、ＮＲ係数ｇ１を用いた面内ＮＲ処理を実行し、一方、周波数成分が高くない場合には、ステップＳＡ１９に進み、ＮＲ係数ｈ１を用いたた面内ＮＲ処理を実行する。
ここで、ＮＲ係数ａ１,ｂ１,ｃ１,ｄ１,ｅ１,ｆ１,ｇ１,ｈ１の間には以下の関係が成り立つ。
ｈ１＞ｇ１＞ｆ１＞ｅ１＞ｄ１＞ｃ１＞ｂ１＞ａ１
【０１１３】
一方、図１８のステップＳＡ４において、動きベクトルが閾値未満であった場合には、当該領域を静止画領域と認識し、ステップＳＡ２０（図２０参照）に進む。ステップＳＡ２０では、当該領域が画面注目領域であるかを判別する。この結果、画面注目領域であった場合には、ステップＳＡ２１に進み、当該領域の輝度値がノイズが目立たない輝度であるか否かを判定する。続いて、ノイズが目立つ輝度であった場合には、ステップＳＡ２２に進み、当該領域の周波数成分が高いか否かを判定する。この結果、周波数成分が高い場合には、ステップＳＡ２３に進み、面間ＮＲ処理およびＮＲ係数ａ２を用いた面内ＮＲ処理を実行し、一方、周波数成分が高くない場合には、ステップＳＡ２４に進み、面間ＮＲ処理およびＮＲ係数ｂ２を用いた面内ＮＲ処理を実行する。
【０１１４】
一方、ステップＳＡ２１において、ノイズが目立たない輝度でなかった場合には、ステップＳＡ２５に進み、当該領域の周波数成分が高いか否かを判定する。この結果、周波数成分が高い場合には、ステップＳＡ２６に進み、面間ＮＲ処理およびＮＲ係数ｃ２を用いた面内ＮＲ処理を実行し、一方、周波数成分が高くない場合には、ステップＳＡ２７に進み、面間ＮＲ処理およびＮＲ係数ｄ２を用いた面内ＮＲ処理を実行する。
【０１１５】
また、上記ステップＳＡ２０において、当該領域が画面注目領域でなかった場合には、ステップＳＡ２８に進み、ノイズが目立たない輝度であるか否かを判定する。続いて、ノイズが目立つ輝度であった場合には、ステップＳＡ２９に進み、当該領域の周波数成分が高いか否かを判定する。この結果、周波数成分が高い場合には、ステップＳＡ３０に進み、面間ＮＲ処理およびＮＲ係数ｅ２を用いた面内ＮＲ処理を実行し、一方、周波数成分が高くない場合には、ステップＳＡ３１に進み、面間ＮＲ処理およびＮＲ係数ｆ２を用いた面内ＮＲ処理を実行する。
【０１１６】
一方、ステップＳＡ２８において、ノイズが目立たない輝度でなかった場合には、ステップＳＡ３２に進み、当該領域の周波数成分が高いか否かを判定する。この結果、周波数成分が高い場合には、ステップＳＡ３３に進み、面間ＮＲ処理およびＮＲ係数ｇ２を用いた面内ＮＲ処理を実行し、一方、周波数成分が高くない場合には、ステップＳＡ３４に進み、面間ＮＲ処理およびＮＲ係数ｈ２を用いた面内ＮＲ処理を実行する。
ここで、上述のＮＲ係数ａ２,ｂ２,ｃ２,ｄ２,ｅ２,ｆ２,ｇ２,ｈ２の間には以下の関係が成り立つ。
ｈ２＞ｇ２＞ｆ２＞ｅ２＞ｄ２＞ｃ２＞ｂ２＞ａ２
【０１１７】
このようにして、それぞれ適切なＮＲ係数処理を用いたＮＲ処理が実行されると、ステップＳＡ３５においてＮＲ処理後の画像信号を合成して、一フレームの合成画像信号を作成し、続くステップＳＡ３６において、この合成画像信号に対して境界処理を実行し、処理後の合成画像信号を出力する。
【０１１８】
以上、本発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
【図面の簡単な説明】
【０１１９】
【図１】本発明の第１の実施形態に係るノイズ低減処理装置の概略構成を示したブロック図である。
【図２】図１に示したノイズ低減処理部の内部機能を示した図である。
【図３】本発明の第２の実施形態に係るノイズ低減処理装置の概略構成を示したブロック図である。
【図４】本発明の第３の実施形態に係るノイズ低減処理装置の概略構成を示したブロック図である。
【図５】図４に示したノイズ低減処理部の内部機能を示した図である。
【図６】本発明の第４の実施形態に係るノイズ低減処理装置の概略構成を示したブロック図である。
【図７】図６の境界領域処理部の内部機能を示した図である。
【図８】図６の境界領域処理部における境界領域処理を説明するための図である。
【図９】図６の境界領域処理部における面内ＮＲ処理部の処理を説明するための図である。
【図１０】本発明の第５の実施形態に係るノイズ低減処理装置の概略構成を示したブロック図である。
【図１１】図１０の動画領域ＮＲ係数決定部により決定されるＮＲ係数と位置との関係を示した図である。
【図１２】本発明の第６の実施形態に係るノイズ低減処理装置の概略構成を示したブロック図である。
【図１３】本発明の第７の実施形態に係るノイズ低減処理装置の概略構成を示したブロック図である。
【図１４】本発明の第８の実施形態に係るノイズ低減処理装置の概略構成を示したブロック図である。
【図１５】本発明の第９の実施形態に係るノイズ低減処理装置の概略構成を示したブロック図である。
【図１６】本発明の第１０の実施形態に係るノイズ低減処理装置の概略構成を示したブロック図である。
【図１７】図１６に示したノイズ低減処理部の内部機能を示した図である。
【図１８】本発明の第１０の実施形態に係るノイズ低減処理装置により実現される処理手順の一例を示したフローチャートである。
【図１９】本発明の第１０の実施形態に係るノイズ低減処理装置により実現される処理手順の一例を示したフローチャートである。
【図２０】本発明の第１０の実施形態に係るノイズ低減処理装置により実現される処理手順の一例を示したフローチャートである。
【図２１】本発明の第１の実施形態に係る動き検出部にて実施される判定手法１のブロック分割について説明した図である。
【図２２】本発明の第１の実施形態に係る動き検出部にて実施される判定手法２のブロック分割について説明した図である。
【図２３】本発明の第１の実施形態に係る動き検出部にて実施される判定手法３の処理手順の一例を示したフローチャートである。
【図２４】本発明の第１の実施形態に係る動き検出部にて実施される判定手法３のブロック分割について説明した図である。
【符号の説明】
【０１２０】
１１  画像入力部
１２  領域分離部
１３  ノイズ低減処理部
１４  動き検出部
１５  動画領域ＮＲ係数決定部
１６  画像出力部
１７  静止画領域ＮＲ処理部
１８  動画領域ＮＲ処理部
１９  画像合成部
２０  パン／チルト領域検出部
２１  静止画領域ＮＲ係数決定部
２２  静止画領域ＮＲ処理部
２５  境界領域処理部
２６  境界領域検出部
２７  不連続性検出部
２８  面内ＮＲ処理部
３０  画面位置検出部
３１  輝度検出部
３２  閾値調整部
３３  周波数成分検出部
３５  手振れ補正部
５０  領域区分部
【図１】
2007235319.tif 000003
【図２】
2007235319.tif 000004
【図３】
2007235319.tif 000005
【図４】
2007235319.tif 000006
【図５】
2007235319.tif 000007
【図６】
2007235319.tif 000008
【図７】
2007235319.tif 000009
【図８】
2007235319.tif 000010
【図９】
2007235319.tif 000011
【図１０】
2007235319.tif 000012
【図１１】
2007235319.tif 000013
【図１２】
2007235319.tif 000014
【図１３】
2007235319.tif 000015
【図１４】
2007235319.tif 000016
【図１５】
2007235319.tif 000017
【図１６】
2007235319.tif 000018
【図１７】
2007235319.tif 000019
【図１８】
2007235319.tif 000020
【図１９】
2007235319.tif 000021
【図２０】
2007235319.tif 000022
【図２１】
2007235319.tif 000023
【図２２】
2007235319.tif 000024
【図２３】
2007235319.tif 000025
【図２４】
2007235319.tif 000026
【手続補正書】
【提出日】平成18年6月23日(2006.6.23)
【手続補正１】
【補正対象書類名】図面
【補正対象項目名】図１６
【補正方法】変更
【補正の内容】
【図１６】
2007235319.tif 000027