(57)【要約】【課題】入力画像に含まれるノイズを効果的に低減する画像処理装置や、この画像処理装置を備える撮像装置を提供することを目的とする。【解決手段】ノイズ低減処理部６０は、現フレームの入力画像に含まれるインパルスノイズを低減する第１インパルスノイズ低減部６１ａと、前フレームの出力画像に含まれるインパルスノイズを低減する第２インパルスノイズ低減部６１ｂと、第１インパルスノイズ低減部６１ａから出力される現フレームの入力画像と第２インパルスノイズ低減部６１ｂから出力される前フレームの出力画像との差分に基づいて現フレームの入力画像からランダムノイズを低減させる巡回型ノイズ低減部６２と、を備える。また、第１インパルスノイズ低減部６１ａ及び第２インパルスノイズ低減部６１ｂの少なくとも一方は、他方にインパルスノイズの検出結果を出力する。【選択図】図２
2010118942.tif 000002
【特許請求の範囲】
【請求項１】
入力される入力画像からノイズを低減して出力画像を生成し出力するノイズ低減処理部を備える画像処理装置において、
前記ノイズ低減処理部が、
前記入力画像である第１入力画像と、当該第１入力画像よりも前に前記ノイズ低減処理部に入力された第２入力画像から生成された第２出力画像と、が入力されるとともに、前記第１入力画像と前記第２出力画像との差分に基づいて、前記第１入力画像からランダムノイズを低減させて前記出力画像である第１出力画像を生成する巡回型ノイズ低減部と、
前記巡回型ノイズ低減部に入力される前記第１入力画像からインパルスノイズを低減する第１インパルスノイズ低減部と、
前記巡回型ノイズ低減部に入力される前記第２出力画像からインパルスノイズを低減する第２インパルスノイズ低減部と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記第１インパルスノイズ低減部及び前記第２インパルスノイズ低減部の少なくとも一方がインパルスノイズの検出を行い、その検出結果を他方に出力し、
他方が前記検出結果を用いてインパルスノイズを低減することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記第２インパルスノイズ低減部が、前記第２出力画像からインパルスノイズを検出して第２検出結果を生成し、前記第１インパルスノイズ低減部へ出力し、
前記第１インパルスノイズ低減部が、前記第２検出結果に基づいて前記第１入力画像からインパルスノイズを低減することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記第２インパルスノイズ低減部が、前記第２出力画像からインパルスノイズを検出して第２検出結果を生成し、前記第１インパルスノイズ低減部へ出力し、
前記第１インパルスノイズ低減部が、前記第１入力画像からインパルスノイズを検出して第１検出結果を生成し、当該第１検出結果と前記第２検出結果とに基づいて前記第１入力画像からインパルスノイズを低減することを特徴とする請求項２に記載の画像処理装置。
【請求項５】
前記第１インパルスノイズ低減部が、前記第１入力画像からインパルスノイズを検出して第１検出結果を生成し、前記第２インパルスノイズ低減部へ出力し、
前記第２インパルスノイズ低減部が、前記第２出力画像からインパルスノイズを検出して第２検出結果を生成し、前記第１インパルスノイズ低減部へ出力し、
前記第１インパルスノイズ低減部が、前記第１検出結果と前記第２検出結果とに基づいて前記第１入力画像からインパルスノイズを低減し、
前記第２インパルスノイズ低減部が、前記第１検出結果と前記第２検出結果とに基づいて前記第２出力画像からインパルスノイズを低減することを特徴とする請求項２に記載の画像処理装置。
【請求項６】
撮像して前記入力画像を順次生成する撮像部と、
請求項１〜請求項５のいずれかに記載の画像処理装置と、
を備えることを特徴とする撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力される画像にノイズ低減処理を施す画像処理装置に関する。また、この画像処理装置を備える撮像装置に関する。
【背景技術】
【０００２】
近年、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complimentary Metal Oxide Semiconductor）センサなどのイメージセンサを用いて撮像を行うデジタルスチルカメラやデジタルビデオカメラなどの撮像装置が広く普及している。そして、このような撮像装置によって撮像されて得られる画像に、ノイズが含まれることがある。
【０００３】
発生するノイズとして、例えば、強度が弱く画像中のランダムな位置に発生するランダムノイズがある。他には、強度が強く画像中の所定の位置に発生するインパルスノイズがある。ランダムノイズは、例えばイメージセンサのゲインを挙げて高感度で撮像する場合などに発生する。また、インパルスノイズは、例えばイメージセンサの個々の増幅器など素子の特性によって発生するものであり、高感度で撮影する場合に顕著となるが、場合によっては常時発生する。
【０００４】
これらのノイズを低減する画像処理装置の１つとして、注目画素と周囲画素を含む所定の領域内において、画素値の最大値と最小値との差分を求め、差分値が閾値より小さくなる場合に、注目画素の画素値を所定の領域内のメディアン値にするものが提案されている（特許文献１参照）。この方法では、差分値が小さい場合、注目画素の画素値をメディアン値に変換することでノイズを低減する。一方、差分値が大きい場合、エッジ部（物体の輪郭部）と見なして注目画素の画素値をそのままにする。
【０００５】
また、別の画像処理装置として、巡回型ノイズ低減処理（ノイズ低減後の出力画像を利用して、入力画像のノイズ低減を行う処理）が施された画像に対して、さらにインパルスノイズの低減処理（例えば、メディアンフィルタや平均値フィルタによる処理）を行うものが提案されている（特許文献２参照）。
【０００６】
【特許文献１】特開２００４−１６６０１０号公報
【特許文献２】特開２００２−１７６５６７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１に記載の画像処理装置では、ランダムノイズが多い場合に、エッジ部の判定精度が低下する問題がある。さらに、インパルスノイズをエッジ部であると判定する場合があるため、インパルスノイズが十分低減されないことも問題となる。
【０００８】
また、特許文献２に記載の画像処理装置では、巡回型ノイズ低減処理によってランダムノイズを低減した画像に対してインパルスノイズの検出及び低減処理を行うため、インパルスノイズを効果的に検出及び低減することができる。しかしながら、近接する複数の画素に跨って（連結して）発生するインパルスノイズを検出及び低減することは、困難となる。
【０００９】
連結して発生するインパルスノイズとは、画素値が周囲の画素と大きく異なるものであり、近接する複数の画素に跨って生じるものである。そのため、連結して発生するインパルスノイズとエッジ部との判別を行うことは困難なものとなる。そして、上記のようにインパルスノイズの検出を行い、その検出結果に基づいてメディアンフィルタや平均値フィルタを用いてインパルスノイズを低減しようとすると、エッジ部が低減されて不明瞭（ぼけ）となったり、反対にインパルスノイズが低減されずに残留したりする問題が生じる。
【００１０】
近年、インパルスノイズは、所定の領域において連結して発生しやすくなっている。これは、特にＣＭＯＳイメージセンサにおいて、センサの微細化のために画素の読み出し回路を共有することが多くなっていることに起因している。読み出し回路を共有する場合、問題がある読み出し回路を共有している画素の全てにノイズが発生する。そのため、このようなインパルスノイズを効果的に低減する画像処理装置が望まれている。
【００１１】
以上の問題を鑑みて、本発明は、入力画像に含まれるノイズを効果的に低減する画像処理装置や、この画像処理装置を備える撮像装置を提供することを目的とする。
【課題を解決するための手段】
【００１２】
上記目的を達成するために、本発明の画像処理装置は、入力される入力画像からノイズを低減して出力画像を生成し出力するノイズ低減処理部を備える画像処理装置において、
前記ノイズ低減処理部が、前記入力画像である第１入力画像と、当該第１入力画像よりも前に前記ノイズ低減処理部に入力された第２入力画像から生成された第２出力画像と、が入力されるとともに、前記第１入力画像と前記第２出力画像との差分に基づいて、前記第１入力画像からランダムノイズを低減させて前記出力画像である第１出力画像を生成する巡回型ノイズ低減部と、前記巡回型ノイズ低減部に入力される前記第１入力画像からインパルスノイズを低減する第１インパルスノイズ低減部と、前記巡回型ノイズ低減部に入力される前記第２出力画像からインパルスノイズを低減する第２インパルスノイズ低減部と、を備えることを特徴とする。
【００１３】
ランダムノイズは例えば、画像中のランダムな位置に発生するノイズであり、画像毎に発生位置が異なるものである。また、インパルスノイズは例えば、画像中の所定の位置に発生するノイズであり、画像毎の発生位置が略等しくなるものである。
【００１４】
また、上記構成の画像処理装置において、前記第１インパルスノイズ低減部及び前記第２インパルスノイズ低減部の少なくとも一方がインパルスノイズの検出を行い、その検出結果を他方に出力し、他方が前記検出結果を用いてインパルスノイズを低減することとしても構わない。
【００１５】
また、上記構成の画像処理装置において、前記第２インパルスノイズ低減部が、前記第２出力画像からインパルスノイズを検出して第２検出結果を生成し、前記第１インパルスノイズ低減部へ出力し、前記第１インパルスノイズ低減部が、前記第２検出結果に基づいて前記第１入力画像からインパルスノイズを低減することとしても構わない。
【００１６】
このように構成すると、第２インパルスノイズ低減部において、ランダムノイズが既に低減されている第２出力画像に対してインパルスノイズの検出が行われることとなる。そのため、インパルスノイズの検出精度を高めることが可能となる。したがって、第１入力画像及び第２出力画像から精度良くインパルスノイズを低減することが可能となる。さらに、第２インパルスノイズ低減部のみがインパルスノイズの検出を行うだけで、第１インパルスノイズ低減部及び第２インパルスノイズ低減部の両方においてインパルスノイズを低減することが可能となる。したがって、構成を簡略化することが可能となる。
【００１７】
また、上記構成の画像処理装置において、前記第２インパルスノイズ低減部が、前記第２出力画像からインパルスノイズを検出して第２検出結果を生成し、前記第１インパルスノイズ低減部へ出力し、前記第１インパルスノイズ低減部が、前記第１入力画像からインパルスノイズを検出して第１検出結果を生成し、当該第１検出結果と前記第２検出結果とに基づいて前記第１入力画像からインパルスノイズを低減することとしても構わない。
【００１８】
このように構成すると、第１インパルスノイズ低減部における検出結果が不良（例えば、検出対象である注目画素の画素値がインパルスノイズによって突出したのかエッジ部であるために突出したのかが判別不能）となる場合に、第２インパルスノイズ低減部での検出結果を利用することが可能となる。したがって、第１インパルスノイズ低減部において、第１入力画像から精度良くインパルスノイズを低減することが可能となる。
【００１９】
また、上記構成の画像処理装置において、前記第１インパルスノイズ低減部が、前記第１入力画像からインパルスノイズを検出して第１検出結果を生成し、前記第２インパルスノイズ低減部へ出力し、前記第２インパルスノイズ低減部が、前記第２出力画像からインパルスノイズを検出して第２検出結果を生成し、前記第１インパルスノイズ低減部へ出力し、前記第１インパルスノイズ低減部が、前記第１検出結果と前記第２検出結果とに基づいて前記第１入力画像からインパルスノイズを低減し、前記第２インパルスノイズ低減部が、前記第１検出結果と前記第２検出結果とに基づいて前記第２出力画像からインパルスノイズを低減することとしても構わない。
【００２０】
このように構成すると、第１インパルスノイズ低減部における検出結果が不良である場合に、第２インパルスノイズ低減部での検出結果を利用することが可能となる。したがって、第１インパルスノイズ低減部において、第１入力画像から精度良くインパルスノイズを低減することが可能となる。さらに、第２インパルスノイズ低減部における検出結果が不良である場合に、第１インパルスノイズ低減部での検出結果を利用することが可能となる。したがって、第２インパルスノイズ低減部において、第２出力画像から精度良くインパルスノイズを低減することが可能となる。
【００２１】
また、上記構成の画像処理装置において、前記第１検出結果または前記第２検出結果が、検出対象となる注目画素にインパルスノイズが含まれている状態と、前記注目画素にインパルスノイズが含まれていない状態と、インパルスノイズが含まれているか否かが判別不能である状態と、のいずれかの状態を示すものであることとしても構わない。また、第１検出結果または第２検出結果が、検出対象となる注目画素にインパルスノイズが含まれている可能性の高さを示すものとしても構わない。
【００２２】
また、上記構成の画像処理装置において、前記第１インパルスノイズ低減部または前記第２インパルスノイズ低減部が、検出対象となる注目画素の画素値と当該注目画素の周辺に位置する周辺画素の画素値とに基づいて補正画素値を生成し、前記注目画素の画素値を当該補正画素値に変更することとしても構わない。さらに、前記第１インパルスノイズ低減部または前記第２インパルスノイズ低減部が、前記注目画素と相関が高い前記周辺画素が整列する方向であるエッジ方向を算出するとともに、前記エッジ方向に整列する前記周辺画素を用いて前記補正画素値を生成することとしても構わない。
【００２３】
また、上記構成の画像処理装置において、前記入力画像が、撮像して得られた撮像画像の一部の領域を切り出す手ぶれ補正処理により生成された画像としても構わない。さらに、前記第１インパルスノイズ低減部及び前記第２インパルスノイズ低減部のそれぞれがインパルスノイズの検出を行い、少なくとも一方が前記第１検出結果と前記第２検出結果とを比較することで、インパルスノイズを検出することとしても構わない。
【００２４】
このように構成すると、インパルスノイズを精度良く検出して効果的に低減することが可能となる。特に、常に画像中のある位置で発生するインパルスノイズを好適に検出及び除去することが可能となる。
【００２５】
また、本発明の撮像装置は、撮像して前記入力画像を順次生成する撮像部と、上記のいずれかに記載の画像処理装置と、を備えることを特徴とする
【発明の効果】
【００２６】
本発明によると、巡回型ノイズ低減部に入力される第１入力画像及び第２出力画像に含まれるそれぞれのインパルスノイズを低減することが可能となる。そのため、巡回型ノイズ低減部から出力される出力画像中にインパルスノイズが残留することを抑制することが可能となる。
【発明を実施するための最良の形態】
【００２７】
本発明における撮像装置の実施形態について、図面を参照して説明する。また、撮像装置として、デジタルカメラなどの音声、動画及び静止画の記録が可能な撮像装置を例に挙げて説明する。
【００２８】
＜＜撮像装置＞＞
まず、撮像装置の構成について、図１を参照して説明する。図１は、本発明の実施形態における撮像装置の構成を示すブロック図である。
【００２９】
図１に示すように、撮像装置１は、入射される光学像を電気信号に変換するＣＣＤまたはＣＭＯＳセンサなどの固体撮像素子から成るイメージセンサ２と、被写体の光学像をイメージセンサ２に結像させるとともに光量などの調整を行うレンズ部３と、を備える。レンズ部３とイメージセンサ２とで撮像部が構成され、この撮像部によって画像信号が生成される。なお、レンズ部３は、ズームレンズやフォーカスレンズなどの各種レンズ（不図示）や、イメージセンサ２に入力される光量を調整する絞り（不図示）などを備える。
【００３０】
さらに、撮像装置１は、イメージセンサ２から出力されるアナログ信号である画像信号をデジタル信号に変換するとともにゲインの調整を行うＡＦＥ（Analog Front End）４と、入力される音声を電気信号に変換する集音部５と、ＡＦＥ４から出力されるデジタル信号の画像信号をＹ（輝度信号）Ｕ，Ｖ（色差信号）を用いた信号に変換するとともに画像信号に各種画像処理を施す画像処理部６と、集音部５から出力されるアナログ信号である音声信号をデジタル信号に変換する音声処理部７と、画像処理部６から出力される画像信号に対してＪＰＥＧ（Joint Photographic Experts Group）圧縮方式などの静止画用の圧縮符号化処理を施したり画像処理部６から出力される画像信号と音声処理部７からの音声信号とに対してＭＰＥＧ（Moving Picture Experts Group）圧縮方式などの動画用の圧縮符号化処理を施したりする圧縮処理部８と、圧縮処理部８で圧縮符号化された圧縮符号化信号を記録する外部メモリ１０と、画像信号を外部メモリ１０に記録したり読み出したりするドライバ部９と、ドライバ部９において外部メモリ１０から読み出した圧縮符号化信号を伸長して復号する伸長処理部１１と、を備える。なお、画像処理部６は、入力される画像信号にノイズ低減処理を施すノイズ低減処理部６０を備える。
【００３１】
また、撮像装置１は、伸長処理部１１で復号された画像信号をディスプレイなどの表示装置（不図示）で表示可能な形式の信号に変換する画像出力回路部１２と、伸長処理部１１で復号された音声信号をスピーカなどの再生装置（不図示）で再生可能な形式の信号に変換する音声出力回路部１３と、を備える。
【００３２】
また、撮像装置１は、撮像装置１内全体の動作を制御するＣＰＵ（Central Processing Unit）１４と、各処理を行うための各プログラムを記憶するとともにプログラム実行時の信号の一時保管を行うメモリ１５と、撮像を開始するボタンや各種設定の決定を行うボタンなどのユーザからの指示が入力される操作部１６と、各部の動作タイミングを一致させるためのタイミング制御信号を出力するタイミングジェネレータ（ＴＧ）部１７と、ＣＰＵ１４と各部との間で信号のやりとりを行うためのバス回線１８と、メモリ１５と各部との間で信号のやりとりを行うためのバス回線１９と、を備える。
【００３３】
なお、外部メモリ１０は画像信号や音声信号を記録することができればどのようなものでも構わない。例えば、ＳＤ（Secure Digital）カードのような半導体メモリ、ＤＶＤなどの光ディスク、ハードディスクなどの磁気ディスクなどをこの外部メモリ１０として使用することができる。また、外部メモリ１０を撮像装置１から着脱自在としても構わない。
【００３４】
次に、撮像装置１の基本動作について図１を用いて説明する。まず、撮像装置１は、レンズ部３より入射される光をイメージセンサ２において光電変換することによって、電気信号である画像信号を取得する。そして、イメージセンサ２は、ＴＧ部１７から入力されるタイミング制御信号に同期して、所定のフレーム周期（例えば、１／３０秒）で順次ＡＦＥ４に画像信号を出力する。そして、ＡＦＥ４によってアナログ信号からデジタル信号へと変換された画像信号は、画像処理部６に入力される。画像処理部６では、画像信号がＹＵＶを用いた信号に変換されるとともに、階調補正や輪郭強調等の各種画像処理が施される。また、メモリ１５はフレームメモリとして動作し、画像処理部６が処理を行なう際に画像信号を一時的に保持する。
【００３５】
また、このとき画像処理部６に入力される画像信号に基づき、レンズ部３において、各種レンズの位置が調整されてフォーカスの調整が行われたり、絞りの開度が調整されて露出の調整が行われたりする。このフォーカスや露出の調整は、それぞれ最適な状態となるように所定のプログラムに基づいて自動的に行われたり、ユーザの指示に基づいて手動で行われたりする。また、画像処理部６に備えられるノイズ低減処理部６０は、入力される画像信号に対してノイズ低減処理を施す。
【００３６】
動画を記録する場合であれば、画像信号だけでなく音声信号も記録される。集音部５において電気信号に変換されて出力される音声信号は音声処理部７に入力されてデジタル化されるとともにノイズ除去などの処理が施される。そして、画像処理部６から出力される画像信号と、音声処理部７から出力される音声信号と、はともに圧縮処理部８に入力され、圧縮処理部８において所定の圧縮方式で圧縮される。このとき、画像信号と音声信号とは時間的に関連付けられており、再生時に画像と音とがずれないように構成される。そして、圧縮された画像信号及び音声信号はドライバ部９を介して外部メモリ１０に記録される。
【００３７】
一方、静止画や音声のみを記録する場合であれば、画像信号または音声信号が圧縮処理部８において所定の圧縮方法で圧縮され、外部メモリ１０に記録される。なお、動画を記録する場合と静止画を記録する場合とで、画像処理部６において行われる処理を異なるものとしても構わない。
【００３８】
外部メモリ１０に記録された圧縮後の画像信号及び音声信号は、ユーザの指示に基づいて伸長処理部１１に読み出される。伸長処理部１１では、圧縮された画像信号及び音声信号を伸長し、画像信号を画像出力回路部１２、音声信号を音声出力回路部１３にそれぞれ出力する。そして、画像出力回路部１２や音声出力回路部１３において、表示装置やスピーカで表示または再生可能な形式の信号に変換されて出力される。
【００３９】
なお、表示装置やスピーカは、撮像装置１と一体となっているものでも構わないし、別体となっており、撮像装置１に備えられる端子とケーブル等を用いて接続されるようなものでも構わない。
【００４０】
また、画像信号の記録を行わずに表示装置などに表示される画像をユーザが確認する、所謂プレビューモードである場合に、画像処理部６から出力される画像信号を圧縮せずに画像出力回路部１２に出力することとしても構わない。また、動画の画像信号を記録する際に、圧縮処理部８で圧縮して外部メモリ１０に記録するのと並行して、画像出力回路部１２を介して表示装置などに画像信号を出力することとしても構わない。
【００４１】
＜＜ノイズ低減処理部＞＞
＜全体構成＞
次に、図１に示したノイズ低減処理部６０の全体構成について図面を参照して説明する。図２は、本発明の実施形態における撮像装置に備えられるノイズ低減処理部の全体構成を示すブロック図である。なお、以下では説明の具体化のために、ノイズ低減処理部６０に入力されてノイズ低減処理が行われる画像信号を画像として表現するとともに、「入力画像」と呼ぶこととする。また、ノイズ低減処理部６０から出力される画像信号を「出力画像」と呼ぶこととする。
【００４２】
また、順次入出力される入力画像及び出力画像の順序を、フレームを用いて表現する。特に、ノイズ低減処理が行われる対象となる入力画像を現フレームの入力画像とし、この現フレームの入力画像にノイズ低減処理が施されて出力される出力画像を現フレームの出力画像とする。また、現フレームの入力画像の前にノイズ低減処理部６０に入力される入力画像を前フレームの入力画像とし、この前フレームの入力画像にノイズ低減処理が施されて出力される出力画像を前フレームの出力画像とする。
【００４３】
図２に示すように、ノイズ低減処理部６０は、現フレームの入力画像のインパルスノイズを低減する第１インパルスノイズ低減部６１ａと、フレームメモリ２０に一時的に記憶された前フレームの出力画像のインパルスノイズを低減する第２インパルスノイズ低減部６１ｂと、第２インパルスノイズ低減部６１ｂから出力される前フレームの出力画像に基づいて第１インパルスノイズ低減部６１ａから出力される現フレームの入力画像のノイズを低減して現フレームの出力画像を出力する巡回型ノイズ低減部６２と、を備える。なお、フレームメモリ２０を、図１に示したメモリ１５としても構わない。
【００４４】
また、ノイズ低減処理部６０の動作について図面を参照して説明する。図３は、ノイズ低減処理部６０の動作を示すフローチャートである。図３に示すように、ノイズ低減処理が開始されると、最初に、第１インパルスノイズ低減部６１ａが現フレームの入力画像を取得し、第２インパルスノイズ低減部６１ｂが前フレームの出力画像をフレームメモリ２０から取得する（ＳＴＥＰ１）。
【００４５】
第１インパルスノイズ低減部６１ａ及び第２インパルスノイズ低減部６１ｂの少なくとも一方は、入力された画像からインパルスノイズを検出する（ＳＴＥＰ２ａ）。そして、第１インパルスノイズ低減部６１ａ及び第２インパルスノイズ低減部６１ｂの少なくとも一方は、検出した結果を他方へ出力する（ＳＴＥＰ２ｂ）。
【００４６】
第１インパルスノイズ低減部６１ａは、入力される現フレームの入力画像のインパルスノイズを低減して出力する。一方、第２インパルスノイズ低減部６１ｂは、入力される前フレームの出力画像のインパルスノイズを低減して出力する（ＳＴＥＰ２ｃ）。このとき、第１インパルスノイズ低減部６１ａ及び第２インパルスノイズ低減部６１ｂの少なくとも一方は、他方から入力されたインパルスノイズの検出結果を用いてインパルスノイズの低減を行う。
【００４７】
次に、巡回型ノイズ低減部６２は、第２インパルスノイズ低減部６１ｂから入力されるインパルスノイズが低減された前フレームの出力画像（以下、単に前フレームの出力画像と呼ぶ）に基づいて、第１インパルスノイズ低減部６１ａから入力されるインパルスノイズが低減された現フレームの入力画像（以下、単に現フレームの入力画像とも呼ぶ）から、主にランダムノイズを低減する（ＳＴＥＰ３）。特に、現フレームの入力画像と前フレームの出力画像とでは撮像タイミングが異なるものとなる。そのため、これらの画像を比較することでランダムノイズが検出され、検出結果に基づいてランダムノイズを低減することができる。
【００４８】
以上のように、現フレームの入力画像に対してノイズ低減処理が施される。そして、巡回型ノイズ低減部６２から出力される現フレームの出力画像が、ノイズ低減処理部６０の出力画像となる。また、出力画像は、次のフレームの入力画像の処理のためにフレームメモリ２０に一時的に記憶される（ＳＴＥＰ４）。
【００４９】
また、このときユーザから終了する指示が入力されているか否かを確認する（ＳＴＥＰ５）。終了する指示が入力されていない場合（ＳＴＥＰ５、ＮＯ）、ＳＴＥＰ１に戻って現フレームの入力画像と前フレームの出力画像との取得を行う。一方、終了する指示が入力されている場合（ＳＴＥＰ５、ＹＥＳ）は、終了する。
【００５０】
なお、ノイズ低減処理部６０でノイズ低減処理が施される画像は、ＲＡＷ画像（各画素が単色の信号値を備える画像）であっても構わないし、ＲＡＷ画像に色同時化処理を施して得られる色同時化画像（各画素が複数色の信号値を備える画像）であっても構わない。また、色同時化画像にノイズ低減処理を施す場合、各画素の輝度信号Ｙに基づいて行うこととしても構わない。
【００５１】
ただし、色同時化処理を行うと、ノイズが含まれる画素の画素値が、周囲の画素の画素値の算出に利用されるため、ノイズの影響が複数の画素に広がることとなる。そのため、ＲＡＷ画像を入力画像とするとノイズの拡散を抑制することができるため好ましい。
【００５２】
以下、各部の構成例について図面を参照して説明する。
【００５３】
＜巡回型ノイズ低減部＞
次に、図２に示した巡回型ノイズ低減部６２の構成の一例について図面を参照して説明する。図４は、巡回型ノイズ低減部の構成例を示すブロック図である。なお、本例の巡回型ノイズ低減部６２は一例に過ぎず、他の構成としても構わない。
【００５４】
図４に示すように、巡回型ノイズ低減部６２は、第１インパルスノイズ低減部６１ａから出力される現フレームの入力画像と第２インパルスノイズ低減部６１ｂから出力される前フレームの出力画像とに基づいてノイズ除去量を算出するノイズ除去量算出部６２１と、第１インパルスノイズ低減部６１ａから出力される現フレームの入力画像と第２インパルスノイズ低減部６１ｂから出力される前フレームの出力画像とに基づいて動き量を算出する動き量算出部６２２と、動き量に基づいて帰還係数を算出する帰還係数算出部６２３と、ノイズ除去量と帰還係数とに基づいて第１インパルスノイズ低減部６１ａから出力される現フレームの入力画像のランダムノイズを低減して現フレームの出力画像を生成するランダムノイズ低減部６２４と、を備える。
【００５５】
ノイズ除去量算出部６２１について図面を参照して説明する。図５は、ノイズ除去量算出部の構成例を示すブロック図である。図５に示すように、ノイズ除去量算出部６２１は、現フレームの入力画像と前フレームの出力画像との差分値を求める差分値算出部６２１ａと、差分値算出部６２１ａより得られる差分値に基づいてノイズ除去量を設定するノイズ除去量設定部６２１ｂと、を備える。
【００５６】
ノイズ除去量設定部６２１ｂは、例えば、図６に示すような方法でノイズ除去量を設定する。図６は、ノイズ除去量の設定方法の一例を示すグラフである。図６に示すように、ノイズ除去量設定部６２１ｂは、画素毎に求められる差分値ｘに基づいてノイズ除去量ｎ（ｘ）を設定する。なお、図６に示すようにノイズ除去量を設定する場合、ｎ（ｘ）は下記式（１）に示すものとなる。
【００５７】
【数１】
2010118942.tif 000003
【００５８】
上記式（１）に示されるｎ（ｘ）では、差分値ｘの絶対値が閾値ｔｈ（ｔｈ＞０）を超える場合、ノイズ除去量ｎ（ｘ）が抑制される。そのため、被写体や撮像装置の動きなどによって画素値に大きな変動が生じた場合に、ノイズによる変動と誤認されてノイズ除去量が大きく設定されることが抑制される。したがって、尾引きや残像などの発生が抑制される。
【００５９】
動き量算出部６２２について図面を参照して説明する。図７は、動き量算出部の構成例を示すブロック図である。図７に示すように、動き量算出部６２２は、現フレームの入力画像と前フレームの出力画像との差分値を求める差分値算出部６２２ａと、差分値算出部６２２ａより得られる差分値に基づいて動き量を設定する動き量設定部６２２ｂと、を備える。
【００６０】
動き量設定部６２２ｂは、例えば、注目画素の差分値の絶対値と、その周囲の複数の画素の差分値の絶対値と、を平滑化することによって、注目画素の動き量を算出する。
【００６１】
帰還係数算出部６２３について図面を参照して説明する。図８は、帰還係数の設定方法の一例を示すグラフである。図８に示すように、帰還係数は、動き量が増大するほど小さくなる。例えば、動き量が０であれば１となり、動き量が閾値Ｍthを超えると０となる。
【００６２】
ランダムノイズ低減部６２４は、図４に示すように、ノイズ除去量に帰還係数を乗じて除去値を算出する乗算部６２４ａと、現フレームの入力画像から除去値を減算する減算部６２４ｂと、を備える。
【００６３】
上述のように、動き量が大きいと帰還係数は小さくなる。そのため、ノイズ除去量に帰還係数を乗じて算出される除去値は、ノイズ除去量を大幅に低減した値となる。この場合、現フレームの入力画像と前フレームの出力画像との差分値は、被写体や撮像装置１の動きによって発生するブレなどに起因する可能性が高いものとなっている。そのため、除去値を小さいものとして、現フレームの入力画像を略そのまま現フレームの出力画像として出力する。これにより、尾引きや残像の発生を抑制する。
【００６４】
一方、動き量が小さいと帰還係数は大きくなる。そのため、ノイズ除去量に帰還係数を乗じて算出される除去値は、ノイズ除去量をあまり低減していない値となる。この場合、現フレームの入力画像と前フレームの出力画像との差分値は、ランダムノイズに起因する可能性が高いものとなっている。そのため、除去値を大きいものとして、現フレームの入力画像から効果的にランダムノイズを低減する。
【００６５】
＜第１及び第２インパルスノイズ低減部＞
次に、第１及び第２インパルスノイズ低減部６１ａ，６１ｂについて図面を参照して説明する。最初に、第１及び第２インパルスノイズ低減部６１ａ，６１ｂに共通する基本構成について説明し、その後に各実施例について説明する。
【００６６】
［基本構成］
まず、第１及び第２インパルスノイズ低減部６１ａ，６１ｂの基本構成について図面を参照して説明する。図９は、インパルスノイズ低減部の基本構成を示すブロック図である。なお、以下では、第１及び第２インパルスノイズ低減部６１ａ，６１ｂを一般化したものであるインパルスノイズ低減部６１について説明することとする。即ち、以下のインパルスノイズ低減部６１の説明は、第１及び第２インパルスノイズ低減部６１ａ，６１ｂの両方に当てはまるものである。
【００６７】
インパルスノイズ低減部６１は、入力される画像（現フレームの入力画像または前フレームの出力画像）からインパルスノイズを検出して検出結果を出力するノイズ検出部６１１と、ノイズ検出部６１１から出力される検出結果に基づいて入力される画像からインパルスノイズを低減するノイズ低減部６１２と、を備える。
【００６８】
第１及び第２インパルスノイズ低減部６１ａ，６１ｂは、少なくとも一方がノイズ検出部６１１を備える。ノイズ検出部６１１は、入力される画像の検出対象となる画素（以下、注目画素とする）にインパルスノイズが含まれているか否かを、注目画素の画素値及びその周辺の画素（以下、周辺画素とする）の画素値を用いて判定する。
【００６９】
この判定方法の一例について、図面を参照して説明する。図１０は、ノイズ検出部の判定動作の一例について説明する図である。なお、図１０（ａ）に示すように、本例では、注目画素の周囲に存在する８個の画素を周辺画素とする。即ち、注目画素と周辺画素とを合わせた３×３＝９個の画素の画素値Ｘc，Ｘ0〜Ｘ7を用いて判定処理を行うものとする。
【００７０】
例えば、周辺画素の画素値Ｘ0〜Ｘ7の平均値Ｘaveと、注目画素の画素値Ｘcとの差分を用いて判定を行う。例えば、平均値Ｘaveと注目画素の画素値Ｘcとの差分の絶対値が、所定の閾値αよりも大きいか否かで、注目画素の画素値Ｘcにインパルスノイズが含まれているか否かを判定する。
【００７１】
上記のように判定する場合、
｜Ｘave−Ｘc｜≦α  …（２）
であれば、注目画素の画素値Ｘcが、周辺画素の画素値Ｘ0〜Ｘ7から大きく突出したものとはならない。そのため、インパルスノイズが含まれるものではないと判定する（検出結果Ａ）。
【００７２】
一方、
｜Ｘave−Ｘc｜＞α  …（３）
であれば、注目画素の画素値Ｘcが、周辺画素の画素値Ｘ0〜Ｘ7から大きく突出したものとなる。そのため、インパルスノイズが含まれるものであると判定する（検出結果Ｂ）。
【００７３】
さらに、図１０（ｂ）に示すような判定を行うことも可能である。図１０（ｂ）は、画素を画素値の小さい順に並べるとともに、その大きさをグラフで表したものである。図１０（ｂ）に示す例では、注目画素の画素値Ｘcが平均値Ｘaveよりも大きく、上記式（３）の関係を満たす場合について示している。ただし、本例では、周辺画素の画素値Ｘ1，Ｘ2が、注目画素の画素値Ｘcに近い値であるものとする。
【００７４】
図１０（ｂ）に示すような場合、周辺画素の中に、注目画素の画素値Ｘcに近い画素値を有する画素（Ｘ1，Ｘ2）が存在する。そのため、注目画素の画素値Ｘcが、インパルスノイズの影響で突出したものであるのか、エッジ部であるために突出したものであるのか、が判別不能となる。このような場合、そのまま判別不能であると判定する（検出結果Ｃ）。
【００７５】
なお、図１０（ｂ）に示す判別不能な状態であることを判定するために、例えば、注目画素の画素値Ｘcに近い画素値（例えば、注目画素の画素値との差がある閾値以下）となる画素の個数を算出し、所定の個数よりも多い場合に判別不能としても構わない。また、注目画素の画素値Ｘcに近い画素値となる画素同士を比較して、画素値の差が小さい（例えば、差がある閾値以下）場合に判別不能としても構わない。
【００７６】
上述のように、ノイズ検出部６１１は、注目画素にインパルスノイズが含まれないことを示す検出結果Ａと、注目画素にインパルスノイズが含まれることを示す検出結果Ｂと、注目画素にインパルスノイズが含まれているかエッジ部であるかが判別不能であることを示す検出結果Ｃと、を出力する。
【００７７】
ノイズ低減部６１２は、入力される検出結果に基づいて、注目画素の画素値Ｘcの処理を行う。例えば、注目画素にインパルスノイズが含まれることを示す検出結果Ｂがノイズ低減部６１２に入力される場合などに、注目画素の画素値Ｘcを変更する。例えば、注目画素の画素値Ｘcを、以下に示すような補正画素値に変更する。
【００７８】
補正画素値として、例えば、所定の領域内（例えば、注目画素及び周辺画素を含む３×３の領域内）におけるメディアン値（大きさ順に並べたときに中間となる画素値）を用いても構わない。また、ピークカット値（大きさ順に並べたときに、端の画素値（注目画素の画素値）から例えば１つ分だけ内側の画素値）を用いても構わない。
【００７９】
また、所定の領域内の画素値の平均値を補正画素値としても構わない。特に、注目画素と隣接する画素であり注目画素の画素値に最も近い（差分が最も小さい）画素値を有する画素と、注目画素と、の画素値を平均した平均値を補正画素値としても構わない。
【００８０】
また、｜Ｘave−Ｘc｜＝αを満たすようになるまで、注目画素の画素値Ｘcの突出を抑えた画素値を補正画素値としても構わない。即ち、Ｘc＝Ｘave＋α（注目画素の画素値がＸaveより大きくなる方向に突出する場合）、または、Ｘc＝Ｘave−α（注目画素の画素値がＸaveより小さくなる方向に突出する場合）を補正画素値としても構わない。
【００８１】
また、特定の方向（エッジ方向）に並ぶ画素の画素値の重みを大きくして、補正画素値を算出することも可能である。このような、エッジ方向に基づいて補正画素値を算出する場合について、図面を参照して説明する。図１１は、エッジ方向に基づいて補正画素値を算出する方法の一例を説明する図である。
【００８２】
図１１（ａ）は、注目画素を含む所定領域の画素の画素値を示すものである。また、図１１（ａ）に示す領域のエッジ方向を決定する方法として、例えば、図１１（ｂ），（ｃ）に示すフィルタを用いる方法がある。図１１（ｂ）に示すフィルタは、垂直方向の相関性を算出するものであり、図１１（ｃ）に示すフィルタは、水平方向の相関性を算出するものである。図１１（ｂ）に示すフィルタは、垂直方向に隣接する３画素に対して、中央の画素に２を乗じるとともにその両隣の画素に−１をそれぞれ乗じ、これらを合算して相関値を算出する。一方、図１１（ｃ）に示すフィルタは、水平方向に隣接する３画素に対して、中央の画素に２を乗じるとともにその両隣の画素に−１をそれぞれ乗じ、これらを合算して相関値を算出する。いずれの相関値も、絶対値が小さいほど相関が高いことを示すものとなる。
【００８３】
図１１（ａ）に示す場合、注目画素の画素値Ｘcが２０であると、水平方向（図中の左右方向）の画素値の相関値（−１６０）よりも、垂直方向（図中の上下方向）の画素値の相関値（２０）の方が絶対値が小さくなる。即ち、本例の場合、エッジ方向は垂直方向となる。
【００８４】
この場合、補正画素値を算出する際に、注目画素のエッジ方向（垂直方向）に隣接する画素の画素値（１０）の重みを、他の画素の画素値の重みよりも大きくしても構わない。特に、この画素値（１０）のみを用いて補正画素値を算出しても構わない。
【００８５】
このように、注目画素のエッジ方向に隣接する画素の画素値の重みを大きくして補正画素値を算出することとすると、より適切な補正画素値を用いて置換することが可能となる。特に、エッジ部にノイズが発生する場合に、中間の大きさとなる補正画素値が用いられることによって、エッジ部が不明瞭になることが抑制される。
【００８６】
なお、図１１（ｂ），（ｃ）では、水平方向及び垂直方向の相関値を調べる場合について示したが、斜め方向の相関値を調べることとしても構わない。なお、斜め方向の相関値を求めるフィルタのフィルタ係数も、水平方向及び垂直方向のフィルタのフィルタ係数と同様（例えば、中央が２で両端が−１）のものとすることができる。
【００８７】
また、上述した説明において、ＲＡＷ画像に対してノイズ低減処理を施す場合、注目画素及び周辺画素は、同色の信号値を備える画素を指すものとすると好ましい。ＲＡＷ画像を用いる場合の注目画素及び周辺画素の設定方法の一例について、図面を参照して説明する。図１２は、ＲＡＷ画像の画素の配列の一例を示す図である。なお、図１２では、Ｒの画素が（２ｎ，２ｍ−１）に位置し、Ｂの画素が（２ｎ−１，２ｍ）に位置し、ＧＲ（Ｒが存在する行（水平方向）のＧ）の画素が（２ｎ−１，２ｍ−１）に位置し、ＧＢ（Ｂが存在する行のＧ）の画素が（２ｎ，２ｍ）に位置する場合について示している（ｎ，ｍは自然数）。また、左上のＧＲ１の位置を（１，１）とし、右下のＧＢ１６の位置を（８，８）とする。
【００８８】
注目画素の位置を（Ｘ，Ｙ）とすると、周辺画素は注目画素の周囲の８個の画素（Ｘ−２，Ｙ−２）、（Ｘ，Ｙ−２）、（Ｘ＋２，Ｙ−２）、（Ｘ−２，Ｙ）、（Ｘ＋２，Ｙ）、（Ｘ−２，Ｙ＋２）、（Ｘ，Ｙ＋２）、（Ｘ＋２，Ｙ＋２）となる。例えば、図１２のＲ６を注目画素とすると、周辺画素はＲ１，Ｒ２，Ｒ３，Ｒ５，Ｒ７，Ｒ９，Ｒ１０，Ｒ１１となる。なお、Ｂ、ＧＢ、ＧＲについても同様の関係となる。
【００８９】
また、色同時化画像を用いる場合は、注目画素と隣接する画素を周辺画素とすることができる。また、注目画素及び周辺画素を３×３＝９個とする場合を例に挙げて説明したが、これ以外の個数（例えば、５×５や７×５など）としても構わない。ただし、注目画素の位置を領域の中心とすると好ましい。
【００９０】
また、ノイズ検出部６１１から出力される検出結果と、これに基づいて行われるノイズ低減部６１２の処理と、の関係については、以下の各実施例において詳細に説明する。
【００９１】
［第１実施例］
次に、第１及び第２インパルスノイズ低減部の第１実施例について図面を参照して説明する。図１３は、第１及び第２インパルスノイズ低減部の第１実施例の構成を示すブロック図である。なお、インパルスノイズ低減部の基本構成について示した図９と同様となる部分には、同様の名称を付してその詳細な説明については省略するものとする。
【００９２】
図１３に示すように、本実施例の第１インパルスノイズ低減部６１ａ１は、第１ノイズ低減部６１２ａを備える。なお、第１ノイズ低減部６１２ａによるインパルスノイズを低減する処理は、図９に示したノイズ低減部６１２の処理と同様のものとなる。
【００９３】
また、本実施例の第２インパルスノイズ低減部６１ｂ１は、第２ノイズ検出部６１１ｂと、第２ノイズ低減部６１２ｂと、を備える。なお、第２ノイズ検出部６１１ｂによるインパルスノイズを検出する処理や、第２ノイズ低減部６１２ｂによるインパルスノイズを低減する処理は、図９に示したノイズ検出部６１１やノイズ低減部６１２の処理と同様のものとなる。
【００９４】
また、本実施例の第１及び第２インパルスノイズ低減部６１ａ１，６１ｂ１では、第２ノイズ検出部６１１ｂによって生成される第２検出結果が、第１ノイズ低減部６１２ａと、第２ノイズ低減部６１２ｂと、にそれぞれ入力される。
【００９５】
また、第１ノイズ低減部６１２ａ、第２ノイズ検出部６１１ｂ及び第２ノイズ低減部６１２ｂにおいてある処理タイミングに処理されるそれぞれの注目画素は、現フレームの入力画像及び前フレームの出力画像中の対応する位置（即ち、同じ位置）のものとなる。
【００９６】
第１及び第２インパルスノイズ低減部６１ａ１，６１ｂ１の動作の一例について図面を参照して説明する。図１４は、第１及び第２インパルスノイズ低減部の第１実施例の動作例を示すフローチャートである。なお、図１４に示すフローチャートは、図３に示すフローチャートのＳＴＥＰ２ａ〜２ｃの動作（インパルスノイズの検出及び低減処理）の詳細を示すものである。
【００９７】
図１４に示すように、本実施例の第１及び第２インパルスノイズ低減部６１ａ１，６１ｂ１の動作が開始されると、まず、第１ノイズ低減部６１２ａ、第２ノイズ検出部６１１ｂ及び第２ノイズ低減部６１２ｂのそれぞれにおいて、処理対象となる注目画素及び周辺画素の画素値が取得される（ＳＴＥＰ２０１）。
【００９８】
次に、ＳＴＥＰ２０１で画素値が取得された注目画素に対して、第２ノイズ検出部６１１ｂがインパルスノイズの有無を検出し、第２検出結果を生成及び出力する。第２検出結果が検出結果Ａ（注目画素の画素値にインパルスノイズが含まれない）である場合（ＳＴＥＰ２０２、ＹＥＳ）、第１ノイズ低減部６１２ａ及び第２ノイズ低減部６１２ｂは、注目画素に対してインパルスノイズの低減処理を施さないこととする（ＳＴＥＰ２０３）。
【００９９】
第２検出結果が、検出結果Ａではなく（ＳＴＥＰ２０２、ＮＯ）、検出結果Ｂ（注目画素の画素値にインパルスノイズが含まれる）である場合（ＳＴＥＰ２０４、ＹＥＳ）、第１ノイズ低減部６１２ａ及び第２ノイズ低減部６１２ｂは、注目画素に対してインパルスノイズの低減処理を施すこととする（ＳＴＥＰ２０５）。
【０１００】
第２検出結果が検出結果Ｂではない場合（ＳＴＥＰ２０４、ＮＯ）、第２検出結果は検出結果Ｃ（注目画素の画素値がインパルスノイズによって突出したのかエッジ部であるために突出したのかが判別不能）である。この場合、第１ノイズ低減部６１２ａ及び第２ノイズ低減部６１２ｂは、注目画素に対してインパルスノイズの低減処理を施さないこととする（ＳＴＥＰ２０６）。
【０１０１】
そして、ＳＴＥＰ２０３、ＳＴＥＰ２０５またはＳＴＥＰ２０６の動作が行われると、この注目画素に対する処理を終了する。このとき、現フレームの入力画像及び前フレームの出力画像の全ての画素に対して処理が終わっていない場合（ＳＴＥＰ２０７、ＮＯ）、ＳＴＥＰ２０１に戻って次の注目画素及び周辺画素の画素値を取得する。一方、全ての画素に対して処理が終わっている場合（ＳＴＥＰ２０７、ＹＥＳ）、終了する。
【０１０２】
このように構成すると、第２ノイズ検出部６１１ｂにおいて、ランダムノイズが低減された前フレームの出力画像に対してインパルスノイズの検出が行われることとなる。そのため、インパルスノイズの検出精度を高めることが可能となる。したがって、第１ノイズ低減部６１２ａにおいて、現フレームの入力画像から精度良くインパルスノイズを低減することが可能となる。
【０１０３】
また、第１ノイズ低減部６１２ａと同様に、第２ノイズ低減部６１２ｂにおいても、前フレームの出力画像からインパルスノイズが低減される。そのため、巡回型ノイズ低減部６２に入力される２つの画像が、インパルスノイズが低減されたものとなる。
【０１０４】
巡回型ノイズ低減部６２に入力される一方の画像にでもインパルスノイズが含まれていると、巡回型ノイズ低減部６２から出力される出力画像中にインパルスノイズが残留する。しかしながら、本実施例のように巡回型ノイズ低減部６２に入力される２つの画像から揃ってインパルスノイズを低減することとすると、巡回型ノイズ低減部６２から出力される出力画像中にインパルスノイズが残留することを抑制することが可能となる。
【０１０５】
さらに、第２インパルスノイズ低減部６１ｂ１のみがインパルスノイズの検出を行うだけで、第１インパルスノイズ低減部６１ａ１及び第２インパルスノイズ低減部６１ｂ１の両方で、インパルスノイズを低減することが可能となる。したがって、構成を簡略化することが可能となる。
【０１０６】
［第２実施例］
次に、第１及び第２インパルスノイズ低減部の第２実施例について図面を参照して説明する。図１５は、第１及び第２インパルスノイズ低減部の第２実施例の構成を示すブロック図である。なお、インパルスノイズ低減部の基本構成について示した図９と同様となる部分には、同様の名称を付してその詳細な説明については省略するものとする。
【０１０７】
図１５に示すように、本実施例の第１インパルスノイズ低減部６１ａ２は、第１ノイズ検出部６１１ａと、第１ノイズ低減部６１２ａと、第１ノイズ検出部６１１ａから出力される第１検出結果を調整して第１ノイズ低減部６１２ａに出力する第１検出結果調整部６１３ａと、を備える。なお、第１ノイズ検出部６１１ａによるインパルスノイズを検出する処理や、第１ノイズ低減部６１２ａによるインパルスノイズを低減する処理は、図９に示したノイズ検出部６１１やノイズ低減部６１２の処理と同様のものとなる。
【０１０８】
また、本実施例の第２インパルスノイズ低減部６１ｂ２は、第２ノイズ検出部６１１ｂと、第２ノイズ低減部６１２ｂと、を備える。なお、第２ノイズ検出部６１１ｂによるインパルスノイズを検出する処理や、第２ノイズ低減部６１２ｂによるインパルスノイズを低減する処理は、図９に示したノイズ検出部６１１やノイズ低減部６１２の処理と同様のものとなる。
【０１０９】
また、本実施例の第１及び第２インパルスノイズ低減部６１ａ２，６１ｂ２では、第２ノイズ検出部６１１ｂによって生成される第２検出結果が、第１検出結果調整部６１３ａと、第２ノイズ低減部６１２ｂと、にそれぞれ入力される。
【０１１０】
また、第１実施例と同様に、第１ノイズ検出部６１１ａ、第１ノイズ低減部６１２ａ、第２ノイズ検出部６１１ｂ及び第２ノイズ低減部６１２ｂにおいてある処理タイミングに処理されるそれぞれの注目画素は、現フレームの入力画像及び前フレームの出力画像中の対応する位置（即ち、同じ位置）のものとなる。
【０１１１】
第１及び第２インパルスノイズ低減部６１ａ２，６１ｂ２の動作の一例について図面を参照して説明する。図１６は、第１及び第２インパルスノイズ低減部の第２実施例の動作例を示すフローチャートである。なお、図１６に示すフローチャートは、図３に示すフローチャートのＳＴＥＰ２ａ〜２ｃの動作（インパルスノイズの検出及び低減処理）の詳細を示すものである。
【０１１２】
図１６に示すように、本実施例の第１及び第２インパルスノイズ低減部６１ａ２，６１ｂ２の動作が開始されると、まず、第１ノイズ検出部６１１ａ、第１ノイズ低減部６１２ａ、第２ノイズ検出部６１１ｂ及び第２ノイズ低減部６１２ｂのそれぞれにおいて、処理対象となる注目画素及び周辺画素の画素値が取得される（ＳＴＥＰ２１０）。
【０１１３】
次に、ＳＴＥＰ２１０で画素値が取得された注目画素に対して、第１ノイズ検出部６１１ａ及び第２ノイズ検出部６１１ｂのそれぞれがインパルスノイズの有無を検出し、第１検出結果及び第２検出結果を出力する。第１検出結果が検出結果Ａ（注目画素の画素値にインパルスノイズが含まれない）である場合（ＳＴＥＰ２１１、ＹＥＳ）、第１ノイズ低減部６１２ａは、注目画素に対してインパルスノイズの低減処理を施さないこととする（ＳＴＥＰ２１２）。
【０１１４】
第１検出結果が、検出結果Ａではなく（ＳＴＥＰ２１１、ＮＯ）、検出結果Ｂ（注目画素の画素値にインパルスノイズが含まれる）である場合（ＳＴＥＰ２１３、ＹＥＳ）、第１ノイズ低減部６１２ａは、注目画素に対してインパルスノイズの低減処理を施すこととする（ＳＴＥＰ２１４）。
【０１１５】
上記のように、第１検出結果が検出結果Ａまたは検出結果Ｂである場合（ＳＴＥＰ２１１またはＳＴＥＰ２１３、ＹＥＳ）、第１検出結果調整部６１３ａは、第１ノイズ検出部６１１ａから出力される第１検出結果を調整することなく、第１ノイズ低減部６１２ａに入力させる。またこの場合、第２検出結果が検出結果Ｂであれば（ＳＴＥＰ２１５、ＹＥＳ）、第２ノイズ低減部６１２ｂは、注目画素に対してインパルスノイズの低減処理を施すこととする（ＳＴＥＰ２１６）。
【０１１６】
一方、第２検出結果が検出結果Ｂでなければ（ＳＴＥＰ２１５、ＮＯ）、即ち、第２検出結果が検出結果Ａまたは検出結果Ｃ（注目画素の画素値がインパルスノイズによって突出したのかエッジ部であるために突出したのかが判別不能）であれば、第２ノイズ低減部６１２ｂは、注目画素に対してインパルスノイズの低減処理を施さないこととする（ＳＴＥＰ２１７）。
【０１１７】
そして、ＳＴＥＰ２１６またはＳＴＥＰ２１７の動作が行われると、この注目画素に対する処理を終了する。このとき、現フレームの入力画像及び前フレームの出力画像において、全ての画素に対して処理が終わっていない場合（ＳＴＥＰ２１８、ＮＯ）、ＳＴＥＰ２１０に戻って次の注目画素及び周辺画素の画素値を取得する。一方、全ての画素に対して処理が終わっている場合（ＳＴＥＰ２１８、ＹＥＳ）、終了する。
【０１１８】
上記の動作は、第１検出結果が検出結果Ａまたは検出結果Ｂの場合である（ＳＴＥＰ２１１またはＳＴＥＰ２１３、ＹＥＳ）。これ以外の場合（ＳＴＥＰ２１１及びＳＴＥＰ２１３、ＮＯ）、即ち、第１検出結果が検出結果Ｃである場合は、以下のような動作になる。
【０１１９】
第２検出結果が検出結果Ａである場合（ＳＴＥＰ２１９、ＹＥＳ）、第１ノイズ低減部６１２ａ及び第２ノイズ低減部６１２ｂは、注目画素に対してインパルスノイズの低減処理を施さないこととする（ＳＴＥＰ２２０）。
【０１２０】
第２検出結果が、検出結果Ａではなく（ＳＴＥＰ２１９、ＮＯ）、検出結果Ｂである場合（ＳＴＥＰ２２１、ＹＥＳ）、第１ノイズ低減部６１２ａ及び第２ノイズ低減部６１２ｂは、注目画素に対してインパルスノイズの低減処理を施すこととする（ＳＴＥＰ２２２）。
【０１２１】
第２検出結果が検出結果Ｂではない場合（ＳＴＥＰ２２１、ＮＯ）、第２検出結果は検出結果Ｃである。この場合、第１ノイズ低減部６１２ａ及び第２ノイズ低減部６１２ｂは、注目画素に対してインパルスノイズの低減処理を施さないこととする（ＳＴＥＰ２２３）。
【０１２２】
上記のように、第１検出結果が検出結果Ｃである場合、第１検出結果調整部６１３ａは、第２検出結果に基づいて第１ノイズ検出部６１１ａから出力される第１検出結果を調整し、第１ノイズ低減部６１２ａに入力させる。そして、ＳＴＥＰ２２０、ＳＴＥＰ２２２及びＳＴＥＰ２２３のように第１ノイズ低減部６１２ａを動作させる。
【０１２３】
ＳＴＥＰ２２０、ＳＴＥＰ２２２またはＳＴＥＰ２２３の動作が行われると、この注目画素に対する処理を終了する。このとき、現フレームの入力画像及び前フレームの出力画像において、全ての画素に対して処理が終わっていない場合（ＳＴＥＰ２１８、ＮＯ）、ＳＴＥＰ２１０に戻って次の注目画素及び周辺画素の画素値を取得する。一方、全ての画素に対して処理が終わっている場合（ＳＴＥＰ２１８、ＹＥＳ）、終了する。
【０１２４】
このように構成すると、第１ノイズ検出部６１１ａにおける第１検出結果が検出結果Ｃ（注目画素の画素値がインパルスノイズによって突出したのかエッジ部であるために突出したのかが判別不能）となる場合に、第１ノイズ低減部６１２ａが第２ノイズ検出部６１１ｂの第２検出結果に基づいてインパルスノイズを低減することとなる。したがって、第１ノイズ低減部６１２ａにおいて、現フレームの入力画像から精度良くインパルスノイズを低減することが可能となる。
【０１２５】
また、第１ノイズ低減部６１２ａと同様に、第２ノイズ低減部６１２ｂにおいても、前フレームの出力画像からインパルスノイズが低減される。そのため、巡回型ノイズ低減部６２に入力される２つの画像が、インパルスノイズが低減されたものとなる。したがって、巡回型ノイズ低減部６２から出力される出力画像中にインパルスノイズが残留することを抑制することが可能となる。
【０１２６】
［第３実施例］
次に、第１及び第２インパルスノイズ低減部の第３実施例について図面を参照して説明する。図１７は、第１及び第２インパルスノイズ低減部の第３実施例の構成を示すブロック図である。なお、インパルスノイズ低減部の基本構成について示した図９と同様となる部分には、同様の名称を付してその詳細な説明については省略するものとする。
【０１２７】
図１７に示すように、本実施例の第１インパルスノイズ低減部６１ａ３は、第１ノイズ検出部６１１ａと、第１ノイズ低減部６１２ａと、第１ノイズ検出部６１１ａから出力される第１検出結果を調整して第１ノイズ低減部６１２ａに出力する第１検出結果調整部６１３ａと、を備える。なお、第１ノイズ検出部６１１ａによるインパルスノイズを検出する処理や、第１ノイズ低減部６１２ａによるインパルスノイズを低減する処理は、図９に示したノイズ検出部６１１やノイズ低減部６１２の処理と同様のものとなる。
【０１２８】
また、本実施例の第２インパルスノイズ低減部６１ｂ３は、第２ノイズ検出部６１１ｂと、第２ノイズ低減部６１２ｂと、第２ノイズ検出部６１１ｂから出力される第２検出結果を調整して第２ノイズ低減部６１２ｂに出力する第２検出結果調整部６１３ｂと、を備える。なお、第２ノイズ検出部６１１ｂによるインパルスノイズを検出する処理や、第２ノイズ低減部６１２ｂによるインパルスノイズを低減する処理は、図９に示したノイズ検出部６１１やノイズ低減部６１２の処理と同様のものとなる。
【０１２９】
また、本実施例の第１及び第２インパルスノイズ低減部６１ａ３，６１ｂ３では、第１ノイズ検出部６１１ａによって生成される第１検出結果が、第２検出結果調整部６１３ｂにも入力される。また、第２ノイズ検出部６１１ｂによって生成される第２検出結果が、第１検出結果調整部６１３ａにも入力される。
【０１３０】
また、第１実施例と同様に、第１ノイズ検出部６１１ａ、第１ノイズ低減部６１２ａ、第２ノイズ検出部６１１ｂ及び第２ノイズ低減部６１２ｂにおいてある処理タイミングに処理されるそれぞれの注目画素は、現フレームの入力画像及び前フレームの出力画像中の対応する位置（即ち、同じ位置）のものとなる。
【０１３１】
第１及び第２インパルスノイズ低減部６１ａ３，６１ｂ３の動作の一例について図面を参照して説明する。図１８は、第１及び第２インパルスノイズ低減部の第３実施例の動作例を示すフローチャートである。なお、図１８に示すフローチャートは、図３に示すフローチャートのＳＴＥＰ２ａ〜２ｃの動作（インパルスノイズの検出及び低減処理）の詳細を示すものである。
【０１３２】
図１８に示すように、本実施例の第１及び第２インパルスノイズ低減部６１ａ３，６１ｂ３の動作が開始されると、まず、第１ノイズ検出部６１１ａ、第１ノイズ低減部６１２ａ、第２ノイズ検出部６１１ｂ及び第２ノイズ低減部６１２ｂのそれぞれにおいて、処理対象となる注目画素及び周辺画素の画素値が取得される（ＳＴＥＰ２３０）。
【０１３３】
次に、ＳＴＥＰ２３０で画素値が取得された注目画素に対して、第１ノイズ検出部６１１ａ及び第２ノイズ検出部６１１ｂのそれぞれがインパルスノイズの有無を検出し、第１検出結果及び第２検出結果を出力する。第１検出結果が検出結果Ａ（注目画素の画素値にインパルスノイズが含まれない）である場合（ＳＴＥＰ２３１、ＹＥＳ）、第１ノイズ低減部６１２ａは、注目画素に対してインパルスノイズの低減処理を施さないこととする（ＳＴＥＰ２３２）。
【０１３４】
このとき、第２検出結果が検出結果Ｂ（注目画素の画素値にインパルスノイズが含まれる）であれば（ＳＴＥＰ２３３、ＹＥＳ）、第２ノイズ低減部６１２ｂは、注目画素に対してインパルスノイズの低減処理を施すこととする（ＳＴＥＰ２３４）。一方、第２検出結果が検出結果Ｂでなければ（ＳＴＥＰ２３３、ＮＯ）、即ち、第２検出結果が検出結果Ａまたは検出結果Ｃ（注目画素の画素値がインパルスノイズによって突出したのかエッジ部であるために突出したのかが判別不能）であれば、第２ノイズ低減部６１２ｂは、注目画素に対してインパルスノイズの低減処理を施さないこととする（ＳＴＥＰ２３５）。
【０１３５】
第１検出結果が、検出結果Ａではなく（ＳＴＥＰ２３１、ＮＯ）、検出結果Ｂである場合（ＳＴＥＰ２３６、ＹＥＳ）、第１ノイズ低減部６１２ａは、注目画素に対してインパルスノイズの低減処理を施すこととする（ＳＴＥＰ２３７）。
【０１３６】
このとき、第２検出結果が検出結果Ａであれば（ＳＴＥＰ２３８、ＹＥＳ）、第２ノイズ低減部６１２ｂは、注目画素に対してインパルスノイズの低減処理を施さないこととする（ＳＴＥＰ２３５）。一方、第２検出結果が検出結果Ａでなければ（ＳＴＥＰ２３８、ＮＯ）、即ち、第２検出結果が検出結果Ｂまたは検出結果Ｃであれば、第２ノイズ低減部６１２ｂは、注目画素に対してインパルスノイズの低減処理を施すこととする（ＳＴＥＰ２３４）。
【０１３７】
上記のように、第１検出結果が検出結果Ａまたは検出結果Ｂである場合（ＳＴＥＰ２３１またはＳＴＥＰ２３６、ＹＥＳ）、第１検出結果調整部６１３ａは、第１ノイズ検出部６１１ａから出力される第１検出結果を調整することなく、第１ノイズ低減部６１２ａに入力させる。第２検出結果が検出結果Ａまたは検出結果Ｂである場合も同様であり、第２検出結果調整部６１３ｂは、第２ノイズ検出部６１１ｂから出力される第２検出結果を調整することなく、第２ノイズ低減部６１２ｂに入力させる。
【０１３８】
ここで、第２検出結果が検出結果Ｃの場合、第２検出結果調整部６１３ｂは、第１検出結果に基づいて第２ノイズ検出部６１１ａから出力される第２検出結果を調整して、第２ノイズ低減部６１２ｂに入力させる。具体的には、第１検出結果が検出結果Ａであれば、第２ノイズ低減部６１２ｂが注目画素に対してインパルスノイズの低減処理を施さないように、第２検出結果の調整を行う。また、第１検出結果が検出結果Ｂであれば、第２ノイズ低減部６１２ｂが注目画素に対してインパルスノイズの低減処理を施すように、第２検出結果の調整を行う。
【０１３９】
そして、ＳＴＥＰ２３４またはＳＴＥＰ２３５の動作が行われると、この注目画素に対する処理を終了する。このとき、現フレームの入力画像及び前フレームの出力画像において、全ての画素に対して処理が終わっていない場合（ＳＴＥＰ２３９、ＮＯ）、ＳＴＥＰ２３０に戻って次の注目画素及び周辺画素の画素値を取得する。一方、全ての画素に対して処理が終わっている場合（ＳＴＥＰ２３９、ＹＥＳ）、終了する。
【０１４０】
上記の動作は、第１検出結果が検出結果ＡまたはＢの場合である（ＳＴＥＰ２３１またはＳＴＥＰ２３６、ＹＥＳ）。これ以外の場合（ＳＴＥＰ２３１及びＳＴＥＰ２３６、ＮＯ）、即ち、第１検出結果が検出結果Ｃである場合は、以下のような動作になる。
【０１４１】
第２検出結果が検出結果Ａである場合（ＳＴＥＰ２４０、ＹＥＳ）、第１ノイズ低減部６１２ａ及び第２ノイズ低減部６１２ｂは、注目画素に対してインパルスノイズの低減処理を施さないこととする（ＳＴＥＰ２４１）。
【０１４２】
第２検出結果が、検出結果Ａではなく（ＳＴＥＰ２４０、ＮＯ）、検出結果Ｂである場合（ＳＴＥＰ２４２、ＹＥＳ）、第１ノイズ低減部６１２ａ及び第２ノイズ低減部６１２ｂは、注目画素に対してインパルスノイズの低減処理を施すこととする（ＳＴＥＰ２４３）。
【０１４３】
第２検出結果が検出結果Ｂではない場合（ＳＴＥＰ２４２、ＮＯ）、第２検出結果は検出結果Ｃである。この場合、第１ノイズ低減部６１２ａ及び第２ノイズ低減部６１２ｂは、注目画素に対してインパルスノイズの低減処理を施さないこととする（ＳＴＥＰ２４４）。このとき、第２検出結果調整部６１３ｂは、第１検出結果に基づいて第２ノイズ検出部６１１ｂから出力される第２検出結果を調整して、注目画素に対してインパルスノイズの低減処理を施さないように第２ノイズ低減部６１２ｂを動作させる。
【０１４４】
上記のように、第１検出結果が検出結果Ｃである場合（ＳＴＥＰ２３６、ＮＯ）、第１検出結果調整部６１３ａは、第２検出結果に基づいて第１ノイズ検出部６１１ａから出力される第１検出結果を調整して、第１ノイズ低減部６１２ａに入力させる。そして、ＳＴＥＰ２４１、ＳＴＥＰ２４３及びＳＴＥＰ２４４のように第１ノイズ低減部６１２ａを動作させる。
【０１４５】
ＳＴＥＰ２４１、ＳＴＥＰ２４３またはＳＴＥＰ２４４の動作が行われると、この注目画素に対する処理を終了する。このとき、現フレームの入力画像及び前フレームの出力画像において、全ての画素に対して処理が終わっていない場合（ＳＴＥＰ２３９、ＮＯ）、ＳＴＥＰ２３０に戻って次の注目画素及び周辺画素の画素値を取得する。一方、全ての画素に対して処理が終わっている場合（ＳＴＥＰ２３９、ＹＥＳ）、終了する。
【０１４６】
このように構成すると、第１ノイズ検出部６１１ａにおける第１検出結果が検出結果Ｃ（注目画素の画素値がインパルスノイズによって突出したのかエッジ部であるために突出したのかが判別不能）となる場合に、第１ノイズ低減部６１２ａが第２ノイズ検出部６１１ｂの第２検出結果に基づいてインパルスノイズを低減することとなる。また、第２ノイズ検出部６１１ｂにおける第２検出結果が検出結果Ｃとなる場合に、第２ノイズ低減部６１２ｂが第１ノイズ検出部６１１ａの第１検出結果に基づいてインパルスノイズを低減することとなる。したがって、第１ノイズ低減部６１２ａ及び第２ノイズ低減部６１２ｂにおいて、現フレームの入力画像及び前フレームの出力画像から精度良くインパルスノイズを低減することが可能となる。
【０１４７】
また、巡回型ノイズ低減部６２に入力される２つの画像が、インパルスノイズが低減されたものとなる。したがって、巡回型ノイズ低減部６２から出力される出力画像中にインパルスノイズが残留することを抑制することが可能となる。
【０１４８】
［変形例］
上記の各実施例では、第１ノイズ検出部６１１ａ及び第２ノイズ検出部６１１ｂが出力する第１及び第２検出結果を、検出結果Ａ〜Ｃの各状態を持つものとしたが、注目画素に対するインパルスノイズの有無の確からしさを示すパラメータであるノイズ判定値Ｋを用いても構わない。
【０１４９】
具体的に例えば、ノイズ判定値Ｋは０以上１以下の値を取るものとし、大きいほど注目画素にインパルスノイズが含まれる可能性が高いものとする。このノイズ判定値Ｋの算出方法の一例について図面を参照して説明する。図１９は、ノイズ判定値Ｋの算出方法の一例について説明するグラフである。
【０１５０】
図１９に示すように、ノイズ判定値Ｋは、所定の閾値α1よりも｜Ｘave−Ｘc｜が小さい場合は値を０とする。また、所定の閾値α2よりも｜Ｘave−Ｘc｜が大きい場合は値を１とする。さらに、｜Ｘave−Ｘc｜が閾値α1以上閾値α2以下である場合、
Ｋ＝｜Ｘave−Ｘc｜／（α2−α1）−α1／（α2−α1）
とする。
【０１５１】
また、ノイズ判定値Ｋを用いた第１ノイズ低減部６１２ａ及び第２ノイズ低減部６１２ｂによる注目画素の処理方法の具体例について説明する。本例では、下記式（４）のように、処理対象となる注目画素の画素値Ｘcと、［基本構成］において説明した補正画素値Ｘceと、を加重加算して処理後の注目画素の画素値Ｘcpを算出する。なお、インパルスノイズの低減をしない場合は、Ｋ＝０として、Ｘcp＝Ｘcとする。
Ｘcp＝Ｋ×Ｘce＋（１−Ｋ）×Ｘc  …（４）
【０１５２】
また、第２及び第３実施例の第１検出結果調整部６１３ａ及び第２検出結果調整部６１３ｂは、第１検出結果及び第２検出結果であるノイズ判定値の値を変更することによって調整を行う。このとき、インパルスノイズを低減する処理の有無だけでなく、程度の大小の調整をも行うことが可能となる。例えば、第１検出結果調整部６１３ａに入力される第１検出結果であるノイズ判定値が小さく、第２検出結果であるノイズ判定値が大きい場合に、第１検出結果調整部６１３ａが、これらのノイズ判定値の中間の値を調整後の第１検出結果として第１ノイズ低減部６１２ａに出力することとしても構わない。
【０１５３】
なお、閾値α1と図１０（ｂ）に示した閾値αとが略等しい値となるようにしても構わない。
【０１５４】
また、上記の各実施例について、手ぶれ補正処理が施された入力画像が入力されるものとしても構わない。まず、手ぶれ補正について図面を参照して説明する。図２０は、手ぶれ補正の一例について説明する図である。なお、図２０に示す手ぶれ補正は、撮像して得られた撮像画像（実線の領域）１００，１１０から、入力画像（破線の領域）１０１，１１１を切り出して生成することによって、ぶれを補正するものである。また、図２０（ａ）は前フレーム、図２０（ｂ）は現フレームを示すものである。
【０１５５】
図２０（ａ），図２０（ｂ）に示すように、現フレームと前フレームとの間に撮像装置がぶれたため、撮像画像１００，１１０のそれぞれにおける被写体Ｓの位置は異なるものとなっている。しかしながら、撮像画像１００，１１０を切り出して生成されるそれぞれの入力画像１０１，１１１における被写体Ｓの位置は、略等しいものとなる。
【０１５６】
入力画像１０１，１１１のそれぞれにおける被写体Ｓの位置を略等しいものとするために、例えば動き検出が行われる。動き検出には、例えば、公知又は周知の画像マッチング法（例えば、ブロックマッチング法や代表点マッチング法）を用いることができる。例えば、撮像画像１００，１０１を所定の分割領域に分割して、分割領域毎にこれらの方法を用いて動きベクトルを検出する。そして、検出された分割領域毎の動きベクトルを平均化することにより、撮像画像１００，１１０間の全体の動きベクトルを算出することができる。
【０１５７】
得られた動きベクトルが示す動きがなくなるように、現フレームの撮像画像１１０から入力画像１１１の切り出しを行う。具体的に、本例のように動きベクトルが右向きの場合であれば、入力画像１１１の切り出し位置を右方向にずらすことで、入力画像１１１中の被写体Ｓの位置を、前フレームの入力画像１１０における被写体Ｓの位置と略等しくする。
【０１５８】
ところで、上述のようにインパルスノイズＩＭは、撮像画像１００，１０１の決まった位置に発生しやすい。そのため、このような手ぶれ補正を行う場合、入力画像１０１，１１１中のインパルスノイズＩＭの位置が、前フレームと現フレームとで異なるものとなる。
【０１５９】
このような手ぶれ補正処理が入力画像に施されている場合、インパルスノイズＩＭの位置が異なることを利用して、検出及び低減することができる。具体的には、第２及び第３実施例に示したように、第１ノイズ検出部６１１ａ及び第２ノイズ検出部６１１ｂのそれぞれでインパルスノイズの検出を行い、第１検出結果と第２検出結果とを比較することで、インパルスノイズの有無を判定することができる。例えば、一方の検出結果が平坦（所定の領域内の画素値の変動が小さい）であり、他方の検出結果が突出（注目画素の画素値が周辺画素の画素値から突出した値となる）であれば、他方の画像の注目画素はインパルスノイズである可能性が高いものとなる。
【０１６０】
このように、手ぶれ補正と組み合わせる場合、インパルスノイズを精度良く検出して効果的に低減することが可能となる。特に、常にある位置で発生するインパルスノイズを好適に検出及び除去することが可能となる。
【０１６１】
＜その他の構成例＞
なお、上述したノイズ低減処理は、例えば、動画の撮像時や再生時、静止画の撮像時などに利用することが可能である。ただし、静止画の撮像時に利用する場合、撮像時に複数フレームの画像を取得することとする。
【０１６２】
また、本発明の実施形態における撮像装置１について、画像処理部６やノイズ低減処理部６０などのそれぞれの動作を、マイコンなどの制御装置が行うこととしても構わない。さらに、このような制御装置によって実現される機能の全部または一部をプログラムとして記述し、該プログラムをプログラム実行装置（例えばコンピュータ）上で実行することによって、その機能の全部または一部を実現するようにしても構わない。
【０１６３】
また、上述した場合に限らず、図１の撮像装置１、図２のノイズ低減処理部６０、図１３、図１５及び図１７の第１インパルスノイズ低減部６１ａ１〜６１ａ３及び第２インパルスノイズ低減部６１ｂ１〜６１ｂ３は、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって実現可能である。また、ソフトウェアを用いて撮像装置１やノイズ低減処理部６０、第１及び第２インパルスノイズ低減部６１ａ１〜６１ａ３，６１ｂ１〜６１ｂ３を構成する場合、ソフトウェアによって実現される部位についてのブロック図は、その部位の機能ブロック図を表すこととする。
【０１６４】
以上、本発明の実施形態についてそれぞれ説明したが、本発明の範囲はこれに限定されるものではなく、発明の主旨を逸脱しない範囲で種々の変更を加えて実行することができるものである。
【産業上の利用可能性】
【０１６５】
本発明は、入力される画像に対してノイズ低減処理を施す画像処理装置撮像装置に適用することが可能である。また、この画像処理装置を備えたデジタルビデオカメラなどの撮像装置に適用可能である。
【図面の簡単な説明】
【０１６６】
【図１】は、本発明の実施形態における撮像装置の構成を示すブロック図である。
【図２】は、本発明の実施形態における撮像装置に備えられるノイズ低減処理部の基本構成を示すブロック図である。
【図３】は、ノイズ低減処理部の動作を示すフローチャートである。
【図４】は、巡回型ノイズ低減部の構成例を示すブロック図である。
【図５】は、ノイズ除去量算出部の構成例を示すブロック図である。
【図６】は、ノイズ除去量の設定方法の一例を示すグラフである。
【図７】は、ノイズ除去量算出部の構成例を示すブロック図である。
【図８】は、帰還係数の設定方法の一例を示すグラフである。
【図９】は、インパルスノイズ低減部の基本構成を示すブロック図である。
【図１０】は、ノイズ検出部の判定動作の一例について説明する図である。
【図１１】は、エッジ方向に基づいて補正画素値を算出する方法の一例を説明する図である。
【図１２】は、ＲＡＷ画像の画素の配列の一例を示す図である。
【図１３】は、第１及び第２インパルスノイズ低減部の第１実施例の構成を示すブロック図である。
【図１４】は、第１及び第２インパルスノイズ低減部の第１実施例の動作例を示すフローチャートである。
【図１５】は、第１及び第２インパルスノイズ低減部の第２実施例の構成を示すブロック図である。
【図１６】は、第１及び第２インパルスノイズ低減部の第２実施例の動作例を示すフローチャートである。
【図１７】は、第１及び第２インパルスノイズ低減部の第３実施例の構成を示すブロック図である。
【図１８】は、第１及び第２インパルスノイズ低減部の第３実施例の動作例を示すフローチャートである。
【図１９】は、ノイズ判定値Ｋの算出方法の一例について説明するグラフである。
【図２０】は、手ぶれ補正の一例について説明する図である。
【符号の説明】
【０１６７】
１    撮像装置
２    イメージサンサ
３    レンズ部
４    ＡＦＥ
５    集音部
６    画像処理部
６０  ノイズ低減処理部
６１  インパルスノイズ低減部
６１１  ノイズ検出部
６１１ａ  第１ノイズ検出部
６１１ｂ  第１ノイズ検出部
６１２  ノイズ低減部
６１２ａ  第１ノイズ低減部
６１２ｂ  第２ノイズ低減部
６１３ａ  第１検出結果調整部
６１３ｂ  第２検出結果調整部
６１ａ  第１インパルスノイズ低減部
６１ｂ  第２インパルスノイズ低減部
６２  巡回型ノイズ低減部
７    音声処理部
８    圧縮処理部
９    ドライバ部
１０    外部メモリ
１１    伸長処理部
１２    画像出力回路部
１３    音声出力回路部
１４    ＣＰＵ
１５    メモリ
１６    操作部
１７    ＴＧ部
１８    バス
１９    バス
２０    フレームメモリ
【図１】
2010118942.tif 000004
【図２】
2010118942.tif 000005
【図３】
2010118942.tif 000006
【図４】
2010118942.tif 000007
【図５】
2010118942.tif 000008
【図６】
2010118942.tif 000009
【図７】
2010118942.tif 000010
【図８】
2010118942.tif 000011
【図９】
2010118942.tif 000012
【図１０】
2010118942.tif 000013
【図１１】
2010118942.tif 000014
【図１２】
2010118942.tif 000015
【図１３】
2010118942.tif 000016
【図１４】
2010118942.tif 000017
【図１５】
2010118942.tif 000018
【図１６】
2010118942.tif 000019
【図１７】
2010118942.tif 000020
【図１８】
2010118942.tif 000021
【図１９】
2010118942.tif 000022
【図２０】
2010118942.tif 000023