(57)【要約】【課題】過去フレームに係る低解像度の映像信号のみから３ＤＮＲを行っても解像度の低下をもたらすことなく、メモリの容量と帯域の大幅な節約を図る。【解決手段】このノイズ除去回路１では、２ＤＮＲ部２が入力映像信号に２ＤＮＲを実施する。３ＤＮＲ部３では、デシメーションフィルタ３ａが２次元ノイズリダクション後の映像信号から低周波且つ低解像度の第１の映像信号を生成し、インターポレーションフィルタ３ｂが第１の映像信号から元の高解像度且つ低周波の第２の映像信号を生成し、減算器３ｅが入力映像信号から該第２の映像信号を減算し第３の映像信号として出力し、動き適応加算部３ｃが過去フレームの映像信号と第１の映像信号とを比較し動き検出を行いながら加算し、インターポレーションフィルタ３ｄが動き適応加算部３ｃから出力された更に低解像度の第４の映像信号から入力映像信号と同等の高解像度の第５の映像信号を生成し、加算器３ｆが第５の映像信号を第３の映像信号に加算する。【選択図】      図１
2009021756.tif 000002
【特許請求の範囲】
【請求項１】
入力映像信号に２次元ノイズリダクションを実施する第１のノイズ除去手段と、
上記２次元ノイズリダクション後の映像信号から低周波且つ低解像度の第１の映像信号を生成し、この第１の映像信号から元の高解像度且つ低周波の第２の映像信号を生成し、上記入力映像信号から該第２の映像信号を減算し第３の映像信号として出力し、過去フレームの映像信号と上記第１の映像信号とを比較し動き検出を行いながら加算し、更に低周波とされた第４の映像信号から上記入力映像信号と同等の高解像度の第５の映像信号を生成し、この第５の映像信号を上記第３の映像信号に加算する第２のノイズ除去手段とを備えた
ことを特徴とするノイズ除去回路。
【請求項２】
入力映像信号に２次元ノイズリダクションを実施する第１のノイズ除去手段と、
上記２次元ノイズリダクション後の映像信号から低周波且つ低解像度の第１の映像信号を生成するデシメーションフィルタと、この第１の映像信号から元の高解像度且つ低周波の第２の映像信号を生成する第１のインターポレーションフィルタと、上記入力映像信号から該第２の映像信号を減算し第３の映像信号として出力する減算器と、過去フレームの映像信号と上記第１の映像信号とを比較し動き検出を行いながら加算する動き適応加算部と、この動き適応加算部から出力された更に低周波の第４の映像信号から上記入力映像信号と同等の高解像度の第５の映像信号を生成する第２のインターポレーションフィルタと、この第５の映像信号を上記第３の映像信号に加算する加算器と、を有する第２のノイズ除去手段とを備えた
ことを特徴とするノイズ除去回路。
【請求項３】
上記第２のノイズ除去手段は、上記第１のノイズ除去手段により２次元ノイズリダクションが実施された映像信号のうち、Ｇ信号を上記処理の対象とし、処理後のＧ信号をＲ信号とＧ信号との差分、Ｂ信号とＧ信号との差分にそれぞれ加算することで、Ｒ，Ｇ，Ｂ信号を出力する
ことを特徴とする請求項２に記載のノイズ除去回路。
【請求項４】
上記過去フレームの映像信号は、１／４の解像度の映像信号である
ことを特徴とする請求項２に記載のノイズ除去回路。
【請求項５】
入力映像信号に２次元ノイズリダクションを実施し、
上記２次元ノイズリダクション後の映像信号から低周波且つ低解像度の第１の映像信号を生成し、この第１の映像信号から元の高解像度且つ低周波の第２の映像信号を生成し、上記入力映像信号から該第２の映像信号を減算し第３の映像信号として出力し、過去フレームの映像信号と上記第１の映像信号とを比較し動き検出を行いながら加算し、この動き適応加算部から出力された更に低周波の第４の映像信号から上記入力映像信号と同等の高解像度の第５の映像信号を生成し、この第５の映像信号を上記第３の映像信号に加算する
ことを特徴とするノイズ除去方法。
【請求項６】
被写体像を撮像し映像信号を出力する撮像手段と、
上記映像信号をディジタルの入力映像信号に変換する変換手段と、
上記入力映像信号に２次元ノイズリダクションを実施する第１のノイズ除去手段と、
上記２次元ノイズリダクション後の映像信号から低周波且つ低解像度の第１の映像信号を生成するデシメーションフィルタと、この第１の映像信号から元の高解像度且つ低周波の第２の映像信号を生成する第１のインターポレーションフィルタと、上記入力映像信号から該第２の映像信号を減算し第３の映像信号として出力する減算器と、過去フレームの映像信号と上記第１の映像信号とを比較し動き検出を行いながら加算する動き適応加算部と、この動き適応加算部から出力された更に低周波の第４の映像信号から上記入力映像信号と同等の高解像度の第５の映像信号を生成する第２のインターポレーションフィルタと、この第５の映像信号を上記第３の映像信号に加算する加算器と、を有する第２のノイズ除去手段と、
上記過去フレームの映像信号を記憶する記憶手段とを備えた
ことを特徴とする撮像装置。
【請求項７】
コンピュータが、
入力映像信号に２次元ノイズリダクションを実施する第１のノイズ除去手段と、
上記２次元ノイズリダクション後の映像信号から低周波且つ低解像度の第１の映像信号を生成するデシメーションフィルタと、この第１の映像信号から元の高解像度且つ低周波の第２の映像信号を生成する第１のインターポレーションフィルタと、上記入力映像信号から該第２の映像信号を減算し第３の映像信号として出力する減算器と、過去フレームの映像信号と上記第１の映像信号とを比較し動き検出を行いながら加算する動き適応加算部と、この動き適応加算部から出力された更に低周波の第４の映像信号から上記入力映像信号と同等の高解像度の第５の映像信号を生成する第２のインターポレーションフィルタと、この第５の映像信号を上記第３の映像信号に加算する加算器と、を有する第２のノイズ除去手段として機能する
ことを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ノイズ除去回路等に係り、特に３次元ノイズリダクション（以下、３ＤＮＲと称する）等を実施するにあたり、解像度の低下をもたらすことなく、メモリの容量と帯域の大幅な節約を図る技術分野に関する。
【背景技術】
【０００２】
従来、例えばカムコーダ等の撮像装置では、ディジタルの入力映像信号のＳ／Ｎ（シグナル／ノイズ）比を向上させるために、時間方向に映像信号を加算する３ＤＮＲを実施するためのノイズ除去回路が採用されている。
【０００３】
ここで、図７には、従来技術に係るノイズ除去回路の構成を示し説明する。
【０００４】
この図７に示したノイズ除去回路１００は、３ＤＮＲ回路であり、動き適応加算部１００ａにてメモリ１０１に保存されている過去のフレームの映像信号を現在のフレームの映像信号と比較して動きの有無を判定し、動いていない画像部分は加算することでノイズを抑制し、動いている画像部分は加算せずに現在の映像信号を出力する。現フレームの映像信号は、次フレームの処理のためにメモリ１０１に保存する。
【０００５】
その後、時間方向処理でノイズが抑制された映像信号に対して、更に２次元ノイズリダクション（以下、２ＤＮＲと略記する）部１００ｂにてフレーム内情報を用いたノイズ除去処理を行い、その処理後の映像信号を出力映像信号として出力する。
【０００６】
尚、この種の技術について、例えば特許文献１では、現フィールドの信号とｎフィールド前の信号とに基づいてノイズリダクションをかけるノイズリダクション手段を備えたノイズリダクション回路が開示されている。
【０００７】
【特許文献１】特開平８−１０２９６９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかしながら、前述したような従来技術に係る３ＤＮＲでは、最低でも１フレーム前の１枚分のフル解像度の映像信号が必要であることから、メモリの容量と帯域を浪費し、低スペックのカメラへの適用が困難であった。
【０００９】
その一方、撮像装置側の要求としては、該装置が低スペックになればなる程、光学系や撮像素子の性能も抑えられることになるので、３ＤＮＲのような時間方向にノイズ除去処理を実施する手段の実装が嘱望されることになる。
【００１０】
本発明は、過去フレームに係る低解像度の映像信号のみから３ＤＮＲを行っても解像度の低下をもたらすことなく、メモリの容量と帯域の大幅な節約を図ることを課題とする。
【課題を解決するための手段】
【００１１】
本発明の第１の観点によるノイズ除去回路では、第１のノイズ除去手段が入力映像信号に２次元ノイズリダクションを実施する。そして、第２のノイズ除去手段が、上記２次元ノイズリダクション後の映像信号から低周波且つ低解像度の第１の映像信号を生成し、この第１の映像信号から元の高解像度且つ低周波の第２の映像信号を生成し、上記入力映像信号から該第２の映像信号を減算し第３の映像信号として出力し、過去フレームの映像信号と上記第１の映像信号とを比較し動き検出を行いながら加算し、更に低周波とされた第４の映像信号から上記入力映像信号と同等の高解像度の第５の映像信号を生成し、この第５の映像信号を上記第３の映像信号に加算するように構成されている。
【００１２】
本発明の第２の観点によるノイズ除去回路では、第１のノイズ除去手段が、入力映像信号に２次元ノイズリダクションを実施する。そして、第２のノイズ除去手段において、デシメーションフィルタが、上記２次元ノイズリダクション後の映像信号から低周波且つ低解像度の第１の映像信号を生成し、第１のインターポレーションフィルタが、この第１の映像信号から元の高解像度且つ低周波の第２の映像信号を生成し、減算器が、上記入力映像信号から該第２の映像信号を減算し第３の映像信号として出力し、動き適応加算部が、過去フレームの映像信号と上記第１の映像信号とを比較し動き検出を行いながら加算し、第２のインターポレーションフィルタが、この動き適応加算部から出力された更に低周波の第４の映像信号から上記入力映像信号と同等の高解像度の第５の映像信号を生成し、加算器が、この第５の映像信号を上記第３の映像信号に加算するように構成されている。
【００１３】
本発明の第３の観点によるノイズ除去方法では、入力映像信号に２次元ノイズリダクションを実施し、上記２次元ノイズリダクション後の映像信号から低周波且つ低解像度の第１の映像信号を生成し、この第１の映像信号から元の高解像度且つ低周波の第２の映像信号を生成し、上記入力映像信号から該第２の映像信号を減算し第３の映像信号として出力し、過去フレームの映像信号と上記第１の映像信号とを比較し動き検出を行いながら加算し、動き適応加算部から出力された更に低周波の第４の映像信号から上記入力映像信号と同等の高解像度の第５の映像信号を生成し、この第５の映像信号を上記第３の映像信号に加算する。
【００１４】
本発明の第４の観点による撮像装置では、撮像手段が被写体像を撮像し映像信号を出力し、変換手段が上記映像信号をディジタルの入力映像信号に変換し、第１のノイズ除去手段が上記入力映像信号に２次元ノイズリダクションを実施する。そして、第２のノイズ除去手段では、デシメーションフィルタが上記２次元ノイズリダクション後の映像信号から低周波且つ低解像度の第１の映像信号を生成し、第１のインターポレーションフィルタがこの第１の映像信号から元の高解像度且つ低周波の第２の映像信号を生成し、減算器が上記入力映像信号から該第２の映像信号を減算し第３の映像信号として出力し、動き適応加算部が過去フレームの映像信号と上記第１の映像信号とを比較し動き検出を行いながら加算し、第２のインターポレーションフィルタがこの動き適応加算部から出力された更に低周波の第４の映像信号から上記入力映像信号と同等の高解像度の第５の映像信号を生成し、加算器がこの第５の映像信号を上記第３の映像信号に加算するように構成されている。
【００１５】
本発明の第５の観点によるプログラムは、コンピュータが、入力映像信号に２次元ノイズリダクションを実施する第１のノイズ除去手段と、上記２次元ノイズリダクション後の映像信号から低周波且つ低解像度の第１の映像信号を生成するデシメーションフィルタと、この第１の映像信号から元の高解像度且つ低周波の第２の映像信号を生成するインターポレーションフィルタと、上記入力映像信号から該第２の映像信号を減算し第３の映像信号として出力する減算器と、過去フレームの映像信号と上記第１の映像信号とを比較し動き検出を行いながら加算する動き適応加算部と、この動き適応加算部から出力された更に低周波の第４の映像信号から上記入力映像信号と同等の高解像度の第５の映像信号を生成するインターポレーションフィルタと、この第５の映像信号を上記第３の映像信号に加算する加算器と、を有する第２のノイズ除去手段として機能する。
【００１６】
従って、第１乃至第５の観点によれば、過去フレームの映像信号から３ＤＮＲが適正に実施され、ノイズ除去がなされた映像信号が出力可能とされる。
【発明の効果】
【００１７】
本発明によれば、過去フレームに係る低解像度の映像信号のみから３ＤＮＲを行っても解像度の低下をもたらすことなく、メモリの容量と帯域の大幅な節約を図るノイズ除去回路、ノイズ除去方法、撮像装置、プログラムを提供することができる。
【発明を実施するための最良の形態】
【００１８】
以下、図面を参照して、本発明を実施するための最良の形態（以下、単に実施の形態と称する）について詳細に説明する。
【００１９】
図１には本発明の第１の実施の形態に係るノイズ除去回路の構成を示し説明する。
【００２０】
この図１に示されるように、ノイズ除去回路１は、２ＤＮＲ部２と３ＤＮＲ部３からなり、３ＤＮＲ部３は、更にデシメーションフィルタ３ａ、インターポレーションフィルタ３ｂ、動き適応加算部４ｃ、インターポレーションフィルタ３ｄ、減算器３ｅ、加算器３ｆからなる。このノイズ除去回路１は、以上の構成により３ＤＮＲ回路として機能する。
【００２１】
ここで、上記構成のうち、２ＤＮＲ部２は例えば第１のノイズ除去手段に相当し、３ＤＮＲ部３は例えば第２のノイズ除去手段に相当する。また、インターポレーションフィルタ３ｂは例えば第１のインターポレーションフィルタに相当し、インターポレーションフィルタ３ｄは例えば第２のインターポレーションフィルタに相当する。
【００２２】
このような構成において、２ＤＮＲ部２は、ディジタルの入力映像信号、つまり、この例では、３チャンネル（ｃｈ）のＲ，Ｇ，Ｂの色信号に対して２次元ノイズリダクションを実施する。デシメーションフィルタ３ａは、ディジタルの入力映像信号を周波数減衰並びにダウンサンプリングして出力する。
【００２３】
これにより、この例では解像度が１／４とされた低周波且つ低解像度の映像信号（例えば、第１の映像信号に相当）が出力されることになる。
【００２４】
インターポレーションフィルタ３ｂは、このデシメーションフィルタ３ａより出力された映像信号をオーバーサンプリングして出力する。換言すれば、デシメーションフィルタ３ａより出力された映像信号に対してオーバーサンプリングのための補間処理を施すことになる。これにより、この例では、元の高解像度（フル解像度）且つ低周波の映像信号（例えば、第２の映像信号に相当）に戻される。
【００２５】
減算器３ｅは、その映像信号を現フレームの映像信号から減算することで、高周波且つ高解像度（フル解像度）の映像信号（例えば、第３の映像信号に相当）を出力する。
【００２６】
動き適応加算部３ｃは、メモリ４に保存されている低周波且つ低解像度の過去フレームの映像信号と低周波且つ低解像度の現フレームの映像信号を比較し、当該比較により動きの有無を判定する。そして、動いている画素については加算せずに現在の映像信号をスルーさせ、動いていない画素については両者を加算することでノイズを抑制する。インターポレーションフィルタ３ｄは、この動き適応加算部３ｃより出力された映像信号（例えば、第４の映像信号に相当）をオーバーサンプリングして出力する。次いで、加算器３ｆは、インターポレーションフィルタ３ｄより出力される映像信号（例えば、第５の映像信号に相当）と減算器３ｅから出力される映像信号とを加算し、帯域が原信号と同等のレベルに戻された映像信号を出力する。
【００２７】
以上の説明からも明らかなように、この例では、ディジタルのＨＤ（High Definition）の入力映像信号（Ｒ，Ｇ，Ｂ）の処理に際して、１／４の解像度の前フレームの映像信号をメモリ４に保存しておけばよいので、メモリ容量を１／４（データ量３／４フレーム）に縮減することが可能となる。
【００２８】
なお、インターポレーションフィルタ３ｂ，３ｄとしては、Nearest Neighbor法やbilinear法、bicubic法、B-spline法等、各種のものを採用することが可能である。
【００２９】
ここで、図２には、２ＤＮＲ部２をεフィルタで構成した例を示し説明する。
【００３０】
図２に示されるεフィルタは、選択回路２ｂ、加算回路２ｃ、除算回路２ｄで構成されている。このような構成において、選択回路２ｂは、注目画素ｏと近傍画素ａ乃至ｈとの差分を求め、該差分の値を所定の閾値データθと比較する。その結果、差分の値が閾値データθを超えなければ両者を加算回路２ｃに選択出力して、当該加算回路２ｃにてそれらを加算し、閾値を超えれば加算回路２ｃに出力せずに加算しないという処理を行う。除算回路２ｄは、選択回路２ｂから出力された加算する画素のカウント値に基づいて、加算回路２ｃから出力された映像信号のゲインを調整、つまり正規化し、出力する。
【００３１】
以上の処理によれば、エッジを跨る画素を加算しないので、結果的にエッジに対しアダプティブな平滑化を行うことができる。尚、２ＤＮＲの効果を強めたいときは閾値データθを大きくすればよい。ところで、基本的に、εフィルタは加算によって平滑化を行うことでノイズを抑制するので、周波数の高いノイズの場合には平滑化は進まず、周波数の低いところにノイズとして残ってしまう。周波数の低いところに載ったノイズは見た目にノイズが広がったように見え、動画で見ると視認性を損ねる。逆に、周波数の高いところに載ったノイズは粒状に細かい大きさなので、低周波ノイズに比べると目立ち難い。
【００３２】
本発明は、このような特性に着目し、該特性を生かし、先ず高周波ノイズを２ＤＮＲ部２で処理し、該２ＤＮＲ部２で除去できなかった低周波ノイズを時間方向処理で抑制することで、見た目のノイズ感を良好にする。このとき、時間方向には低周波信号でしか処理していないので、現在と過去のフレームの低解像度信号を用意すればよいことになり、その結果、メモリの容量も帯域も少なくすることができるのである。
【００３３】
以下、図３のフローチャートを参照して、本発明の第１の実施の形態に係るノイズ除去回路による処理の流れを更に詳細に説明する。尚、以下の一連の処理は、本発明の第１の実施の形態に係るノイズ除去方法にも相当するものである。
【００３４】
映像信号（この例ではＲＧＢの色信号）が入力されると（ステップＳ１）、この入力された現フレームの映像信号に対して２ＤＮＲ部２により２ＤＮＲ処理を行い（ステップＳ２）、この処理後の映像信号よりデシメーションフィルタ３ａを通じて低周波且つ低解像度（例えば１／４）の映像信号を生成する（ステップＳ３）。
【００３５】
ここで、「低解像度化」するということは、それによりナイキスト周波数も下がることになるので、サンプリング周波数の折り返しが出ないように、デシメーションフィルタ３ａは必然的にローパスフィルタ(LPF ; Low Pass Filter)として働く必要がある。
【００３６】
図４（ａ）は、２ＤＮＲ部２で２ＤＮＲが施された映像信号の周波数と振幅の関係を示している。元の映像信号のサンプリング周波数ｆｓの１／２の周波数に帯域制限されている。上記デシメーションフィルタ３ａでフィルタリングした後は、低解像度化（例えば、１／４）に伴い、図４（ｂ）に示されるように、周波数ｆｓ′の１／２の周波数に近くなるに従って振幅（強度比率にも相当）は減衰するような特性となる。即ち、このデシメーションフィルタ３ａによるダウンサンプリングに際しては、ダウンサンプリングによる折り返し歪みを除去すべく、周波数は１／２・ｆｓ′以下に帯域制限がかけられることになる。
【００３７】
こうして、デシメーションフィルタ３ａで周波数が低下した低周波且つ低解像度の映像信号を、インターポレーションフィルタ３ｂで元の高解像度（フル解像度）且つ低周波の映像信号に戻す（ステップＳ４）。そして、該映像信号を減算器３ｅにて現フレームの映像信号から減算することで、高周波且つ高解像度（フル解像度）の映像信号を得る（ステップＳ５）。つまり、この処理により、低周波成分が減算されるので、エッジ情報が得られることになる。
【００３８】
時間方向処理としては、周波数の落ちた低周波且つ低解像度のフレームの映像信号を次フレームで処理するためにメモリ４に保存するとともに（ステップＳ６）、メモリ４に保存されている低周波且つ低解像度の過去フレームの映像信号と低周波且つ低解像度の現フレームの映像信号を比較し、当該比較により動きの有無を判定する（ステップＳ７）。
【００３９】
その結果、動いている画素については（ステップＳ８をＹｅｓに分岐）、加算せずに現在の映像信号をスルーさせる（ステップＳ９）、動いていない画素については（ステップＳ８をＮｏに分岐）、両者を加算することでノイズを抑制する（ステップＳ１０）。
【００４０】
このような時間方向処理により、更に低周波化されたことに伴って、図４（ｃ）に示されるように、平滑化により周波数が下がる（周波数ｆL）。この時間方向処理を施した更に低周波となった低解像度の映像信号をインターポレーションフィルタ３ｄで再び元の高解像度（フル解像度）の映像信号に戻し（ステップＳ１１）、ステップＳ５で生成された高周波数且つ高解像度（フル解像度）の映像信号、つまりエッジ情報を加算器３ｆで加算して出力する（ステップＳ１２）。これにより、その周波数の帯域が元の映像信号と同等のレベルに戻された映像信号が出力される。こうして、一連の３ＤＮＲの処理を終了する。
【００４１】
なお、ここで、上記処理において、デシメーションフィルタ３ａの出力信号は例えば第１の映像信号に相当し、インターポレーションフィルタ３ｂの出力信号は例えば第２の映像信号に相当し、減算器３ｅの出力信号は例えば第３の映像信号に相当し、動き適応加算部３ｃの出力信号は例えば第４の映像信号に相当し、インターポレーションフィルタ３ｄの出力信号は例えば第５の映像信号に相当する。
【００４２】
但し、これらの関係に限定されないことは勿論である。
【００４３】
以上説明したように、本発明の第１の実施の形態によれば、過去フレームに係る低解像度の映像信号のみから３ＤＮＲを行っても解像度の低下をもたらすことなく、メモリの容量と帯域の大幅な節約を図るノイズ除去回路、ノイズ除去方法を提供できる。
【００４４】
また、高周波ノイズを２ＤＮＲ部２で処理し、該２ＤＮＲ部２で除去できなかった低周波ノイズを時間方向処理で抑制することで、見た目のノイズ感を良好にするノイズ除去回路、方法を提供することができる。このとき、時間方向には低周波の映像信号でしか処理していないので、現在と過去のフレームの低解像度の映像信号を用意すればよいので、メモリ容量も帯域も低減できるのである。
【００４５】
次に、本発明の第２の実施の形態について説明する。
【００４６】
一般に、単板カメラでは、カラーフィルタでＳ／ＮのよいＧｃｈを他のＲｃｈ、Ｂｃｈよりも多く配置しており（ベイヤー配列）、各信号の情報量には差がある。そこで、第２の実施の形態に係るノイズ除去回路では、Ｇｃｈに解像度情報が多くあるものとして、Ｇｃｈの信号（以下、Ｇ信号と略記する）だけに２ＤＮＲや３ＤＮＲを施す。
【００４７】
Ｒｃｈ、Ｂｃｈの信号（以下、Ｒ，Ｂ信号と略記する）はＲ−Ｇ、Ｂ−Ｇなど色差信号を生成し、そのままスルーさせる。又は、平滑化フィルタをかけてもよい。そして、最終的に３ＤＮＲを施したＧ信号を、色差信号（Ｒ−Ｇ、Ｂ−Ｇ）に加算することで、Ｒ、Ｂ信号を元に戻して、それらを出力映像信号として出力する。
【００４８】
尚、第２の実施の形態において、Ｇ信号に着目したのは、該Ｇ信号が主成分であり、人間の視認度が高く、ベイヤー配列の下では、Ｇの画素が多いからである。
【００４９】
図５には、本発明の第２の実施の形態に係るノイズ除去回路の構成例を示し説明する。
【００５０】
この図５に示されるように、ノイズ除去回路１１は、２ＤＮＲ部１２と３ＤＮＲ部１３からなり、より詳細には、３ＤＮＲ部１３は、デシメーションフィルタ１３ａ、インターポレーションフィルタ１３ｂ、動き適応加算部１３ｃ、インターポレーションフィルタ１３ｄ、平滑化フィルタ１３ｅ、減算器１３ｆ，１３ｉ，１３ｊ、加算器１３ｇ，１３ｈからなる。
【００５１】
このような構成において、映像信号（この例ではＲＧＢの色信号）が入力されると、入力された現フレームの映像信号に対して２ＤＮＲ部１２により２ＤＮＲ処理を行い、この処理後の映像信号のうちＧ信号よりデシメーションフィルタ１３ａを通じて低周波且つ低解像度（例えば１／４）の映像信号を生成する。尚、低周波且つ高解像度の映像信号のうち、Ｒ，Ｂ信号については、減算器１３ｉ，１３ｉによりＧ信号が減算され、Ｒ−Ｇ信号、Ｂ−Ｇ信号が生成され、その後、平滑化フィルタ１３ｅで平滑化されたＲ−Ｇ信号、Ｂ−Ｇ信号が加算器１３ｇ，１３ｈの一方の入力に供給される。
【００５２】
こうして、デシメーションフィルタ１３ａで周波数が低下した低周波且つ低解像度の映像信号を、インターポレーションフィルタ１３ｂで元の高解像度（フル解像度）且つ低周波の映像信号に戻す。そして、該映像信号を減算器１３ｆにて現フレームの映像信号から減算することで、高周波且つ高解像度（フル解像度）の映像信号を得る。
【００５３】
つまり、この処理により、低周波成分が減算されるので、エッジ情報が得られることになる。
【００５４】
時間方向処理としては、周波数の落ちた低周波且つ低解像度のフレームの映像信号（Ｇ信号）を次フレームで処理するためにメモリ１４に保存すると共に、メモリ１４に保存されている低周波且つ低解像度の過去フレームの映像信号（Ｇ信号）と低周波且つ低解像度の現フレームの映像信号を比較し、動きの有無を判定する。
【００５５】
その結果、動いていない画素については、両者を加算することでノイズを抑制し、動いている画素については、加算せずに現在の映像信号をスルーさせる。
【００５６】
この時間方向処理を施した更に低周波となった低解像度の映像信号をインターポレーションフィルタ３ｄで再び元の高解像度（フル解像度）の映像信号に戻し、高周波数且つ高解像度（フル解像度）の映像信号、つまりエッジ情報を加算器３ｆで加算して出力する。これにより、帯域が元の映像信号と同等のレベルに戻された映像信号（Ｇ信号）が出力される。そして、この映像信号（Ｇ信号）をＲ−Ｇ信号、Ｂ−Ｇ信号といった色差信号に加算器１３ｇ、１３ｈにより加算することで、Ｒ，Ｇ，Ｂの色信号を生成し、それらを出力映像信号として出力することになる。
【００５７】
以上説明したように、本発明の第２の実施の形態によれば、３ｃｈ処理に比べるとメモリ容量を１／１２（データ量１／４フレーム）に削減できると共に回路規模も更に削減することが可能である。尚、Ｇｃｈではなく、Ｙｃｈ（輝度信号）で代行すると、精度は更に期待することができる。
【００５８】
次に本発明の第３の実施の形態について説明する。
【００５９】
この第３の実施の形態は、前述した第１及び第２の実施の形態に係るノイズ除去回路を撮像装置に適用したものである。この撮像装置としては、カムコーダ等、各種のものがある。以下、図６には、第３の実施の形態に係る撮像装置の構成を示し説明する。
【００６０】
図６に示されるように、撮像装置は、撮影レンズ２０、撮像素子２１、Ａ／Ｄ変換器２２、補正系回路２３、ノイズ除去（ＮＲ）回路２４、メモリ２５、画像処理回路２６からなる。このＮＲ回路２４に、前述した第１及び第２のノイズ除去回路が適用される。
【００６１】
このような構成において、撮影レンズ２０を介して入射した被写体光は撮像素子２１の撮像面に結像され、光電変換され、映像信号がＡ／Ｄ変換器２２に送られる。Ａ／Ｄ変換器２２では、このアナログの映像信号がディジタルの映像信号に変換され、補正系回路２３に供給される。補正系回路２３では、光学系補正（シェーディング補正等）やイメージャ補正（欠陥補正等）が実施され、補正後の映像信号がＮＲ回路２４に送られる。
【００６２】
ＮＲ回路２４では、ＳＤＲＡＭ等のメモリ２５に保存された前フレームの映像信号を適宜参照し、先に第１及び第２の実施の形態で前述したような３ＤＮＲ処理が実施され、処理後の映像信号が画像処理回路２６に出力される。この３ＤＮＲ処理は、前述した通りであるので、ここでは重複した説明は省略する。こうして、画像処理回路２６では、ガンマ補正や高域強調処理などが実施され、処理後の信号が出力される。
【００６３】
以上説明したように、本発明の第３の実施の形態によれば、映像信号に含まれるノイズを効果的に除去することができる撮像装置を提供することができる。
【００６４】
尚、撮像装置としては、カムコーダのほか、デジタルビデオカメラやデジタルスチルカメラ等にも適用可能であることは勿論である。
【００６５】
以上説明したように、本発明の第１乃至第３の実施の形態に係るノイズ除去回路、方法等によれば、現在のフレームの高周波の映像信号を維持することにより、過去のフレームより低解像度（例えば、１／４解像度）の映像信号のみから３ＤＮＲを行っても解像度の低下をもたらすことなく、メモリの容量と帯域の大幅な節約を図ることができる。
【００６６】
以上、本発明の実施の形態について説明したが、本発明はこれに限定されることなくその趣旨を逸脱しない範囲で種々の改良・変更が可能であることは勿論である。
【００６７】
例えば、第１及び第２の実施の形態に係るノイズ除去回路をソフトウェア処理により実施することも可能である。この場合には、コンピュータ、特に該コンピュータに実装されたＣＰＵなどの制御部が、記憶部としてのメモリに格納されたプログラムを読み出し、当該プログラムに基づいて、第１及び第２の実施の形態において、前述したような２ＤＮＲ及び３ＤＮＲを実施することになる。
【００６８】
また、第１及び第２の実施の形態に係るノイズ除去回路をＹＣbＣr  ４：２：２方式に適用することも可能である。この場合において、色差を用いる場合は、色差信号は輝度信号に対して更に低解像度にしても解像感は損なわれない（例えば、輝度信号を１／４とした場合に１／１６となる）。
【図面の簡単な説明】
【００６９】
【図１】本発明の第１の実施の形態に係るノイズ除去回路の構成を示す図。
【図２】２ＤＮＲ部をεフィルタで構成した例を示す図。
【図３】本発明の第１の実施の形態に係るノイズ除去回路による処理の流れを更に詳細に説明するフローチャート。
【図４】（ａ）乃至（ｃ）は、映像信号の周波数と振幅の関係を示す特性図。
【図５】本発明の第２の実施の形態に係るノイズ除去回路の構成を示す図。
【図６】本発明の第３の実施の形態に係る撮像装置の構成を示す図。
【図７】従来技術に係るノイズ除去回路の構成を示す図。
【符号の説明】
【００７０】
１…ノイズ除去回路、２…２ＤＮＲ部、２ａ…撮像素子、２ｂ…選択回路、２ｃ…加算回路、２ｄ…除算回路、３ａ…デシメーションフィルタ、３ｂ…インターポレーションフィルタ、３ｃ…動き適応加算部、３ｄ…インターポレーションフィルタ、３ｅ…減算器、３ｆ…加算器、４…メモリ、１１…ノイズ除去回路、１２…２ＤＮＲ部、１３…３ＤＮＲ部、１３ａ…デシメーションフィルタ、１３ｂ…インターポレーションフィルタ、１３ｃ…動き適応加算部、１３ｄ…インターポレーションフィルタ、１３ｅ…平滑化フィルタ、１３ｆ…減算器、１３ｇ…加算器、１３ｈ…加算器、１４…メモリ
【図１】
2009021756.tif 000003
【図２】
2009021756.tif 000004
【図３】
2009021756.tif 000005
【図４】
2009021756.tif 000006
【図５】
2009021756.tif 000007
【図６】
2009021756.tif 000008
【図７】
2009021756.tif 000009