(57)【要約】【課題】残像による画像のボケを招くことなくノイズレベルの収束性を高める。【解決手段】フレームメモリ２と、現画像信号ＰＳ(ｆ)を混合比(Ｋ)に応じて前画像信号ＰＳ(ｆ−１)と混合し、得られた現画像信号を外部に出力し、かつ、フレームメモリ２に記憶させる混合制御部３と、両画像信号から動き成分ΔＳを抽出する減算器４と、フィルタ特性が変更可能な現画像ＬＰＦ部６Ａと、動き判定制御部５と、を有する。動き判定制御部５および現画像ＬＰＦ部６Ａは、画像信号のゲイン値Ｇ、または、ゲイン値Ｇに関する制御信号ＣＳを外部から入力し、これらに応じて、動き判定制御部５の判定のための閾値ＴＨと現画像ＬＰＦ部６Ａのフィルタ特性との少なくとも一方を制御する。【選択図】図４
2010004266.tif 000002
【特許請求の範囲】
【請求項１】
時系列の画像信号を順次、記憶するメモリと、
前記メモリに入力する前の現画面信号を、与えられた混合比に応じて、前記メモリに記憶されている１画面前の前画面信号と混合し、当該混合によりノイズが低減された現画像信号を外部に出力すると共に、当該混合後の現画像信号を次の画像信号と混合するために前記メモリに記憶させる混合制御部と、
前記混合を行う前の現画像信号と、前記メモリに記憶された、少なくとも１画面前の前画像信号とから動き成分を抽出する動き成分抽出部と、
フィルタ特性が変更可能であり、前記動き成分からノイズを低減するローパスフィルタ部と、
前記動き成分を閾値と比較して動き判定を行い、動き判定の結果に応じて前記混合比を制御する動き判定制御部と、
を有し、
前記動き判定制御部および前記ローパスフィルタ部は、前記画像信号が前記混合制御部に入力される前に受けた増幅処理時のゲイン値に関する情報を外部から入力し、当該情報に応じて、前記閾値と前記フィルタ特性との少なくとも一方を制御する
動き適応型ノイズ低減装置。
【請求項２】
前記動き判定制御部は、上限を規定する所定のゲイン値以下の領域で、入力される前記ゲイン値が大きいほど動き判定の前記閾値を上げる制御を行う
請求項１に記載の動き適応型ノイズ低減装置。
【請求項３】
前記ローパスフィルタ部は、
フィルタ特性に応じてノイズ低減能力が異なる複数のローパスフィルタと、
前記複数のローパスフィルタのうち、前記ゲイン値に応じた何れか１つが、前記現画像信号の入力側と前記動き成分抽出部との間に接続されるように、前記複数のローパスフィルタを切り替えるスイッチと、
を有する
請求項１に記載の動き適応型ノイズ低減装置。
【請求項４】
前記ゲイン値が大きいほど前記ノイズ低減能力が大きく、前記ゲイン値が小さいほど前記ノイズ低減能力が小さいローパスフィルタを選択する選択信号が、前記スイッチに外部から印加される
請求項３に記載の動き適応型ノイズ低減装置。
【請求項５】
前記ローパスフィルタ部は、前記混合前の現画像信号を入力する現画像ローパスフィルタ部であり、
前記動き成分抽出部は、前記現画像ローパスフィルタ部からの現画像信号から、前記メモリに記憶された前画像信号を減算する減算器を有し、
前記メモリと前記減算器との間に、前記前画像信号の高周波成分をフィルタ特性に応じて除去する前画像ローパスフィルタ部が設けられている
請求項３に記載の動き適応型ノイズ低減装置。
【請求項６】
前記前画像ローパスフィルタ部は、
フィルタ特性に応じてノイズ低減能力が異なる複数の前画像ローパスフィルタと、
当該複数の前画像ローパスフィルタのうち、前記ゲイン値に応じた何れか１つが、前記メモリと前記動き成分抽出部との間に接続されるように、複数の前画像ローパスフィルタを切り替える前画像スイッチと、
を有する
請求項４に記載の動き適応型ノイズ低減装置。
【請求項７】
前記ゲイン値が大きいほど前記ノイズ低減能力が大きく、前記ゲイン値が小さいほど前記ノイズ低減能力が小さい前画像ローパスフィルタを選択する選択信号が、前記前画像スイッチに外部から印加される
請求項６に記載の動き適応型ノイズ低減装置。
【請求項８】
時系列の画像信号を順次、記憶するメモリと、
前記メモリに入力する前の現画面信号を、与えられた混合比に応じて、前記メモリに記憶されている１画面前の前画面信号と混合し、当該混合によりノイズが低減された現画像信号を外部に出力すると共に、当該混合後の現画像信号を次の画像信号と混合するために前記メモリに記憶させる混合制御部と、
前記混合前の現画像信号と、前記メモリに記憶された、少なくとも１画面前の前画像信号とから動き成分を抽出する動き成分抽出部と、
前記動き成分を閾値と比較して動き判定を行い、動き判定の結果に応じて前記混合比を制御する動き判定制御部と、
を有し、
前記動き判定制御部は、前記画像信号が前記混合制御部に入力される前に受けた増幅処理時のゲイン値に関する情報を外部から入力し、当該情報に応じて前記閾値を制御する
動き適応型ノイズ低減装置。
【請求項９】
時系列の画像信号を、与えられたゲイン値で増幅する増幅器と、
動き適応ノイズ低減回路と、
を有し、
前記動き適応ノイズ低減回路は、
時系列の画像信号を順次、記憶するメモリと、
前記増幅器で増幅後の現画面信号を、与えられた混合比に応じて、前記メモリに記憶されている前画面信号と混合し、当該混合によりノイズが低減された現画像信号を外部に出力すると共に、当該混合後の現画像信号を次の画像信号と混合するために前記メモリに記憶させる混合制御部と、
前記混合を行う前の現画像信号と、前記メモリに記憶された、少なくとも１画面前の前画像信号とから動き成分を抽出する動き成分抽出部と、
フィルタ特性が変更可能であり、前記動き成分からノイズを低減するローパスフィルタ部と、
前記動き成分を閾値と比較して動き判定を行い、動き判定の結果に応じて前記混合比を制御する動き判定制御部と、
を有し、
前記動き判定制御部および前記ローパスフィルタ部は、前記画像信号が前記混合制御部に入力される前に受けた増幅処理時のゲイン値に関する情報を外部から入力し、当該情報に応じて、前記閾値と前記フィルタ特性との少なくとも一方を制御する
画像信号処理装置。
【請求項１０】
撮像素子を含む画像入力部と、
前記撮像素子からの時系列の画像信号を、与えられたゲイン値で増幅する増幅器と、
増幅後の画像信号をデジタルに変換するＡＤ変換器と、
デジタルの画像信号に対し、画像の動きに適応してノイズを低減する動き適応ノイズ低減回路と、
を有し、
前記動き適応ノイズ低減回路は、
時系列の画像信号を順次、記憶するメモリと、
前記増幅器で増幅後の現画面信号を、与えられた混合比に応じて、前記メモリに記憶されている前画面信号と混合し、当該混合によりノイズが低減された現画像信号を外部に出力すると共に、当該混合後の現画像信号を次の画像信号と混合するために前記メモリに記憶させる混合制御部と、
前記混合を行う前の現画像信号と、前記メモリに記憶された、少なくとも１画面前の前画像信号とから動き成分を抽出する動き成分抽出部と、
フィルタ特性が変更可能であり、前記動き成分からノイズを低減するローパスフィルタ部と、
前記動き成分を閾値と比較して動き判定を行い、動き判定の結果に応じて前記混合比を制御する動き判定制御部と、
を有し、
前記動き判定制御部および前記ローパスフィルタ部は、前記ゲイン値に関する情報を外部から入力し、当該情報に応じて、前記閾値と前記フィルタ特性との少なくとも一方を制御する
画像入力処理装置。
【請求項１１】
与えられたゲイン値で増幅された画像信号を時系列で入力するステップと、
入力される現画面信号を、与えられた混合比に応じて、メモリに記憶されている、１画面前の前画面信号と混合するステップと、
前記混合によりノイズが低減された現画像信号を外部に出力すると共に、当該混合後の現画像信号を次の画像信号と混合するために前記メモリに記憶させるステップと、
前記混合前の現画像信号と、前記メモリに記憶された、少なくとも１画面前の前画像信号とから動き成分を抽出するステップと、
前記動き成分のノイズを低減するためのフィルタ処理を、フィルタ特性を変更可能に施すステップと、
前記動き成分を閾値と比較して動き判定を行うステップと、
前記動き判定の結果に応じて前記混合比を制御するステップと、
を含み、
前記ゲイン値の大きさに応じて、前記現画像信号に対するフィルタ処理時のフィルタ特性と、前記閾値との少なくとも一方を制御する
動き適応ノイズ低減方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えばフレーム単位の画像信号をメモリに記憶し、この画像信号を次の画像信号と所定の混合比で混合してノイズ低減を行い、混合比を画像の動きに応じて適応的に変化させる動き適応型ノイズ低減装置に関する。本発明は、動き適応型ノイズ低減回路と、それより前段の増幅器とを有する画像信号処理装置、あるいは、さらに撮像素子等を有する、カメラ装置等の画像入力処理装置に関する。また、本発明は動き適応ノイズ低減方法に関する。
【背景技術】
【０００２】
画像信号（映像信号ともいう）は、画面単位、より細かくは画素単位で時系列に色や輝度の情報を含む。一般に、１画面の表示期間や信号区間をフレーム（以下、単位「Ｆ」と表記する）と称する。また、この基本単位の画像を、以下、フレーム画像または１Ｆ画像と称する。
画像（特に動画）はフレーム間の相関性が高く、この相関性を利用してノイズを除去しながらも動画のボケを防止する技術として、動き適応ノイズ低減方法が知られている（例えば、特許文献１、２参照）。
【０００３】
この方法は、１Ｆ前の画像をフレームメモリに記憶させ、この画像を後続フレームの画像と所定の混合比で混合する。連続した画像は相関性が高く、動きの激しい動画でもある程度の相関性がある。これに対し、ノイズ成分は相関性が殆どない。このため、ノイズが含まれる連続した２フレームの画像を混合すると、ノイズ成分の一部が相殺されてノイズレベルが低減する。この画像混合と、混合後のメモリへの記憶とを、フレームメモリを経由した帰還経路で循環的に実行する。すると、例えば混合比が１：１（混合係数Ｋ＝0.5）でノイズレベルが１フレームごとに半減するとした場合、１０数〜数１０フレーム程度でノイズを十分抑圧できる。このような処理は、フレーム巡回型のノイズ低減フィルタリング、または、３次元ノイズ低減（３ＤＮＲ）と呼ばれる。
【０００４】
しかし、動画の場合に混合係数Ｋを大きくすると残像が発生する。このため、動画か静止画に応じて、混合係数Ｋを適応的に制御する必要がある。
この要望に応えるため、特許文献１、２に記載されている回路では減算器と動き判定部を有する。減算器は、動き成分を抽出するために、混合前の画像信号とフレームメモリ内の画像信号の差分をとる。動き判定部は、減算器から出力される動き成分に基づいて動き判定を行い、判定結果で混合係数Ｋを制御する。
【０００５】
また、この回路で動き成分の発生は、相関性が高いがノイズレベルが異なる連続した２つの画像信号の差分で行うため、動き成分には必然的にノイズ成分も含まれる。動き判定では、例えば動き成分が閾値に対して大きいときは動画、小さいときは静止画と判定する。このため、動き成分からノイズ成分を可能な限り除去しておくことが望ましい。
【０００６】
特許文献１、２に記載の回路は、ノイズ成分の除去のためのローパスフィルタ（ＬＦＰ）を有する点で共通する。
特許文献１に記載の回路では、減算器から出力される動き成分に対してローパスフィルタリングがかけられる。
一方、特許文献２に記載の回路では、減算器に入力される前の現画像信号に対してローパスフィルタリングがかけられる。
【特許文献１】特開平０５−３２８１７４号公報
【特許文献２】特開平０６−２２５１７８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
ローパスフィルタはノイズが多く含まれる高周波成分を除去するが、高周波成分にはノイズに限らず画像内の急峻なエッジ情報も含まれる。このため、強力なローパスフィルタリングを常時行うと、エッジ情報が欠落してぼけた画像になるという不都合が生じる。
したがって、ローパスフィルタのフィルタ特性で決まるノイズ低減能力はある程度、低く設定せざるを得ない。このため動き検出の精度を十分高くできず、その結果、画像混合と混合比変更を基本とする、フレーム巡回型のノイズ低減フィルタリングの性能や応答性が犠牲になる。逆に、動き成分のノイズを抑制してフレーム巡回型のノイズ低減フィルタリングの性能や応答性を上げるため、ローパスフィルタのノイズ低減能力を高くすると、画像のボケが発生する。
【０００８】
よって、特許文献１、２に記載の技術では、このトレードオフによる技術的な困難性を抱えている。その結果、通常は、画質優先の観点から、静止画や動きが小さい動画であっても混合係数Ｋを余り高くできず、結果として、ノイズ除去の速度が緩慢となることを余儀なくされている。
【０００９】
とくにカメラ装置等の画像入力処理装置では、入力画像の映像ソースの明るさ、即ち、入力画像信号のダイナミックレンジが、撮影環境に応じて大きく変動する。この変動が大きいと、以後の処理で精度低下や入力レンジ飽和などの問題が発生することから、信号レベルを一定に揃えるために画像信号を増幅器（ゲインアンプ）で可変増幅している。
しかし、ゲインアンプの増幅率（ゲイン値）が大きく変動すると、ノイズレベルも大きく変動する。このことを理由にノイズレベルが急激に増大することがあると、ノイズレベルの収束性が極端に低下しやすい。
【００１０】
本発明は、残像による画像のボケを招くことなくノイズ除去の速度（ノイズレベルの収束性）を高めることができる動き適応型ノイズ低減装置を提供するためのものである。
本発明は、上記動き適応型ノイズ低減装置と同じ機能の回路に増幅器を加えた画像信号処理装置、さらに撮像素子を含む画像入力部を加えた画像入力処理装置（例えばカメラ装置）を提供するためのものである。
本発明は、残像による画像のボケを招くことなくノイズレベルの収束性を高めることができる動き適応ノイズ低減方法を提供するためのものである。
【課題を解決するための手段】
【００１１】
本発明の第１の観点に関わる動き適応型ノイズ低減装置は、時系列の画像信号を順次、記憶するメモリと、前記メモリに入力する前の現画面信号を、与えられた混合比に応じて、前記メモリに記憶されている１画面前の前画面信号と混合し、当該混合によりノイズが低減された現画像信号を外部に出力すると共に、当該混合後の現画像信号を次の画像信号と混合するために前記メモリに記憶させる混合制御部と、前記混合を行う前の現画像信号と、前記メモリに記憶された、少なくとも１画面前の前画像信号とから動き成分を抽出する動き成分抽出部と、フィルタ特性が変更可能であり、前記動き成分からノイズを低減するローパスフィルタ部と、前記動き成分を閾値と比較して動き判定を行い、動き判定の結果に応じて前記混合比を制御する動き判定制御部と、を有する。前記動き判定制御部および前記ローパスフィルタ部は、前記画像信号が前記混合制御部に入力される前に受けた増幅処理時のゲイン値に関する情報を外部から入力し、当該情報に応じて、前記閾値と前記フィルタ特性との少なくとも一方を制御する。
【００１２】
本発明では好適に、前記動き判定制御部は、上限を規定する所定のゲイン値以下の領域で、入力される前記ゲイン値が大きいほど動き判定の前記閾値を上げる制御を行う。
【００１３】
あるいは好適に、前記ローパスフィルタ部は、フィルタ特性に応じてノイズ低減能力が異なる複数のローパスフィルタと、前記複数のローパスフィルタのうち、前記ゲイン値に応じた何れか１つが、前記現画像信号の入力側と前記動き成分抽出部との間に接続されるように、前記複数のローパスフィルタを切り替えるスイッチと、を有する。
また、さらに好適に、前記ローパスフィルタ部は、前記混合前の現画像信号を入力する現画像ローパスフィルタ部であり、前記動き成分抽出部は、前記現画像ローパスフィルタ部からの現画像信号から、前記メモリに記憶された前画像信号を減算する減算器を有し、前記メモリと前記減算器との間に、前記前画像信号の高周波成分をフィルタ特性に応じて除去する前画像ローパスフィルタ部が設けられている。この場合、好適に、前記前画像ローパスフィルタ部は、フィルタ特性に応じてノイズ低減能力が異なる複数の前画像ローパスフィルタと、当該複数の前画像ローパスフィルタのうち、前記ゲイン値に応じた何れか１つが、前記メモリと前記動き成分抽出部との間に接続されるように、複数の前画像ローパスフィルタを切り替える前画像スイッチと、を有する。
【００１４】
本発明の第３の観点に関する画像信号処理装置は、時系列の画像信号を、与えられたゲイン値で増幅する増幅器と、動き適応ノイズ低減回路と、を有する。前記動き適応ノイズ低減回路は、時系列の画像信号を順次、記憶するメモリと、前記増幅器で増幅後の現画面信号を、与えられた混合比に応じて、前記メモリに記憶されている前画面信号と混合し、当該混合によりノイズが低減された現画像信号を外部に出力すると共に、当該混合後の現画像信号を次の画像信号と混合するために前記メモリに記憶させる混合制御部と、前記混合を行う前の現画像信号と、前記メモリに記憶された、少なくとも１画面前の前画像信号とから動き成分を抽出する動き成分抽出部と、フィルタ特性が変更可能であり、前記動き成分からノイズを低減するローパスフィルタ部と、前記動き成分を閾値と比較して動き判定を行い、動き判定の結果に応じて前記混合比を制御する動き判定制御部と、を有する。前記動き判定制御部および前記ローパスフィルタ部は、前記画像信号が前記混合制御部に入力される前に受けた増幅処理時のゲイン値に関する情報を外部から入力し、当該情報に応じて、前記閾値と前記フィルタ特性との少なくとも一方を制御する。
【００１５】
以上の第１または第３の観点では、当該動き適応型ノイズ低減装置（回路）に対し、時系列で画像信号が入力される。この画像信号は、前段の処理によって増幅された信号である。その増幅時のゲイン値に関する情報が、当該動き適応型ノイズ低減装置に外部から入力される。この情報は、例えば、ゲイン値そのもの、または、ゲイン値に応じて変化する制御信号である。
【００１６】
入力された画像信号は、この信号に時系列に含まれる画像の単位で、混合制御部によりノイズが低減された後、メモリに記憶される。
混合制御部は、処理対象の画像信号（現画像信号）を、与えられた混合比に応じて、メモリに記憶されている１画面前の前画面信号と混合する。そして、混合制御部は、当該混合によりノイズが低減された現画像信号を外部に出力する。これと同時に、混合制御部は、当該混合後の現画像信号を次の画像信号と混合するためにメモリに記憶させる。
【００１７】
一方、動き適応型ノイズ低減装置（回路）は、上記混合制御部の動作と並列に、動きに応じて混合比を制御するための構成として、ローパスフィルタ部と、動き成分抽出部と、動き判定部とを有する。
動き成分抽出部は、混合の前の現画像信号と、メモリに記憶された、少なくとも１画面前の前画像信号とから動き成分を抽出する。例えば、動き成分抽出部は、画面の画素ごとの差分をとり、その１画面分の積算値を動き成分とする。
ローパスフィルタ部は、例えば、混合を行う前の現画像信号、あるいは、動き成分を入力して、ノイズ低減のためのフィルタ処理を行う。
動き判定制御部は、動き成分を閾値と比較して動き判定を行い、動き判定の結果に応じて混合比を制御する。
【００１８】
このため、動き成分が相対的に多い動画の場合、例えば混合比をより小さくすることで、残像が発生しにくくなる。このとき動画であるため、混合比を小さくしてもノイズは目立たない。
一方、動き成分が相対的に少ない静止画の場合、例えば混合比をより大きくして、ノイズ低減を優先させる。このとき静止画であるため、残像とは無関係である。
なお、混合比を小さくすべき動画と静止画の中間、つまり動きが小さい動画の場合は、上記の中間の混合比に設定して、ノイズ低減と残像抑制をバランスさせる。
【００１９】
本発明では、外部から入力されるゲイン値に関する情報に応じた、動き適応型ノイズ低減処理が実行される。
具体的に、この処理は、ゲイン値に応じて動き判定制御部の閾値を制御する場合と、ゲイン値に応じた制御信号等により、（現画像）ローパスフィルタ部のフィルタ特性を変化させる場合と、その両方を行う場合とがある。
ここでゲイン値が大きい場合は、前段の増幅器でノイズも増幅されて、画像信号に含まれるノイズレベルが大きい。逆に、ゲイン値が小さい場合は、前段の増幅器でノイズは余り増幅されないため、画像信号に含まれるノイズレベルが小さい。
【００２０】
この制御は、閾値とノイズレベルとの関係の適正制御を目的とする。つまり、適正制御のためには、ノイズレベルが大きいときは閾値を上げるか、ノイズレベルを抑制する必要がある。逆に、ノイズレベルが小さいときは、閾値を下げても誤判定しない余裕が生まれる。
本発明では、ゲイン値に応じた閾値制御と、フィルタ特性を変化させてノイズレベルを低減する制御との少なくとも一方を行うことで、上記適正制御を実現する。これにより、ノイズレベルによって閾値を用いた動き判定の精度が低下することが防止され、閾値を大きく変動させる適応制御の幅が広がり、結果として、ノイズ低減の速度が上がる。
【００２１】
本発明の第２の観点に関わる動き適応型ノイズ低減装置は、時系列の画像信号を順次、記憶するメモリと、前記メモリに入力する前の現画面信号を、与えられた混合比に応じて、前記メモリに記憶されている１画面前の前画面信号と混合し、当該混合によりノイズが低減された現画像信号を外部に出力すると共に、当該混合後の現画像信号を次の画像信号と混合するために前記メモリに記憶させる混合制御部と、前記混合前の現画像信号と、前記メモリに記憶された、少なくとも１画面前の前画像信号とから動き成分を抽出する動き成分抽出部と、前記動き成分を閾値と比較して動き判定を行い、動き判定の結果に応じて前記混合比を制御する動き判定制御部と、を有する。前記動き判定制御部は、前記画像信号が前記混合制御部に入力される前に受けた増幅処理時のゲイン値に関する情報を外部から入力し、当該情報に応じて前記閾値を制御する。
【００２２】
本発明の第４の観点に関わる画像入力処理装置は、上記第１および第３の観点に関わる動き適応型ノイズ低減装置（回路）に加え、撮像素子を含む画像入力部と、前記撮像素子からの時系列の画像信号を、与えられたゲイン値で増幅する増幅器と、増幅後の画像信号をデジタルに変換するＡＤ変換器とが追加されている。
なお、上記第２に関わる動き適応型ノイズ低減装置を、上記第４の観点と同様に、画像入力処理装置へ適用することが可能である。
【００２３】
このような画像入力処理装置は、カメラ装置が好適である。カメラ装置の場合、撮像素子から出力される信号のレベルは、被写体の明るさに応じて非常に大きなダイナミックレンジを有する。よって、増幅器におけるゲイン値もダイナミックに変動し、その結果、画像信号内のノイズレベルも大きく変動する。
よって、本発明によって、上述したように、閾値を大きく変動させる適応制御の幅が広がり、結果として、ノイズ低減の速度が上がることが、製品性能の向上に顕著に寄与する。
【００２４】
本発明の第５の観点に関わる動き適応ノイズ低減方法は、与えられたゲイン値で増幅された画像信号を時系列で入力するステップと、入力される現画面信号を、与えられた混合比に応じて、メモリに記憶されている、１画面前の前画面信号と混合するステップと、前記混合によりノイズが低減された現画像信号を外部に出力すると共に、当該混合後の現画像信号を次の画像信号と混合するために前記メモリに記憶させるステップと、前記混合前の現画像信号と、前記メモリに記憶された、少なくとも１画面前の前画像信号とから動き成分を抽出するステップと、前記動き成分のノイズを低減するためのフィルタ処理を、フィルタ特性を変更可能に施すステップと、前記動き成分を閾値と比較して動き判定を行うステップと、前記動き判定の結果に応じて前記混合比を制御するステップと、を含み、前記ゲイン値の大きさに応じて、前記現画像信号に対するフィルタ処理時のフィルタ特性と、前記閾値との少なくとも一方を制御する。
【発明の効果】
【００２５】
本発明によれば、残像による画像のボケを招くことなくノイズ除去の速度（ノイズレベルの収束性）を高めることができる動き適応型ノイズ低減装置を提供できる。
本発明によれば、上記動き適応型ノイズ低減装置と同じ機能の回路に増幅器を加えた画像信号処理装置、さらに撮像素子を含む画像入力部を加えた画像入力処理装置（例えばカメラ装置）を提供することができる。
本発明によれば、残像による画像のボケを招くことなくノイズレベルの収束性を高めることができる動き適応ノイズ低減方法を提供することができる。
【発明を実施するための最良の形態】
【００２６】
以下、本発明の実施形態を、信号処理回路、ＩＣ部品や基板等の回路を実現する装置、当該回路や装置を搭載したカメラ装置を例として、図面を参照して説明する。
なお、本発明の実施形態におけるノイズ低減のための制御は、外部から入力されるゲイン値に関する情報に応じた制御であることが大きな特徴の１つである。そして、その制御には、動き判定の閾値を制御する場合、動き成分からノイズを低減するためのフィルタ特性を制御する場合、その両方を制御する場合がある。
以下、この３つの場合を、より詳細な実施形態に分けて順に説明する。
【００２７】
《第１実施形態》
図１は、第１実施形態に関わる動き適応型ノイズ低減装置のブロック図である。
図１に図解する動き適応型ノイズ低減装置１Ａは、フレーム単位で画像を記憶するフレームメモリ（ＦＭ）２と、混合制御部３と、動き成分抽出部としての減算器４と、動き判定制御部（ＭＤ）５とを有する。
【００２８】
図１に図解するフレームメモリ２、混合制御部３、減算器４および動き判定制御部５は、不図示のＣＰＵ等の統括制御部により統括管理されて、それぞれ所定の処理を実行する。本発明で「混合制御部」というとき、混合制御部３とこれを制御する統括制御部を含む。また、本発明で「動き判定制御部」というとき、動き判定制御部５とこれを制御する統括制御部を含む。
【００２９】
混合制御部３は、第１乗算器３１、第２乗算器３２、および、混合部としての加算器３３を有する。
フレームメモリ２は、混合制御部３の出力、より詳細には加算器３３の出力から、画像信号を順次入力し、フレーム単位で記憶する。
【００３０】
図１の状態では、現画像信号ＰＳ(ｆ)が、動き適応型ノイズ低減装置１Ａに入力され現在の処理対象となる。このとき、現画像信号ＰＳ(ｆ)より１画面(１Ｆ)前の前画像信号ＰＳ(ｆ−１)が、第１乗算器３１にフレームメモリ２から読み出されて入力される。ここで、符号“ｆ”は、現画像信号（または、現フレーム画像）の識別番号を表し、“ｆ−１”は、１Ｆ前の前画像信号（または、１Ｆ前のフレーム画像）であることを表す。この表記は、以下の説明でも同様とする。
第１乗算器３１は、入力される前画像信号ＰＳ(ｆ−１)に混合比(Ｋ（＜１）)を乗じて、出力する。
【００３１】
第２乗算器３２は、“１”における混合比(Ｋ)の補数(Ｋ−１)（以下、混合逆比という）を、入力される現画像信号ＰＳ(ｆ)に乗じて、出力する。
加算器３３は、第１乗算器３１からの出力と、第２乗算器３２からの出力を加算（混合）し、外部に出力する。このときフレームメモリ２は、入力に与えられている画像信号（フレーム画像）が切り替わったので、その混合後の現画像信号を取り込み、一時的に記憶する。
なお、フレームメモリ２は画面(Ｆ)単位で記憶するといっても、その記憶容量がフレームの自然数倍（実際は１倍で十分）であるとの意味である。画像信号は画素ごとのデータの集合であり、混合制御部３における加算や乗算は、画面内のアドレスが同じ画素ごとのデータ間で行われる。よって、加算器３３からは混合後の画素ごとのデータが時系列で出力される。フレームメモリ２は、この出力された画素ごとのデータを、順次入力して記憶する。同様に、フレームメモリ２からは画素ごとのデータが順次、第１乗算器３１に出力される。
【００３２】
第１乗算器３１が乗算する混合比(Ｋ)、第２乗算器３２が乗算する混合逆比(１−Ｋ)は、動き判定制御部５により制御される。
動き判定制御部５は、閾値によって動画か静止画を判断する。動きの程度に応じたより細かい制御のためには、閾値は複数存在することが望ましい。
【００３３】
動き成分抽出部は、動き無し（静止画の場合）も含めた動きの程度を示す動き成分を、画像信号から抽出する。動き成分の抽出法は、特に限定する必要はないが、ここでは連続する２つのフレーム画像の差分をとるものである。よって、ここでの動き成分抽出部は減算器４そのものである。減算器４は、混合前の現画像信号ＰＳ(ｆ)を入力し、また、フレームメモリ２からの前画像信号を入力する。
なお、画像混合時に用いるフレームメモリ２内の信号は前画像信号ＰＳ(ｆ−１)であるが、動き成分検出時には、その必要性は小さい。動き検出の仕方が種々あるため、現フレームより複数フレームの前の画像を用いるなどの変形が可能だからである。ここでは、動き成分抽出部を１つの減算器４から構成している関係上、１Ｆ前の前画像信号ＰＳ(ｆ−１)を減算器４に入力させている。
【００３４】
減算器４は、現画像信号ＰＳ(ｆ)と前画像信号ＰＳ(ｆ−１)との差分をとって、動き成分ΔＳを、動き判定制御部５に出力する。動き判定制御部５は、得られた動き成分ΔＳの大きさに応じて混合比(Ｋ)を制御する。
【００３５】
本実施形態では、動き判定制御部５は、外部からゲイン値Ｇを入力し、このゲイン値Ｇに応じて混合比(Ｋ)を制御する。
入力する情報はゲイン値Ｇそのものに限らず、ゲイン値に応じたものであればよい。例えば、動き成分ΔＳとゲイン値Ｇとの組み合わせから一の混合比(Ｋ)を特定する方法としては、動き成分ΔＳとゲイン値Ｇを入力として、混合比(Ｋ)を出力とするテーブル（メモリ)を利用することもできる。その場合、入力する情報はゲイン値Ｇに応じたメモリのアドレスでもよい。
【００３６】
しかし、テーブルを用いる場合、動き成分ΔＳとゲイン値Ｇは種々の値を有するため、その組み合わせ全部に対して混合比(Ｋ)を設定するのは実用的でない。また、混合制御部３の動作速度（リアルタイム処理性能）を考慮すると、一般には、混合比(Ｋ)を必要以上に細かく制御することも避けたい。よって、ある幅、例えば0.1のピッチで混合比(Ｋ)を変化させ、一の混合比(Ｋ)に対応する動き成分ΔＳ、ゲイン値Ｇおよびその組み合わせにも、幅を持たせたテーブルのデータ格納構造とするとよい。
【００３７】
この一の混合比(Ｋ)に対応する、入力情報に幅を持たせる場合、入力情報の幅が閾値で規定される。そして、ある動き成分ΔＳに対しては混合比(Ｋ)が例えば0.2であるとする。この場合、本実施形態では、もうひとつの入力情報（ゲイン値Ｇ、または、ゲイン値に関する情報）がパラメータとして与えられると、その値に応じて、本来0.2であった混合比(Ｋ)が、例えば0.1になり、逆に、0.3になるなど、出力が変化する。このことは、仮想的に、混合比(Ｋ)の入力に対する出力を決める閾値が変化していることと等価とみなせる。
本実施形態は、このようなテーブルを用いる場合も含めて、「ゲイン値に関する情報に応じて閾値が変化すること」が制御の特徴である。
【００３８】
ただし、テーブルを利用する上記の方法では記憶するパラメータ数が多くて、回路規模やコストの増加が生じる。
よって、以下に、処理時にメモリ資源を殆ど必要としない実用的で、より望ましい混合比の制御方法を説明する。
【００３９】
図２は、ゲイン値Ｇと閾値ＴＨとの関係をグラフ化した図である。
図２の横軸はゲイン値Ｇ[dB]を示し、図２の縦軸は閾値ＴＨを示す。本実施形態において、図２に示すように、大局的には、ゲイン値Ｇが大きいほど閾値ＴＨも大きくなる制御が行われる。
ただし、ゲイン値Ｇが十分小さいときはノイズレベルも小さいと推定されるため、閾値ＴＨを変える必要性に乏しい。このとき、処理負担が無駄に増えることを避けるため、閾値ＴＨの変化は、例えば小さい方から２番目のパラメータＰ１（ゲイン値が18[dB]）を制御のスタートポイント(ＳＰ)としている。
【００４０】
一方、ゲイン値が例えば50[dB]付近以上となると、この領域ではノイズレベルが非常に大きいと推定されるため、本来なら、混合比(Ｋ)も大きくしてノイズ低減速度を上げる必要がある。
しかし、混合比(Ｋ)を大きくするために閾値ＴＨを大きくし過ぎると、残像が出やすくなる。残像は目に付きやすいため、ノイズ低減速度を多少犠牲にして、残像の発生防止を優先することが得策である。よって、本実施形態では、制御のエンドポイント（ＥＰ）を、例えば50[dB]付近のパラメータＰ５として、それ以上のゲイン値では閾値ＴＨを一定としている。
【００４１】
図２において黒丸が、図１に示す動き判定制御部５内部や、不図示のメモリやレジスタ（例えば統括制御部内のレジスタ）に予め設定する記憶パラメータを表す。また、本実施形態では、メモリ量を低減するために、スタートポイント(ＳＰ)とエンドポイント（ＥＰ）間のパラメータＰｘ２〜Ｐｘ４は、例えば補間処理によって計算で求める。この計算により求めるパラメータを算出パラメータと呼び、これを図２では白丸により表している。
【００４２】
また、図２の縦軸上に、各パラメータに対応した閾値ＴＨを、符号ＴＨ１,ＴＨ２,ＴＨ３,ＴＨ４,ＴＨ５により示している。そして具体的な例として、閾値ＴＨ１は混合比(Ｋ)が0.1の区分の上限であり、閾値ＴＨ２は混合比(Ｋ)が0.2の区分の上限であることを、図２に添えて示している。同様に、閾値ＴＨ３は混合比(Ｋ)が0.3の区分の上限であり、閾値ＴＨ４は混合比(Ｋ)が0.4の区分の上限であり、閾値ＴＨ５は混合比(Ｋ)が0.5の区分の上限である。
【００４３】
図１に示す動き判定制御部５（および不図示の統括制御部）は、減算器４から出力される動き成分ΔＳが変化すると、初期カーブＣ０を、例えば図２に破線で示すカーブＣ１のように変化させる。より詳細には、動き成分ΔＳが大きくなると、その増加幅に応じて、エンドポイント（ＥＰ）の記憶パラメータＰ５の変化倍率を大きくするか、または、そのような大きな値の記憶パラメータＰ５をメモリ等から読み出して用いる。そして、スタートポイント(ＳＰ)とエンドポイント（ＥＰ）間の３つの算出パラメータＰｘ２〜Ｐｘ４は、例えば線形補間により計算で求める。補間処理は線形補間に限らないが、これらのパラメータはエンドポイント（ＥＰ）と同じ比率で動かせばよいため、線形補間で求めても精度としては十分である。
なお、図２に示す初期カーブＣ０が静止画に対応する場合、動きが大きくなる向きしか存在しないため、カーブが変化する向きは図２に示す正の向きのみである。これに対し、初期カーブＣ０を、カメラで平均的な動きの程度に合わせて中間レベルに設定してもよい。この場合、動き成分ΔＳに応じてカーブは正または負の向きに変化する。さらに、ユーザ操作やモードに応じて初期カーブのポジションを任意に設定してもよい。
【００４４】
図３（Ａ）は、制御例を示すフローチャートである。
ノイズリダクション（ＮＲ）処理が開始すると、図３（Ａ）に示すステップＳＴ０で初期値がロードされる。
初期値には、例えば図２に示すスタートポイント(ＳＰ)の位置情報と、エンドポイント（ＥＰ）の位置情報を含む。ここで位置情報とは、図２に示すゲイン値Ｇと閾値ＴＨによる２次元座標情報を指す。ただし、単なる位置情報のみならず、例えばＰ０とするかＰ１とするか等の選択情報も、初期値に含めてよい。
また、初期値には、エンドポイント（ＥＰ）となるパラメータＰ５の変化倍率Ｒを含む。この変化倍率Ｒはデフォルトでは１倍に相当する値に設定されている。ただし、残像が発生することよりも、ノイズの収束速度が遅いことを優先する場合や、残像を意図的に出す画像効果の設定などを行う場合など、ユーザやモードに応じて初期値の変化倍率Ｒを１倍から変化させる設定も可能である。
これらの初期値は、図１の動き判定制御部５の内部または外部のメモリ、不図示の統括制御部内の保存レジスタ等から、計算のためのレジスタに読み出される。
【００４５】
初期値のロードが終了すると、図１に示す動き判定制御部５または不図示の統括制御部は、ステップＳＴ１にて、算出パラメータＰｘ２〜Ｐｘ４を計算する。これにより、図２に示す初期カーブＣ０が確定する。
この計算では、一例として、例えば閾値ＴＨ２を閾値ＴＨ１の２倍（６[dB]のゲイン）、閾値ＴＨ３を閾値ＴＨ２の２倍（６[dB]のゲイン）とする。ゲイン値Ｇも２倍の６[dB]ごとの変化するパラメータを求める。動き判定制御部５または統括制御部は、この計算手法で、初期の算出パラメータＰｘ２〜Ｐｘ４を算出する。
【００４６】
つぎに、ステップＳＴ２にて、動き判定制御部５は、入力される情報からゲイン値Ｇをチェックする。続くステップＳＴ３にて、動き判定制御部５は、確定された初期カーブＣ０を参照して、チェックにより確認されたゲイン値Ｇに対応する閾値ＴＨで規定された混合比(Ｋ)の区分を特定する。この区分に対応して混合比(Ｋ)が決められており、動き判定制御部５は制御すべき混合比(Ｋ)を知る。
動き判定制御部５は、現在、第１乗算器３１や第２乗算器３２に出力している混合比(Ｋ)が、この新たに知った混合比(Ｋ)と同じなら、混合比の出力を変化させない。出力している混合比(Ｋ)が、この新たに知った混合比(Ｋ)と異なるなら、動き判定制御部５は、その出力値を、新たに知った混合比(Ｋ)に変更する。その場合、第１乗算器３１や第２乗算器３２で画像信号に乗算すべき係数が変化する。
【００４７】
次のステップＳＴ４で、動き判定制御部５は、減算器４からの動き成分ΔＳに変化が生じたかをチェックする。このチェックは、ステップＳＴ２の前で行ってもよい。いずれにしても、動き成分ΔＳが変化すると、動き判定制御部５は、その変化後の動き成分ΔＳに応じて変化倍率Ｒを変更する。この変更では、動き成分ΔＳに対し変化倍率Ｒを単純に比例させてよい。動き成分ΔＳに対し変化倍率Ｒを非線形に変化せてもよい。また、計算によらず、動き成分ΔＳに応じて変更すべき変化倍率Ｒをテーブルで求めてもよい。この動き成分ΔＳに応じて変化倍率Ｒを変更するときの感度を、ユーザ設定等で変化させてもよい。
【００４８】
続くステップＳＴ５で、例えば統括制御部がユーザ操作やモード変化によって、初期値を変化すべきかが監視される。この監視は、ステップＳＴ４の後に限らず、図３（Ａ）の任意の位置で行ってよい。つまり、初期値を変化すべきかどうかを、バックグラウンドで常時監視してよい。
初期値を変化すべきときは、処理をステップＳＴ０に戻し、必要な初期値のロードを行う。すると、新たな初期値に対して処理がステップＳＴ１から開始する。
なお、図３（Ｂ）に示すように、バックグラウンドでノイズリダクションの終了指示が監視されており、この指示があると図３（Ａ）に示す処理が強制終了する。
【００４９】
本実施形態によれば、動き成分ΔＳに応じて混合比(Ｋ)を変化させるときに、ゲイン値Ｇも変化のパラメータとして用いる。このとき、画像信号を増幅時のゲイン値Ｇが大きいときはノイズレベルが大きく、ゲイン値Ｇが小さいときはノイズレベルも小さいことを巧みに利用する。
つまり、ゲイン値Ｇが大きくなるにしたがって、全体としては、混合比(Ｋ)も大きくなるように変化させる。これにより、ノイズレベルが上がってくると混合比(Ｋ)が大きくなって、ノイズ低減の（収束）速度を高くする。逆に言うと、ノイズレベルが小さいときは、混合比(Ｋ)を低いままにしておくことができるため、残像を防止できる。
【００５０】
一方、速い動きの動画に対して混合比(Ｋ)をあまり高くし過ぎると、残像が目立って画質が低下する。よって、動き成分ΔＳが大きくなるに従って閾値ＴＨの区分を間延びさせて混合比(Ｋ)の変化感度を落とす。これにより、同じノイズレベル（ゲイン値）に対して、動き成分ΔＳが大きくなっても混合比(Ｋ)が低いままに抑えられるか、上昇しても小さい幅でしか上昇しないため残像の発生を有効に防止する。
このように、本実施形態では、残像の発生を有効に防止しながらも、ノイズ低減の速度を上げることが可能となる。
【００５１】
《第２実施形態》
図４は、第２実施形態に関わる動き適応型ノイズ低減装置のブロック図である。
図４に図解する動き適応型ノイズ低減装置１Ｂは、第１実施形態に関わる動き適応型ノイズ低減装置１Ａ（図１）と同様に、フレームメモリ２、混合制御部３、減算器４および動き判定制御部５を有する。
ただし、第２実施形態における動き判定制御部５にはゲイン値Ｇが入力されていない。図４に示す動き判定制御部５および不図示の統括制御部は、例えば、混合比(Ｋ)を閾値（動き成分値）で区分したものに対して、減算器４から入力される動き成分ΔＳに応じて、何れかの区分に属する一の混合比(Ｋ)を決める制御を実行する。このとき、図４に示す動き判定制御部５は、図２および図３に示すような、ゲイン値Ｇに応じた閾値制御は行わない。
【００５２】
このゲイン値Ｇに応じた閾値制御に代わる制御を行う構成として、図４に示す動き適応型ノイズ低減装置１Ｂは、現画像ＬＰＦ部６Ａを有する。
現画像ＬＰＦ部６Ａは、混合前の現画像信号ＰＳ(ｆ)が減算器４に入力する経路途中に設けられている。現画像ＬＰＦ部６Ａは、複数のローパスフィルタＬＰＦ１ａ,ＬＰＦ２ａ,…と、１つのスイッチ６１Ａとを含む。スイッチ６１Ａは、複数のローパスフィルタＬＰＦ１ａ,ＬＰＦ２ａ,…と減算器４との間、即ち現画像信号の出力側に設けられている。スイッチ６１Ａは、現画像信号の入力側に設ける変形も可能である。
スイッチ６１Ａに対して、外部から制御信号ＣＳが入力される。制御信号ＣＳは「ゲイン値Ｇに関係する情報」として、例えば、不図示の統括制御部で発生した信号である。
【００５３】
複数のローパスフィルタＬＰＦ１ａ,ＬＰＦ２ａ,…は、フィルタ特性が互いに異なるように形成されている。例えば、複数のローパスフィルタＬＰＦ１ａ,ＬＰＦ２ａ,…は、ＬＰＦを強くかける（ノイズ低減能力が高い）ものと、弱くかける（ノイズ低減能力が低い）ものとを含む。
このような能力差は、例えば、フィルタのタップ数を増やす、あるいは、フィルタ係数セットの変更等により実現される。
【００５４】
図４に示す動き適応型ノイズ低減装置１Ｂの基本動作は、動き判定制御部５がゲイン値Ｇに応じて閾値制御を行わない点を除くと、第１実施形態で説明した動作と同じである。よって、第１実施形態と第２実施形態が共通する動作の説明は省略する。
【００５５】
以下、第２実施形態において、新たに設けた現画像ＬＰＦ部６Ａの動作と、フィルタ特性が変更可能な現画像ＬＰＦ部６Ａを設けたことの利点（効果）とを説明する。最初に、「ＬＦＰを設けたこと自体の効果」に関して説明する。
動き判定制御部５では、複数の閾値を用いて動き成分ΔＳと混合比(Ｋ)の対応関係が予め決められている。この対応関係を決める際に、閾値に対する動き成分ΔＳのノイズマージンを大きくとると、その分、各閾値が高めに設定されるため、全体として、混合比(Ｋ)が必要以上に低くなる傾向がある。
【００５６】
一方、ＬＰＦを設けると、ＬＰＦを設けない場合に比べ、動き成分ΔＳからノイズレベルが低減される。そのため、閾値に対する動き成分ΔＳのノイズマージンを劇的に小さくできる。よって、ノイズマージン起因で全体として混合比(Ｋ)が必要以上に低くなることが防止される。結果として、ＬＰＦを設けると混合比(Ｋ)が高くなってノイズ低減の収束性が向上する。
なお、大きな動きを検出すると、動き判定制御部５は混合比(Ｋ)を小さくする。この制御は、ＬＦＰを設けたことにより混合比(Ｋ)が上がることとは、独立した制御である。
【００５７】
第２実施形態では、「ＬＰＦを設けたこと」に加え、「フィルタ特性の変更」が可能である。以下、「フィルタ特性を変更できること」の効果を、現画像ＬＰＦ部６Ａの動作とともに説明する。
第２実施形態では、ゲイン値Ｇが大きくてノイズ成分も大きいと推測できるときは、不図示の統括制御部が、ノイズ低減能力が高いＬＰＦ側にスイッチ６１Ａが切り替えられるように、制御信号ＣＳを制御する。逆に、ゲイン値Ｇが小さくてノイズ成分も小さいと推測できるときは、不図示の統括制御部が、ノイズ低減能力が低いＬＰＦ側にスイッチ６１Ａが切り替えられるように、制御信号ＣＳを制御する。これにより、減算器４から出力される動き成分ΔＳからノイズ成分が効果的に抑圧される。
【００５８】
一方、ローパスフィルタ(ＬＰＦ)が１つしかない場合、ノイズ成分が増大したときのことを想定して、ノイズ低減能力がある程度大きなＬＰＦとする必要がある。
このような強力なＬＰＦは、入力信号の高周波成分を十分に抑圧する。このため、ＬＦＰを通した画像は、ノイズ成分の低減とともに、輝度差が大きい画像情報（エッジ情報）が大きく欠落する。この欠落によって、画像信号波形では、例えば黒から白に変化する輝度差が大きな画像箇所で波形の立ち上がりや立下りのエッジが急峻でなくなる。この強力なＬＦＰを通すことでエッジの急峻性が低下した画像信号は、他の画像信号と減算器４で減算され、動き成分ΔＳを発生させるために用いられる。このため、強力なＬＰＦによるエッジ情報の欠落が、動き成分ΔＳに誤差を与える。動き成分ΔＳの誤差が大きいと、それだけ混合比(Ｋ)を決める制御で誤判定の確率が高くなるため望ましくない。
【００５９】
ここで強力なＬＰＦによるエッジ情報の欠落が発生すると、前画像に対して現画像が遅れた場合と同じような影響（あるいは誤差）を動き成分ΔＳに与える。より詳細には、波形のエッジが急峻でなくなると、実効的な波形位置も時間的に遅れ、動き成分ΔＳが、エッジ情報が欠落していない場合より大きくなる。このため、強力なＬＰＦによるエッジ情報の欠落が発生したこと自体が、動き判定制御部５によって動き量が大きくなった場合と同様に判断される。したがって、動き判定制御部５は、残像を防止するために混合比(Ｋ)を、より小さくする制御を行うため、必要以上にノイズ低減速度が低下する。
【００６０】
これに対し、第２実施形態で新たに設けた現画像ＬＰＦ部６Ａは、ノイズ成分が大きなときだけ強力なＬＰＦをかけ、ノイズ成分が小さいときはＬＰＦのノイズ低減能力を実質的に下げる。言い換えると、現画像ＬＰＦ部６Ａは、ノイズの大きさに適応して必要なだけ高周波成分を抑圧する制御を行うことができる。
このことは、ＬＦＰを設けたこと自体の効果と相俟って、特にノイズレベルが小さいときに、ＬＰＦを、より弱いものに変更することによってエッジ情報の欠落を防止する。そのため、上述したＬＰＦ処理の弊害である、エッジ情報の欠落に起因してノイズ低減速度が必要以上に低下することが、有効に防止される。
【００６１】
ノイズレベルが上がってくると、より強力なＬＰＦ処理がかかるようになり、エッジ情報が欠落する。このため、エッジ情報の欠落に起因してノイズ低減速度が必要以上に低下することは避けられない。しかし、ノイズレベルが極端に上がるのは撮像環境の照度が極端に不足する場合に限られる。また、この不利益よりも、大きなノイズを速やかに低減して、そのとき誤判定が起きないという利益が大きい。また、第２実施形態では、動き成分ΔＳの閾値に対するノイズマージンを劇的に減らすことができる。したがって、ノイズマージンに起因して混合比(Ｋ)が必要以上に高くなり、その結果、残像が大きいという不利益が防止される。
【００６２】
以上より、第２実施形態では、ＬＰＦを設けない場合に比べると、ノイズ低減の収束性は向上している。また、ＬＰＦのフィルタ特性を固定にする場合に比べると、ＬＰＦ処理の弊害であるエッジ情報の欠落を全体として防止できる。この場合、結果的に、さらにノイズ低減の収束性が向上する。また、ノイズマージン起因の残像発生を防止して、残像を減らすことができる。
以上より、第２実施形態に関わる動き適応型ノイズ低減装置１Ｂは、第１実施形態と同様な利点、すなわち、残像の発生を防止しながらノイズ低減の収束性を向上するという利点がある。
【００６３】
《第３実施形態》
図５は、第３実施形態に関わる動き適応型ノイズ低減装置のブロック図である。
図５に図解する動き適応型ノイズ低減装置１Ｃは、第２実施形態に関わる動き適応型ノイズ低減装置１Ｂ（図４）と比べると、さらに、前画像ＬＰＦ部６Ｂが追加されている。他の構成は第１および第２実施形態と共通するため、ここでの説明を省略する。
【００６４】
前画像ＬＰＦ部６Ｂは、フレームメモリ２と減算器４との間に設けられている。前画像ＬＰＦ部６Ｂは、複数のローパスフィルタＬＰＦ１ｂ,ＬＰＦ２ｂ,…と、１つのスイッチ６１Ｂとを含む。スイッチ６１Ｂは、複数のローパスフィルタＬＰＦ１ｂ,ＬＰＦ２ｂ,…と減算器４との間、即ち現画像信号の出力側に設けられている。スイッチ６１Ｂは、前画像信号の入力側に設ける変形も可能である。
スイッチ６１Ｂに対して、外部から制御信号ＣＳが入力される。制御信号ＣＳは「ゲイン値Ｇに関係する情報」として、例えば、不図示の統括制御部で発生した信号である。
【００６５】
複数のローパスフィルタＬＰＦ１ｂ,ＬＰＦ２ｂ,…は、フィルタ特性が互いに異なるように形成されている。例えば、複数のローパスフィルタＬＰＦ１ｂ,ＬＰＦ２ｂ,…は、ＬＰＦを強くかける（ノイズ低減能力が高い）ものと、弱くかける（ノイズ低減能力が低い）ものとを含む。
このような能力差は、例えば、フィルタのタップ数を増やす、あるいは、フィルタ係数セットの変更等により実現される。
【００６６】
フィルタ特性が異なる複数のＬＰＦを有すること自体は、現画像ＬＰＦ部６Ａと前画像ＬＰＦ部６Ｂで共通する。
ただし、現画像と前画像では混合制御部３を通った後と前の違いがあり、ノイズレベルが異なる。よって、その点を考慮して、対応する各ＬＰＦのノイズ除去性能が前画像ＬＰＦ部６Ｂで現画像ＬＰＦ部６Ａより低くなるように、前画像ＬＰＦ部６Ｂと現画像ＬＰＦ部６Ａを形成してもよい。あるいは、不図示の統括制御部が、混合制御部３によるノイズ低減の程度（具体的には混合比(Ｋ)の値）に応じて、現画像ＬＰＦ部６Ａより前画像ＬＰＦ部６Ｂのノイズ除去性能が低くなるように制御信号ＣＳを制御してもよい。
【００６７】
第３実施形態において、動き適応型ノイズ低減装置１Ｃの基本動作は、第２実施形態と共通する。また、前画像ＬＰＦ部６Ｂを設けた効果も、動き成分ΔＳからノイズ成分を除去する点では共通する。
第３実施形態では、第２実施形態よりさらに良い点としては、エッジ情報が欠落しにくくなる点を挙げることができる。
【００６８】
第２実施形態では、よりノイズレベルが大きい片方の現画像信号にのみＬＰＦ処理を施している。しかし、ノイズレベルは全体として減らせればよい一方で、片方の画像信号だけをＬＰＦ処理すると、エッジ情報の欠落による弊害が大きくなる。
第３実施形態では、前画像ＬＰＦ部６Ｂでもノイズレベルが低減できるため、その分、現画像ＬＰＦ部６Ａに施すＬＰＦ処理を弱くして、エッジ情報の欠落を防止することが可能である。また、２方向でノイズレベルを下げるので、ノイズの急激な増大に速やかに対処できる利益が得られる。
【００６９】
一方、前画像ＬＰＦ部６Ｂを付加すると、面積増大等によるコスト増が発生する。前画像ＬＰＦ部６Ｂを付加するか否かは、上記利益とコスト増による不利益とを勘案して決めるとよい。
【００７０】
《第４実施形態》
図６は、第４実施形態に関わるカメラ装置のブロック図である。
当該カメラ装置が、「画像入力処理装置」の一態様に該当する。カメラ装置は動画撮影を主体としたビデオカメラ、静止画撮影を主体としたデジタルスチルカメラの何れでもよい。
【００７１】
図６に図解するカメラ装置は、画像入力部を有し、画像入力部に、レンズや光学フィルタを含む光学部品１０と、撮像デバイス２０を含む。当該カメラ装置は、回路ブロックとして、アナログ・フロント・エンド（ＡＦＥ）回路３０と、ＡＤコンバータ（ＡＤＣ）５０と、信号処理回路４０と、混合回路（ＹＣ＿ＭＩＸ）９０と、ＤＡコンバータ（ＤＡＣ）１２０とを有する。また、当該カメラ装置は、制御系および記憶系の回路として、「統括制御部」としてのマイクロコンピュータ（μＣＯＭ.）１００と、不揮発性メモリ(ＮＶＭ)１１０と、タイミング発生回路(ＴＧ)１３０とを有する。
【００７２】
光学部品１０は、レンズ、絞り等をレンズ筐体に収納させている部品である。光学部品１０は焦点制御、および、露光量制御のための絞り制御が可能であり、露光制御のための絞り駆動部、自動フォーカスのための駆動部、それらの制御回路も光学部品１０内に含まれる。
【００７３】
撮像デバイス２０は、ＣＣＤセンサまたはＣＭＯＳイメージセンサである。撮像デバイス２０は、光学部品１０を通して入射された被写体からの光（像）を、自身が持つ撮像面に結像可能にカメラ装置本体内に固定されている。また、撮像デバイス２０は、光センサをマトリックス状に多数配置させた画素アレイを有する。不図示の駆動回路で撮像デバイス２０を駆動すると、撮像デバイス２０からは、各画素の受光量に応じた信号が時系列に出力される。
【００７４】
撮像デバイス２０がＣＣＤセンサの場合、撮像デバイス２０にタイミングジェネレータ（ＴＧ）１３０が接続されている。撮像デバイス２０は、ＴＧ１３０からのクロック信号、垂直同期信号、水平同期信号が入力可能になっている。撮像デバイス２０がＣＣＤの場合、垂直同期信号や水平同期信号と同期した転送パルスも、ＴＧ１３０から供給される。
ＴＧ１３０は、これらのタイミング制御のための信号を、マイクロコンピュータ１００の制御を受けて、不図示のシステムクロック信号から発生する回路である。撮像デバイス２０は、これらのタイミング制御のための信号によって、転送動作やシャッタスピード変更等の各種動作が制御される。
なお、撮像デバイス２０がＣＭＯＳセンサの場合、ＴＧ１３０の機能は撮像デバイス２０内に持たせることができる。
【００７５】
撮像デバイス２０からの画素信号（アナログ信号）が入力されるＡＦＥ回路３０は、アナログ信号に対して行うべき処理、例えば相関２重サンプリングによるリセットノイズの除去（ＣＣＤの場合）、その他のノイズ除去、増幅等を行う回路である。
図６に示すように、ＡＦＥ回路３０内に「増幅器」としてのＡＧＣアンプ３０Ａが含まれる。第１〜第３実施形態で「ゲイン値Ｇ」は、例えば、このＡＧＣアンプ３０Ａに対して「統括制御部」としてのマイクロコンピュータ１００が変更可能に制御量である。マイクロコンピュータ１００は、ＡＦＥ回路３０内または信号処理回路４０内に含まれる、不図示のオプティカル・ディテクタ(ＯＰＤ)と称される画面の輝度を検出する回路からの出力に応じて、画面間で輝度が一定となるように、撮像デバイス２０のシャッター制御やＡＦＥ回路３０内のＡＧＣアンプ３０Ａのゲインを制御する。
【００７６】
ＡＤＣ５０は、処理後のアナログ信号を所定ビット、例えば８、１０ビット等のデジタル信号に変換する。
信号処理回路４０は、前処理部４１と、輝度（Ｙ）信号処理回路４０２と、色(Ｃ)信号処理回路４０３とを含む。このうち前処理部４１に、第１〜第３実施形態で説明した動き適応型ノイズ低減装置１Ａ,１Ｂ,１Ｃの１つに対応した回路（図６では、記号“ＮＲ”で表記）が含まれる。
信号処理回路４０は、例えば、半導体チップとしてＩＣ化され、あるいは、複数の部品が実装されたモジュールや実装基板として提供され、当該カメラ装置に内蔵されてよい。
信号処理回路４０は、ＡＤＣ５０とＤＡＣ１２０間に接続され、前処理としての信号増幅、ノイズ低減（ＮＲ）処理、輝度信号と色信号の分離、輝度信号処理、色信号処理等を行う。
信号処理回路４０とＤＡＣ１２０との間に、処理後の輝度信号と色信号の混合回路（ＹＣ＿ＭＩＸ）９０が接続されている。信号処理回路４０と混合回路９０を含めて信号処理回路４０としてよく、また、ＩＣ化またはモジュール化をしてよい。
【００７７】
このようなカメラ装置では、様々な明るさの環境で様々な被写体の撮影を行う。このため明るさが調整されたテレビ信号と異なり、撮像デバイス２０で撮像された直後の画像は、明るさが非常に広いダイナミックレンジをもつ。しかし、このままＡＤ変換して各種信号処理を行うと、最初にＡＤＣ５０で、入力信号レベルの変化幅の入力レンジを超えるため、階調の分解能を落とすか非常に高価なＡＤＣが必要となる。また、その後の信号処理でも、各処理部の精度を落とすか回路規模の増大を招くおそれが高い。したがって、ＡＦＥ回路３０内でＡＧＣアンプ３０Ａによって、ある程度信号レベルを揃える等の目的で、または、自動露光制御のために信号ゲイン（増幅率）の制御が行われる。
【００７８】
信号ゲインの制御時にゲイン値Ｇが用いられる。第４実施形態のカメラ装置は、第１〜第３実施形態で説明した動き適応型ノイズ低減装置が信号処理回路４０内に設けられ、ゲイン値Ｇに応じた動き適応型ノイズ低減処理が実行される。
したがって、第４実施形態でも第１〜第３実施形態と同様な効果が得られる。
なお、図６に示す構成は一例であり、これに限定されない。
【００７９】
＜変形例１＞
図４または図５に示す構成において、フィルタ特性を変える手法と、例えば図２と図３に示す閾値制御の手法の何れか一方が実行可能にする構成にすることができる。このため、図４と図５では、動き判定制御部５に破線で示す経路によりゲイン値Ｇが入力される場合があることを示している。
【００８０】
＜変形例２＞
また、図４または図５に示すように、第２,第３実施形態では現画像ＬＰＦ部６Ａのフィルタ処理を、混合前の現画像信号ＰＳ(ｆ)に対して実行した。このフィルタ処理の目的は、動き判定制御部５に与える動き成分ΔＳのノイズレベルを低減することにある。よって、フィルタ処理を、減算器４の出力に対して行う構成でもよい。このとき動き成分が直接、ＬＰＦ処理されるため、動き成分が減衰しない回路的な工夫を行うとよい。
【図面の簡単な説明】
【００８１】
【図１】第１実施形態に関わる動き適応型ノイズ低減装置のブロック図である。
【図２】第１実施形態に関わる動き適応型ノイズ低減方法に好適に用いることができる、ゲイン値Ｇと閾値ＴＨとの関係をグラフ化した図である。
【図３】図２に示す関係の制御例を示すフローチャートである。
【図４】第２実施形態に関わる動き適応型ノイズ低減装置のブロック図である。
【図５】第３実施形態に関わる動き適応型ノイズ低減装置のブロック図である。
【図６】第４実施形態に関わるカメラ装置のブロック図である。
【符号の説明】
【００８２】
１Ａ,１Ｂ,１Ｃ…動き適応型ノイズ低減装置、２…フレームメモリ、３…混合制御部、３１…第１乗算器、３２…第２乗算器、３３…加算器、４…減算器、５…動き判定制御部、６Ａ…現画像ＬＰＦ部、６Ｂ…前画像ＬＰＦ部、３０Ａ…ＡＧＣアンプ、４０…信号処理回路、４１…前処理部、１００…マイクロコンピュータ、Ｇ…ゲイン値、ＰＳ(ｆ)…現画像信号、ＰＳ(ｆ−１)…前画像信号、Ｋ…混合比、ΔＳ…動き成分
【図１】
2010004266.tif 000003
【図２】
2010004266.tif 000004
【図３】
2010004266.tif 000005
【図４】
2010004266.tif 000006
【図５】
2010004266.tif 000007
【図６】
2010004266.tif 000008