(57)【要約】【課題】どのような画像に対しても常に高いノイズ低減効果を得ることができるようにする。【解決手段】ＮＲ画面に対する動き補償が行われ、ノイズが付加された第ｎ番目のフレームの画像を入力画面とし、入力画面を構成する所定の領域の画素値と、動き補償されたＮＲ画面において対応する領域の画素値とに基づいて差分特徴量が算出され、時間加算ノイズ低減処理における巡回履歴をカウントし、当該処理における巡回履歴が特定され、ノイズ、差分特徴量、および巡回履歴に対応する加算比率が、教師画像の画素値、入力画面において対応する画素値、および動き補償されたＮＲ画面において対応する画素値とに基づいて演算され、演算された加算比率に応じて定まる係数を乗じることにより、入力画面の画素値および動き補償されたＮＲ画面において対応する画素値とを重み付け加算することで、入力画面に前記時間加算ノイズ低減処理が施される。【選択図】図１２
2012238212.tif 000002
【特許請求の範囲】
【請求項１】
教師画像として入力される画像のデータに対してノイズを付加するノイズ付加部と、
前記ノイズが付加された第ｎ−１番目のフレームの画像に対して時間加算ノイズ低減処理が施された画像をＮＲ画面とし、前記ＮＲ画面に対する動き補償を行う動き補償部と、
前記ノイズが付加された第ｎ番目のフレームの画像を入力画面とし、前記入力画面を構成する所定の領域の画素値と、前記動き補償されたＮＲ画面において対応する領域の画素値とに基づいて差分特徴量を算出する差分特徴量算出部と、
前記時間加算ノイズ低減処理における巡回履歴をカウントし、当該処理における前記巡回履歴を特定する巡回履歴特定部と、
前記ノイズ、前記差分特徴量、および前記巡回履歴に対応する加算比率を、前記教師画像の画素値、前記入力画面において対応する画素値、および前記動き補償されたＮＲ画面において対応する画素値とに基づいて演算する加算比率演算部と、
前記演算された加算比率に応じて定まる係数を乗じることにより、前記入力画面の画素値および前記動き補償されたＮＲ画面において対応する画素値とを重み付け加算することで、前記入力画面に前記時間加算ノイズ低減処理を施す時間加算部と
を備える加算比率学習装置。
【請求項２】
前記ノイズ、前記差分特徴量、および前記巡回履歴をそれぞれ学習パラメータとし、前記学習パラメータの組み合わせとして得られるクラスコードを決定するクラスコード決定部をさらに備え、
前記加算比率演算部は、
前記クラスコードに対応する加算比率を演算する
請求項１に記載の加算比率学習装置。
【請求項３】
前記ノイズ、前記差分特徴量、および前記巡回履歴をそれぞれ学習パラメータとし、前記学習パラメータの組み合わせとして得られるクラスコードを決定するクラスコード決定部と、
前記加算比率学習装置による学習結果として、前記加算比率演算部により演算された加算比率を、前記クラスコード毎に記憶する記憶部をさらに備える
請求項１に記載の加算比率学習装置。
【請求項４】
前記ノイズ、前記差分特徴量、および前記巡回履歴をそれぞれ学習パラメータとし、前記学習パラメータの組み合わせとして得られるクラスコードを決定するクラスコード決定部と、
前記教師画像の画素値、前記入力画面において対応する画素値、および前記動き補償されたＮＲ画面において対応する画素値とを用いて生成される線形一次式のサンプルを、前記クラスコード毎に分類して蓄積するサンプル分類部をさらに備え、
前記加算比率演算部は、前記サンプルを足し込むとともに、前記線形一次式の係数を最小二乗法によって算出することにより、前記加算比率を演算する
請求項１に記載の加算比率学習装置。
【請求項５】
複数の前記加算比率演算部を有し、
前記各学習パラメータの値に基づいて、前記加算比率を前記複数の加算比率演算部が分担して演算する
請求項１に記載の加算比率学習装置。
【請求項６】
ノイズ付加部が、教師画像として入力される画像のデータに対してノイズを付加し、
動き補償部が、前記ノイズが付加された第ｎ−１番目のフレームの画像に対して時間加算ノイズ低減処理が施された画像をＮＲ画面とし、前記ＮＲ画面に対する動き補償を行い、
差分特徴量算出部が、前記ノイズが付加された第ｎ番目のフレームの画像を入力画面とし、前記入力画面を構成する所定の領域の画素値と、前記動き補償されたＮＲ画面において対応する領域の画素値とに基づいて差分特徴量を算出し、
巡回履歴特定部が、前記時間加算ノイズ低減処理における巡回履歴をカウントし、当該処理における前記巡回履歴を特定し、
加算比率演算部が、前記ノイズ、前記差分特徴量、および前記巡回履歴に対応する加算比率を、前記教師画像の画素値、前記入力画面において対応する画素値、および前記動き補償されたＮＲ画面において対応する画素値とに基づいて演算し、
時間加算部が、前記演算された加算比率に応じて定まる係数を乗じることにより、前記入力画面の画素値および前記動き補償されたＮＲ画面において対応する画素値とを重み付け加算することで、前記入力画面に前記時間加算ノイズ低減処理を施すステップ
を含む加算比率学習方法。
【請求項７】
コンピュータを、
教師画像として入力される画像のデータに対してノイズを付加するノイズ付加部と、
前記ノイズが付加された第ｎ−１番目のフレームの画像に対して時間加算ノイズ低減処理が施された画像をＮＲ画面とし、前記ＮＲ画面に対する動き補償を行う動き補償部と、
前記ノイズが付加された第ｎ番目のフレームの画像を入力画面とし、前記入力画面を構成する所定の領域の画素値と、前記動き補償されたＮＲ画面において対応する領域の画素値とに基づいて差分特徴量を算出する差分特徴量算出部と、
前記時間加算ノイズ低減処理における巡回履歴をカウントし、当該処理における前記巡回履歴を特定する巡回履歴特定部と、
前記ノイズ、前記差分特徴量、および前記巡回履歴に対応する加算比率を、前記教師画像の画素値、前記入力画面において対応する画素値、および前記動き補償されたＮＲ画面において対応する画素値とに基づいて演算する加算比率演算部と、
前記演算された加算比率に応じて定まる係数を乗じることにより、前記入力画面の画素値および前記動き補償されたＮＲ画面において対応する画素値とを重み付け加算することで、前記入力画面に前記時間加算ノイズ低減処理を施す時間加算部とを備える加算比率学習装置として機能させる
プログラム。
【請求項８】
請求項７に記載のプログラムが記録されている記録媒体。
【請求項９】
第ｎ−１番目のフレームの画像に対して時間加算ノイズ低減処理が施された画像をＮＲ画面とし、前記ＮＲ画面に対する動き補償を行う動き補償部と、
入力された画像のデータにおいて、第ｎ番目のフレームの画像を入力画面とし、前記入力画面のノイズを計測するノイズ計測部と、
前記入力画面を構成する所定の領域の画素値と、前記動き補償されたＮＲ画面において対応する領域の画素値とに基づいて差分特徴量を算出する差分特徴量算出部と、
前記時間加算ノイズ低減処理における巡回履歴をカウントし、当該処理における前記巡回履歴を特定する巡回履歴特定部と、
前記ノイズ、前記差分特徴量、および前記巡回履歴に対応する加算比率を決定する加算比率決定部と、
前記決定された加算比率に応じて定まる係数を乗じることにより、前記入力画面の画素値および前記動き補償されたＮＲ画面において対応する画素値とを重み付け加算することで、前記入力画面に前記時間加算ノイズ低減処理を施す時間加算部と
を備える画像処理装置。
【請求項１０】
前記ノイズ、前記差分特徴量、および前記巡回履歴の組み合わせとして得られるクラスコードを決定するクラスコード決定部をさらに備え、
前記加算比率決定部は、前記クラスコードに対応する加算比率を決定する
請求項９に記載の画像処理装置。
【請求項１１】
巡回履歴特定部は、
予め設定された閾値を超える前記差分特徴量が算出された場合、前記巡回履歴のカウントをリセットする
請求項９に記載の画像処理装置。
【請求項１２】
巡回履歴特定部は、
前記ノイズの量に応じて予め定められた閾値を超える前記差分特徴量が算出された場合、前記巡回履歴のカウントをリセットする
請求項９に記載の画像処理装置。
【請求項１３】
動き補償部が、第ｎ−１番目のフレームの画像に対して時間加算ノイズ低減処理が施された画像をＮＲ画面とし、前記ＮＲ画面に対する動き補償を行い、
ノイズ計測部が、入力された画像のデータにおいて、第ｎ番目のフレームの画像を入力画面とし、前記入力画面のノイズを計測し、
差分特徴量算出部が、前記入力画面を構成する所定の領域の画素値と、前記動き補償されたＮＲ画面において対応する領域の画素値とに基づいて差分特徴量を算出し、
巡回履歴特定部が、前記時間加算ノイズ低減処理における巡回履歴をカウントし、当該処理における前記巡回履歴を特定し、
加算比率決定部が、前記ノイズ、前記差分特徴量、および前記巡回履歴に対応する加算比率を決定し、
時間加算部が、前記決定された加算比率に応じて定まる係数を乗じることにより、前記入力画面の画素値および前記動き補償されたＮＲ画面において対応する画素値とを重み付け加算することで、前記入力画面に前記時間加算ノイズ低減処理を施すステップ
を含む画像処理方法。
【請求項１４】
コンピュータを、
第ｎ−１番目のフレームの画像に対して時間加算ノイズ低減処理が施された画像をＮＲ画面とし、前記ＮＲ画面に対する動き補償を行う動き補償部と、
入力された画像のデータにおいて、第ｎ番目のフレームの画像を入力画面とし、前記入力画面のノイズを計測するノイズ計測部と、
前記入力画面を構成する所定の領域の画素値と、前記動き補償されたＮＲ画面において対応する領域の画素値とに基づいて差分特徴量を算出する差分特徴量算出部と、
前記時間加算ノイズ低減処理における巡回履歴をカウントし、当該処理における前記巡回履歴を特定する巡回履歴特定部と、
前記ノイズ、前記差分特徴量、および前記巡回履歴の組み合わせに対応する加算比率を決定する加算比率決定部と、
前記決定された加算比率に応じて定まる係数を乗じることにより、前記入力画面の画素値および前記動き補償されたＮＲ画面において対応する画素値とを重み付け加算することで、前記入力画面に前記時間加算ノイズ低減処理を施す時間加算部とを備える画像処理装置として機能させる
プログラム。
【請求項１５】
請求項１４に記載のプログラムが記録されている記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、加算比率学習装置および方法、画像処理装置および方法、プログラム、並びに記録媒体に関し、特に、どのような画像に対しても常に高いノイズ低減効果を得ることができるようにする加算比率学習装置および方法、画像処理装置および方法、プログラム、並びに記録媒体に関する。
【背景技術】
【０００２】
動画の映像信号は、フレーム周期で類似の画像情報が繰り返される信号であり、フレーム間の相関が非常に強い。一方、映像信号は符号化歪やノイズ成分とは相関がないので、映像信号をフレーム単位で時間平均すると、信号成分はほとんど変化せず、歪やノイズ成分のみが小さくなるから、歪やノイズを低減することができる。
【０００３】
このような映像信号の特性を利用してノイズを低減する装置として、１フレーム前の画像の動きを検出して補償しながら、ノイズを低減するフレーム巡回型ノイズ低減装置がある。
【０００４】
従来のノイズ低減装置は、例えば、画像の動き成分や画像に含まれるノイズ量に応じて加算比率を変え、加算比率に基づいて現フレームの画素と前フレームの対応画素を加重平均して出力映像信号を生成する構成とされている。従って、動き補償した対応画素を累積的に加重平均することとなり、残像の発生を防止しながらノイズを低減できるようになされている。
【０００５】
また、複数枚の画像を、動き補償しながら加算することにより、時間方向のノイズ低減処理を行うとともに、加算に先立ち、それぞれの画像について、１枚の画像内における空間方向のノイズ低減処理を行う技術も提案されている（例えば、特許文献１参照）。
【０００６】
特許文献１によれば、空間方向のノイズ低減の強さを、加算する複数枚の画像に対して可変させるようにすることができ、面内ＮＲ処理と加算ＮＲ処理とを施す場合に、ノイズ低減効果と信号成分の保存との両立を図ることができる。
【０００７】
また、入力映像信号において信号レベルが急激に変化した後のフィールド数、フレーム数をカウントし、このカウント値に応じて加算比率が順次増大するように動的に加算比率を制御する技術も提案されている（例えば、特許文献２参照）。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２０１０−１７１７５３号公報
【特許文献２】特開２００７−３２９５２４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
しかしながら、従来の技術では、加算比率を制御するに際して、単一のパラメータ（例えば、ノイズ量）しか考慮されていなかった。
【００１０】
従って、従来の技術では、どのような画像に対しても常に高いノイズ低減効果を得ることが難しかった。
【００１１】
本技術はこのような状況に鑑みて開示するものであり、どのような画像に対しても常に高いノイズ低減効果を得ることができるようにするものである。
【課題を解決するための手段】
【００１２】
本技術の第１の側面は、教師画像として入力される画像のデータに対してノイズを付加するノイズ付加部と、前記ノイズが付加された第ｎ−１番目のフレームの画像に対して時間加算ノイズ低減処理が施された画像をＮＲ画面とし、前記ＮＲ画面に対する動き補償を行う動き補償部と、前記ノイズが付加された第ｎ番目のフレームの画像を入力画面とし、前記入力画面を構成する所定の領域の画素値と、前記動き補償されたＮＲ画面において対応する領域の画素値とに基づいて差分特徴量を算出する差分特徴量算出部と、前記時間加算ノイズ低減処理における巡回履歴をカウントし、当該処理における前記巡回履歴を特定する巡回履歴特定部と、前記ノイズ、前記差分特徴量、および前記巡回履歴に対応する加算比率を、前記教師画像の画素値、前記入力画面において対応する画素値、および前記動き補償されたＮＲ画面において対応する画素値とに基づいて演算する加算比率演算部と、前記演算された加算比率に応じて定まる係数を乗じることにより、前記入力画面の画素値および前記動き補償されたＮＲ画面において対応する画素値とを重み付け加算することで、前記入力画面に前記時間加算ノイズ低減処理を施す時間加算部とを備える加算比率学習装置である。
【００１３】
前記ノイズ、前記差分特徴量、および前記巡回履歴をそれぞれ学習パラメータとし、前記学習パラメータの組み合わせとして得られるクラスコードを決定するクラスコード決定部をさらに備え、前記加算比率演算部は、前記クラスコードに対応する加算比率を演算するようにすることができる。
【００１４】
前記ノイズ、前記差分特徴量、および前記巡回履歴をそれぞれ学習パラメータとし、前記学習パラメータの組み合わせとして得られるクラスコードを決定するクラスコード決定部と、前記加算比率学習装置による学習結果として、前記加算比率演算部により演算された加算比率を、前記クラスコード毎に記憶する記憶部をさらに備えるようにすることができる。
【００１５】
前記ノイズ、前記差分特徴量、および前記巡回履歴をそれぞれ学習パラメータとし、前記学習パラメータの組み合わせとして得られるクラスコードを決定するクラスコード決定部と、前記教師画像の画素値、前記入力画面において対応する画素値、および前記動き補償されたＮＲ画面において対応する画素値とを用いて生成される線形一次式のサンプルを、前記クラスコード毎に分類して蓄積するサンプル分類部をさらに備え、前記加算比率演算部は、前記サンプルを足し込むとともに、前記線形一次式の係数を最小二乗法によって算出することにより、前記加算比率を演算するようにすることができる。
【００１６】
複数の前記加算比率演算部を有し、前記各学習パラメータの値に基づいて、前記加算比率を前記複数の加算比率演算部が分担して演算するようにすることができる。
【００１７】
本技術の第１の側面は、ノイズ付加部が、教師画像として入力される画像のデータに対してノイズを付加し、動き補償部が、前記ノイズが付加された第ｎ−１番目のフレームの画像に対して時間加算ノイズ低減処理が施された画像をＮＲ画面とし、前記ＮＲ画面に対する動き補償を行い、差分特徴量算出部が、前記ノイズが付加された第ｎ番目のフレームの画像を入力画面とし、前記入力画面を構成する所定の領域の画素値と、前記動き補償されたＮＲ画面において対応する領域の画素値とに基づいて差分特徴量を算出し、巡回履歴特定部が、前記時間加算ノイズ低減処理における巡回履歴をカウントし、当該処理における前記巡回履歴を特定し、加算比率演算部が、前記ノイズ、前記差分特徴量、および前記巡回履歴に対応する加算比率を、前記教師画像の画素値、前記入力画面において対応する画素値、および前記動き補償されたＮＲ画面において対応する画素値とに基づいて演算し、時間加算部が、前記演算された加算比率に応じて定まる係数を乗じることにより、前記入力画面の画素値および前記動き補償されたＮＲ画面において対応する画素値とを重み付け加算することで、前記入力画面に前記時間加算ノイズ低減処理を施すステップを含む加算比率学習方法である。
【００１８】
本技術の第１の側面は、コンピュータを、教師画像として入力される画像のデータに対してノイズを付加するノイズ付加部と、前記ノイズが付加された第ｎ−１番目のフレームの画像に対して時間加算ノイズ低減処理が施された画像をＮＲ画面とし、前記ＮＲ画面に対する動き補償を行う動き補償部と、前記ノイズが付加された第ｎ番目のフレームの画像を入力画面とし、前記入力画面を構成する所定の領域の画素値と、前記動き補償されたＮＲ画面において対応する領域の画素値とに基づいて差分特徴量を算出する差分特徴量算出部と、前記時間加算ノイズ低減処理における巡回履歴をカウントし、当該処理における前記巡回履歴を特定する巡回履歴特定部と、前記ノイズ、前記差分特徴量、および前記巡回履歴に対応する加算比率を、前記教師画像の画素値、前記入力画面において対応する画素値、および前記動き補償されたＮＲ画面において対応する画素値とに基づいて演算する加算比率演算部と、前記演算された加算比率に応じて定まる係数を乗じることにより、前記入力画面の画素値および前記動き補償されたＮＲ画面において対応する画素値とを重み付け加算することで、前記入力画面に前記時間加算ノイズ低減処理を施す時間加算部とを備える加算比率学習装置として機能させるプログラムである。
【００１９】
本技術の第１の側面においては、教師画像として入力される画像のデータに対してノイズが付加され、前記ノイズが付加された第ｎ−１番目のフレームの画像に対して時間加算ノイズ低減処理が施された画像をＮＲ画面とし、前記ＮＲ画面に対する動き補償が行われ、前記ノイズが付加された第ｎ番目のフレームの画像を入力画面とし、前記入力画面を構成する所定の領域の画素値と、前記動き補償されたＮＲ画面において対応する領域の画素値とに基づいて差分特徴量が算出され、前記時間加算ノイズ低減処理における巡回履歴をカウントし、当該処理における前記巡回履歴が特定され、前記ノイズ、前記差分特徴量、および前記巡回履歴に対応する加算比率が、前記教師画像の画素値、前記入力画面において対応する画素値、および前記動き補償されたＮＲ画面において対応する画素値とに基づいて演算され、前記演算された加算比率に応じて定まる係数を乗じることにより、前記入力画面の画素値および前記動き補償されたＮＲ画面において対応する画素値とを重み付け加算することで、前記入力画面に前記時間加算ノイズ低減処理が施される。
【００２０】
本技術の第２の側面は、第ｎ−１番目のフレームの画像に対して時間加算ノイズ低減処理が施された画像をＮＲ画面とし、前記ＮＲ画面に対する動き補償を行う動き補償部と、入力された画像のデータにおいて、第ｎ番目のフレームの画像を入力画面とし、前記入力画面のノイズを計測するノイズ計測部と、前記入力画面を構成する所定の領域の画素値と、前記動き補償されたＮＲ画面において対応する領域の画素値とに基づいて差分特徴量を算出する差分特徴量算出部と、前記時間加算ノイズ低減処理における巡回履歴をカウントし、当該処理における前記巡回履歴を特定する巡回履歴特定部と、前記ノイズ、前記差分特徴量、および前記巡回履歴に対応する加算比率を決定する加算比率決定部と、前記決定された加算比率に応じて定まる係数を乗じることにより、前記入力画面の画素値および前記動き補償されたＮＲ画面において対応する画素値とを重み付け加算することで、前記入力画面に前記時間加算ノイズ低減処理を施す時間加算部とを備える画像処理装置である。
【００２１】
前記ノイズ、前記差分特徴量、および前記巡回履歴の組み合わせとして得られるクラスコードを決定するクラスコード決定部をさらに備え、前記加算比率決定部は、前記クラスコードに対応する加算比率を決定するようにすることができる。
【００２２】
巡回履歴特定部は、予め設定された閾値を超える前記差分特徴量が算出された場合、前記巡回履歴のカウントをリセットするようにすることができる。
【００２３】
巡回履歴特定部は、前記ノイズの量に応じて予め定められた閾値を超える前記差分特徴量が算出された場合、前記巡回履歴のカウントをリセットするようにすることができる。
【００２４】
本発明の第２の側面は、動き補償部が、第ｎ−１番目のフレームの画像に対して時間加算ノイズ低減処理が施された画像をＮＲ画面とし、前記ＮＲ画面に対する動き補償を行い、ノイズ計測部が、入力された画像のデータにおいて、第ｎ番目のフレームの画像を入力画面とし、前記入力画面のノイズを計測し、差分特徴量算出部が、前記入力画面を構成する所定の領域の画素値と、前記動き補償されたＮＲ画面において対応する領域の画素値とに基づいて差分特徴量を算出し、巡回履歴特定部が、前記時間加算ノイズ低減処理における巡回履歴をカウントし、当該処理における前記巡回履歴を特定し、加算比率決定部が、前記ノイズ、前記差分特徴量、および前記巡回履歴に対応する加算比率を決定し、時間加算部が、前記決定された加算比率に応じて定まる係数を乗じることにより、前記入力画面の画素値および前記動き補償されたＮＲ画面において対応する画素値とを重み付け加算することで、前記入力画面に前記時間加算ノイズ低減処理を施すステップを含む画像処理方法である。
【００２５】
本発明の第２の側面は、コンピュータを、第ｎ−１番目のフレームの画像に対して時間加算ノイズ低減処理が施された画像をＮＲ画面とし、前記ＮＲ画面に対する動き補償を行う動き補償部と、入力された画像のデータにおいて、第ｎ番目のフレームの画像を入力画面とし、前記入力画面のノイズを計測するノイズ計測部と、前記入力画面を構成する所定の領域の画素値と、前記動き補償されたＮＲ画面において対応する領域の画素値とに基づいて差分特徴量を算出する差分特徴量算出部と、前記時間加算ノイズ低減処理における巡回履歴をカウントし、当該処理における前記巡回履歴を特定する巡回履歴特定部と、前記ノイズ、前記差分特徴量、および前記巡回履歴の組み合わせに対応する加算比率を決定する加算比率決定部と、前記決定された加算比率に応じて定まる係数を乗じることにより、前記入力画面の画素値および前記動き補償されたＮＲ画面において対応する画素値とを重み付け加算することで、前記入力画面に前記時間加算ノイズ低減処理を施す時間加算部とを備える画像処理装置として機能させるプログラムである。
【００２６】
本技術の第２の側面においては、第ｎ−１番目のフレームの画像に対して時間加算ノイズ低減処理が施された画像をＮＲ画面とし、前記ＮＲ画面に対する動き補償が行われ、入力された画像のデータにおいて、第ｎ番目のフレームの画像を入力画面とし、前記入力画面のノイズが計測され、前記入力画面を構成する所定の領域の画素値と、前記動き補償されたＮＲ画面において対応する領域の画素値とに基づいて差分特徴量が算出され、前記時間加算ノイズ低減処理における巡回履歴をカウントし、当該処理における前記巡回履歴が特定され、前記ノイズ、前記差分特徴量、および前記巡回履歴に対応する加算比率が決定され、前記決定された加算比率に応じて定まる係数を乗じることにより、前記入力画面の画素値および前記動き補償されたＮＲ画面において対応する画素値とを重み付け加算することで、前記入力画面に前記時間加算ノイズ低減処理が施される。
【発明の効果】
【００２７】
本技術によれば、どのような画像に対しても常に高いノイズ低減効果を得ることができる。
【図面の簡単な説明】
【００２８】
【図１】時間加算ノイズ低減処理を説明する図である。
【図２】従来のＩＩＲフィルタの構成例を示すブロック図である。
【図３】差分特徴量を説明する図である。
【図４】σ＝５のノイズを付加した画像を用いて求められた加算比率の差分特徴量に応じた変化を説明するグラフである。
【図５】σ＝１０のノイズを付加した画像を用いて求められた加算比率の差分特徴量に応じた変化を説明するグラフである。
【図６】σ＝１５のノイズを付加した画像を用いて求められた加算比率の差分特徴量に応じた変化を説明するグラフである。
【図７】異なる巡回履歴において求められた加算比率の差分特徴量に応じた変化を示すグラフである。
【図８】本技術を適用したノイズ低減装置の一実施の形態に係る構成例を示すブロック図である。
【図９】図８の加算比率算出部の詳細な構成例を示すブロック図である。
【図１０】図８のノイズ低減装置に対応する加算比率学習装置の構成例を示すブロック図である。
【図１１】図１０の加算比率学習部の詳細な構成例を示すブロック図である。
【図１２】加算比率学習処理の例を説明するフローチャートである。
【図１３】時間加算ノイズ低減処理の例を説明するフローチャートである。
【図１４】図１０の加算比率学習部の別の構成例を示すブロック図である。
【図１５】σ＝５のノイズを付加した画像を用い、異なる巡回履歴において求められた加算比率の差分特徴量に応じた変化を説明するグラフである。
【図１６】σ＝１０のノイズを付加した画像を用い、異なる巡回履歴において求められた加算比率の差分特徴量に応じた変化を説明するグラフである。
【図１７】σ＝１５のノイズを付加した画像を用い、異なる巡回履歴において求められた加算比率の差分特徴量に応じた変化を説明するグラフである。
【図１８】パーソナルコンピュータの構成例を示すブロック図である。
【発明を実施するための形態】
【００２９】
以下、図面を参照して、ここで開示する技術の実施の形態について説明する。
【００３０】
最初に時間加算ノイズ低減（時間加算ＮＲ）処理について説明する。時間加算ノイズ低減処理は、フレーム巡回型ノイズ低減処理とも称される。
【００３１】
例えば、動画の映像信号（画像信号）は、フレーム周期で類似の画像情報が繰り返される信号であり、フレーム間の相関が非常に強い。一方、映像信号は符号化歪やノイズ成分とは相関がないので、画像信号をフレーム単位で時間平均すると、信号成分はほとんど変化せず、歪やノイズ成分のみが小さくなるから、歪やノイズを低減することができる。このような画像信号の特性を利用してノイズを低減する方式が、フレーム巡回型ノイズ低減処理である。フレーム巡回型ノイズ低減処理を行うノイズ低減装置は、ＩＩＲ（Infinite impulse response）フィルタとも称される。
【００３２】
いま、フレーム１、フレーム２、・・・フレームｎにおけるノイズの標準偏差がσである場合を考える。
【００３３】
フレーム１、フレーム２、・・・フレームｎのそれぞれにおける画面内の全画素を、Ｘ1、Ｘ2、・・・Ｘnで表し、画素の分散を求める関数をＶで表すと、各フレームの画面におけるノイズ量は、式（１）により表される。
【００３４】
【数１】
2012238212.tif 000003
・・・（１）
【００３５】
なお、式（１）におけるσの二乗が各フレームの画面におけるノイズ量を表すことになる。
【００３６】
また、フレーム１、フレーム２、・・・フレームｎのそれぞれにおける画面内の画素値の平均値は、式（２）により表される。
【００３７】
【数２】
2012238212.tif 000004
・・・（２）
【００３８】
そうすると、対数の法則より式（３）が導出される。
【００３９】
【数３】
2012238212.tif 000005
・・・（３）
【００４０】
式（３）より、フレーム１、フレーム２、・・・フレームｎの画素値を加算していくことによりノイズを低減できることが分かる。
【００４１】
すなわち、図１に示されるように、例えば、動画像を構成するｎ枚の画面を時間方向に加算することにより、ノイズ量を１／ｎに低減した画面を生成することが可能となる。時間加算ノイズ低減処理では、このようにして画像のノイズを低減（Noise Reduction：ＮＲ）するようになされている。
【００４２】
図２は、従来のＩＩＲフィルタの構成例を示すブロック図である。同図におけるＩＩＲフィルタ２０は、入力端子３１から入力された動画像のノイズを低減し、出力端子３２から出力するようになされている。
【００４３】
図２のＩＩＲフィルタ２０は、ノイズ計測部４１、加算比率算出部４２、ＭＥ(ME: Motion Estimation)／ＭＣ（MC: Motion Compensation）部４３、乗算器４４、乗算器４５、加算器４６、およびバッファ４７を有する構成とされている。
【００４４】
入力端子３１から入力された第ｎ番目のフレーム（以下、適宜入力画面と称することにする）ノイズ計測部４１とＭＥ／ＭＣ部４３に入力される。
【００４５】
ノイズ計測部４１は、入力画面のノイズの標準偏差σを算出し、加算比率算出部４２に供給する。例えば、ノイズ計測部４１は、後述するように、第ｎ−１番目のフレームに対してノイズ低減処理が施された画像（以下、適宜ＮＲ画面と称する）を動き補償した画像と、入力画面との差分をノイズと推定し、入力画面のノイズの標準偏差σを算出する。
【００４６】
加算比率算出部４２は、ノイズの標準偏差σに応じた加算比率αを算出する。そして、乗算器４５には係数αが供給され、乗算器４４には係数（１−α）が供給される。
【００４７】
バッファ４７には、第ｎ−１番目のフレームに対してノイズ低減処理が施された画像（ＮＲ画面）のデータが保持されている。
【００４８】
ＭＥ／ＭＣ部４３は、例えば、入力画面とＮＲ画面とを用いたブロックマッチング処理などを行うことにより、画面の動きを予測する。これにより、動きベクトルが算出される。そして、ＭＥ／ＭＣ部４３は、動きベクトルに基づいてＮＲ画面の動き補償を行い、加算比率算出部４２、乗算器４５、ノイズ計測部４１に出力する。
【００４９】
乗算器４４は、入力画面の画素ｘnのそれぞれに係数（１−α）を乗じる処理を行う。
【００５０】
乗算器４５は、動き補償されたＮＲ画面の画素ｘn-1のそれぞれに係数αを乗じる処理を行う。
【００５１】
加算器４６は、乗算器４４と乗算器４５から出力される画素値を、対応する画素毎に加算して第ｎ番目のフレームに対してノイズ低減処理が施された画像のデータを生成する。そして、その画像のデータが出力端子３２から出力される。
【００５２】
このようにして、ＩＩＲフィルタ２０による時間加算ノイズ低減処理が施される。
【００５３】
ところで、加算比率算出部４２から出力される加算比率αは、事前に学習させておくとよい。すなわち、ノイズの標準偏差σの値に応じた最適な加算比率αを予め学習により求めて記憶させておくとよい。
【００５４】
この場合、複数種類のノイズに対応する教師画像と生徒画像のペアを用意し最適な加算比率を算出することで学習を行わせる。例えば、教師画像Ｔに対して標準偏差σ1のノイズを付加した画像Ｘを用意し、画像Ｘに対して時間加算ノイズ低減処理を施したＮＲ画像を得て生徒画像とする。
【００５５】
いま、教師画像Ｔの画素をｔとし、ノイズが付加された第ｎ番目のフレームの画像Ｘnの画素をｘnとし、動き補償されたＮＲ画像の画素をｘn-1とすると理想的には（加算比率αが最適である場合）式（４）が成立する。
【００５６】
【数４】
2012238212.tif 000006
・・・（４）
【００５７】
教師画像と生徒画像において対応する画素をそれぞれ抽出し、式（４）に各画素値を代入することで得られる線形一次式のサンプルを多数生成する。なお、いまの場合、ノイズが付加された画像の画素と、動き補償後のＮＲ画面の画素とが生徒画像の画素として抽出される。そして、それらのサンプルを足し込むとともに、線形一次式の係数を最小二乗法により算出する。すなわち、式（５）に示される演算によって、最適な加算比率αが算出される。
【００５８】
【数５】
2012238212.tif 000007
・・・（５）
【００５９】
式（５）により算出されたαは、標準偏差σ1のノイズが付加された画像に対して時間加算ノイズ低減処理を施す場合に最適な加算比率と言える。
【００６０】
同様にして、例えば、教師画像Ｔに対して標準偏差σ2のノイズを付加した画像Ｘを用意し、画像Ｘに対して時間加算ノイズ低減処理を施したＮＲ画像を得る。そして、上述したように、式（４）および式（５）により標準偏差σ2のノイズが付加された画像に対して時間加算ノイズ低減処理を施す場合に最適な加算比率を算出することができる。
【００６１】
このようにして、例えば、標準偏差σ1、標準偏差σ2、標準偏差σ3、・・・のノイズが付加された画像に対して時間加算ノイズ低減処理を施す場合について、それぞれ最適な加算比率を算出することができる。
【００６２】
しかしながら、最適な加算比率は、どのフレームの画像、どの部分の画像に対しても一様に定まるものではないことが分かっている。例えば、第ｎ−１番目のフレームと第ｎ番目のフレームとの間での動き予測および動き補償が正確になされている場合、加算比率を大きくしてＮＲ画面の画素に重み付けした方がより高画質の画像を得ることができる。一方で、第ｎ−１番目のフレームと第ｎ番目のフレームとの間での動き予測および動き補償が正確になされていない場合、加算比率を小さくして入力画面の画素に重み付けした方がより高画質の画像を得ることができる。
【００６３】
このように、最適な加算比率を算出するに際して、例えば、動き予測および動き補償の誤り（動き誤り）なども考慮しなければ、どのフレームの画像、どの部分の画像でも適切にノイズを低減することはできない。
【００６４】
そこで、本技術では、動き誤りなどを考慮するためのパラメータとして、差分特徴量を用いることにする。
【００６５】
差分特徴量は、次のようにして求められる。
【００６６】
例えば、図３に示されるように動き補償されたＮＲ画面と入力画面との間で対応する画素で構成される９×９画素のブロック間差分絶対値和を算出する。なお、同図において矢印によりＮＲ画面と入力画面とで対応する矩形のブロックがそれぞれ示されている。
【００６７】
例えば、第ｎ番目のフレーム（入力画面）の画素をｘnとし、動き補償されたＮＲ画像の画素をｘn-1とすると、差分特徴量ｄは、式（６）により求められる。
【００６８】
【数６】
2012238212.tif 000008
・・・（６）
【００６９】
すなわち、式（６）に示されるように、例えば、ブロック内の対応する８１（＝９×９）個の画素どうしの差分の平均値の絶対値を差分特徴量として算出する。このようにすることで、ブロック毎の差分特徴量を算出することができる。
【００７０】
例えば、人物の輪郭線の部分などが白く表示されており、動き誤りが生じやすい部分において差分特徴量の値が大きくなる。
【００７１】
図４は、上述したように、最適な加算比率を学習により求めた場合であって、教師画像に対して標準偏差σ＝５のノイズを付加した画像を用いて求められた最適な加算比率の差分特徴量に応じた変化を説明するグラフである。同図は、横軸が差分特徴量、縦軸が加算比率とされ、生徒画像を差分特徴量毎に複数の領域に分割するなどして、各領域の画像のノイズを低減させるために最適な加算比率を学習により求め、グラフ化したものである。
【００７２】
なお、同図においては１０種類の線により差分特徴量に応じた加算比率が示されており、各線はそれぞれ異なるコンテンツに対応するものとされる。すなわち、図４に示されるグラフは、１０種類のコンテンツにおいて、それぞれ教師画像に対して標準偏差σ＝５のノイズを付加した画像を用いて求められた最適な加算比率の差分特徴量に応じた変化を示すものである。
【００７３】
同図に示されるように、どの線においても図中右下がりの形状が示されており、差分特徴量の値が略０乃至８程度の部分で急峻な右下がりの形状とされている。すなわち、どのコンテンツにおいても、差分特徴量の値が小さい場合、学習により求められた加算比率の値が大きくなり、差分特徴量の値が大きい場合、学習により求められた加算比率の値が小さくなっている。
【００７４】
つまり、動き誤りが小さければ、加算比率を大きくしてＮＲ画面の画素に重み付けした方がより高画質の画像を得ることができる。一方、動き誤りが大きければ、加算比率を小さくして入力画面の画素に重み付けした方がより高画質の画像を得ることができる。
【００７５】
図５は、最適な加算比率を学習により求めた場合であって、教師画像に対して標準偏差σ＝１０のノイズを付加した画像を用いて求められた最適な加算比率の差分特徴量に応じた変化を説明するグラフである。同図は、図６と同様に、横軸が差分特徴量、縦軸が加算比率とされ、生徒画像を差分特徴量毎に複数の領域に分割するなどして、各領域の画像のノイズを低減させるために最適な加算比率を学習により求め、グラフ化したものである。
【００７６】
なお、図５においても図４と同様に１０種類の線により差分特徴量に応じた加算比率が示されており、各線はそれぞれ異なるコンテンツに対応するものとされる。すなわち、図５に示されるグラフは、１０種類のコンテンツにおいて、それぞれ教師画像に対して標準偏差σ＝１０のノイズを付加した画像を用いて求められた最適な加算比率の差分特徴量に応じた変化を示すものである。
【００７７】
同図に示されるように、どの線においても図中右下がりの形状が示されており、差分特徴量の値が略０乃至１２程度の部分で急峻な右下がりの形状とされている。すなわち、図４の場合と同様に、どのコンテンツにおいても、差分特徴量の値が小さい場合、学習により求められた加算比率の値が大きくなり、差分特徴量の値が大きい場合、学習により求められた加算比率の値が小さくなっている。しかし、図４の場合と異なり、急峻な右下がりの形状となる部分がやや広い範囲となっている。
【００７８】
図６は、最適な加算比率を学習により求めた場合であって、教師画像に対して標準偏差σ＝１５のノイズを付加した画像を用いて求められた最適な加算比率の差分特徴量に応じた変化を説明するグラフである。同図は、図６と同様に、横軸が差分特徴量、縦軸が加算比率とされ、生徒画像を差分特徴量毎に複数の領域に分割するなどして、各領域の画像のノイズを低減させるために最適な加算比率を学習により求め、グラフ化したものである。
【００７９】
なお、図６においても図４と同様に１０種類の線により差分特徴量に応じた加算比率が示されており、各線はそれぞれ異なるコンテンツに対応するものとされる。すなわち、図６に示されるグラフは、１０種類のコンテンツにおいて、それぞれ教師画像に対して標準偏差σ＝１５のノイズを付加した画像を用いて求められた最適な加算比率の差分特徴量に応じた変化を示すものである。
【００８０】
同図に示されるように、どの線においても図中右下がりの形状が示されており、差分特徴量の値が略０乃至１９程度の部分で急峻な右下がりの形状とされている。すなわち、図４、図５の場合と同様に、どのコンテンツにおいても、差分特徴量の値が小さい場合、学習により求められた加算比率の値が大きくなり、差分特徴量の値が大きい場合、学習により求められた加算比率の値が小さくなっている。しかし、図５の場合より、急峻な右下がりの形状となる部分がさらに広い範囲となっている。
【００８１】
図４乃至図６に示されるグラフより、最適な加算比率を学習により求める場合、学習パラメータとしてノイズだけでなく、差分特徴量も含める方が効果的であることが分かる。
【００８２】
しかしながら、最適な加算比率を学習により求める場合、学習パラメータとして、ノイズと差分特徴量を含めるだけでは、必ずしも十分とは言えない。最適な加算比率は、巡回履歴に応じて異なる値となるからである。
【００８３】
図７は、最適な加算比率を学習により求めた場合であって、教師画像に対して標準偏差σ＝５のノイズを付加した画像を用いて求められた最適な加算比率の差分特徴量に応じた変化を説明するグラフである。同図は、横軸が差分特徴量、縦軸が加算比率とされ、生徒画像を差分特徴量毎に複数の領域に分割するなどして、各領域の画像のノイズを低減させるために最適な加算比率を学習により求め、グラフ化したものである。
【００８４】
なお、図７においては７種類の線により差分特徴量に応じた加算比率が示されており、各線はそれぞれ異なる巡回履歴に対応するものとされ、それぞれ同一のコンテンツを用いて学習されたものである。すなわち、図７に示されるグラフは、７種類の異なる巡回履歴において、それぞれ教師画像に対して標準偏差σ＝５のノイズを付加した画像を用いて求められた最適な加算比率の差分特徴量に応じた変化を示すものである。
【００８５】
ここで、巡回履歴は、例えば、図２のバッファ４７に保持されるＮＲ画面が何回の時間方向の加算により得られたものであるかを表すものとされる。例えば、動画像の最初のフレームを入力画面として時間加算ノイズ低減処理を施す場合、巡回履歴は０となり、次のフレームを入力画面として時間加算ノイズ低減処理を施す場合、巡回履歴は１となる。
【００８６】
図７に示されるように、どの線においても図中右下がりの形状が示されており、差分特徴量の値が略０乃至８程度の部分で急峻な右下がりの形状とされている。しかし、差分特徴量の値が小さい場合、巡回履歴の値が大きいほど加算比率の値が大きくなっている（加算比率が上昇している）ことが分かる。
【００８７】
すなわち、図１を参照して上述したように、加算するフレームが増えるほど、ＮＲ画面のノイズが低減されるので、加算比率を大きくしてＮＲ画面の画素に重み付けした方がより高画質の画像を得ることができるのである。
【００８８】
図４乃至図７に示されるグラフより、最適な加算比率を学習により求める場合、学習パラメータとしてノイズと差分特徴量だけでなく、巡回履歴も含める方が効果的であることが分かる。
【００８９】
そこで、本技術においては、最適な加算比率を学習により求めるに際して、学習パラメータとして、ノイズ、差分特徴量、および巡回履歴を与えることにする。すなわち、ノイズ、差分特徴量、および巡回履歴の各値の組み合わせに応じた加算比率を学習によって求めることとする。
【００９０】
図８は、本技術を適用したノイズ低減装置の一実施の形態に係る構成例を示すブロック図である。同図に示されるノイズ低減装置１２０は、例えば、ＩＩＲフィルタとして構成される。
【００９１】
図８のノイズ低減装置（ＩＩＲフィルタ）１２０は、ノイズ計測部１４１、加算比率算出部１４２、ＭＥ(ME: Motion Estimation)／ＭＣ（MC: Motion Compensation）部１４３、乗算器１４４、乗算器１４５、加算器１４６、およびバッファ１４７を有する構成とされている。
【００９２】
入力端子１３１から入力された第ｎ番目のフレーム（入力画面）は、ノイズ計測部１４１とＭＥ／ＭＣ部１４３に入力される。
【００９３】
ノイズ計測部１４１は、入力画面のノイズの標準偏差σを算出し、加算比率算出部１４２に供給する。例えば、ノイズ計測部１４１は、後述するように、第ｎ−１番目のフレームに対してノイズ低減処理が施された画像（以下、適宜ＮＲ画面と称する）を動き補償した画像と、入力画面との差分をノイズと推定し、入力画面のノイズの標準偏差σを算出する。
【００９４】
加算比率算出部１４２は、後述するように加算比率αを算出する。そして、乗算器１４５には係数αが供給され、乗算器１４４には係数（１−α）が供給される。
【００９５】
バッファ１４７には、第ｎ−１番目のフレームに対してノイズ低減処理が施された画像（ＮＲ画面）のデータが保持されている。
【００９６】
ＭＥ／ＭＣ部１４３は、例えば、入力画面とＮＲ画面とを用いたブロックマッチング処理などを行うことにより、画面の動きを予測する。これにより、動きベクトルが算出される。そして、ＭＥ／ＭＣ部１４３は、動きベクトルに基づいてＮＲ画面の動き補償を行い、加算比率算出部１４２、乗算器１４５、ノイズ計測部１４１に出力する。
【００９７】
乗算器１４４は、入力画面の画素ｘnのそれぞれに係数（１−α）を乗じる処理を行う。
【００９８】
乗算器１４５は、動き補償されたＮＲ画面の画素ｘn-1のそれぞれに係数αを乗じる処理を行う。
【００９９】
加算器１４６は、乗算器１４４と乗算器１４５から出力される画素値を、対応する画素毎に加算して第ｎ番目のフレームに対してノイズ低減処理が施された画像のデータを生成する。そして、その画像のデータが出力端子１３２から出力される。
【０１００】
図９は、図８の加算比率算出部１４２の詳細な構成例を示すブロック図である。同図に示されるように加算比率算出部１４２は、ノイズ検知部１６１、差分特徴量算出部１６２、巡回履歴カウント部１６３、クラスコード決定部１６４、および加算比率決定部１６５を有している。
【０１０１】
ノイズ検知部１６１は、ノイズ計測部１４１から供給されるノイズの標準偏差σの値を検知し、クラスコード決定部１６４に供給する。
【０１０２】
差分特徴量算出部１６２は、入力端子１３１から入力された入力画面とＭＥ／ＭＣ部１４３から出力された動き補償後のＮＲ画面とに基づいて、処理対象の画素（注目画素）の差分特徴量を算出する。そして、差分特徴量算出部１６２は、算出した差分特徴量をクラスコード決定部１６４に供給する。
【０１０３】
巡回履歴カウント部１６３は、時間加算ノイズ低減処理における巡回履歴をカウントし、巡回履歴をクラスコード決定部１６４に供給する。
【０１０４】
クラスコード決定部１６４は、ノイズ検知部１６１から供給されたノイズの標準偏差σの値、差分特徴量算出部１６２から供給された差分特徴量の値、巡回履歴カウント部１６３から供給された巡回履歴の値に基づいてクラスコードを決定する。なお、クラスコードは、ノイズ、差分特徴量、および巡回履歴の各値の組み合わせに応じて、処理対象の画素毎に決定される。
【０１０５】
加算比率決定部１６５は、クラスコード決定部１６４から供給されたクラスコードに基づいて最適な加算比率αを決定する。なお、最適な加算比率αは、処理対象の画素毎に決定される。
【０１０６】
加算比率決定部１６５には、予め学習により求められた加算比率であって、各クラスコードに応じた加算比率が記憶されている。これにより、加算比率決定部１６５は、処理対象の画素についてのノイズの標準偏差σの値、差分特徴量の値、巡回履歴の値の組み合わせに対応する加算比率を選択し、最適な加算比率αを決定する。
【０１０７】
そして、加算比率決定部１６５から係数値αが乗算器１４５に供給され、係数値（１−α）は、乗算器１４４に供給される。
【０１０８】
このようにして、ＩＩＲフィルタ１２０による時間加算ノイズ低減処理が施される。
【０１０９】
図１０は、図８のノイズ低減装置に対応する加算比率学習装置の構成例を示すブロック図である。
【０１１０】
図１０の加算比率学習装置２２０は、ノイズ付加部２４１、加算比率学習部２４２、ＭＥ／ＭＣ部２４３、乗算器２４４、乗算器２４５、および加算器２４６を有する構成とされている。
【０１１１】
加算比率学習装置２２０の場合、入力端子２３１から教師画像としての動画の画像データが入力される。入力端子２３１から入力されたフレームは、ノイズ付加部２４１と加算比率学習部２４２に入力される。
【０１１２】
ノイズ付加部２４１は、入力されたフレームに所定のノイズを付加するようになされている。ノイズ付加部２４１は、例えば、ユーザの設定に従って複数のノイズ量のノイズを付加する。ノイズ付加部２４１は、例えば、標準偏差σ1、標準偏差σ2、標準偏差σ3、・・・のノイズを、ユーザの設定に応じて付加するようになされている。
【０１１３】
また、ノイズ付加部２４１は、付加したノイズの標準偏差の値を加算比率学習部２４２に供給するようになされている。
【０１１４】
ノイズ付加部２４１から出力された第ｎ番目のフレームは、入力画面として加算比率学習部２４２、ＭＥ／ＭＣ部２４３、および乗算器２４４に入力される。
【０１１５】
加算比率学習部２４２は、後述するように加算比率αを学習する。そして、加算比率学習部２４２は、学習結果として得られた加算比率に基づいて、乗算器２４４と乗算器２４５に係数を供給する。すなわち、乗算器２４５には係数αが供給され、乗算器２４４には係数（１−α）が供給される。
【０１１６】
バッファ２４７には、第ｎ−１番目のフレームに対してノイズ低減処理が施された画像（ＮＲ画面）のデータが保持されている。
【０１１７】
ＭＥ／ＭＣ部２４３は、例えば、入力画面とＮＲ画面とを用いたブロックマッチング処理などを行うことにより、画面の動きを予測する。これにより、動きベクトルが算出される。そして、ＭＥ／ＭＣ部２４３は、動きベクトルに基づいてＮＲ画面の動き補償を行い、加算比率学習部２４２と乗算器２４５に出力する。
【０１１８】
乗算器２４４は、入力画面の画素ｘnのそれぞれに係数（１−α）を乗じる処理を行う。
【０１１９】
乗算器２４５は、動き補償されたＮＲ画面の画素ｘn-1のそれぞれに係数αを乗じる処理を行う。
【０１２０】
加算器２４６は、乗算器２４４と乗算器２４５から出力される画素値を、対応する画素毎に加算して第ｎ番目のフレームに対してノイズ低減処理が施された画像のデータを生成する。そして、その画像のデータが出力端子２３２から出力される。
【０１２１】
図１１は、図１０の加算比率学習部２４２の詳細な構成例を示すブロック図である。同図に示されるように加算比率学習部２４２は、ノイズ検知部２６１、差分特徴量算出部２６２、巡回履歴カウント部２６３、サンプル分類部２６４、加算比率演算部２６５、および加算比率記憶部２６６を有している。
【０１２２】
ノイズ検知部２６１は、ノイズ付加部２４１から供給されるノイズの標準偏差σの値を検知し、サンプル分類部２６４に供給する。
【０１２３】
差分特徴量算出部２６２は、ノイズ付加部２４１から出力された入力画面とＭＥ／ＭＣ部２４３から出力された動き補償後のＮＲ画面とに基づいて、処理対象の画素（注目画素）の差分特徴量を算出する。そして、差分特徴量算出部２６２は、算出した差分特徴量をサンプル分類部２６４に供給する。
【０１２４】
巡回履歴カウント部２６３は、時間加算ノイズ低減処理における巡回履歴をカウントし、巡回履歴をサンプル分類部２６４に供給する。
【０１２５】
サンプル分類部２６４は、ノイズ検知部２６１から供給されたノイズの標準偏差σの値、差分特徴量算出部２６２から供給された差分特徴量の値、巡回履歴カウント部２６３から供給された巡回履歴の値に基づいてクラスコードを決定する。なお、クラスコードは、ノイズ、差分特徴量、および巡回履歴の各値の組み合わせに応じて、処理対象の画素毎に決定される。
【０１２６】
そして、サンプル分類部２６４は、決定されたクラスコード毎に教師画像の画素と生徒画像の画素の組み合わせを抽出する。すなわち、サンプル分類部２６４は、入力端子２３１から供給される教師画像の画素の値と、その画素にノイズ付加部２４１によってノイズが付加された画素の値と、ＭＥ／ＭＣ部２４３から出力された動き補償後のＮＲ画面の画素の値を抽出する。
【０１２７】
加算比率演算部２６５は、サンプル分類部２６４から供給された画素値に基づいて式（４）に示される線形一次式のサンプルを生成し、これらのサンプルをクラスコード毎に足しこむ。そして、加算比率演算部２６５は、クラスコード毎に式（５）の演算を行い、加算比率αを算出する。このようにして、例えば、サンプルが足しこまれる都度、加算比率αの値が更新されていく。
【０１２８】
なお、充分なサンプルの足しこみが行われた後、クラスコード毎に式（５）の演算が行われ、加算比率αが算出されるようにしてもよい。
【０１２９】
加算比率記憶部２６６は、加算比率演算部２６５が算出した加算比率を、各クラスコードに対応付けて記憶するようになされている。これにより、ノイズの標準偏差σの値、差分特徴量の値、巡回履歴の値の組み合わせに対応する加算比率のそれぞれが学習により得られたことになる。
【０１３０】
ここで、加算比率記憶部２６６に記憶されたデータを、図９の加算比率決定部１６５にコピーするなどすれば、図８のノイズ低減装置１２０によって、上述したように、処理対象の画素に応じて最適な加算比率を適用して時間加算ノイズ低減処理を行うことができる。
【０１３１】
このようにして、加算比率学習装置２２０による加算比率の学習が行われる。
【０１３２】
次に、図１２のフローチャートを参照して、図１０の加算比率学習装置２２０による加算比率処理の例について説明する。
【０１３３】
ステップＳ２１において、入力端子２３１から画像のデータが入力される。ここでは、ノイズが付加されていない教師画像のデータが入力される。
【０１３４】
ステップＳ２２において、ノイズ付加部２４１は、ステップＳ２１で入力された画像のデータ（フレーム）に所定のノイズを付加する。ノイズ付加部２４１は、例えば、ユーザの設定に従って複数のノイズ量を付加する。ノイズ付加部２４１は、例えば、標準偏差σ1、標準偏差σ2、標準偏差σ3、・・・のノイズを、ユーザの設定に応じて付加するようになされている。
【０１３５】
また、ノイズ付加部２４１は、付加したノイズの標準偏差の値を加算比率学習部２４２に供給し、ノイズ検知部２６１が、ノイズ付加部２４１から供給されるノイズの標準偏差σの値を検知し、サンプル分類部２６４に供給する。
【０１３６】
ステップＳ２３において、ＭＥ／ＭＣ部２４３は、動きベクトルに基づいてＮＲ画面の動き補償を行う。このとき、例えば、入力画面とＮＲ画面（バッファ２４７に保持されている、第ｎ−１番目のフレームに対してノイズ低減処理が施された画像のデータ）とを用いたブロックマッチング処理などを行うことにより、画面の動きを予測し動きベクトルが算出され、動き補償が行われる。
【０１３７】
ステップＳ２４において、差分特徴量算出部２６２は、ノイズ付加部２４１から出力された入力画面とＭＥ／ＭＣ部２４３から出力された動き補償後のＮＲ画面とに基づいて、処理対象の画素の差分特徴量を算出する。そして、差分特徴量算出部２６２は、算出した差分特徴量をサンプル分類部２６４に供給する。
【０１３８】
ステップＳ２５において、巡回履歴カウント部２６３は、時間加算ノイズ低減処理における巡回履歴をカウントして当該処理における巡回履歴を特定し、その巡回履歴をサンプル分類部２６４に供給する。
【０１３９】
ステップＳ２６において、サンプル分類部２６４は、ステップＳ２２の処理で付加されたノイズの標準偏差σの値、ステップＳ２４の処理で算出された差分特徴量の値、ステップＳ２５の処理で特定された巡回履歴の値に基づいてクラスコードを決定する。なお、クラスコードは、ノイズ、差分特徴量、および巡回履歴の各値の組み合わせに応じて、処理対象の画素毎に決定される。また、このとき、サンプル分類部２６４は、決定されたクラスコード毎に、教師画像の画素の値と、その画素にノイズが付加された画素の値と、ＭＥ／ＭＣ部２４３から出力された動き補償後のＮＲ画面の画素の値をサンプルとして抽出して蓄積する。
【０１４０】
ステップＳ２７において、加算比率演算部２６５は、クラスコード毎に加算比率を演算する。このとき、例えば、ステップＳ２６の処理で蓄積されたサンプルに基づいて式（４）のサンプルが生成され、これらのサンプルがクラスコード毎に足しこまれる。そして、クラスコード毎に式（５）の演算を行い、加算比率αが算出される。なお、充分なサンプルの足しこみが行われた後、クラスコード毎に式（５）の演算が行われ、加算比率αが算出されるようにしてもよい。
【０１４１】
ステップＳ２８において、加算比率記憶部２６６は、ステップＳ２７の処理で演算された加算比率を、各クラスコードに対応付けて記憶する。これにより、ノイズの標準偏差σの値、差分特徴量の値、巡回履歴の値の組み合わせに対応する加算比率のそれぞれが学習により得られる。
【０１４２】
ステップＳ２９において、ＮＲ画面が生成される。このとき、例えば、ステップＳ２７で算出された加算比率αに基づいて、乗算器２４４が、入力画面の画素ｘnに係数（１−α）を乗じる処理を行い、乗算器２４５が、動き補償されたＮＲ画面の画素ｘn-1に係数αを乗じる処理を行う。そして、加算器２４６は、乗算器２４４と乗算器２４５から出力される画素値を、対応する画素毎に加算して第ｎ番目のフレームに対してノイズ低減処理が施された画像のデータ（ＮＲ画面）を生成する。
【０１４３】
すなわち、入力画面の画素値および動き補償されたＮＲ画面において対応する画素値とを重み付け加算することで、入力画面の各画素に時間加算ノイズ低減処理が施される。これにより、第ｎ＋１番目のフレームの各画素に時間加算ノイズ低減処理が施す際に用いられるＮＲ画面が生成されるのである。
【０１４４】
なお、生成されたＮＲ画面は、出力端子２３２から出力されるとともに、バッファ２４７に保持される。
【０１４５】
その後、処理は、ステップＳ２１に戻り、それ以降の処理が繰り返し実行される。すなわち、学習が完了するまで、上述した処理が繰り返し実行される。
【０１４６】
このようにして、加算比率学習処理が実行される。
【０１４７】
次に、図１３のフローチャートを参照して、図８のノイズ低減装置１２０による時間加算ノイズ低減処理の例について説明する。なお、いまの場合、ノイズ低減装置１２０の加算比率算出部１４２には、図１２のステップＳ２８の処理で加算比率記憶部２６６に記憶された加算比率の値がコピーされているものとする。
【０１４８】
ステップＳ５１において、入力端子１３１から画像のデータが入力される。すなわち、ノイズを低減させるべき画像のデータが入力される。
【０１４９】
ステップＳ５２において、ＭＥ／ＭＣ部１４３は、動きベクトルに基づいてＮＲ画面の動き補償を行う。このとき、例えば、入力画面とＮＲ画面（バッファ１４７に保持されている、第ｎ−１番目のフレームに対してノイズ低減処理が施された画像のデータ）とを用いたブロックマッチング処理などを行うことにより、画面の動きを予測し動きベクトルが算出され、動き補償が行われる。
【０１５０】
ステップＳ５３において、ノイズ計測部１４１は、入力画面のノイズの標準偏差σを算出する。このとき、ノイズ計測部１４１は、例えば、ＮＲ画面を動き補償した画像と、入力画面との差分をノイズと推定し、入力画面のノイズの標準偏差σを算出する。
【０１５１】
また、ノイズ検知部１６１が、ノイズ計測部１４１から供給されるノイズの標準偏差σの値を検知し、クラスコード決定部１６４に供給する。
【０１５２】
ステップＳ５４において、差分特徴量算出部１６２は、入力端子１３１から入力された入力画面とＭＥ／ＭＣ部１４３から出力された動き補償後のＮＲ画面とに基づいて、処理対象の画素の差分特徴量を算出する。そして、差分特徴量算出部１６２は、算出した差分特徴量をクラスコード決定部１６４に供給する。
【０１５３】
ステップＳ５５において、巡回履歴カウント部１６３は、時間加算ノイズ低減処理における巡回履歴をカウントして特定し、巡回履歴をクラスコード決定部１６４に供給する。
【０１５４】
ステップＳ５６において、クラスコード決定部１６４は、ステップＳ５３で計算されたノイズの標準偏差σの値、ステップＳ５４で算出された差分特徴量の値、ステップＳ５５で特定された巡回履歴の値に基づいてクラスコードを決定する。なお、クラスコードは、ノイズ、差分特徴量、および巡回履歴の各値の組み合わせに応じて、処理対象の画素毎に決定される。
【０１５５】
ステップＳ５７において、加算比率決定部１６５は、ステップＳ５６の処理で決定されたクラスコードに基づいて最適な加算比率αを決定する。なお、最適な加算比率αは、処理対象の画素毎に決定される。
【０１５６】
このとき、加算比率決定部１６５は、例えば、加算比率学習装置２２０の加算比率学習処理によって求められた加算比率であって、各クラスコードに応じた加算比率を読み出すようになされている。これにより、加算比率決定部１６５は、処理対象の画素についてのノイズの標準偏差σの値、差分特徴量の値、巡回履歴の値の組み合わせに対応する加算比率を選択し、最適な加算比率αを決定する。
【０１５７】
そして、加算比率決定部１６５から係数値αが乗算器１４５に供給され、係数値（１−α）は、乗算器１４４に供給される。
【０１５８】
ステップＳ５８において、ＮＲ画面が生成される。すなわち、乗算器１４４が、入力画面の画素ｘnに係数（１−α）を乗じる処理を行い、乗算器１４５は、動き補償されたＮＲ画面の画素ｘn-1に係数αを乗じる処理を行う。そして、加算器１４６が、乗算器１４４と乗算器１４５から出力される画素値を、対応する画素毎に加算して第ｎ番目のフレームに対してノイズ低減処理が施された画像のデータを生成する。
【０１５９】
すなわち、入力画面の画素値および動き補償されたＮＲ画面において対応する画素値とを重み付け加算することで、入力画面の各画素に時間加算ノイズ低減処理が施され、第ｎ番目のフレームについてのＮＲ画面が生成されるのである。
【０１６０】
なお、生成されたＮＲ画面は、出力端子１３２から出力されるとともに、バッファ１４７に保持される。
【０１６１】
このようにして時間加算ノイズ低減処理が実行される。
【０１６２】
従来の技術では、加算比率を制御するに際して、単一のパラメータしか考慮されていなかった。従って、従来の技術では、どのような画像に対しても常に高いノイズ低減効果を得ることが難しかった。
【０１６３】
これに対して、本技術では、最適な加算比率を学習により求めるに際して、学習パラメータとして、ノイズ、差分特徴量、および巡回履歴を与えるようにした。すなわち、ノイズ、差分特徴量、および巡回履歴の各値の組み合わせに応じた加算比率を学習によって求めることができるようにした。従って、本技術によれば、どのような画像に対しても常に高いノイズ低減効果を得ることができる。
【０１６４】
なお、図１０の構成においては、加算比率学習部２４２により全てのクラスコードに対応する加算比率が学習される例について説明したが、例えば、加算比率学習部２４２を、図１４に示されるように構成してもよい。図１４の例では、加算比率学習部２４２の内部に、学習器２８１、学習器２８２、学習器２８３、・・・を有する構成とされている。また、図１４の学習器２８１、学習器２８２、学習器２８３、・・・のそれぞれが、図１１を参照して上述した構成と同様の構成を有するものとする。
【０１６５】
すなわち、図１４の例の場合、加算比率学習部２４２において並列的な学習が行われるようになされている。例えば、差分特徴量の値が０以上３未満である場合、学習器２８１により加算比率αが学習され、差分特徴量の値が３以上６未満である場合、学習器２８２により加算比率αが学習され、差分特徴量の値が６以上９未満である場合、学習器２８３により加算比率αが学習され、・・・のように加算比率が学習される。つまり、各学習パラメータの値に基づいて、複数の学習器がクラスコードに対応する加算比率を分担して学習するようにしてもよい。
【０１６６】
このように構成することで、例えば、個々の学習器の学習負荷を低減させることができ、結果として時間加算ノイズ低減処理の汎化性能を高めることができる。
【０１６７】
ところで、時間加算ノイズ低減処理を施す場合、大きい動き誤りなどが生じた場合、巡回履歴のカウントをリセットするようにした方がよい。
【０１６８】
図１５は、最適な加算比率を学習により求めた場合であって、教師画像に対して標準偏差σ＝５のノイズを付加した画像を用いて求められた最適な加算比率の差分特徴量に応じた変化を説明するグラフである。同図は、横軸が差分特徴量、縦軸が加算比率とされ、生徒画像を差分特徴量毎に複数の領域に分割するなどして、各領域の画像のノイズを低減させるために最適な加算比率を学習により求め、グラフ化したものである。
【０１６９】
なお、図１５においては７種類の線により差分特徴量に応じた加算比率が示されており、各線はそれぞれ異なる巡回履歴に対応するものとされ、それぞれ同一のコンテンツを用いて学習されたものである。すなわち、図１５に示されるグラフは、７種類の異なる巡回履歴において、それぞれ教師画像に対して標準偏差σ＝５のノイズを付加した画像を用いて求められた最適な加算比率の差分特徴量に応じた変化を示すものである。
【０１７０】
ここで、巡回履歴は、例えば、図８のバッファ１４７に保持されるＮＲ画面が何回の時間方向の加算により得られたものであるかを表すものとされる。例えば、動画像の最初のフレームを入力画面として時間加算ノイズ低減処理を施す場合、巡回履歴は０となり、次のフレームを入力画面として時間加算ノイズ低減処理を施す場合、巡回履歴は１となる。
【０１７１】
図１５に示されるように、差分特徴量の値が略０乃至５程度の部分で急峻な右下がりの形状とされていが、差分特徴量の値が小さい場合、巡回履歴の値が大きいほど一様に加算比率の値が大きくなっている（加算比率が上昇している）。換言すれば、図中の線分３１１の右側の部分（差分特徴量の値が略５程度を超える部分）では、加算比率の値が巡回履歴の値と関係なくほぼ一定に変化しているが、線分３１１の左側の部分では加算比率の値が巡回履歴に応じて異なっている。
【０１７２】
このことから、標準偏差σ＝５の場合、例えば、５を超える差分特徴量の値が検出された場合、巡回履歴をリセットした方がよいといえる。
【０１７３】
図１６は、最適な加算比率を学習により求めた場合であって、教師画像に対して標準偏差σ＝１０のノイズを付加した画像を用いて求められた最適な加算比率の差分特徴量に応じた変化を説明するグラフである。同図は、横軸が差分特徴量、縦軸が加算比率とされ、生徒画像を差分特徴量毎に複数の領域に分割するなどして、各領域の画像のノイズを低減させるために最適な加算比率を学習により求め、グラフ化したものである。
【０１７４】
なお、図１６においては７種類の線により差分特徴量に応じた加算比率が示されており、各線はそれぞれ異なる巡回履歴に対応するものとされ、それぞれ同一のコンテンツを用いて学習されたものである。すなわち、図１６に示されるグラフは、７種類の異なる巡回履歴において、それぞれ教師画像に対して標準偏差σ＝１０のノイズを付加した画像を用いて求められた最適な加算比率の差分特徴量に応じた変化を示すものである。
【０１７５】
図１６に示されるように、差分特徴量の値が略０乃至１０程度の部分で急峻な右下がりの形状とされていが、差分特徴量の値が小さい場合、巡回履歴の値が大きいほど一様に加算比率の値が大きくなっている（加算比率が上昇している）。換言すれば、図中の線分３１２の右側の部分（差分特徴量の値が略１０程度を超える部分）では、加算比率の値が巡回履歴の値と関係なくほぼ一定に変化しているが、線分３１２の左側の部分では加算比率の値が巡回履歴に応じて異なっている。
【０１７６】
このことから、標準偏差σ＝１０の場合、例えば、１０を超える差分特徴量の値が検出された場合、巡回履歴をリセットした方がよいといえる。
【０１７７】
図１７は、最適な加算比率を学習により求めた場合であって、教師画像に対して標準偏差σ＝１５のノイズを付加した画像を用いて求められた最適な加算比率の差分特徴量に応じた変化を説明するグラフである。同図は、横軸が差分特徴量、縦軸が加算比率とされ、生徒画像を差分特徴量毎に複数の領域に分割するなどして、各領域の画像のノイズを低減させるために最適な加算比率を学習により求め、グラフ化したものである。
【０１７８】
なお、図１７においては７種類の線により差分特徴量に応じた加算比率が示されており、各線はそれぞれ異なる巡回履歴に対応するものとされ、それぞれ同一のコンテンツを用いて学習されたものである。すなわち、図１７に示されるグラフは、７種類の異なる巡回履歴において、それぞれ教師画像に対して標準偏差σ＝１５のノイズを付加した画像を用いて求められた最適な加算比率の差分特徴量に応じた変化を示すものである。
【０１７９】
図１７に示されるように、差分特徴量の値が略０乃至１５程度の部分で急峻な右下がりの形状とされていが、差分特徴量の値が小さい場合、巡回履歴の値が大きいほど一様に加算比率の値が大きくなっている（加算比率が上昇している）。換言すれば、図中の線分３１３の右側の部分（差分特徴量の値が略１５程度を超える部分）では、加算比率の値が巡回履歴の値と関係なくほぼ一定に変化しているが、線分３１３の左側の部分では加算比率の値が巡回履歴に応じて異なっている。
【０１８０】
このことから、標準偏差σ＝１５の場合、例えば、１５を超える差分特徴量の値が検出された場合、巡回履歴をリセットした方がよいといえる。
【０１８１】
なお、上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば図１８に示されるような汎用のパーソナルコンピュータ７００などに、ネットワークや記録媒体からインストールされる。
【０１８２】
図１８において、ＣＰＵ（Central Processing Unit）７０１は、ＲＯＭ（Read Only Memory）７０２に記憶されているプログラム、または記憶部７０８からＲＡＭ（Random Access Memory）７０３にロードされたプログラムに従って各種の処理を実行する。ＲＡＭ７０３にはまた、ＣＰＵ７０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０１８３】
ＣＰＵ７０１、ＲＯＭ７０２、およびＲＡＭ７０３は、バス７０４を介して相互に接続されている。このバス７０４にはまた、入出力インタフェース７０５も接続されている。
【０１８４】
入出力インタフェース７０５には、キーボード、マウスなどよりなる入力部７０６、ＬＣＤ(Liquid Crystal display)などよりなるディスプレイ、並びにスピーカなどよりなる出力部７０７、ハードディスクなどより構成される記憶部７０８、モデム、ＬＡＮカードなどのネットワークインタフェースカードなどより構成される通信部７０９が接続されている。通信部７０９は、インターネットを含むネットワークを介しての通信処理を行う。
【０１８５】
入出力インタフェース７０５にはまた、必要に応じてドライブ７１０が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア７１１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部７０８にインストールされる。
【０１８６】
上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、インターネットなどのネットワークや、リムーバブルメディア７１１などからなる記録媒体からインストールされる。
【０１８７】
なお、この記録媒体は、図１８に示される、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク（フロッピディスク（登録商標）を含む）、光ディスク（CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む）、光磁気ディスク（MD（Mini-Disk）（登録商標）を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア７１１により構成されるものだけでなく、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているＲＯＭ７０２や、記憶部７０８に含まれるハードディスクなどで構成されるものも含む。
【０１８８】
なお、本明細書において上述した一連の処理は、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１８９】
また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０１９０】
なお、本技術は以下のような構成も取ることができる。
【０１９１】
（１）教師画像として入力される画像のデータに対してノイズを付加するノイズ付加部と、
前記ノイズが付加された第ｎ−１番目のフレームの画像に対して時間加算ノイズ低減処理が施された画像をＮＲ画面とし、前記ＮＲ画面に対する動き補償を行う動き補償部と、
前記ノイズが付加された第ｎ番目のフレームの画像を入力画面とし、前記入力画面を構成する所定の領域の画素値と、前記動き補償されたＮＲ画面において対応する領域の画素値とに基づいて差分特徴量を算出する差分特徴量算出部と、
前記時間加算ノイズ低減処理における巡回履歴をカウントし、当該処理における前記巡回履歴を特定する巡回履歴特定部と、
前記ノイズ、前記差分特徴量、および前記巡回履歴に対応する加算比率を、前記教師画像の画素値、前記入力画面において対応する画素値、および前記動き補償されたＮＲ画面において対応する画素値とに基づいて演算する加算比率演算部と、
前記演算された加算比率に応じて定まる係数を乗じることにより、前記入力画面の画素値および前記動き補償されたＮＲ画面において対応する画素値とを重み付け加算することで、前記入力画面に前記時間加算ノイズ低減処理を施す時間加算部と
を備える加算比率学習装置。
（２）前記ノイズ、前記差分特徴量、および前記巡回履歴をそれぞれ学習パラメータとし、前記学習パラメータの組み合わせとして得られるクラスコードを決定するクラスコード決定部をさらに備え、
前記加算比率演算部は、
前記クラスコードに対応する加算比率を演算する
（１）に記載の加算比率学習装置。
（３）前記加算比率学習装置による学習結果として、前記加算比率演算部により演算された加算比率を、前記クラスコード毎に記憶する記憶部をさらに備える
（２）に記載の加算比率学習装置。
（４）前記教師画像の画素値、前記入力画面において対応する画素値、および前記動き補償されたＮＲ画面において対応する画素値とを用いて生成される線形一次式のサンプルを、前記クラスコード毎に分類して蓄積するサンプル分類部をさらに備え、
前記加算比率演算部は、前記サンプルを足し込むとともに、前記線形一次式の係数を最小二乗法によって算出することにより、前記加算比率を演算する
（２）または（３）に記載の加算比率学習装置。
（５）複数の前記加算比率演算部を有し、
前記各学習パラメータの値に基づいて、前記加算比率を前記複数の加算比率演算部が分担して演算する
（２）乃至（５）のいずれかに記載の加算比率学習装置。
（６）ノイズ付加部が、教師画像として入力される画像のデータに対してノイズを付加し、
動き補償部が、前記ノイズが付加された第ｎ−１番目のフレームの画像に対して時間加算ノイズ低減処理が施された画像をＮＲ画面とし、前記ＮＲ画面に対する動き補償を行い、
差分特徴量算出部が、前記ノイズが付加された第ｎ番目のフレームの画像を入力画面とし、前記入力画面を構成する所定の領域の画素値と、前記動き補償されたＮＲ画面において対応する領域の画素値とに基づいて差分特徴量を算出し、
巡回履歴特定部が、前記時間加算ノイズ低減処理における巡回履歴をカウントし、当該処理における前記巡回履歴を特定し、
加算比率演算部が、前記ノイズ、前記差分特徴量、および前記巡回履歴に対応する加算比率を、前記教師画像の画素値、前記入力画面において対応する画素値、および前記動き補償されたＮＲ画面において対応する画素値とに基づいて演算し、
時間加算部が、前記演算された加算比率に応じて定まる係数を乗じることにより、前記入力画面の画素値および前記動き補償されたＮＲ画面において対応する画素値とを重み付け加算することで、前記入力画面に前記時間加算ノイズ低減処理を施すステップ
を含む加算比率学習方法。
（７）コンピュータを、
教師画像として入力される画像のデータに対してノイズを付加するノイズ付加部と、
前記ノイズが付加された第ｎ−１番目のフレームの画像に対して時間加算ノイズ低減処理が施された画像をＮＲ画面とし、前記ＮＲ画面に対する動き補償を行う動き補償部と、
前記ノイズが付加された第ｎ番目のフレームの画像を入力画面とし、前記入力画面を構成する所定の領域の画素値と、前記動き補償されたＮＲ画面において対応する領域の画素値とに基づいて差分特徴量を算出する差分特徴量算出部と、
前記時間加算ノイズ低減処理における巡回履歴をカウントし、当該処理における前記巡回履歴を特定する巡回履歴特定部と、
前記ノイズ、前記差分特徴量、および前記巡回履歴に対応する加算比率を、前記教師画像の画素値、前記入力画面において対応する画素値、および前記動き補償されたＮＲ画面において対応する画素値とに基づいて演算する加算比率演算部と、
前記演算された加算比率に応じて定まる係数を乗じることにより、前記入力画面の画素値および前記動き補償されたＮＲ画面において対応する画素値とを重み付け加算することで、前記入力画面に前記時間加算ノイズ低減処理を施す時間加算部とを備える加算比率学習装置として機能させる
プログラム。
（８）（７）に記載のプログラムが記録されている記録媒体。
（９）第ｎ−１番目のフレームの画像に対して時間加算ノイズ低減処理が施された画像をＮＲ画面とし、前記ＮＲ画面に対する動き補償を行う動き補償部と、
入力された画像のデータにおいて、第ｎ番目のフレームの画像を入力画面とし、前記入力画面のノイズを計測するノイズ計測部と、
前記入力画面を構成する所定の領域の画素値と、前記動き補償されたＮＲ画面において対応する領域の画素値とに基づいて差分特徴量を算出する差分特徴量算出部と、
前記時間加算ノイズ低減処理における巡回履歴をカウントし、当該処理における前記巡回履歴を特定する巡回履歴特定部と、
前記ノイズ、前記差分特徴量、および前記巡回履歴に対応する加算比率を決定する加算比率決定部と、
前記決定された加算比率に応じて定まる係数を乗じることにより、前記入力画面の画素値および前記動き補償されたＮＲ画面において対応する画素値とを重み付け加算することで、前記入力画面に前記時間加算ノイズ低減処理を施す時間加算部と
を備える画像処理装置。
（１０）前記ノイズ、前記差分特徴量、および前記巡回履歴の組み合わせとして得られるクラスコードを決定するクラスコード決定部をさらに備え、
前記加算比率決定部は、前記クラスコードに対応する加算比率を決定する
（９）に記載の画像処理装置。
（１１）巡回履歴特定部は、
予め設定された閾値を超える前記差分特徴量が算出された場合、前記巡回履歴のカウントをリセットする
（９）または（１０）に記載の画像処理装置。
（１２）巡回履歴特定部は、
前記ノイズの量に応じて予め定められた閾値を超える前記差分特徴量が算出された場合、前記巡回履歴のカウントをリセットする
（９）乃至（１１）のいずれかに記載の画像処理装置。
（１３）動き補償部が、第ｎ−１番目のフレームの画像に対して時間加算ノイズ低減処理が施された画像をＮＲ画面とし、前記ＮＲ画面に対する動き補償を行い、
ノイズ計測部が、入力された画像のデータにおいて、第ｎ番目のフレームの画像を入力画面とし、前記入力画面のノイズを計測し、
差分特徴量算出部が、前記入力画面を構成する所定の領域の画素値と、前記動き補償されたＮＲ画面において対応する領域の画素値とに基づいて差分特徴量を算出し、
巡回履歴特定部が、前記時間加算ノイズ低減処理における巡回履歴をカウントし、当該処理における前記巡回履歴を特定し、
加算比率決定部が、前記ノイズ、前記差分特徴量、および前記巡回履歴に対応する加算比率を決定し、
時間加算部が、前記決定された加算比率に応じて定まる係数を乗じることにより、前記入力画面の画素値および前記動き補償されたＮＲ画面において対応する画素値とを重み付け加算することで、前記入力画面に前記時間加算ノイズ低減処理を施すステップ
を含む画像処理方法。
（１４）コンピュータを、
第ｎ−１番目のフレームの画像に対して時間加算ノイズ低減処理が施された画像をＮＲ画面とし、前記ＮＲ画面に対する動き補償を行う動き補償部と、
入力された画像のデータにおいて、第ｎ番目のフレームの画像を入力画面とし、前記入力画面のノイズを計測するノイズ計測部と、
前記入力画面を構成する所定の領域の画素値と、前記動き補償されたＮＲ画面において対応する領域の画素値とに基づいて差分特徴量を算出する差分特徴量算出部と、
前記時間加算ノイズ低減処理における巡回履歴をカウントし、当該処理における前記巡回履歴を特定する巡回履歴特定部と、
前記ノイズ、前記差分特徴量、および前記巡回履歴の組み合わせに対応する加算比率を決定する加算比率決定部と、
前記決定された加算比率に応じて定まる係数を乗じることにより、前記入力画面の画素値および前記動き補償されたＮＲ画面において対応する画素値とを重み付け加算することで、前記入力画面に前記時間加算ノイズ低減処理を施す時間加算部とを備える画像処理装置として機能させる
プログラム。
（１５）（１４）に記載のプログラムが記録されている記録媒体。
【符号の説明】
【０１９２】
１２０  ノイズ低減装置，  １３１  入力端子，  １３２  出力端子，  １４１  ノイズ計測部，  １４２  加算比率算出部，  １４３  ＭＥ／ＭＣ部，  １４４  乗算器，  １４５  乗算器，  １４６  加算器，  １４７  バッファ，  １６１  ノイズ検知部，  １６２  差分特徴量算出部，  １６３  巡回履歴カウント部，  １６４  クラスコード決定部，  １６５  加算比率決定部，  ２２０  加算比率学習装置，  ２３１  入力端子，  ２３２  出力端子，  ２４１  ノイズ付加部，  ２４２  加算比率学習部，  ２４３  ＭＥ／ＭＣ部，  ２４４  乗算器，  ２４５  乗算器，  ２４６  加算器，  ２４７  バッファ，  ２６１  ノイズ検知部，  ２６２  差分特徴量算出部，  ２６３  巡回履歴カウント部，  ２６４  サンプル分類部，  ２６５  加算比率演算部，  ２６６  加算比率記憶部
【図１】
2012238212.tif 000009
【図２】
2012238212.tif 000010
【図３】
2012238212.tif 000011
【図４】
2012238212.tif 000012
【図５】
2012238212.tif 000013
【図６】
2012238212.tif 000014
【図７】
2012238212.tif 000015
【図８】
2012238212.tif 000016
【図９】
2012238212.tif 000017
【図１０】
2012238212.tif 000018
【図１１】
2012238212.tif 000019
【図１２】
2012238212.tif 000020
【図１３】
2012238212.tif 000021
【図１４】
2012238212.tif 000022
【図１５】
2012238212.tif 000023
【図１６】
2012238212.tif 000024
【図１７】
2012238212.tif 000025
【図１８】
2012238212.tif 000026