(57)【要約】【課題】本発明は、映像信号処理方法、映像信号処理方法のプログラム、映像信号処理方法のプログラムを記録した記録媒体及び映像信号処理装置に関し、例えば映像信号中のノイズを除去するノイズフィルタに適用して、従来に比して一段と精度良くノイズレベルを計測する。【解決手段】本発明は、ノイズレベルが極端に小さな領域をノイズレベル計測対象から除外してノイズレベルを計測する。【選択図】        図１
2008017448.tif 000002
【特許請求の範囲】
【請求項１】
入力映像信号のノイズレベルを計測する映像信号処理方法において、
前記入力映像信号に設定した領域毎に、前記入力映像信号におけるノイズレベルを示す面内の特徴量を検出する面内の特徴量検出のステップと、
前記面内の特徴量検出のステップで検出した面内の特徴量をノイズフリー領域用のしきい値で判定し、前記ノイズフリー領域用のしきい値より前記面内の特徴量が少ない領域をノイズレベル計測対象から除外するノイズフリー領域の処理ステップと、
前記ノイズフリー領域の処理ステップで除外して残る領域の前記面内の特徴量を統計的に処理してノイズレベル計測結果を出力するノイズレベル計測のステップとを有する
ことを特徴とする映像信号処理方法。
【請求項２】
前記入力映像信号に対して遅延した参照映像信号を生成する参照映像信号生成のステップと、
前記参照映像信号に設定した領域毎に、前記参照映像信号における前記面内の特徴量を検出する参照映像信号の面内の特徴量検出のステップと、
前記参照映像信号の面内の特徴量検出のステップで検出した面内の特徴量をノイズフリー領域用のしきい値で判定し、前記ノイズフリー領域用のしきい値より前記面内の特徴量が少ない領域をノイズレベル計測対象から除外する参照映像信号のノイズフリー領域の処理ステップとを有し、
前記ノイズレベル計測のステップは、
前記ノイズフリー領域の処理ステップで除外して残る領域に加えて、さらに前記参照映像信号のノイズフリー領域の処理ステップで除外して残る領域の前記面内の特徴量を統計的に処理して前記ノイズレベルを計測する
ことを特徴とする請求項１に記載の映像信号処理方法。
【請求項３】
前記入力映像信号のフレーム間又はフィールド間の差分信号を生成する差分信号生成のステップと、
前記差分信号に設定した領域毎に、前記差分信号における前記面内の特徴量を検出する差分信号の面内の特徴量検出のステップと、
前記差分信号の面内の特徴量検出のステップで検出した面内の特徴量をノイズフリー領域用のしきい値で判定し、前記ノイズフリー領域用のしきい値より前記面内の特徴量が少ない領域をノイズレベル計測対象から除外する差分信号のノイズフリー領域の処理ステップとを有し、
前記ノイズレベル計測のステップは、
前記ノイズフリー領域の処理ステップで除外して残る領域に加えて、さらに前記差分信号のノイズフリー領域の処理ステップで除外して残る領域の前記面内の特徴量を統計的に処理して前記ノイズレベルを計測する
ことを特徴とする請求項１に記載の映像信号処理方法。
【請求項４】
前記面内の特徴量検出のステップは、
前記入力映像信号のフレーム間又はフィールド間の差分信号を生成する差分信号生成のステップを有し、
前記入力映像信号に設定した領域毎に、前記差分信号における前記面内の特徴量を検出することにより、前記入力映像信号における面内の特徴量を検出する
ことを特徴とする請求項１に記載の映像信号処理方法。
【請求項５】
前記入力映像信号に設定した領域毎に、前記入力映像信号における画素値の平均値を検出する平均値検出のステップと、
前記平均値検出のステップで検出した平均値を平均値用のしきい値で判定して、前記入力映像信号に混入したノイズが抑圧されている恐れのある領域を検出し、該検出した領域を前記ノイズレベル計測のステップの処理対象から除外する飽和領域の検出ステップとを有する
ことを特徴とする請求項１に記載の映像信号処理方法。
【請求項６】
前記面内の特徴量を集計して有効領域の最小値を検出する最小値検出のステップと、
前記最小値検出のステップで検出した有効領域の最小値に基づいて、前記最小値に対応する上限しきい値を設定するしきい値設定のステップと、
前記上限しきい値により前記面内の特徴量を判定して、前記上限しきい値より前記面内の特徴量が大きな領域を検出し、該検出した領域を前記ノイズレベル計測のステップの処理対象から除外する特徴量による処理対象除外のステップとを有する
ことを特徴とする請求項１に記載の映像信号処理方法。
【請求項７】
前記ノイズレベル計測のステップは、
計測対象から除外した領域の数をフィールド単位又はフレーム単位で判定して、該領域の数が一定値より大きい場合、前値ホールドにより前記ノイズレベル検出結果を出力する
ことを特徴とする請求項１に記載の映像信号処理方法。
【請求項８】
前記入力映像信号に設定した領域毎に、前記入力映像信号における画素値の平均値を検出する平均値検出のステップと、
前記平均値検出のステップで検出した平均値に応じて飽和度を求め、該飽和度により前記面内の特徴量検出のステップで検出した前記面内の特徴量を補正する面内の特徴量補正のステップとを有し、
前記ノイズフリー領域の処理ステップは、
前記面内の特徴量補正のステップで補正した前記面内の特徴量を前記ノイズフリー領域用のしきい値で判定する
ことを特徴とする請求項１に記載の映像信号処理方法。
【請求項９】
前記ノイズフリー領域の処理ステップでノイズレベル計測対象から除外した前記領域の面内の特徴量を集計してノイズフリーの最小値を検出するノイズフリーに係る最小値検出のステップと、
１フィールド又は１フレームにおける前記ノイズフリー領域の処理ステップでノイズレベル計測対象から除外した前記領域の割合を示す占有率を検出する占有率検出のステップとを有し、
前記処理対象除外のステップは、
前記占有率の増大により、前記有効領域の最小値の値を前記ノイズフリーの最小値に近づけて、前記面内の特徴量を判定し、
前記面内の特徴量が前記有効領域の最小値より小さい領域を前記ノイズレベル計測ステップの処理対象から除外する
ことを特徴とする請求項６に記載の映像信号処理方法。
【請求項１０】
前記入力映像信号に設定した領域毎に、前記入力映像信号を複数の帯域に分割する帯域分割のステップと、
前記帯域分割のステップで分割された帯域毎に、前記入力映像信号におけるノイズレベルを示す周波数領域の特徴量を検出する帯域毎の特徴量検出のステップと、
前記ノイズレベル計測のステップにおけるノイズレベル計測対象の領域について、前記周波数領域の特徴量を統計的に処理して、前記帯域毎のノイズレベル検出結果を出力する帯域毎のノイズレベル計測のステップとを有する
ことを特徴とする請求項１に記載の映像信号処理方法。
【請求項１１】
前記各帯域で検出されるスペクトラムの平坦度に応じて、前記ノイズレベル計測のステップで処理する領域数を可変する
ことを特徴とする請求項１に記載の映像信号処理方法。
【請求項１２】
前記ノイズレベル検出結果に基づいて、ノイズ抑圧レベルを可変して前記入力映像信号のノイズを抑圧するフィルタリング処理のステップを有する
ことを特徴とする請求項１に記載の映像信号処理方法。
【請求項１３】
前記フィルタリング処理のステップは、
フィールド間差分又はフレーム間差分から差分によるノイズ成分を検出する時間方向のノイズ成分検出のステップと、
１フィールド又は１フレーム内で面内によるノイズ成分を検出する面内のノイズ成分検出のステップと、
前記差分によるノイズ成分と前記面内によるノイズ成分とを加重加算してノイズ補正用信号を生成する合成処理のステップと、
前記ノイズ補正用信号を前記入力映像信号から減算する減算のステップと、
前記周波数領域の特徴量に応じて、前記各領域の前記ノイズレベル検出結果の信頼性を示すノイズ信頼度を検出するノイズ信頼度検出のステップと、
前記ノイズ信頼度に応じて前記合成処理における加重加算の比率を設定するブレンド比設定のステップとを有する
ことを特徴とする請求項１２に記載の映像信号処理方法。
【請求項１４】
前記合成処理のステップは、
前記ノイズ信頼度に応じて、大振幅を抑圧して前記ノイズ補正信号を生成する
ことを特徴とする請求項１３に記載の映像信号処理方法。
【請求項１５】
前記帯域分割のステップで分割された帯域毎に、対応する帯域毎のノイズレベル検出結果に基づいてノイズ抑圧レベルを可変して前記入力映像信号のノイズを抑圧するフィルタリング処理のステップを有する
ことを特徴とする請求項１０に記載の映像信号処理方法。
【請求項１６】
前記フィルタリング処理のステップは、
前記帯域毎に、フィールド間差分又はフレーム間差分から差分によるノイズ成分を検出する時間方向のノイズ成分検出のステップと、
前記帯域毎に、１フィールド又は１フレーム内で面内によるノイズ成分を検出する面内のノイズ成分検出のステップと、
前記帯域毎に、前記差分によるノイズ成分と前記面内によるノイズ成分とを加重加算してノイズ補正用の信号を生成する合成処理のステップと、
前記ノイズ補正用信号を前記入力映像信号から減算する減算のステップと、
前記周波数領域の特徴量に応じて、前記各領域の前記ノイズレベル検出結果の信頼性を示すノイズ信頼度を検出するノイズ信頼度検出のステップと、
前記ノイズ信頼度に応じて前記合成処理における加重加算の比率を設定するブレンド比設定のステップとを有する
ことを特徴とする請求項１５に記載の映像信号処理方法。
【請求項１７】
前記ノイズ信頼度検出のステップは、
各帯域で検出されるスペクトラムの平坦度に応じて、前記ノイズ信頼度を補正する
ことを特徴とする請求項１６に記載の映像信号処理方法。
【請求項１８】
入力映像信号のノイズレベルを計測する映像信号処理方法のプログラムにおいて、
前記入力映像信号に設定した領域毎に、前記入力映像信号におけるノイズレベルを示す面内の特徴量を検出する面内の特徴量検出のステップと、
前記面内の特徴量検出のステップで検出した面内の特徴量をノイズフリー領域用のしきい値で判定し、前記ノイズフリー領域用のしきい値より前記面内の特徴量が少ない領域をノイズレベル計測対象から除外するノイズフリー領域の処理ステップと、
前記ノイズフリー領域の処理ステップで除外して残る領域の前記面内の特徴量を統計的に処理してノイズレベル計測結果を出力するノイズレベル計測のステップとを有する
ことを特徴とする映像信号処理方法のプログラム。
【請求項１９】
入力映像信号のノイズレベルを計測する映像信号処理方法のプログラムを記録した記録媒体において、
前記映像信号処理方法のプログラムは、
前記入力映像信号に設定した領域毎に、前記入力映像信号におけるノイズレベルを示す面内の特徴量を検出する面内の特徴量検出のステップと、
前記面内の特徴量検出のステップで検出した面内の特徴量をノイズフリー領域用のしきい値で判定し、前記ノイズフリー領域用のしきい値より前記面内の特徴量が少ない領域をノイズレベル計測対象から除外するノイズフリー領域の処理ステップと、
前記ノイズフリー領域の処理ステップで除外して残る領域の前記面内の特徴量を統計的に処理してノイズレベル計測結果を出力するノイズレベル計測のステップとを有する
ことを特徴とする映像信号処理方法のプログラムを記録した記録媒体。
【請求項２０】
入力映像信号のノイズレベルを計測する映像信号処理装置において、
前記入力映像信号に設定した領域毎に、前記入力映像信号におけるノイズレベルを示す面内の特徴量を検出する面内の特徴量検出部と、
前記面内の特徴量検出部で検出した面内の特徴量をノイズフリー領域用のしきい値で判定し、前記ノイズフリー領域用のしきい値より前記面内の特徴量が少ない領域をノイズレベル計測対象から除外するノイズフリー領域の処理部と、
前記ノイズフリー領域の処理部で除外して残る領域の前記面内の特徴量を統計的に処理してノイズレベル計測結果を出力するノイズレベル計測部とを有する
ことを特徴とする映像信号処理装置。
【請求項２１】
入力映像信号のノイズレベルを計測する映像信号処理方法において、
前記入力映像信号に設定した領域毎に、前記入力映像信号におけるノイズレベルを示す面内の特徴量を検出する面内の特徴量検出のステップと、
前記入力映像信号から近傍画素と相関性の高い画素を検出し、検出結果に基づいて、近傍画素との間の相関性の高い画素を多く含む領域をノイズレベル計測対象から除外するノイズフリー領域の処理ステップと、
前記ノイズフリー領域の処理ステップで除外して残る領域の前記面内の特徴量を統計的に処理してノイズレベル計測結果を出力するノイズレベル計測のステップとを有する
ことを特徴とする映像信号処理方法。
【請求項２２】
前記ノイズフリー領域の処理ステップは、
前記入力映像信号から近傍画素との間の非相関性を示す指標である差異度を画素毎に検出する差異度検出のステップと、
前記差異度を判定して、前記領域毎に、前記近傍画素と相関性の高い画素数を検出する画素数検出のステップと、
前記画素数検出のステップで検出した画素数を判定して、前記近傍画素との間の相関性の高い画素を多く含む領域を検出する領域検出のステップとを有する
ことを特徴とする請求項２１に記載の映像信号処理方法。
【請求項２３】
前記ノイズフリー領域の処理ステップは、
前記入力映像信号のフレーム間又はフィールド間の差分信号を生成する差分信号生成のステップを有し、
前記差異度検出のステップは、
前記差分信号から前記差異度を検出する
ことを特徴とする請求項２２に記載の映像信号処理方法。
【請求項２４】
前記ノイズフリー領域の処理ステップは、
処理対象領域が、前記近傍画素との間の相関性の高い画素を多く含む領域である場合、及び隣接領域が、前記近傍画素との間の相関性の高い画素を多く含む領域である場合、当該処理対象領域をノイズレベル計測対象から除外する
ことを特徴とする請求項２１に記載の映像信号処理方法。
【請求項２５】
入力映像信号のノイズレベルを計測する映像信号処理方法のプログラムにおいて、
前記入力映像信号に設定した領域毎に、前記入力映像信号におけるノイズレベルを示す面内の特徴量を検出する面内の特徴量検出のステップと、
前記入力映像信号から近傍画素と相関性の高い画素を検出し、検出結果に基づいて、近傍画素との間の相関性の高い画素を多く含む領域をノイズレベル計測対象から除外するノイズフリー領域の処理ステップと、
前記ノイズフリー領域の処理ステップで除外して残る領域の前記面内の特徴量を統計的に処理してノイズレベル計測結果を出力するノイズレベル計測のステップとを有する
ことを特徴とする映像信号処理方法のプログラム。
【請求項２６】
入力映像信号のノイズレベルを計測する映像信号処理方法のプログラムを記録した記録媒体において、
前記映像信号処理方法のプログラムは、
前記入力映像信号に設定した領域毎に、前記入力映像信号におけるノイズレベルを示す面内の特徴量を検出する面内の特徴量検出のステップと、
前記入力映像信号から近傍画素と相関性の高い画素を検出し、検出結果に基づいて、近傍画素との間の相関性の高い画素を多く含む領域をノイズレベル計測対象から除外するノイズフリー領域の処理ステップと、
前記ノイズフリー領域の処理ステップで除外して残る領域の前記面内の特徴量を統計的に処理してノイズレベル計測結果を出力するノイズレベル計測のステップとを有する
ことを特徴とする映像信号処理方法のプログラムを記録した記録媒体。
【請求項２７】
入力映像信号のノイズレベルを計測する映像信号処理装置において、
前記入力映像信号に設定した領域毎に、前記入力映像信号におけるノイズレベルを示す面内の特徴量を検出する面内の特徴量検出部と、
前記入力映像信号から近傍画素と相関性の高い画素を検出し、検出結果に基づいて、近傍画素との間の相関性の高い画素を多く含む領域をノイズレベル計測対象から除外するノイズフリー領域の処理部と、
前記ノイズフリー領域の処理部で除外して残る領域の前記面内の特徴量を統計的に処理してノイズレベル計測結果を出力するノイズレベル計測部とを有する
ことを特徴とする映像信号処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像信号処理方法、映像信号処理方法のプログラム、映像信号処理方法のプログラムを記録した記録媒体及び映像信号処理装置に関し、例えば映像信号中のノイズを除去するノイズフィルタに適用することができる。本発明は、ノイズレベルが極端に小さな領域をノイズレベル計測対象から除外してノイズレベルを計測することにより、従来に比して一段と精度良くノイズレベルを計測する。
【背景技術】
【０００２】
従来、各種映像信号処理装置では、時間巡回型等のノイズフィルタで映像信号からノイズを除去している。このような時間巡回型等のノイズフィルタは、映像信号から抽出したノイズ信号成分の信号レベルを補正して補正用信号を生成し、この補正用信号を元の映像信号から減算して映像信号からノイズを除去している。
【０００３】
従って補正用信号の信号レベルが大き過ぎると、被写体の境界、テクスチャ領域等でボケが発生する。またこれとは逆に補正用信号の信号レベルが小さ過ぎると、十分にノイズを抑圧できなくなる。
【０００４】
このため従来、各種映像信号処理装置では、この補正用信号の信号レベルをオペレータの操作に応じて可変できるように構成されている。これに対して特開２００１−１３６４１６号公報等には、ノイズレベルを計測し、ノイズレベル計測結果に基づいて補正用信号の信号レベルを自動的に設定する工夫が提案されている。
【０００５】
しかしながら従来手法にあっては、正確にノイズレベルを計測する点で、実用上未だ不十分な欠点があり、その結果、適切にノイズを除去できない問題があった。
【特許文献１】特開２００１−１３６４１６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
本発明は以上の点を考慮してなされたもので、従来に比して一段と精度良くノイズレベルを計測することができる映像信号処理方法、映像信号処理方法のプログラム、映像信号処理方法のプログラムを記録した記録媒体及び映像信号処理装置を提案しようとするものである。
【課題を解決するための手段】
【０００７】
上記の課題を解決するため請求項１の発明は、入力映像信号のノイズレベルを計測する映像信号処理方法に適用して、前記入力映像信号に設定した領域毎に、前記入力映像信号におけるノイズレベルを示す面内の特徴量を検出する面内の特徴量検出のステップと、前記面内の特徴量検出のステップで検出した面内の特徴量をノイズフリー領域用のしきい値で判定し、前記ノイズフリー領域用のしきい値より前記面内の特徴量が少ない領域をノイズレベル計測対象から除外するノイズフリー領域の処理ステップと、前記ノイズフリー領域の処理ステップで除外して残る領域の前記面内の特徴量を統計的に処理してノイズレベル計測結果を出力するノイズレベル計測のステップとを有するようにする。
【０００８】
また請求項１８の発明は、入力映像信号のノイズレベルを計測する映像信号処理方法のプログラムに適用して、前記入力映像信号に設定した領域毎に、前記入力映像信号におけるノイズレベルを示す面内の特徴量を検出する面内の特徴量検出のステップと、前記面内の特徴量検出のステップで検出した面内の特徴量をノイズフリー領域用のしきい値で判定し、前記ノイズフリー領域用のしきい値より前記面内の特徴量が少ない領域をノイズレベル計測対象から除外するノイズフリー領域の処理ステップと、前記ノイズフリー領域の処理ステップで除外して残る領域の前記面内の特徴量を統計的に処理してノイズレベル計測結果を出力するノイズレベル計測のステップとを有するようにする。
【０００９】
また請求項１９の発明は、入力映像信号のノイズレベルを計測する映像信号処理方法のプログラムを記録した記録媒体に適用して、前記映像信号処理方法のプログラムは、前記入力映像信号に設定した領域毎に、前記入力映像信号におけるノイズレベルを示す面内の特徴量を検出する面内の特徴量検出のステップと、前記面内の特徴量検出のステップで検出した面内の特徴量をノイズフリー領域用のしきい値で判定し、前記ノイズフリー領域用のしきい値より前記面内の特徴量が少ない領域をノイズレベル計測対象から除外するノイズフリー領域の処理ステップと、前記ノイズフリー領域の処理ステップで除外して残る領域の前記面内の特徴量を統計的に処理してノイズレベル計測結果を出力するノイズレベル計測のステップとを有するようにする。
【００１０】
また請求項２０の発明は、入力映像信号のノイズレベルを計測する映像信号処理装置に適用して、前記入力映像信号に設定した領域毎に、前記入力映像信号におけるノイズレベルを示す面内の特徴量を検出する面内の特徴量検出部と、前記面内の特徴量検出部で検出した面内の特徴量をノイズフリー領域用のしきい値で判定し、前記ノイズフリー領域用のしきい値より前記面内の特徴量が少ない領域をノイズレベル計測対象から除外するノイズフリー領域の処理部と、前記ノイズフリー領域の処理部で除外して残る領域の前記面内の特徴量を統計的に処理してノイズレベル計測結果を出力するノイズレベル計測部とを有するようにする。
【００１１】
また請求項２１の発明は、入力映像信号のノイズレベルを計測する映像信号処理方法に適用して、前記入力映像信号に設定した領域毎に、前記入力映像信号におけるノイズレベルを示す面内の特徴量を検出する面内の特徴量検出のステップと、前記入力映像信号から近傍画素と相関性の高い画素を検出し、検出結果に基づいて、近傍画素との間の相関性の高い画素を多く含む領域をノイズレベル計測対象から除外するノイズフリー領域の処理ステップと、前記ノイズフリー領域の処理ステップで除外して残る領域の前記面内の特徴量を統計的に処理してノイズレベル計測結果を出力するノイズレベル計測のステップとを有するようにする。
【００１２】
また請求項２５の発明は、入力映像信号のノイズレベルを計測する映像信号処理方法のプログラムに適用して、前記入力映像信号に設定した領域毎に、前記入力映像信号におけるノイズレベルを示す面内の特徴量を検出する面内の特徴量検出のステップと、前記入力映像信号から近傍画素と相関性の高い画素を検出し、検出結果に基づいて、近傍画素との間の相関性の高い画素を多く含む領域をノイズレベル計測対象から除外するノイズフリー領域の処理ステップと、前記ノイズフリー領域の処理ステップで除外して残る領域の前記面内の特徴量を統計的に処理してノイズレベル計測結果を出力するノイズレベル計測のステップとを有するようにする。
【００１３】
また請求項２６の発明は、入力映像信号のノイズレベルを計測する映像信号処理方法のプログラムを記録した記録媒体に適用して、前記映像信号処理方法のプログラムは、前記入力映像信号に設定した領域毎に、前記入力映像信号におけるノイズレベルを示す面内の特徴量を検出する面内の特徴量検出のステップと、前記入力映像信号から近傍画素と相関性の高い画素を検出し、検出結果に基づいて、近傍画素との間の相関性の高い画素を多く含む領域をノイズレベル計測対象から除外するノイズフリー領域の処理ステップと、前記ノイズフリー領域の処理ステップで除外して残る領域の前記面内の特徴量を統計的に処理してノイズレベル計測結果を出力するノイズレベル計測のステップとを有するようにする。
【００１４】
また請求項２７の発明は、入力映像信号のノイズレベルを計測する映像信号処理装置に適用して、前記入力映像信号に設定した領域毎に、前記入力映像信号におけるノイズレベルを示す面内の特徴量を検出する面内の特徴量検出部と、前記入力映像信号から近傍画素と相関性の高い画素を検出し、検出結果に基づいて、近傍画素との間の相関性の高い画素を多く含む領域をノイズレベル計測対象から除外するノイズフリー領域の処理部と、前記ノイズフリー領域の処理部で除外して残る領域の前記面内の特徴量を統計的に処理してノイズレベル計測結果を出力するノイズレベル計測部とを有するようにする。
【００１５】
請求項１、請求項１８、請求項１９又は請求項２０の構成によれば、ノイズレベルが極端に小さな領域をノイズレベル計測対象から除外してノイズレベルを計測することができ、テレビジョン受像機、光ディスクレコーダー等のグラフィカルユーザーインターフェースの領域、編集過程で挿入されたキャプション情報等を表示した領域ではノイズレベルを計測しないようにすることができる。従って、本来の映像信号に混入するノイズレベルを正確に測定することができ、従来に比して一段と精度良くノイズレベルを計測することができる。
【００１６】
請求項２１、請求項２５、請求項２６又は請求項２７の構成によれば、近傍画素との相関性を有効に利用して、ノイズレベルが極端に小さな領域をノイズレベル計測対象から除外してノイズレベルを計測することができ、テレビジョン受像機、光ディスクレコーダー等のグラフィカルユーザーインターフェースの領域、編集過程で挿入されたキャプション情報等を表示した領域ではノイズレベルを計測しないようにすることができる。従って、本来の映像信号に混入するノイズレベルを正確に測定することができ、従来に比して一段と精度良くノイズレベルを計測することができる。
【発明の効果】
【００１７】
本発明によれば、従来に比して一段と精度良くノイズレベルを計測することができる。
【発明を実施するための最良の形態】
【００１８】
以下、適宜図面を参照しながら本発明の実施例を詳述する。
【実施例１】
【００１９】
（１）実施例の構成
図２は、本発明の映像信号処理装置に適用されるノイズフィルタを示すブロック図である。このノイズフィルタ１は、時間巡回型のノイズフィルタであり、連続するフィールド又はフレーム間の相関を有効に利用して、入力映像信号Ｓ１のノイズを除去して出力映像信号Ｓ２を出力する。
【００２０】
ここで遅延信号生成部２は、出力映像信号Ｓ２を遅延してノイズ成分抽出用の遅延信号Ｓ３を出力する。なおここで遅延信号Ｓ３は、出力映像信号Ｓ２を動き補正して生成するようにしてもよい。減算回路３は、入力映像信号Ｓ１から遅延映像信号Ｓ３を減算してノイズ信号成分Ｓ４を生成する。信号レベル補正回路４は、このノイズ信号成分Ｓ４の信号レベルを補正して補正用信号Ｓ５を生成し、減算回路５は、この補正用信号Ｓ５を入力映像信号Ｓ１から減算して出力映像信号Ｓ２を生成する。
【００２１】
計測部６は、入力映像信号Ｓ１からノイズ信号成分の信号レベルを計測して計測結果Ｓ７を出力し、信号レベル補正回路４は、この計測結果Ｓ７に応じて補正用信号Ｓ５の信号レベルを可変して出力する。
【００２２】
図３は、この計測部６を詳細に示すブロック図である。この計測部６において、参照映像信号生成部１１は、入力映像信号Ｓ１を１フィールド又は１フレームの期間だけ遅延させて参照用映像信号Ｓ１１を出力する。より具体的に、参照映像信号生成部１１は、入力映像信号Ｓ１を動き補正して参照用映像信号Ｓ１１を生成する。
【００２３】
すなわち図４に示すように、参照映像信号生成部１１において、遅延信号生成部１２は、入力映像信号Ｓ１を１フィールド又は１フレームの期間だけ遅延させて遅延映像信号Ｓ１２を生成する。動きベクトル検出部１３は、この遅延映像信号Ｓ１２を基準にして入力映像信号Ｓ１から動きベクトルＭＶを検出する。なおここでこの動きベクトルの検出は、ブロックマッチング法、勾配法等、種々の動きベクトル検出手法を適用することができる。また動きベクトルの精度は、整数画素精度、小数画素精度のいずれでもよい。
【００２４】
動き補正映像信号生成部１４は、この動きベクトルＭＶを用いて遅延映像信号Ｓ１２を動き補正して参照用映像信号Ｓ１１を出力する。なおここでこの参照映像信号Ｓ１１は、実用上十分な特性を確保できる場合には、図５に示すように、遅延信号生成部１２で、単に、入力映像信号Ｓ１を１フィールド又は１フレームの期間だけ遅延させて生成してもよい。
【００２５】
差分信号生成部１６は、図６に示すように、減算回路１７で、入力映像信号Ｓ１から参照用映像信号Ｓ１１を減算し、フィールド間差分又はフレーム間差分である差分信号Ｓ１６を出力する。
【００２６】
ノイズ領域検出部１８は（図３）、入力映像信号Ｓ１による１画面に複数の領域を設定し、領域毎に、画素領域における映像信号の１画面内の特徴量（以下、面内の特徴量と呼ぶ）であり、入力映像信号Ｓ１における画素値のばらつきの程度を示す信号（以下、アクティビティと呼ぶ）Ｓ１Ａを生成して出力する。またこの入力映像信号Ｓ１の各領域に対応する領域毎に、参照映像信号Ｓ１１、差分信号Ｓ１６についても、それぞれアクティビティＳ１１Ａ、Ｓ１６Ａを生成して出力する。またこれらアクティビティＳ１Ａ、Ｓ１１Ａ、Ｓ１６Ａのノイズレベル計測に使用する適不適をそれぞれ判定し、その判定結果に基づいてノイズ計測に適した領域であることを示すノイズ領域識別フラグＳ１Ｆ、Ｓ１１Ｆ、Ｓ１６Ｆを出力する。
【００２７】
ここで図１は、ノイズ領域検出部１８を詳細に示すブロック図である。このノイズ領域検出部１８において、部分領域信号分割部２０は、図７に示すように、入力映像信号Ｓ１の１画面を水平方向及び垂直方向に複数の領域に分割する。部分領域信号分割部２０は、入力映像信号Ｓ１、参照映像信号Ｓ１１、差分信号Ｓ１６をそれぞれ各領域に振り分け、領域毎に、これら入力映像信号Ｓ１、参照映像信号Ｓ１１、差分信号Ｓ１６をまとめて出力する。なおこのように各領域に振り分けられて、領域毎に出力される入力映像信号Ｓ１、参照映像信号Ｓ１１、差分信号Ｓ１６を、それぞれ部分入力映像信号Ｓ１Ｐ、部分参照映像信号Ｓ１１Ｐ、部分差分信号Ｓ１６Ｐと呼ぶ。また図７との対比により図８に示すように、領域の設定は、隣接する領域が部分的に重なり合うようにしてもよい。
【００２８】
画素領域特徴量抽出部２１は、部分入力映像信号Ｓ１Ｐ、部分参照映像信号Ｓ１１Ｐ、部分差分信号Ｓ１６Ｐを入力して領域毎に処理し、領域毎に、それぞれ入力映像信号Ｓ１、参照映像信号Ｓ１１、差分信号Ｓ１６のアクティビティＳ１Ａ、Ｓ１１Ａ、Ｓ１６Ａを検出する。なおこのアクティビティＳ１Ａ、Ｓ１１Ａ、Ｓ１６Ａの検出は、各領域における信号の分散を計算して求めるようにしてもよく、またこれに代えて画素値の２乗平均、画素値の絶対値平均、画素値の標準偏差等を計算して求めるようにしてもよい。
【００２９】
また画素領域特徴量抽出部２１は、領域毎に、それぞれ入力映像信号Ｓ１、参照映像信号Ｓ１１の画素値の平均値Ｓ１ＰＡｖｅ、Ｓ１１ＰＡｖｅを計算して出力する。
【００３０】
飽和領域検出部２２は、画素領域特徴量抽出部２１で計算した入力映像信号Ｓ１、参照映像信号Ｓ１１の画素値の平均値Ｓ１ＰＡｖｅ、Ｓ１１ＰＡｖｅを所定のしきい値S min
Th、S max Thで判定することにより、各領域において、入力映像信号Ｓ１、参照映像信号Ｓ１１の画素値がダイナミックレンジの影響を受けてクリッピングしている可能性の有無を示す飽和フラグＳ１ＰＡｖｅＦ、Ｓ１１ＰＡｖｅＦを出力する。なおここでクリッピングは、いわゆる白つぶれ、黒つぶれである。またしきい値S min Th、S max Thはそれぞれ黒レベル側及び白レベル側のしきい値である。従って飽和領域検出部２２は、Ｓ１ＰＡｖｅ＜S min Th又はＳ１ＰＡｖｅ＞S max Thが成立する場合、入力映像信号Ｓ１の飽和フラグＳ１ＰＡｖｅＦを立ち上げる。またＳ１１ＰＡｖｅ＜S min Th又はＳ１１ＰＡｖｅ＞S
max Thが成立する場合、参照映像信号Ｓ１１の飽和フラグＳ１１ＰＡｖｅＦを立ち上げる。
【００３１】
ここで映像信号の画素値がダイナミックレンジの影響を受けてクリッピングしている場合、この映像信号に重畳されたノイズもクリッピングされていることになる。従ってこのクリッピングされている領域では、ノイズレベルを正しく計測できないことになる。従って飽和領域検出部２２は、領域毎に、入力映像信号Ｓ１、参照映像信号Ｓ１１の平均値Ｓ１ＰＡｖｅ、Ｓ１１ＰＡｖｅを所定のしきい値S min Th、S max Thで判定することにより、クリッピングによるノイズレベル検出に不適切な領域を検出し、検出結果を飽和フラグＳ１ＰＡｖｅＦ、Ｓ１１ＰＡｖｅＦで出力する。
【００３２】
ノイズフリー領域検出部２３は、入力映像信号Ｓ１、参照映像信号Ｓ１１、差分信号Ｓ１６のアクティビティＳ１Ａ、Ｓ１１Ａ、Ｓ１６Ａを入力し、それぞれノイズフリー領域を検出してノイズフリー領域検出フラグＳ１ＮＦＦ、Ｓ１１ＮＦＦ、Ｓ１６ＮＦＦを出力する。ここでノイズフリー領域は、当該領域が、テレビジョン受像機、光ディスクレコーダー等のグラフィカルユーザーインターフェースの領域、編集過程で挿入されたキャプション情報等を表示した領域であると推定され、当該領域では、対象の信号にノイズがほとんど存在しないと見なすことができる領域である。
【００３３】
ノイズフリー領域検出部２３は、各領域における入力映像信号Ｓ１、参照映像信号Ｓ１１のアクティビティＳ１Ａ、Ｓ１１Ａの値Iactを、所定のしきい値INF Thで判定し、Iact＜ INF Th の関係が成立する場合、それぞれ入力映像信号Ｓ１、参照映像信号Ｓ１１のノイズフリー領域検出フラグＳ１ＮＦＦ、Ｓ１１ＮＦＦを立ち上げる。また各領域における差分信号Ｓ１６のアクティビティＳ１６Ａの値Pactを対応するしきい値PNF Thで判定し、Pact＜PNF Thの関係が成立する場合、差分信号Ｓ１６のノイズフリー領域検出フラグＳ１６ＮＦＦを立ち上げる。
【００３４】
計測有効判定部２４は、飽和フラグＳ１ＰＡｖｅＦ、Ｓ１１ＰＡｖｅＦ、ノイズフリー領域検出フラグＳ１ＮＦＦ、Ｓ１１ＮＦＦ、Ｓ１６ＮＦＦを処理して、ノイズ領域識別フラグＳ１Ｆ、Ｓ１１Ｆ、Ｓ１６Ｆを出力する。
【００３５】
図９は、この計測有効判定部２４を詳細に示すブロック図である。計測有効判定部２４において、計測不能領域判定部２７は、飽和フラグＳ１ＰＡｖｅＦ、Ｓ１１ＰＡｖｅＦ、ノイズフリー領域検出フラグＳ１ＮＦＦ、Ｓ１１ＮＦＦ、Ｓ１６ＮＦＦの各信号Ｓ１、Ｓ１１、Ｓ１６毎の論理演算処理により、当該領域がノイズの計測に適していない領域であることを示す計測不能領域判定フラグＳ１ＮＦ、Ｓ１１ＮＦ、Ｓ１６ＮＦを出力する。
【００３６】
具体的に、計測不能領域判定部２７は、入力映像信号Ｓ１の飽和フラグＳ１ＰＡｖｅＦ、ノイズ領域識別フラグＳ１ＮＦＦの何れかが立ち上がっている場合、当該領域における入力映像信号Ｓ１の計測不能領域判定フラグＳ１ＮＦを立ち上げる。また参照映像信号Ｓ１１の飽和フラグＳ１１ＰＡｖｅＦ、ノイズ領域識別フラグＳ１１ＮＦＦの何れかが立ち上がっている場合、当該領域における参照映像信号Ｓ１１の計測不能領域判定フラグＳ１１ＮＦを立ち上げる。また差分信号Ｓ１６のノイズ領域識別フラグＳ１６ＮＦＦが立ち上がっている場合、当該領域における差分信号Ｓ１６の計測不能領域判定フラグＳ１６ＮＦを立ち上げる。
【００３７】
増幅回路２８は、入力映像信号Ｓ１のアクティビティＳ１Ａ、参照映像信号Ｓ１１のアクティビティＳ１１Ａに対応するように、差分信号Ｓ１６のアクティビティＳ１６Ａの値を補正して出力する。
【００３８】
最小アクティビティ算出部２９は、領域毎に、入力映像信号Ｓ１のアクティビティＳ１Ａ、参照映像信号Ｓ１１のアクティビティＳ１１Ａ、増幅回路２８から出力される差分信号Ｓ１６のアクティビティＳ１６Ａから、対応する計測不能領域判定フラグＳ１ＮＦ、Ｓ１１ＮＦＳ、１６ＮＦが立ち上がっていないアクティビティＳ１Ａ、Ｓ１１Ａ、Ｓ１６Ａを選択する。また領域毎に、選択したアクティビティＳ１Ａ、Ｓ１１Ａ、Ｓ１６Ａから最も値の小さなアクティビティを検出し、さらにこの検出した各領域の最小値から１フィールド又は１フレームで最も値の小さなアクティビティを選択する。最小アクティビティ算出部２９は、この１フィールド又は１フレームで選択した最も値の小さなアクティビティを最小アクティビティMinActとして出力する。なおこの１フィールド単位又は１フレーム単位の最小アクティビティMinActの検出に代えて、計測不能領域判定フラグＳ１ＮＦ、Ｓ１１ＮＦＳ、１６ＮＦが立ち上がっていないアクティビティＳ１Ａ、Ｓ１１Ａ、Ｓ１６Ａを１フィールド分又は１フレーム分、記録して保持し、この記録して保持したアクティビティＳ１Ａ、Ｓ１１Ａ、Ｓ１６Ａから値の小さい側から複数個の平均値を出力するようにしてもよい。
【００３９】
閾値設定部３０は、最小アクティビティMinActに基づいて、アクティビティＳ１Ａ、Ｓ１１Ａ、Ｓ１６Ａを判定するための上限しきい値Act MaxTh1を計算する。すなわち閾値設定部３０は、対応する領域の面積から決まる定数A sdを最小アクティビティMinActと乗算し、上限しきい値Act MaxTh1を計算するための第１の中間計算値EstSD （= MinAct× A sd ）を計算する。また同様に対応する領域の面積から決まる定数A meanを最小アクティビティMinActと乗算して上限しきい値Act MaxTh1を計算するための第２の中間計算値EstMean （= MinAct× A mean ）を計算する。また第１の中間計算値EstSD に定数ActTh Factor1 を乗算して第２の中間計算値EstMean と加算し、上限しきい値Act MaxTh1（= EstMean
+EstSD×ActTh Factor1 ）を計算する。なおここで定数ActTh Factor1 は、ノイズの分布を考慮した定数である。これにより閾値設定部３０は、最小アクティビティMinActを基準にして、各領域で検出されたアクティビティＳ１Ａ、Ｓ１１Ａ、Ｓ１６Ａがノイズのみによるもので無いと判断される上限しきい値Act MaxTh1を予測する。
【００４０】
有効ノイズ領域・アクティビティ選択部３１は、上限しきい値Act MaxTh1、最小アクティビティMinAct、計測不能領域判定フラグＳ１ＮＦ、Ｓ１１ＮＦ、Ｓ１６ＮＦに基づいて、ノイズ領域識別フラグＳ１Ｆ、Ｓ１１Ｆ、Ｓ１６Ｆを設定する。すなわち計測不能領域判定フラグＳ１ＮＦ、Ｓ１１ＮＦ、Ｓ１６ＮＦが立ち上がっている場合、明らかに対応するアクティビティＳ１Ａ、Ｓ１１Ａ、Ｓ１６Ａは、ノイズレベルの計測に適していないと判定できることにより、この場合、有効ノイズ領域・アクティビティ選択部３１は、対応する信号Ｓ１Ａ、Ｓ１１Ａ、Ｓ１６Ａのノイズ領域識別フラグＳ１Ｆ、Ｓ１１Ｆ、Ｓ１６Ｆを立ち下げる。また計測不能領域判定フラグＳ１ＮＦ、Ｓ１１ＮＦＳ、１６ＮＦが立ち下がっている場合でも、対応するアクティビティＳ１Ａ、Ｓ１１Ａ、Ｓ１６Ａの値が最小アクティビティMinActより小さい場合、又は上限しきい値Act MaxTh1より大きい場合、ノイズレベル計測に使用することの信頼性が低いと言え、従ってこの場合も、ノイズ領域識別フラグＳ１Ｆ、Ｓ１１Ｆ、Ｓ１６Ｆを立ち下げる。
【００４１】
ノイズレベル計測部３５（図３）は、ノイズ領域識別フラグＳ１Ｆ、Ｓ１１Ｆ、Ｓ１６Ｆ、アクティビティＳ１Ａ、Ｓ１１Ａ、Ｓ１６Ａを処理してノイズレベル計測結果Ｓ７を出力する。
【００４２】
すなわち図１０に示すように、ノイズレベル計測部３５において、ノイズ領域統計値算出部３７は、ノイズ領域識別フラグＳ１Ｆ、Ｓ１１Ｆ、Ｓ１６Ｆが立ち上がっているノイズレベル計測に適した領域のアクティビティＳ１Ａ、Ｓ１１Ａ、Ｓ１６Ａを統計的に処理し、アクティビティＳ１Ａ、Ｓ１１Ａ、Ｓ１６Ａを代表する代表アクティビティＡＣＴを出力する。ここでこの統計的な処理は、ノイズ領域識別フラグＳ１Ｆ、Ｓ１１Ｆ、Ｓ１６Ｆが立ち上がっている領域のアクティビティＳ１Ａ、Ｓ１１Ａ、Ｓ１６Ａのうちで、最も優位なアクティビティを検出する処理であり、平均値を求める処理、分布の中心値を求める処理、ヒストグラムで最大頻度となる値を求める処理等を適用することができる。ノイズ領域統計値算出部３７は、１フィールド単位又は１フレーム単位で、代表アクティビティＡＣＴを計算して出力する。なお１フィールド単位又は１フレーム単位に代えて複数フィールド単位又は複数フレーム単位で代表アクティビティＡＣＴを計算して出力するようにしてもよい。
【００４３】
またノイズ領域統計値算出部３７は、ノイズ領域識別フラグＳ１Ｆ、Ｓ１１Ｆ、Ｓ１６Ｆが立ち上がっているアクティビティＳ１Ａ、Ｓ１１Ａ、Ｓ１６Ａの数をカウントし、代表アクティビティＡＣＴの計算に使用したアクティビティＳ１Ａ、Ｓ１１Ａ、Ｓ１６Ａの数ｎを計算して出力する。
【００４４】
ノイズレベル変換部３６は、代表アクティビティＡＣＴをノイズレベルに換算して出力する。すなわちノイズレベル変換部３６において、増幅回路３８は、ノイズ領域統計値算出部３７で計算した代表アクティビティＡＣＴの値を利得ＡＫで乗算し、平均ノイズレベルＡｖｅＮに対応する信号レベルに補正して出力する。なおここで利得ＡＫは、定数であり、上限しきい値Act MaxTh1の値に応じて設定される。
【００４５】
計測不能判定部３９は、ノイズ領域統計値算出部３７で求められた代表アクティビティＡＣＴの計算に使用したアクティビティＳ１Ａ、Ｓ１１Ａ、Ｓ１６Ａの数ｎを所定のしきい値で判定し、この数ｎがしきい値より小さい場合、ノイズレベルの計測が困難であることを示す判定信号ＮＧを出力する。
【００４６】
ノイズレベル時間平滑部４０は、判定信号ＮＧに基づいてノイズ領域統計値算出部３７で求められた平均ノイズレベルＡｖｅＮを平滑化し、ノイズレベル計測結果Ｓ７を出力する。すなわち図１１に示すように、ノイズレベル時間平滑部４０は、判定信号ＮＧの立ち下がりによりオン動作するスイッチ回路４１を介してフィルタ処理部４２に平均ノイズレベルＡｖｅＮを入力する。ここでフィルタ処理部４２は、図１２に示すように、入力信号ＩＮを順次遅延させる複数段の遅延回路Ｄ１〜Ｄ４と、入力信号ＩＮ、各遅延回路Ｄ１〜Ｄ４の出力信号をフィルタ係数ｈ０〜ｈ４で重み付けする乗算回路Ｍ０〜Ｍ４、乗算回路Ｍ０〜Ｍ４の出力信号を加算する加算回路ＡＤ１〜ＡＤ４とによるＦＩＲ型のローパスフィルタ回路で形成される。フィルタ処理部４２は、フィルタ特性制御部４４により設定されるフィルタ係数ｈ０〜ｈ４に応じた特性により、スイッチ回路４１を介して順次入力される平均ノイズレベルＡｖｅＮを平滑化する。なおフィルタ処理部４２には、図１３に示すように、出力信号ＯＵＴを遅延回路Ｄで遅延させ、この遅延回路Ｄの出力信号と入力信号ＩＮとをそれぞれ増幅回路ＭＢＡ及びＭＡＢで増幅して加算回路ＡＤで加算する時間巡回型（ＩＩＲ）のローパスフィルタを適用することもできる。
【００４７】
ノイズレベル時間平滑部４０は、判定信号ＮＧの立ち下がりによりオン動作するスイッチ回路４５、判定信号ＮＧに応じて接点を切り換えるスイッチ回路４６を介して、フィルタ処理部４２の出力信号をノイズレベル計測結果Ｓ７として出力する。
【００４８】
ノイズレベル時間平滑部４０において、前値記憶部４７は、判定信号ＮＧの立ち下がりにより、スイッチ回路４５を介して入力されるフィルタ処理部４２の出力信号を順次ラッチして出力する。また前値記憶部４７は、判定信号ＮＧの立ち上がりにより、ラッチ動作を停止し、これにより判定信号ＮＧが立ち上がるとフィルタ処理部４２の出力信号を前値ホールドして出力する。ノイズレベル時間平滑部４０は、判定信号ＮＧが立ち上がると、スイッチ回路４６の接点をスイッチ回路４５側から前値記憶部４７側に切り換え、前値ホールドによりノイズレベル計測結果Ｓ７を出力する。
【００４９】
減算回路４８は、前値記憶部４７から出力されるノイズレベル計測結果Ｓ７と、順次入力される平均ノイズレベルＡｖｅＮとの差分値を計算して出力する。
【００５０】
フィルタ特性制御部４４は、前値記憶部４７から出力されるノイズレベル計測結果を入力し、また減算回路４８を介してこのノイズレベル計測結果と平均ノイズレベルＡｖｅＮをとの差分値を入力し、これら計測結果、差分値に応じてフィルタ処理部４２の特性を制御する。具体的にフィルタ特性制御部４４は、差分値が大きい場合、ノイズレベル計測結果の変化が激しいことから、フィルタ処理部４２による平滑化の処理を強める。また平均ノイズレベルＡｖｅＮが大きい場合、計測結果もばらついていると考えられることにより、フィルタ処理部４２による平滑化の処理を強める。なお平滑化の処理にあっては、ノイズレベル計測結果Ｓ７を使用する後段の回路構成に応じて種々に設定することができ、このような平滑化の処理を省略して出力するようにしてもよい。
【００５１】
（２）実施例の動作
以上の構成において、映像信号Ｓ１は、ノイズフィルタ１（図２）に順次入力され、減算回路５でノイズ除去用の補正用信号Ｓ５が減算されてノイズが抑圧され、出力映像信号Ｓ２として出力される。映像信号Ｓ１は、この出力映像信号Ｓ２が遅延信号生成部２で遅延されて遅延映像信号Ｓ３が生成され、減算回路３でこの遅延信号Ｓ３が減算されてノイズ信号成分Ｓ４が生成される。またこのノイズ信号成分Ｓ４の信号レベルが信号レベル補正回路４で補正されて補正用信号Ｓ５が生成される。
【００５２】
従って入力映像信号Ｓ１は、ノイズレベルに比してこの補正用信号Ｓ５の信号レベルが小さい場合には、このノイズフィルタ１によっては十分にノイズを抑圧できなくなり、十分に画質を向上できなくなる。またこれとは逆に、ノイズレベルに比して補正用信号Ｓ５の信号レベルが大きい場合には、映像本来の高域成分まで抑圧され、被写体の境界、テクスチャ領域等でボケが発生することになる。
【００５３】
そこで入力映像信号Ｓ１は、計測部６でノイズレベルが計測され、このノイズレベル計測結果Ｓ７に応じて信号レベル補正回路４の利得が制御され、補正用信号Ｓ５の信号レベルが適切な信号レベルに設定される。しかしながら計測部６で正しくノイズレベルを計測できないと、適切に補正用信号Ｓ５の信号レベルを設定することが困難になる。
【００５４】
そこで計測部６において、入力映像信号Ｓ１は（図３）、ノイズ領域検出部１８の部分領域制御分割部２０（図１）に入力されて、１画面中に設定された領域毎の信号にまとめられ（図７及び図８）、画素領域特徴量抽出部２１において、領域毎に、画素値のばらつきの程度を示すアクティビティＳ１Ａが検出される。
【００５５】
ここでこの入力映像信号Ｓ１から検出されるアクティビティＳ１Ａは、ノイズレベルの増大により値が大きくなり、これによりノイズレベルを表していることになる。しかしながら各種の映像機器では、グラフィカルユーザーインターフェース等による各種の映像が入力映像信号Ｓ１に介挿されている場合がある。また編集過程でキャプション情報が挿入されている場合がある。このような映像、情報にあっては、入力映像信号Ｓ１の他の部分に比してノイズが少なく、画素値のばらつきが小さないわゆる平坦な部分である。従ってこのような部分で検出したノイズレベルに基づいて信号レベル補正回路４の利得を設定したのでは、ノイズを十分に抑圧できなくなる。
【００５６】
そこでこの計測部６において、入力映像信号Ｓ１は、続くノイズフリー領域検出部２３において、アクティビティＳ１Ａの値Iactが所定のしきい値INF Thで判定されて極端にノイズレベルの小さな領域が検出され、キャプション情報等が挿入された領域が検出される。すなわち入力映像信号Ｓ１は、アクティビティＳ１Ａの値Iactが所定のしきい値INF Thより小さい場合、ノイズの計測に適していない領域であるとしてノイズフリー領域検出フラグＳ１ＮＦＦが立ち上げられる。
【００５７】
また例えばこの入力映像信号Ｓ１が光ディスクレコーダーから再生されたものである場合、光ディスクレコーダーへの入力時に重畳されていたノイズ成分が、この光ディスクレコーダーの記録再生系のダイナミックレンジで部分的に抑圧されている場合も予測される。このような場合に、この抑圧された部分で検出されるノイズレベルに基づいて信号レベル補正回路４の利得を設定したのでは、ノイズを十分に抑圧できなくなる。
【００５８】
そこで入力映像信号Ｓ１は、画素領域特徴量抽出部２１において、さらに領域毎に、画素値の平均値Ｓ１ＰＡｖｅが求められ、また飽和領域検出部２２において、この平均値Ｓ１ＰＡｖｅが所定のしきい値S min Th、S max Thで判定され、ノイズが抑圧されている恐れのある白レベル側領域、黒レベル側領域で飽和フラグＳ１ＰＡｖｅＦが立ち上げられる。
【００５９】
入力映像信号Ｓ１は、飽和フラグＳ１ＰＡｖｅＦ、ノイズフリー領域検出フラグＳ１ＮＦＦが立ち下がっている領域のアクティビティＳ１Ａが、計測有効判定部２４、ノイズレベル計測部３５で選択的に処理されてノイズレベルが計測される。これにより計測部６は、従来に比してノイズレベルの計測精度を向上することができる。
【００６０】
しかしながら入力映像信号Ｓ１から求められるアクティビティＳ１Ａは、ノイズ成分を含んではいるものの、本来の映像信号の高域成分までも含んでいる。従って高域成分の信号レベルが大きい場合には、ノイズレベルの計測に誤差が大きくなる。
【００６１】
そこで入力映像信号Ｓ１は、参照映像信号生成部１１で遅延、動き補正されて参照用映像信号Ｓ１１が生成され（図４及び図５）、さらに差分信号生成部１６でこの参照用映像信号Ｓ１１との間の差分信号Ｓ１６が生成される（図６）。またこの差分信号Ｓ１６がノイズ領域検出部１８の部分領域制御分割部２０（図１）において、入力映像信号Ｓ１と同様に１画面中に設定された領域毎の信号にまとめられ（図７及び図８）、画素領域特徴量抽出部２１において、領域毎にアクティビティＳ１６Ａが検出される。またこの差分信号Ｓ１６の生成に使用した参照用映像信号Ｓ１１も、入力映像信号Ｓ１と同様に処理されて、領域毎にアクティビティＳ１１Ａが検出される。
【００６２】
ここでこの差分信号Ｓ１６のアクティビティＳ１６Ａは、差分信号Ｓ１６が連続するフィールド又はフレーム間の差分信号であることから、正しく動き補正できている場合には、入力映像信号Ｓ１に本来含まれる高域成分の影響を受けず、正しくノイズレベルを表していることになる。しかしながら誤って動き補正している場合もあり、この場合にはノイズレベルを誤検出することになり、入力映像信号Ｓ１のアクティビティＳ１Ａを用いてノイズレベルを計測した方が正しくノイズレベルを計測できる場合も発生する。
【００６３】
また例えばシーンチェンジ、フラッシュ等で、一時的に画質が変化する場合も予測され、この場合は、参照映像信号Ｓ１１を使用してノイズレベルを計測した方が、より適切にノイズレベルを計測することができる。
【００６４】
これによりこの計測部６において、入力映像信号Ｓ１は、入力映像信号Ｓ１のアクティビティＳ１Ａに加えて、参照映像信号Ｓ１１及び差分信号Ｓ１６のアクティビティＳ１１Ａ及びＳ１６Ａを用いて求められ、これにより従来に比して一段を精度良くノイズレベルを計測することが可能となる。
【００６５】
またこの参照映像信号Ｓ１１にあっても、入力映像信号Ｓ１と同様に、記録再生系等のダイナミックレンジで部分的にノイズが抑圧されている場合があり、さらにキャプション情報等を表示した領域でノイズレベルを誤り検出する恐れがあることにより、入力映像信号Ｓ１と同様に飽和領域検出部２２、ノイズフリー領域検出部２３でそれぞれ処理されて飽和フラグＳ１１ＰＡｖｅＦ、ノイズフリー領域検出フラグＳ１１ＮＦＦが設定され、これによってもノイズレベルの計測精度が向上される。
【００６６】
これに対して差分信号Ｓ１６は、ノイズフリー領域検出部２３でノイズフリー領域検出フラグＳ１６ＮＦＦが設定され、これによってもノイズレベルの計測精度が向上される。なお差分信号Ｓ１６は、平均値をしきい値で判定してノイズが部分的に抑圧されている部分を検出できないことにより、この計測部６では、飽和フラグを設定していないが、差分信号Ｓ１６の生成元である入力映像信号Ｓ１及び又は参照映像信号Ｓ１１で設定された飽和フラグＳ１ＰＡｖｅＦ及び又はＳ１１ＰＡｖｅＦを利用して、飽和フラグを設定するようにしてもよい。
【００６７】
計測部６において、入力映像信号Ｓ１は、これら飽和フラグＳ１ＰＡｖｅＦ、Ｓ１１ＰＡｖｅＦ、ノイズフリー領域検出フラグＳ１ＮＦＦ、Ｓ１１ＮＦＦ、Ｓ１６ＮＦＦに基づいて、３種類のアクティビティＳ１Ａ、Ｓ１１Ａ、Ｓ１６Ａが計測有効判定部２４、ノイズレベル計測部３５で選択的に処理されてノイズレベルが計測される。これにより計測部６は、従来に比してノイズレベルの計測精度を向上することができる。
【００６８】
より具体的に、入力映像信号Ｓ１は、計測有効判定部２４の計測不能領域判定部２７において（図１及び図９）、それぞれ入力映像信号Ｓ１、参照映像信号Ｓ１１毎に、飽和フラグＳ１ＰＡｖｅＦ、Ｓ１１ＰＡｖｅＦ、ノイズフリー領域検出フラグＳ１ＮＦＦ、Ｓ１１ＮＦＦの何れかが立ち上がっている領域が検出され、当該領域がノイズレベルの計測に適していない領域であることを示す計測不能領域判定フラグＳ１ＮＦ、Ｓ１１ＮＦが立ち上げられる。また差分信号Ｓ１６については、ノイズ領域識別フラグＳ１６ＮＦＦが立ち上がっている領域が検出され、当該領域で計測不能領域判定フラグＳ１６ＮＦが立ち上げられる。
【００６９】
入力映像信号Ｓ１は、計測不能領域判定フラグＳ１ＮＦ、Ｓ１１ＮＦ、Ｓ１６ＮＦが立ち上がっている領域の対応するアクティビティＳ１Ａ、Ｓ１１Ａ、Ｓ１６Ａについては、ノイズレベル計測部３５において、ノイズレベルの計測対象から除外され、これにより飽和領域検出部２２における画素値の平均値を基準にした領域判定結果（フラグＳ１ＰＡｖｅＦ、Ｓ１１ＰＡｖｅＦである）、ノイズフリー領域検出部２３におけるアクティビティＳ１Ａ、Ｓ１１Ａ、Ｓ１６Ａを基準にした領域判定結果（フラグＳ１ＮＦＦ、Ｓ１１ＮＦＦ、Ｓ１６ＮＦＦ）に基づいて、ノイズレベル計測に適していない領域がノイズレベル計測対象から除外され、ノイズレベルの計測精度が向上される。
【００７０】
しかしながらこのように画素値の平均値を基準にした領域判定結果、アクティビティＳ１Ａ、Ｓ１１Ａ、Ｓ１６Ａを基準にした領域判定結果によりノイズレベル計測に適していない領域をノイズレベル計測対象から除外した場合でも、入力映像信号Ｓ１によっては、ノイズレベルの計測に適していない領域が含まれている場合がある。ここでノイズは、１画面の全面にほぼ均一に重畳されると考えられる。従ってこのように画素値の平均値を基準にした領域判定結果、アクティビティＳ１Ａ、Ｓ１１Ａ、Ｓ１６Ａを基準にした領域判定結果によりノイズレベル計測に適していない領域をノイズレベル計測対象から除外して、他の領域で検出されるアクティビティに比して、あまりにかけ離れた値のアクティビティが検出されている領域は、ノイズ以外の高域成分が含まれている可能性が高い。
【００７１】
そこで入力映像信号Ｓ１は、さらに最小アクティビティ算出部２９において、対応する計測不能領域判定フラグＳ１ＮＦ、Ｓ１１ＮＦ、Ｓ１６ＮＦが立ち上がっていないアクティビティＳ１Ａ、Ｓ１１Ａ、Ｓ１６Ａが選択され、１フィールド単位又は１フレーム単位で、最も値の小さな最小アクティビティMinActが検出される。またこの最小アクティビティMinActを基準にして上限しきい値Act MaxTh1が設定される。
【００７２】
また有効ノイズ領域・アクティビティ選択部３１において、入力映像信号Ｓ１は、この最小アクティビティMinAct、上限しきい値Act MaxTh1を基準にしてアクティビティＳ１Ａ、Ｓ１１Ａ、Ｓ１６Ａが判定され、他の領域で検出されるアクティビティに比して、あまりにかけ離れた値のアクティビティが検出されている領域が検出され、これによりノイズレベルの計測に適していない領域が検出される。入力映像信号Ｓ１は、この最小アクティビティMinAct、上限しきい値Act MaxTh1で検出されたノイズレベルの計測に適していない領域もノイズレベル計測対象から除外され、これによっても一段とノイズレベルの計測精度が向上する。
【００７３】
なおこれにより最小アクティビティMinAct、上限しきい値Act MaxTh1は、入力映像信号Ｓ１、参照映像信号Ｓ１１、差分信号Ｓ１６毎に求めて、対応するアクティビティＳ１Ａ、Ｓ１１Ａ、Ｓ１６Ａの判定に使用するようにしてもよい。またアクティビティＳ１Ａ、Ｓ１１Ａ、Ｓ１６Ａの分布から、最小アクティビティMinAct、上限しきい値Act MaxTh1を設定するようにしてもよい。なおアクティビティＳ１Ａ、Ｓ１１Ａ、Ｓ１６Ａの分布から最小アクティビティMinAct、上限しきい値Act MaxTh1を設定する場合は、例えばノイズによる分布を推定し、このノイズの分布の標準偏差から設定することが考えられる。
【００７４】
入力映像信号Ｓ１は、有効ノイズ領域・アクティビティ選択部３１において、計測不能領域判定フラグＳ１ＮＦ、Ｓ１１ＮＦ、Ｓ１６ＮＦによりノイズレベル計測に適していないとされた領域に、この最小アクティビティMinAct、上限しきい値Act MaxTh1で検出されたノイズレベルの計測に適していない領域が加味されて、信号Ｓ１、Ｓ１１、Ｓ１６毎に、ノイズレベルの計測に適した領域を示すノイズ領域識別フラグＳ１Ｆ、Ｓ１１Ｆ、Ｓ１６Ｆが立ち上げられる。
【００７５】
入力映像信号Ｓ１は（図１０）、ノイズ領域統計値算出部３７において、このノイズ領域識別フラグＳ１Ｆ、Ｓ１１Ｆ、Ｓ１６Ｆに基づいて、ノイズレベル計測に適した領域の対応するアクティビティＳ１Ａ、Ｓ１１Ａ、Ｓ１６Ａが選択的に取得され、この選択したアクティビティＳ１Ａ、Ｓ１１Ａ、Ｓ１６Ａが１フィールド単位又は１フレーム単位で統計的に処理されて、代表アクティビティＡＣＴが検出される。また代表アクティビティＡＣＴを求めるために使用されたアクティビティＳ１Ａ、Ｓ１１Ａ、Ｓ１６Ａの個数ｎが計算される。
【００７６】
入力映像信号Ｓ１は（図１０及び図１１）、この代表アクティビティＡＣＴが平均ノイズレベルＡｖｅＮに変換された後、ノイズレベル時間平滑部４０において平滑化処理されてノイズレベル検出結果Ｓ７が生成される。しかしながらノイズ領域識別フラグＳ１Ｆ、Ｓ１１Ｆ、Ｓ１６Ｆによりあまりにノイズレベル計測に適していない領域が多い１フィールド、１フレームにあっては、そもそもノイズレベルを正確に計測困難な映像であると考えられ、このような１フィールド、１フレームで検出されたノイズレベルは、信頼性が低いと判断することができる。
【００７７】
従って入力映像信号Ｓ１は、ノイズレベル変換部３６の計測不能判定部３９において、代表アクティビティＡＣＴを求めるために使用されたアクティビティＳ１Ａ、Ｓ１１Ａ、Ｓ１６Ａの個数ｎが判定され、ノイズレベル計測に適していないフィールド、フレームが検出される。またノイズレベル時間平滑部４０において、このノイズレベル計測に適していないフィールド、フレームでは、代表アクティビティＡＣＴを平滑化処理対象に加えないようにスイッチ回路４１が切り換えられ、また前値ホールドによりノイズレベル検出結果Ｓ７を出力するように、スイッチ回路４５、４６が切り換えられる。これにより実施例では、ノイズフィルタ１によるノイズ除去に好適に、急激な値の変化を防止してノイズレベル検出結果Ｓ７が検出される。
【００７８】
またフィルタ特性制御部４４により、ノイズレベルが大きく誤差が大きい場合、連続するフィールド、フレームでノイズレベルの変動が大きい場合に、フィルタ処理部４２による平滑化の特性が強められ、これによっても測定精度の劣化が防止される。
【００７９】
（３）実施例の効果
以上の構成によれば、面内の特徴量であるアクティビティをノイズフリー領域用のしきい値で判定してノイズレベル計測対象から除外して、ノイズレベルが極端に小さな領域をノイズレベル計測対象から除外したことにより、従来に比して一段と精度良くノイズレベルを計測することができる。すなわちこの場合、テレビジョン受像機、光ディスクレコーダー等のグラフィカルユーザーインターフェースの領域、編集過程で挿入されたキャプション情報等を表示した領域ノイズレベルを計測しないようにすることができ、本来の映像信号に混入するノイズレベルを正確に測定して精度良くノイズレベルを計測することができる。
【００８０】
また参照信号についても同様に処理してノイズレベル計測対象を設定し、参照信号との間の総合的な処理によりノイズレベルを計測することにより、一段と高い精度でノイズレベルを計測することができる。
【００８１】
またフレーム間又はフィールド間の差分信号についても同様に処理してノイズレベル計測対象を設定し、差分信号との間の総合的な処理によりノイズレベルを計測することにより、一段と高い精度でノイズレベルを計測することができる。
【００８２】
また画素値の平均値を平均値用のしきい値で判定してノイズレベル計測対象から除外することにより、ダイナミックレンジの影響を受けてクリッピングしている可能性の高い領域をノイズレベル計測対象から除外してノイズレベルを計測することができ、一段とノイズレベル検出精度を向上することができる。
【００８３】
また特徴量を集計して検出した特徴量の最小値に基づいて上限しきい値を設定し、この上限しきい値により特徴量を判定することにより、正しく動き補正できていないような領域についてはノイズレベル計測対象から除外することができ、これによっても一段とノイズレベルの検出精度を向上することができる。
【００８４】
また計測対象から除外した領域の数をフィールド単位又はフレーム単位で判定して、この領域の数が一定値より大きい場合、前値ホールドによりノイズレベル検出結果を出力することにより、ノイズレベル検出結果をノイズフィルタの処理に適用して、誤ったノイズレベルの抑圧を防止し、さらには急激な画質の変化を防止することができる。
【実施例２】
【００８５】
図１４は、本発明の実施例２のノイズフィルタに適用されるノイズ領域検出部の構成を示すブロック図である。この実施例２のノイズフィルタは、ノイズ領域検出部１８に代えてこのノイズ領域検出部５１が適用される点を除いて、実施例１のノイズフィルタと同一に構成される。なお以下において、実施例１と同一の構成は、対応する符号を付して示し、重複した説明は省略する。
【００８６】
このノイズ領域検出部５１は、ノイズが抑圧されている恐れのある白レベル側領域、黒レベル側領域をノイズレベル計測対象から除外するようにフラグＳ１ＰＡｖｅＦ、Ｓ１１ＰＡｖｅＦを設定する代わりに、抑圧前のノイズレベルを示すようにアクティビティＳ１Ａ、Ｓ１１Ａ、Ｓ１６Ａを補正し、これによりこれら領域もノイズレベル計測対象とする。このノイズ領域検出部５１は、実施例１において上述したノイズ領域検出部と同一に、部分領域信号分割部２０、画素領域特徴量抽出部２１で順次入力映像信号Ｓ１、参照映像信号Ｓ１１、差分信号Ｓ１６を処理してアクティビティＳ１Ａ、Ｓ１１Ａ、Ｓ１６Ａ、入力映像信号Ｓ１、参照映像信号Ｓ１１の画素値の平均値Ｓ１ＰＡｖｅ、Ｓ１１ＰＡｖｅを求める。
【００８７】
このノイズ領域検出部５１において、飽和補正アクティビティ算出部５２は、ノイズが抑圧されている恐れのある白レベル側領域、黒レベル側領域について、抑圧前のノイズレベルを示すようにアクティビティＳ１Ａ、Ｓ１１Ａ、Ｓ１６Ａを補正して出力する。すなわち図１５に示すように、飽和補正アクティビティ算出部５２において、飽和度算出部５７は、入力映像信号Ｓ１、参照映像信号Ｓ１１の画素値の平均値Ｓ１ＰＡｖｅ、Ｓ１１ＰＡｖｅを入力し、各領域の飽和度Ｓ１ＰＳ、Ｓ１１ＰＳを計算する。なおここで飽和度は、画素値の平均値を画素値が取り得る最大値で割り算して求められる。また差分信号Ｓ１６のアクティビティＳ１６Ａについては、入力映像信号Ｓ１及び参照映像信号Ｓ１１の平均値Ｓ１ＰＡｖｅ及びＳ１１ＰＡｖｅを平均値化し、この平均値から飽和度Ｐ１６ＰＳを求める。
【００８８】
アクティビティ補正部５４は、入力映像信号Ｓ１、参照映像信号Ｓ１１、差分信号Ｓ１６のアクティビティＳ１Ａ、Ｓ１１Ａ、Ｓ１６Ａを、それぞれ対応する飽和度Ｓ１ＰＳ、Ｓ１１ＰＳ、Ｓ１６ＰＳに応じた補正量で乗算し、アクティビティＳ１Ａ、Ｓ１１Ａ、Ｓ１６Ａの値を補正してアクティビティＳ１ＡＡ、Ｓ１１ＡＡ、Ｓ１６ＡＡを出力する。なおここで図１６は、例えば、白レベル側についてのみアクティビティを補正する場合を示す例であり、この場合、飽和度が白レベル側に近づくに従って補正量が大きくなるように設定される。この実施例では、黒レベル側領域及び白レベル側領域についてアクティビティＳ１Ａ、Ｓ１１Ａ、Ｓ１６Ａを補正することから、アクティビティ補正部５４は、黒レベルから白レベルに近づくに従って、徐々に値が低下した後、ほぼ一定値となり、その後値が徐々に増大するように補正量が設定される。
【００８９】
ノイズフリー領域検出部５３は、この飽和補正アクティビティ算出部５２におけるアクティビティＳ１Ａ、Ｓ１１Ａ、Ｓ１６Ａの補正に対応するように、しきい値INF Thが設定されている点を除いて、実施例１のノイズフリー領域検出部２３と同一に構成され、アクティビティＳ１ＡＡ、Ｓ１１ＡＡ、Ｓ１６ＡＡをしきい値INF Th、PNF Thで判定して、ノイズフリー領域検出フラグＳ１ＮＦＦ、Ｓ１１ＮＦＦ、Ｓ１６ＮＦＦを出力する。
【００９０】
計測有効判定部５５は、図１７に示すように、飽和補正アクティビティ算出部５２、ノイズフリー領域検出部５３の構成に対応するように、計測不能領域判定部５６の構成が異なる点を除いて、実施例１の計測有効判定部２４と同一に構成され、飽和補正アクティビティ算出部５２、ノイズフリー領域検出部５３の処理結果に基づいて、ノイズ領域識別フラグＳ１Ｆ、Ｓ１１Ｆ、Ｓ１６Ｆを出力する。従って計測不能領域判定部５６は、ノイズフリー領域検出フラグＳ１ＮＦＦ、Ｓ１１ＮＦＦ、Ｓ１６ＮＦＦの論理値を単に反転させて、ノイズ領域識別フラグＳ１Ｆ、Ｓ１１Ｆ、Ｓ１６Ｆを出力する。
【００９１】
なおこれにより有効ノイズ領域・アクティビティ選択部３１は、補正前のアクティビティＳ１Ａ、Ｓ１１Ａ、Ｓ１６Ａに代えて、補正されたアクティビティＳ１ＡＡ、Ｓ１１ＡＡ、Ｓ１６ＡＡを処理してフラグＳ１Ｆ、Ｓ１１Ｆ、Ｓ１６Ｆを出力する。また後段のノイズレベル計測部３５は、補正前のアクティビティＳ１Ａ、Ｓ１１Ａ、Ｓ１６Ａに代えて、補正されたアクティビティＳ１ＡＡ、Ｓ１１ＡＡ、Ｓ１６ＡＡを処理してノイズレベル検出結果Ｓ７を出力する。
【００９２】
この実施例のように、ノイズが抑圧されている恐れのある白レベル側領域、黒レベル側領域をノイズレベル計測対象から除外する代わりに、抑圧前のノイズレベルを示すようにアクティビティＳ１Ａ、Ｓ１１Ａ、Ｓ１６Ａを補正してノイズレベル計測対象とするようにしても、実施例１と同様の効果を得ることができる。またこの場合、実施例１に比してノイズレベル計測対象の領域数が増大することから、例えば暗闇のシーンが続くような場合でも安定して高い精度でノイズレベルを計測することができる。
【実施例３】
【００９３】
ところで実施例１の構成では、入力映像信号Ｓ１によっては、殆どの領域でノイズフリー検出フラグＳ１ＮＦＦ、Ｓ１１ＮＦＦ、Ｓ１６ＮＦＦが立ち上がり、ノイズレベル計測に使用する領域数が極端に少なくなって計測結果の信頼性が劣化する恐れがある。
【００９４】
そこでこの実施例では、ノイズフリー検出フラグＳ１ＮＦＦ、Ｓ１１ＮＦＦ、Ｓ１６ＮＦＦが立ち上がっている領域の数が増大すると、最小アクティビティMinActによってノイズ計測対象から除外する領域数を低減させる。なお以下において、実施例１、２と同一の構成は、対応する符号を付して示し、重複した説明は省略する。
【００９５】
すなわち図１８は、本発明の実施例３のノイズフィルタに適用される計測有効判定部の構成を示すブロック図である。この実施例３のノイズフィルタは、計測有効判定部２４に代えてこの計測有効判定部６１が適用される点を除いて、実施例１のノイズフィルタと同一に構成される。
【００９６】
この計測有効判定部６１において、計測不能領域判定部６２は、飽和フラグＳ１ＰＡｖｅＦ、Ｓ１１ＰＡｖｅＦをそのまま計測不能領域判定フラグＳ１ＮＦ、Ｓ１１ＮＦとして出力する。また飽和フラグＳ１ＰＡｖｅＦ、Ｓ１１ＰＡｖｅＦの何れかが立ち上がっている場合、計測不能領域判定フラグＳ１６ＮＦを立ち上げる。
【００９７】
最小アクティビティ算出部６３は、ノイズフリー検出フラグＳ１ＮＦＦ、Ｓ１１ＮＦＦ、Ｓ１６ＮＦＦが立ち上がっている領域の数に応じて、最小アクティビティMinActの値を可変して出力する。
【００９８】
すなわち図１９は、最小アクティビティ算出部６３を示すブロック図である。最小アクティビティ算出部６３において、非ノイズフリー最小アクティビティ算出部６４は、最小アクティビティ算出部２９（図９）と同一にアクティビティＳ１Ａ、Ｓ１１Ａ、Ｓ１６Ａを処理して最小アクティビティMinActＡを出力する。但し、この実施例では、計測不能領域判定部６２により生成される計測不能領域判定フラグＳ１ＮＦ、Ｓ１１ＮＦ、Ｓ１６ＮＦが、実施例１の場合と異なり、飽和フラグＳ１ＰＡｖｅＦ、Ｓ１１ＰＡｖｅＦのみで生成されていることにより、非ノイズフリー最小アクティビティ算出部６４は、計測不能領域判定部６２から出力される計測不能領域判定フラグＳ１ＮＦ、Ｓ１１ＮＦ、Ｓ１６ＮＦと、ノイズフリー領域検出フラグＳ１ＮＦＦ、Ｓ１１ＮＦＦ、Ｓ１６ＮＦＦとを別途処理し、実施例１の最小アクティビティ算出部２９と同一領域のアクティビティＳ１Ａ、Ｓ１１Ａ、Ｓ１６Ａを選択的に処理して最小アクティビティMinActＡを出力する。これによりこの実施例でも、ノイズフリー領域は、ノイズレベル計測に使用しないようにする。
【００９９】
ノイズフリー最小アクティビティ算出部６５は、計測不能領域判定フラグＳ１ＮＦ、Ｓ１１ＮＦ、Ｓ１６ＮＦによって計測可能と判定された領域であって、かつノイズフリー領域検出フラグＳ１ＮＦＦ、Ｓ１１ＮＦＦ、Ｓ１６ＮＦＦによって計測困難と判定された領域について、非ノイズフリー最小アクティビティ算出部６４と同一に対応するアクティビティＳ１Ａ、Ｓ１１Ａ、Ｓ１６Ａを選択的に処理して最小アクティビティMinActＢを出力する。またこの領域の数Ｎを、領域の総数で割り算した占有率ＲａｔｅＮを計算して出力する。
【０１００】
最小アクティビティ合成部６６は、占有率ＲａｔｅＮを所定のしきい値ＲＴＨ１で判定し、図２０に示すように、占有率ＲａｔｅＮがこのしきい値ＲＴＨ１以下の場合、すなわちノイズフリー領域検出フラグＳ１ＮＦＦ、Ｓ１１ＮＦＦ、Ｓ１６ＮＦＦによって計測困難と判定された領域の数が一定値以下の場合、非ノイズフリー最小アクティビティ算出部６４で求められた最小アクティビティMinActＡの値により最小アクティビティMinActを出力する。
【０１０１】
またしきい値ＲＴＨ１より値の大きな所定のしきい値ＲＴＨ２で占有率ＲａｔｅＮを判定し、占有率ＲａｔｅＮがこのしきい値ＲＴＨ２以上の場合、すなわちノイズフリー領域検出フラグＳ１ＮＦＦ、Ｓ１１ＮＦＦ、Ｓ１６ＮＦＦによって計測困難と判定された領域の数が一定値以上の場合、ノイズフリー最小アクティビティ算出部６５で求められた最小アクティビティMinActＢの値により最小アクティビティMinActを出力する。また占有率ＲａｔｅＮがこの２つのしきい値ＲＴＨ１、ＲＴＨ２の間の値の場合、最小アクティビティMinActＡ、MinActＢを用いた直線補間により最小アクティビティMinActを出力する。これにより図２１において矢印Ａにより示すように、最小アクティビティ合成部６６は、ノイズフリー領域検出フラグＳ１ＮＦＦ、Ｓ１１ＮＦＦ、Ｓ１６ＮＦＦによって計測困難と判定された領域の数が増大すると、最小アクティビティMinActの値を低減してノイズレベル計測対象の領域数を増大させる。
【０１０２】
この実施例によれば、ノイズフリー検出フラグＳ１ＮＦＦ、Ｓ１１ＮＦＦ、Ｓ１６ＮＦＦが立ち上がっている領域の占有率を検出し、この領域の数が増大すると、最小アクティビティMinActによってノイズ計測対象から除外する領域数を低減させることにより、ノイズレベル計測に使用する領域数が極端に少なくなることによる計測精度の劣化を防止することができ、実施例１の構成に比してさらに一段と高い精度でノイズレベルを計測することができる。
【実施例４】
【０１０３】
図２２は、本発明の実施例４のノイズフィルタに適用される計測有効判定部の構成を示すブロック図である。この実施例４のノイズフィルタは、計測有効判定部５５に代えてこの計測有効判定部７１が適用される点を除いて、実施例２のノイズフィルタと同一に構成される。従ってこの実施例においても、ノイズが抑圧されている恐れのある白レベル側領域、黒レベル側領域をノイズレベル計測対象から除外する代わりに、抑圧前のノイズレベルを示すようにアクティビティＳ１Ａ、Ｓ１１Ａ、Ｓ１６Ａを補正し、その補正結果であるアクティビティＳ１ＡＡ、Ｓ１１ＡＡ、Ｓ１６ＡＡを用いてノイズレベルを計測する。なお以下において、実施例１〜３と同一の構成は、対応する符号を付して示し、重複した説明は省略する。
【０１０４】
この計測有効判定部７１は、最小アクティビティMinActの設定によって、最終的にノイズレベル計測対象を設定する。このため計測有効判定部７１は、最小アクティビティ算出部７２に、抑圧前のノイズレベルを示すように補正されたアクティビティＳ１ＡＡ、Ｓ１１ＡＡ、Ｓ１６ＡＡを入力する。
【０１０５】
ここで図１９との対比により図２３に示すように、最小アクティビティ算出部７２において、非ノイズフリー最小アクティビティ算出部７３は、ノイズフリー領域検出フラグＳ１ＮＦＦ、Ｓ１１ＮＦＦ、Ｓ１６ＮＦＦによりノイズレベル計測可能と判定された領域の対応するアクティビティＳ１ＡＡ、Ｓ１１ＡＡ、Ｓ１６ＡＡを選択的に処理して最小アクティビティMinActＡを出力する。なおこのアクティビティＳ１ＡＡ、Ｓ１１ＡＡ、Ｓ１６ＡＡの選択的な処理は、実施例１の最小アクティビティ算出部２９と同一である。
【０１０６】
これに対してノイズフリー最小アクティビティ算出部７４は、ノイズフリー領域検出フラグＳ１ＮＦＦ、Ｓ１１ＮＦＦ、Ｓ１６ＮＦＦによりノイズレベル計測困難と判定された領域の対応するアクティビティＳ１ＡＡ、Ｓ１１ＡＡ、Ｓ１６ＡＡを選択的に処理して最小アクティビティMinActＢを出力する。なおこのアクティビティＳ１ＡＡ、Ｓ１１ＡＡ、Ｓ１６ＡＡの選択的な処理は、実施例１の最小アクティビティ算出部２９と同一である。また最小アクティビティMinActＢの計算に使用した領域の占有率ＲａｔａＮを計算して出力する。
【０１０７】
最小アクティビティ合成部７５は、最小アクティビティ合成部６６と同一に、これら最小アクティビティMinActＡ、MinActＢを合成して最小アクティビティMinActを出力する。
【０１０８】
有効ノイズ領域・アクティビティ選択部３１は、上限しきい値Act MaxTh1、最小アクティビティMinActに基づいて、ノイズ領域識別フラグＳ１Ｆ、Ｓ１１Ｆ、Ｓ１６Ｆを設定する。すなわち対応するアクティビティＳ１ＡＡ、Ｓ１１ＡＡ、Ｓ１６ＡＡの値が最小アクティビティMinActより小さい場合、又は上限しきい値Act MaxTh1より大きい場合、ノイズレベル計測に使用することの信頼性が低いと言え、ノイズ領域識別フラグＳ１Ｆ、Ｓ１１Ｆ、Ｓ１６Ｆを立ち下げる。
【０１０９】
この実施例によれば、最小アクティビティMinActの設定によって、最終的にノイズレベル計測対象から、キャプション情報等を表示した領域を除外するようにして、ノイズレベル計測対象から除外した領域の占有率に応じて最小アクティビティMinActを可変することにより、実施例１の効果に加えて、暗闇のシーンで、かつノイズが非常に少ないシーンが続いた場合であっても、安定かつ高精度にノイズレベルを計測することができる。
【実施例５】
【０１１０】
図２４は、本発明の実施例５のノイズフィルタに適用される計測部の構成を示すブロック図である。この計測部８１において、上述の各実施例と同一の構成は、対応する符号を付して示し、重複した説明は省略する。
【０１１１】
この計測部８１は、入力映像信号Ｓ１と、参照映像信号生成部１１から出力される参照映像信号Ｓ１１とを部分領域信号分割部８２に入力し、ここで部分入力映像信号Ｓ１Ｐ及び部分参照映像信号Ｓ１１Ｐを生成する。なお部分領域信号分割部８２は、実施例１について上述した部分領域信号分割部２０と同一に、部分入力映像信号Ｓ１Ｐ及び部分参照映像信号Ｓ１１Ｐを生成する。
【０１１２】
帯域分割部８３は、部分入力映像信号Ｓ１Ｐ及び部分参照映像信号Ｓ１１Ｐを入力し、この入力した画素領域の信号をそれぞれ周波数領域上の複数帯域の信号に変換して出力する。ここでこの周波数領域上への変換処理は、例えばHadamard変換、Haar変換、ディスクリートコサイン変換等の直交変換処理、フィルタバンクを利用したwavelet 変換、サブバンド分割等、種々の手法を適用することができる。帯域分割部８３は、それぞれこの複数帯域の信号を部分入力映像帯域信号Ｓ１ＰＢ及び部分参照映像帯域信号Ｓ１１ＰＢとして出力する。
【０１１３】
差分信号生成部８４は、部分入力映像信号Ｓ１Ｐから部分参照映像信号Ｓ１１Ｐを減算して部分差分信号Ｓ１６Ｐを出力する。また差分信号生成部８４は、対応する帯域毎に、部分入力映像帯域信号Ｓ１ＰＢから部分参照映像帯域信号Ｓ１１ＰＢを減算し、部分差分帯域信号Ｓ１６ＰＢを出力する。
【０１１４】
ノイズ領域検出部８５は、画素領域上の信号である部分入力映像信号Ｓ１Ｐ、部分参照映像信号Ｓ１１Ｐ、部分差分信号Ｓ１６Ｐについては、上述の実施例２のノイズ領域検出部５１と同一に処理して、フラグＳ１Ｆ、Ｓ１１Ｆ、Ｓ１６Ｆ、アクティビティＳ１ＡＡ、Ｓ１１ＡＡ、Ｓ１６ＡＡを出力する。また周波数領域上の信号である部分入力映像帯域信号Ｓ１ＰＢ、部分参照映像帯域信号Ｓ１１ＰＢ、部分差分帯域信号Ｓ１６ＰＢについては、それぞれ各帯域における特徴量を検出して出力する。
【０１１５】
このため図２５に示すように、ノイズ領域検出部８５は、画素領域上の信号の処理系については、上述の実施例２のノイズ領域検出部５１と同一に構成される。
【０１１６】
周波数領域特徴量抽出部８６は、周波数領域上の信号Ｓ１ＰＢ、Ｓ１１ＰＢ、Ｓ１６ＰＢからそれぞれノイズらしさの程度を示す平坦度Ｓ１Ｂ、Ｓ１１Ｂ、Ｓ１６Ｂをそれぞれ領域毎に検出する。ここで図２６に示すように、映像信号は、一般に、特定の周波数にスペクトル分布が偏る。これに対して図２７に示すように、ノイズは、広い周波数帯域にスペクトルが分布する。従ってスペクトルの分布が平坦であればある程、当該信号は、ノイズ成分が多く含まれる信号であると言える。なお平坦度Ｓ１Ｂ、Ｓ１１Ｂ、Ｓ１６Ｂには、各帯域のスペクトルのばらつきを示す分散値、スペクトルの最大値と最小値の比等を適用することができる。
【０１１７】
計測有効判定部８７は、上述した各実施例の計測有効判定部におけるフラグＳ１Ｆ、Ｓ１１Ｆ、Ｓ１６Ｆの設定条件に、対応する平坦度Ｓ１Ｂ、Ｓ１１Ｂ、Ｓ１６Ｂを加味してフラグＳ１Ｆ、Ｓ１１Ｆ、Ｓ１６Ｆを設定する。このため図２８に示すように、計測有効判定部８７は、フラグＳ１Ｆ、Ｓ１１Ｆ、Ｓ１６Ｆを設定する有効ノイズ領域・アクティビティ選択部８８を除いて、上述の実施例４の計測有効判定部７１と同一に形成される。
【０１１８】
有効ノイズ領域・アクティビティ選択部８８は、上述した各実施例の有効ノイズ領域・アクティビティ選択部３１におけるフラグＳ１Ｆ、Ｓ１１Ｆ、Ｓ１６Ｆの設定条件を満足する場合であって、かつ対応する平坦度Ｓ１Ｂ、Ｓ１１Ｂ、Ｓ１６Ｂをそれぞれ所定のしきい値で判定してスペクトラム分布からノイズ成分が支配的であると判定される領域で、フラグＳ１Ｆ、Ｓ１１Ｆ、Ｓ１６Ｆを立ち上げる。これによりこの実施例では周波数領域における映像信号の特徴量であるスペクトラム分布を参考にしてノイズレベル計測対象の領域を設定する。
【０１１９】
図２９は、ノイズレベル計測部９０の構成を示すブロック図である。このノイズレベル計測部９０において、ノイズ領域統計値算出部９１は、ノイズ領域統計値算出部３７と同一に、ノイズ領域識別フラグＳ１Ｆ、Ｓ１１Ｆ、Ｓ１６Ｆが立ち上がっている領域のアクティビティＳ１ＡＡ、Ｓ１１ＡＡ、Ｓ１６ＡＡを統計的に処理し、アクティビティＳ１ＡＡ、Ｓ１１ＡＡ、Ｓ１６ＡＡを代表する代表アクティビティＡＣＴを出力する。
【０１２０】
またノイズ領域識別フラグＳ１Ｆ、Ｓ１１Ｆ、Ｓ１６Ｆが立ち上がっている領域について、ノイズ領域統計値算出部９１は、部分入力映像帯域信号Ｓ１ＰＢ、部分参照映像帯域信号Ｓ１１ＰＢ、部分差分帯域信号Ｓ１６ＰＢを選択的に処理し、代表アクティビティＡＣＴに対応するノイズ領域側の代表アクティビティＡＣＴＢを出力する。なおこの場合、ノイズ領域統計値算出部９１は、帯域毎に、複数領域におけるスペクトラム値の２乗平均、絶対値平均、標準偏差等を計算して、帯域毎に、代表アクティビティＡＣＴＢを出力する。
【０１２１】
ノイズレベル変換部９２は、代表アクティビティＡＣＴについては、上述の実施例と同一に処理してノイズレベル検出結果Ｓ７を出力する。これに対してノイズ領域側の代表アクティビティＡＣＴＢについては、帯域毎に、増幅回路９３で利得ＡＫを乗算して値を補正した後、ノイズレベル時間平滑部９４に入力する。
【０１２２】
ノイズレベル時間平滑部９４は、帯域毎に、増幅回路９３の出力信号を時間平滑化処理し、帯域毎のノイズレベル計測結果Ｓ７Ｂを出力する。
【０１２３】
この実施例によれば、周波数領域における平坦度を基準にしてフラグＳ１Ｆ、Ｓ１１Ｆ、Ｓ１６Ｆを設定して、各帯域で検出されるスペクトラムの平坦度に応じてノイズレベル計測対象の領域を可変していることから、画素値を基準にしたアクティビティによってはノイズレベル計測対象とするか否か判定困難な場合でも、正しくノイズレベル計測対象を判定することができる。具体的に、コントラストが低いテクスチャ部、画素値の値が小さいフレーム又はフィールドであっても、周波数領域における平坦度を基準にすれば、確実にノイズレベル計測に適した領域か否か判定することができる。従って上述の実施例に比して一段とノイズレベル計測精度を向上することができる。
【０１２４】
またこの周波数領域における平坦度を求める構成を有効に利用して、帯域毎にノイズレベル計測結果を出力することにより、映像信号を帯域分割して処理する場合に、種々に対応することができる。具体的に、ノイズフィルタでは、映像信号を帯域分割してノイズを抑圧する際に、各帯域の補正用信号の信号レベルを適切に設定することができる。またエンハンス処理などの高画質化技術にも広く適用することができる。
【実施例６】
【０１２５】
図３０は、本発明の実施例６のノイズフィルタに適用される計測部の構成を示すブロック図である。この計測部１０１は、入力映像信号Ｓ１のみを用いてノイズレベルを計測する。
【０１２６】
このため計測部１０１は、直接、入力映像信号Ｓ１をノイズ領域検出部１０２に入力し、ノイズ領域検出部１０２の出力をノイズレベル計測部１０３で処理してノイズレベル計測結果Ｓ７を出力する。
【０１２７】
ここでノイズ領域検出部１０２は、図３１に示すように、上述した各実施例のノイズ領域検出部における参照映像信号Ｓ１１、差分信号Ｓ１６に関する構成が省略されて各部１０４〜１０８が形成され、入力映像信号Ｓ１のアクティビティＳ１Ａ、ノイズ領域識別フラグＳ１Ｆを出力する。
【０１２８】
またノイズレベル計測部１０３も同様に、上述した各実施例の対応する構成から参照映像信号Ｓ１１、差分信号Ｓ１６に関する構成が省略されて形成される。
【０１２９】
この実施例のように、入力映像信号のみによりノイズレベルを計測する場合でも、従来に比してノイズレベルの計測精度を向上することができる。
【実施例７】
【０１３０】
図３２は、本発明の実施例７のノイズフィルタに適用される計測部の構成を示すブロック図である。この計測部１１１は、図２４について上述した実施例５の各映像信号を帯域分割してノイズレベルを計測する構成を前提に、入力映像信号Ｓ１のみを用いてノイズレベルを計測する。
【０１３１】
このため計測部１１１は、直接、入力映像信号Ｓ１を部分領域信号分割部１１２に入力し、またこの部分領域信号分割部１１２から出力される部分入力映像信号Ｓ１Ｐを帯域分割部１１３に入力する。また部分領域信号分割部１１２、帯域分割部１１３の出力を順次ノイズ領域検出部１１４、ノイズレベル計測部１１５で処理してノイズレベル検出結果Ｓ７、Ｓ７Ｂを出力する。
【０１３２】
ここでこれら部分領域信号分割部１１２、帯域分割部１１３、ノイズ領域検出部１１４、ノイズレベル計測部１１５は、上述した実施例５の対応する構成から参照映像信号Ｓ１１、差分信号Ｓ１６に関する構成が省略されて形成される。
【０１３３】
この実施例のように、映像信号を帯域分割してノイズレベルを計測する構成を前提に、入力映像信号Ｓ１のみを用いてノイズレベルを計測する場合でも、従来に比してノイズレベルの計測精度を向上することができる。
【実施例８】
【０１３４】
図３３は、図３との対比により本発明の実施例８のノイズフィルタに適用される計測部の構成を示すブロック図である。この計測部１２１において、上述の実施例１と同一の構成は、対応する符号を付して示し、重複した説明は省略する。この計測部１２１において、ノイズ領域検出部１２２は、差分信号Ｓ１６についてのみアクティビティＳ１６Ａ、ノイズ領域識別フラグＳ１６Ｆを生成し、ノイズレベル計測部１２３は、このアクティビティＳ１６Ａ、ノイズ領域識別フラグＳ１６Ｆを使用してノイズレベル検出結果Ｓ７を出力する。
【０１３５】
ここで図３４は、ノイズ領域検出部１２２の構成を示すブロック図である。ノイズ領域検出部１２２は、入力映像信号Ｓ１、参照映像信号Ｓ１１、差分信号Ｓ１６を部分領域信号分割部２０、画素領域特徴量抽出部２１、飽和領域検出部２２で順序処理し、飽和フラグＳ１ＰＡｖｅＦ、Ｓ１１ＰＡｖｅＦを出力する。
【０１３６】
ノイズフリー領域検出部１２５は、実施例１のノイズフリー領域検出部２３から、入力映像信号Ｓ１、参照映像信号Ｓ１１に関する構成が省略されて形成され、差分信号Ｓ１６についてのみノイズフリー領域検出フラグＳ１６ＮＦＦを出力する。計測有効部１２６は、実施例１の対応する構成から、入力映像信号Ｓ１、参照映像信号Ｓ１１に関する構成が省略されて形成され、差分信号Ｓ１６についてのみノイズ領域識別フラグＳ１６Ｆ、アクティビティＳ１６Ａを出力する。
【０１３７】
ノイズレベル計測部１２３は、図３５に示すように、ノイズ領域統計値算出部１２７、ノイズレベル変換部１２８でノイズ領域識別フラグＳ１６Ｆ、アクティビティＳ１６Ａを順次処理してノイズレベル計測結果Ｓ７を出力する。ここでノイズ領域統計値算出部１２７、ノイズレベル変換部１２８は、実施例１の対応する構成から、入力映像信号Ｓ１、参照映像信号Ｓ１１に関する構成が省略されて形成される。
【０１３８】
この実施例のように差分信号だけでノイズレベルを計測する場合にも、従来に比してノイズレベルの計測精度を向上することができる。なおこの実施例のように差分信号だけでノイズレベルを計測して得られるノイズレベル計測結果は、原理的に時間変動するノイズ成分のみを計測することになることから、例えば時間巡回型フィルタのように時間変動するノイズを低減する処理に適用して、有効にノイズを低減することができ、その結果、コントラストの低い動物体境界部で尾引きと呼ばれるボケの発生を防止して、確実にノイズを抑圧することができる。
【実施例９】
【０１３９】
図３６は、図２４との対比により本発明の実施例９のノイズフィルタに適用される計測部の構成を示すブロック図である。この計測部１３１において、上述の実施例と同一の構成は、対応する符号を付して示し、重複した説明は省略する。この計測部１３１は、図２４について上述した実施例５の各映像信号を帯域分割してノイズレベルを計測する構成を前提に、差分信号Ｓ１６についてのみノイズレベルを計測する。計測部１３１は、初めに差分信号生成部１３２で部分差分信号Ｓ１６Ｐを生成した後、続く帯域分割部１３３で部分差分帯域信号Ｓ１６ＰＢを生成する。
【０１４０】
この計測部１３１は、ノイズ領域検出部１３４、ノイズレベル計測部１３５で部分差分帯域信号Ｓ１６ＰＢ、入力映像信号Ｓ１、参照信号Ｓ１１、差分信号Ｓ１６を順次処理し、差分信号Ｓ１６についてのみノイズレベルを計測してノイズレベル計測結果Ｓ７、Ｓ７Ｂを出力する。
【０１４１】
この実施例のように、帯域分割してノイズレベルを計測する構成を前提に、差分信号Ｓ１６についてのみノイズレベルを計測するようにしても、従来に比してノイズレベル計測の精度を向上することができる。
【実施例１０】
【０１４２】
図３７は、本発明の実施例１０のノイズフィルタを示すブロック図である。このノイズフィルタにおいて、上述の実施例と同一の構成は、対応する符号を付して示し、重複した説明は省略する。このノイズフィルタ１４１は、計測部１４２で入力映像信号Ｓ１のノイズレベルを計測し、そのノイズレベル計測結果Ｓ７を用いてノイズ低減のレベルを可変する。
【０１４３】
計測部１４２は、入力映像信号Ｓ１を参照映像信号生成部１４３に入力して参照映像信号Ｓ１１を生成し、部分領域信号分割部２０で入力映像信号Ｓ１、参照映像信号Ｓ１１を処理して部分入力映像信号Ｓ１Ｐ、部分参照映像信号Ｓ１１Ｐを生成する。また差分信号生成部１６で部分入力映像信号Ｓ１Ｐ、部分参照映像信号Ｓ１１Ｐから部分差分信号Ｓ１６Ｐを生成する。なお参照映像信号生成部１４３は、１フレーム前の入力映像信号Ｓ１に代えて、このノイズフィルタ１４１の処理結果である出力映像信号Ｓ１８を動き補正して参照映像信号Ｓ１１を生成する。
【０１４４】
ノイズ領域検出部１４４は、部分入力映像信号Ｓ１Ｐ、部分参照映像信号Ｓ１１Ｐ、部分差分信号Ｓ１６Ｐを処理して、入力映像信号Ｓ１、参照映像信号Ｓ１１のアクティビティＳ１Ａ、Ｓ１１Ａ、ノイズ領域識別フラグＳ１Ｆ、Ｓ１１Ｆを出力する。
【０１４５】
ここで図３８に示すように、ノイズ領域検出部１４４は、部分領域信号分割部２０が差分信号生成部１６の前段に配置されたことに対応して、部分入力映像信号Ｓ１Ｐ、部分参照映像信号Ｓ１１Ｐ、部分差分信号Ｓ１６Ｐを直接、画素領域特徴量抽出部１４５に入力する。画素領域特徴量抽出部１４５は、画素領域特徴量抽出部２１と同様にして、領域毎に、それぞれ入力映像信号Ｓ１、差分信号Ｓ１６のアクティビティＳ１Ａ、Ｓ１６Ａを検出する。また入力映像信号Ｓ１、参照映像信号Ｓ１１の平均値Ｓ１ＰＡｖｅ、Ｓ１１ＰＡｖｅを検出して出力する。
【０１４６】
飽和領域検出部１４７は、飽和領域検出部２２と同様に、この入力映像信号Ｓ１、参照映像信号Ｓ１１の平均値Ｓ１ＰＡｖｅ、Ｓ１１ＰＡｖｅを処理して飽和フラグＳ１ＰＡｖｅＦ、Ｓ１１ＰＡｖｅＦを出力する。
【０１４７】
ノイズフリー領域検出部１４６は、ノイズフリー領域検出部２３と同様にして、入力映像信号Ｓ１、差分信号Ｓ１６のノイズフリー領域検出フラグＳ１ＮＦＦ、Ｓ１６ＮＦＦを出力する。
【０１４８】
計測有効判定部１４８は、計測有効判定部２４と同様に、入力映像信号Ｓ１、差分信号Ｓ１６のアクティビティＳ１Ａ、Ｓ１６Ａ、入力映像信号Ｓ１、参照映像信号Ｓ１１の飽和フラグＳ１ＰＡｖｅＦ、Ｓ１１ＰＡｖｅＦ、入力映像信号Ｓ１、差分信号Ｓ１６のノイズフリー領域検出フラグＳ１ＮＦＦ、Ｓ１６ＮＦＦを処理して、入力映像信号Ｓ１、差分信号Ｓ１６のノイズ領域識別フラグＳ１Ｆ、Ｓ１６Ｆ、入力映像信号Ｓ１、差分信号Ｓ１６のアクティビティＳ１Ａ、Ｓ１６Ａを出力する。またそれぞれ入力映像信号Ｓ１、差分信号Ｓ１６のノイズ信頼度Ｓ１Ｃ、Ａ１６Ｃを出力する。なおここでノイズ信頼度Ｓ１Ｃ、Ａ１６Ｃは、それぞれ入力映像信号Ｓ１、差分信号Ｓ１６のアクティビティＳ１Ａ、Ｓ１６Ａがノイズレベルを示す信頼度である。
【０１４９】
ここで図３９は、この計測有効判定部１４８を詳細に示すブロック図である。計測有効判定部１４８において、計測不能領域判定部１５０は、計測不能領域判定部２７と同様に、飽和フラグＳ１ＰＡｖｅＦ、Ｓ１１ＰＡｖｅＦ、ノイズフリー領域検出フラグＳ１ＮＦＦ、Ｓ１６ＮＦＦより、入力映像信号Ｓ１、差分信号Ｓ１６の計測不能領域判定フラグＳ１ＮＦ、Ｓ１６ＮＦを出力する。具体的に、計測不能領域判定部１５０は、入力映像信号Ｓ１の飽和フラグＳ１ＰＡｖｅＦ、ノイズ領域識別フラグＳ１ＮＦＦの何れかが立ち上がっている場合、当該領域における入力映像信号Ｓ１の計測不能領域判定フラグＳ１ＮＦを立ち上げる。また何れかの飽和フラグＳ１ＰＡｖｅＦ、Ｓ１１ＰＡｖｅＦが立ち上がっている場合、又は差分信号Ｓ１６のノイズ領域識別フラグＳ１６ＮＦＦが立ち上がっている場合、当該領域における差分信号Ｓ１６の計測不能領域判定フラグＳ１６ＮＦを立ち上げる。
【０１５０】
最小アクティビティ算出部２９は、入力映像信号Ｓ１、差分信号Ｓ１６のアクティビティＳ１Ａ、Ｓ１６Ａから最小アクティビティMinActを検出して出力する。
【０１５１】
閾値設定部１５２は、閾値設定部３０と同様にして、この最小アクティビティMinActから上限しきい値ActMAXTh1 を計算して出力する。さらに閾値設定部１５２は、ノイズ信頼度Ｓ１Ｃ、Ａ１６Ｃを求めるためのしきい値ActMaxTh2 を計算して出力する。ここで閾値設定部１５２は、上限しきい値ActMAXTh1 の計算に使用した第１の中間計算値EstSD にしきい値ActMaxTh2 計算用の定数ActTh Factor2 を乗算し、その結果得られる乗算値に上限しきい値Act MAX Th1 の計算に使用した第２の中間計算値EstMean を加算してしきい値ActMaxTh2 （= EstMean + EstSD ×ActTh Factor2 ）を計算する。なおここで定数ActTh Factor2 は、定数ActTh Factor1 より大きな値である。
【０１５２】
有効ノイズ領域・アクティビティ選択部１５３は、有効ノイズ領域・アクティビティ選択部３１と同様にして、入力映像信号Ｓ１、差分信号Ｓ１６のノイズ領域識別フラグＳ１Ｆ、Ｓ１６Ｆを出力する。さらに有効ノイズ領域・アクティビティ選択部１５３は、それぞれ入力映像信号Ｓ１、差分信号Ｓ１６のアクティビティＳ１Ａ、Ｓ１６Ａを上限しきい値ActMAXTh1 、しきい値ActMaxTh2 で判定し、その判定結果に基づいて図４０に示す特性により入力映像信号Ｓ１及び差分信号Ｓ１６のノイズ信頼度Ｓ１Ｃ及びＳ１６Ｃを出力する。
【０１５３】
より具体的に、有効ノイズ領域・アクティビティ選択部１５３は、アクティビティＳ１Ａ、Ｓ１６Ａの値が上限しきい値ActMAXTh1 より小さい場合、値１の一定値によりそれぞれノイズ信頼度Ｓ１Ｃ及びＳ１６Ｃを出力する。またアクティビティＳ１Ａ、Ｓ１６Ａの値がしきい値ActMaxTh2 より大きい場合、値０の一定値によりそれぞれノイズ信頼度Ｓ１Ｃ及びＳ１６Ｃを出力する。またアクティビティＳ１Ａ、Ｓ１６Ａの値が上限しきい値ActMAXTh1 からしきい値ActMaxTh2 の間の値の場合、アクティビティＳ１Ａ、Ｓ１６Ａの値をパラメータとした直線補間によりノイズ信頼度Ｓ１Ｃ及びＳ１６Ｃを出力する。これにより有効ノイズ領域・アクティビティ選択部１５３は、アクティビティＳ１Ａ、Ｓ１６Ａの値が一定値を越えて増大すると、値が小さくなるようにノイズ信頼度Ｓ１Ｃ及びＳ１６Ｃを設定する。
【０１５４】
ノイズレベル計測部１５５（図３７）は、ノイズレベル計測部３５と同様に、入力映像信号Ｓ１、差分信号Ｓ１６のノイズ領域識別フラグＳ１Ｆ、Ｓ１６Ｆを基準にして入力映像信号Ｓ１、差分信号Ｓ１６のアクティビティＳ１Ａ、Ｓ１６Ａを処理してノイズレベル計測結果Ｓ７を出力する。
【０１５５】
ノイズ抽出部１５７は、部分入力映像信号Ｓ１Ｐ、部分差分信号Ｓ１６Ｐからノイズ信号Ｓ１９を生成して出力する。このノイズフィルタ１４１は、このノイズ信号Ｓ１９を入力映像信号Ｓ１（Ｓ１Ｐ）から減算することにより、入力映像信号Ｓ１のノイズを低減する。従ってこのノイズフィルタは、時間巡回型３Ｄノイズフィルタと、画面内の情報のみでノイズ低減処理を行う２Ｄノイズフィルタとのハイブリッド型により形成される。
【０１５６】
ここで図４１は、ノイズ抽出部１５７を詳細に示すブロック図である。ノイズ抽出部１５７において、ノイズ抽出ブレンド比設定部１５８は、部分入力映像信号Ｓ１Ｐ、部分差分信号Ｓ１６Ｐによるノイズ成分のブレンド比ＢＲを計算して出力する。具体的にノイズ抽出ブレンド比設定部１５８は、図４２に示すように、ノイズ信頼度Ｓ１Ｃ又はＳ１６Ｃを第１及び第２のしきい値DRTh1 、DRTh2 で判定し、この一方のノイズ信頼度の値が第１のしきい値DRTh1 以下、第２のしきい値DRTh2 以上の場合、それぞれ入力映像信号Ｓ１のノイズ成分、又は差分信号Ｓ１６のノイズ成分のみを選択するように、ブレンド比ＢＲを値０又は１に設定する。またこの一方のノイズ信頼度の値が第１及び第２のしきい値DRTh1 、DRTh2 の間の値の場合、ノイズ信頼度の値に応じた直線補間によりブレンド比ＢＲを設定する。なおこの実施例では、差分信号Ｓ１６側のノイズ信頼度Ｓ１６Ｃを用いて、この図４２に示す特性によりブレンド比ＢＲを出力する。なおブレンド比ＢＲの設定方法は、これに限らず、２つのノイズ信頼度Ｓ１Ｃ、Ｓ１６Ｃの双方を使用して設定するようにしてもよい。
【０１５７】
非線形特性設定部１５９は、入力映像信号Ｓ１及び差分信号Ｓ１６のノイズ成分を処理する特性を決定する。ここでこのノイズ抽出部１５７は、大振幅成分をクリップしてノイズ成分を抽出しており、非線形特性設定部１５９は、このクリップの処理である非線形特性を決定する。具体的に、ノイズ抽出部１５７は、図４３及び図４４に示す入出力特性によりノイズ成分を非線形処理しており、ノイズレベル計測結果Ｓ７、対応するノイズ信頼度に基づいて、ノイズレベルが増大するに従って、クリップの処理を開始する信号レベルＮｔｈ、−Ｎｔｈが０レベルから遠ざかるように非線形特性を決定する。またノイズ信頼度が減少するに従ってクリップの特性を急峻な特性から滑らかな特性に設定する。非線形特性設定部１５９は、入力映像信号Ｓ１、差分信号Ｓ１６用に、それぞれ特性設定信号Ｓ１Ｔ、Ｓ１６Ｔを非線形特性処理部１６０に出力し、非線形特性処理部１６０における非線形処理の特性をこの決定した特性に設定する。
【０１５８】
非線形特性処理部１６０は、差分信号Ｓ１６については、非線形特性設定部１５９で設定された入出力特性で補正し、ノイズ成分Ｓ１６Ｎとして出力する。これに対して入力映像信号Ｓ１については、所定のハイパスフィルタで高域成分を抽出し、この高域成分を非線形特性設定部１５９で設定された入出力特性で補正してノイズ成分Ｓ１Ｎとして出力する。
【０１５９】
ブレンド処理部１６１は、この非線形特性処理部１６０から出力されるノイズ成分Ｓ１Ｎ、Ｓ１６Ｎをブレンド比ＢＲで重み付け加算してノイズ信号Ｓ１９を出力する。なおブレンド処理部１６１は、図８について上述したように隣接する領域が部分的に重なり合っている場合、領域が重複している部分については、各領域で求められるノイズ成分を平均値化してノイズ信号Ｓ１９を出力する。なおこの平均値の処理は、後述する部分領域統合部１６６で実行してもよい。
【０１６０】
ノイズ減算処理部１６３は、いわゆる貼りつき防止のためにノイズ信号Ｓ１９の信号レベルを補正して入力映像信号Ｓ１のノイズレベルを低減する。ここで貼りつきは、時間巡回型フィルタにおいて帰還率が１近傍のときに発生する現象であり、動きのある部分で著しく画質が劣化して知覚される。そこでノイズ減算処理部１６３は、図４５に示すように、ノイズ信号Ｓ１９を貼りつき防止部１６４に入力する。ここで貼りつき防止部１６４は、図４６に示す入出力特性により入力信号補正し、小振幅成分を抑圧して出力する。なおこの特性の補正は、図４６との対比により図４７に示すように、種々の特性により補正することができる。ノイズ減算処理部１６３は、続く減算回路１６５で、この貼りつき防止部１６４の出力信号を部分入力映像信号Ｓ１Ｐから減算してノイズ成分を抑圧する。
【０１６１】
部分領域信号統合部１６６（図３７）は、部分領域信号分割部２０とは逆に、このノイズ減算処理部１６３から領域毎にまとまって出力される部分入力映像信号Ｓ１Ｐをラスタ走査の順序により画素値が連続する映像信号に変換し、この映像信号を出力映像信号Ｓ１８として出力する。
【０１６２】
この実施例によれば、ノイズ計測部の構成を有効に利用して時間巡回型３Ｄノイズフィルタと２Ｄノイズフィルタとのハイブリッド型によりノイズフィルタを構成して、従来に比して高い精度でノイズレベルを計測することができ、また計測結果を有効に利用してノイズを低減することができる。
【０１６３】
すなわちノイズレベル計測時に、それぞれ入力映像信号及び差分信号のアクティビティにおける信頼度であるノイズ信頼度を検出し、このノイズ信頼度に応じたブレンド比の設定により時間巡回型３Ｄノイズフィルタによる動作と２Ｄノイズフィルタによる動作とを適応的に切り換えることができ、これにより種々の入力映像信号に適切に対応してノイズを低減することができる。
【０１６４】
すなわち時間巡回型３Ｄノイズフィルタではノイズ低減効果が不十分な移動物体等の映像については、２Ｄノイズフィルタによりノイズレベルを低減することができ、これにより従来に比して確実にノイズを低減することができる。
【０１６５】
またこれとは逆に２Ｄノイズフィルタではノイズの低減効果が不十分だったテクスチャ部については、時間巡回型３Ｄノイズフィルタによりノイズレベルを低減することができ、これにより従来に比して確実にノイズを低減することができる。
【０１６６】
またノイズ成分を非線形処理してノイズレベルを低減するようにして、この非線形処理の特性をノイズレベル検出結果、ノイズ信頼度に応じて可変することにより、よりノイズらしい領域ほどノイズの低減効果を強くしつつ、ノイズの低減効果を強くした場合に劣化する恐れのあるテクスチャ部、動き境界部でのボケをできる限り小さくことができる。
【０１６７】
またノイズ成分を非線形処理するようにして、ノイズ信頼度に応じて、大振幅を抑圧するようにこの非線形処理の特性を設定することにより、非線形処理の特性を適応的に可変して一段とノイズレベルの抑圧効果を向上することができる。
【実施例１１】
【０１６８】
図４８は、図３７との対比により本発明の実施例１１のノイズフィルタを示すブロック図である。なおこの実施例において、上述の実施例と同一の構成は、対応する符号を付して示し、重複した説明は省略する。
【０１６９】
この実施例において、計測部１７２は、実施例５について上述した計測部８１と同様に、入力映像信号、差分信号を帯域分割部１７３で帯域分割し、周波数領域における平坦度を基準にしてノイズレベルを計測する。なおこの図４８の計測部１７２では、差分信号を生成した後に帯域分割している点が、実施例５の計測部８１と異なる。
【０１７０】
計測部１７２は、参照映像信号Ｓ１１については、各領域をノイズ計測に使用しないように構成される。従って図２５との対比により図４９にノイズ領域検出部１７４の構成を示すように、このノイズ領域検出部１７４の各部１７５〜１７９では、この参照映像信号Ｓ１１に関する構成が異なる点を除いて対応する各部と同一に構成される。なおノイズレベル計測部１７４は、図５０に示す信頼度補正係数により値を補正してノイズ信頼度Ｓ１Ｃ、Ｓ１６Ｃを出力する。なおこの信頼度補正係数は、対応する平坦度Ｓ１Ｂ、Ｓ１６Ｂに応じた係数である。
【０１７１】
ノイズレベル計測部１８０は、ノイズレベル計測部１５５と同様に、ノイズ領域検出部１７４の出力に基づいて、ノイズ計測結果Ｓ７、Ｓ７Ｂを出力する。
【０１７２】
ノイズ抽出部１８１は、帯域分割部１７３から帯域分割されて出力される部分入力映像信号Ｓ１ＰＢ、差分信号Ｓ１６ＰＢを計測部１７２の出力により処理してノイズ信号Ｓ１９を出力する。
【０１７３】
図５１は、ノイズ抽出部１８１の構成を詳細に示すブロック図である。このノイズ抽出部１８１は、実施例１０において説明したノイズ抽出部１５７と同様に、帯域毎にブレンド比ＢＲを設定する。
【０１７４】
このノイズ抽出部１８１において、非線形特性処理部１８３は、部分入力映像信号Ｓ１ＰＢ、差分信号Ｓ１６ＢＰの帯域毎に、非線形処理を実行してノイズ成分Ｓ１ＮＢ、Ｓ１６ＮＢを出力する。またこの非線形特性処理部１８３の構成に対応して、非線形特性設定部１８４は、帯域毎のノイズレベル検出結果Ｓ７Ｂに基づいて、帯域毎に、非線形特性処理部１８３の特性を設定する。なお各帯域の特性設定方法は、実施例１０について上述した通りである。
【０１７５】
ブレンド処理部１８５は、ブレンド処理部１６１と同様にして、帯域毎に、ノイズ抽出部１８１の出力信号を合成して出力する。帯域合成部１８６、帯域分割部１７３とは逆に、複数帯域によるブレンド処理部１８５の出力信号を合成し、ノイズ信号Ｓ１９を出力する。
【０１７６】
この実施例によれば、計測部における帯域毎のノイズレベル計測の構成を有効に利用して、帯域毎にノイズレベルを低減することにより、従来に比して一段と確実にノイズレベルを低減することができる。すなわち動きボケ、テクスチャ部などのボケを抑制しつつ、効果的にノイズを低減することが可能となる。また周波数帯域で偏りをもつようなノイズについて、より効果的にノイズ低減することができる。なおこのような周波数帯域で偏りをもつようなノイズは、例えばいわゆる横引きノイズ（クランプノイズ）、ＲＦ系のノイズ、ＭＰＥＧ等の圧縮ノイズである。
【０１７７】
またこのとき各帯域で検出される平坦度に応じてノイズ信頼度を補正することによっても、一段とノイズレベル低減効果を得ることができる。
【実施例１２】
【０１７８】
図５２は、図４８との対比により本発明の実施例１２のノイズフィルタを示すブロック図である。なおこの実施例において、上述の実施例と同一の構成は、対応する符号を付して示し、重複した説明は省略する。ノイズフィルタ１９１は、いわゆる２Ｄノイズフィルタであり、入力映像信号Ｓ１の面内成分のみによりノイズレベルを低減する。従って計測部１９２は、ノイズ領域検出部１９３でノイズ信頼度Ｓ１Ｃを生成している点を除いて、実施例７の計測部１１１と同一に構成される。
【０１７９】
ノイズ抽出部１９４は、帯域分割された部分入力映像信号Ｓ１ＰＢを処理してノイズ信号Ｓ１９を生成する。すなわち図５３に示すように、ノイズ抽出部１９４は、非線形特性設定部１９５において、ノイズ信頼度Ｓ１Ｃ、ノイズレベル検出結果Ｓ７Ｂに基づいて、入力映像信号Ｓ１のみについて、帯域毎に非線形特性を決定する。またノイズ抽出部１９４は、非線形特性処理部１９６において、非線形特性設定部１９５で決定した非線形特性で部分入力映像信号Ｓ１ＰＢの特性を補正し、ノイズ信号Ｓ１９Ｂとして出力する。
【０１８０】
この実施例によれば、帯域分割してノイズレベルを低減することにより、２Ｄノイズフィルタにおいて、確実にノイズレベルを低減することができる。
【実施例１３】
【０１８１】
図５４は、図４８の対比により本発明の実施例１３のノイズフィルタを示すブロック図である。なおこの実施例において、上述の実施例と同一の構成は、対応する符号を付して示し、重複した説明は省略する。ノイズフィルタ２０１は、いわゆる時間巡回型ノイズフィルタであり、入力映像信号Ｓ１のフィールド間差分又はフレーム間差分成分のみによりノイズレベルを低減する。従って計測部２０２は、参照映像信号生成部１４３の構成が異なる点、ノイズ領域検出部２０３でノイズ信頼度Ｓ１６Ｃを生成している点を除いて、実施例９の計測部１３１と同一に構成される。
【０１８２】
この実施例によれば、帯域分割してノイズレベルを低減することにより、時間巡回型３Ｄノイズフィルタにおいて、確実にノイズレベルを低減することができる。
【実施例１４】
【０１８３】
図５５は、図３４との対比により本発明の実施例１４のノイズフィルタに適用されるノイズ領域検出部の構成を示すブロック図である。この実施例の計測部は、このノイズ領域検出部２１０の構成が異なる点を除いて、実施例８の計測部１２１と同一に構成される。またこのノイズ領域検出部２１０は、ノイズフリー領域検出部１２５に代えて、ノイズフリー領域検出部２１１が設けられ、このノイズフリー領域検出部２１１に関する構成が異なる点を除いて、図３４のノイズ領域検出部１２２と同一に構成される。
【０１８４】
ここで入力映像信号Ｓ１等を複数の領域（以下、部分領域と呼ぶ）に分割する場合、図５６に示すように、字幕、ＧＵＩ等が部分的にしか含まれない領域Ａが発生する。この場合、上述の実施例のように、アクティビティを単純にしきい値で判定してノイズフリー領域を検出していたのでは、このような領域Ａがノイズフリー領域として検出されないことになる。すなわち上述の実施例では、この領域Ａは、ノイズレベルの計測に使用するノイズ領域と判定され、これによりノイズ計測結果に誤差が発生する。
【０１８５】
そこでこの実施例では、画素単位でノイズの計測に適しているか否か判定し、この判定結果に基づいてノイズフリー領域を設定する。このためノイズフリー領域検出部２１１は、近傍画素との相関を利用して画素単位でノイズ計測に適していない画素（以下、ノイズフリー画素と呼ぶ）か否か判定する。このためノイズ領域検出部２１０は、差分信号Ｓ１６をノイズフリー領域検出部２１１のノイズフリー画素検出部２１２に入力する。
【０１８６】
図５７に示すように、ノイズフリー画素検出部２１２は、差分信号Ｓ１６を近傍画素差異度算出部２１６に入力する。近傍画素差異度算出部２１６は、図５８に示すように、差分信号Ｓ１６の各画素を順次処理の対象画素に設定し、この対象画素を中心として所定範囲の局所窓を設定する。なお局所窓は、図７について上述した部分領域より小さな領域を囲むように設定される。
【０１８７】
また近傍画素差異度算出部２１６は、この局所窓で囲まれる近傍画素毎に、対象画素との間で、画素値の差異度を検出する。なおこの差異度は、例えば絶対値差分、２乗差分等、近傍画素との間の相関性を示す各種の指標を適用することができる。
【０１８８】
類似画素カウンタ部２１７は、近傍画素差異度算出部２１６で検出された差異度を所定のしきい値で判定し、差異度がしきい値以下の近傍画素数を対象画素毎にカウントしてカウント値を出力する。これにより類似画素カウンタ部２１７は、対象画素との間で相関性の高い近傍画素数を対象画素毎に検出する。
【０１８９】
しきい値判定部２１８は、類似画素カウンタ部２１７のカウント値を所定のしきい値で判定し、対象画素との間で相関性の高い近傍画素数がこのしきい値より大きい対象画素をノイズフリー画素として検出する。しきい値判定部２１８は、このノイズフリー画素の検出結果をノイズフリー画素識別フラグＳ１６ＮＦＰとして出力する。
【０１９０】
ノイズフリー混入領域検出部２１３は（図５５）、このノイズフリー画素識別フラグＳ１６ＮＦＰに基づいて、近傍画素との間の相関性の高い画素を多く含む領域を検出し、ノイズフリー混入領域識別フラグＳ１６ＮＦＦＭを出力する。すなわち図５９に示すように、ノイズフリー混入領域検出部２１３において、ノイズフリー画素混入領域検出部２２０は、ノイズフリー画素識別フラグＳ１６ＮＦＰを入力し、部分領域毎に、ノイズフリー画素識別フラグＳ１６ＮＦＰをカウントする。またノイズフリー画素混入領域検出部２２０は、カウント値を所定のしきい値で判定し、これにより図６０（Ａ）においてノイズフリー画素混入領域により示す、近傍画素との間の相関性の高い画素を多く含む領域を検出する。ノイズフリー画素混入領域検出部２２０は、この検出結果をノイズフリー画素混入領域識別フラグにより出力する。
【０１９１】
遅延処理部２２１は、このノイズフリー画素混入領域識別フラグを後段のノイズフリー混入領域判定部２２２の処理に対応する期間だけ遅延させて出力する。
【０１９２】
ノイズフリー混入領域判定部２２２は、ノイズフリー画素混入領域検出部２２０、遅延処理部２２１から出力されるノイズフリー画素混入領域識別フラグに基づいて、処理対象の部分領域のノイズフリー画素混入領域識別フラグが立ち上がっている場合、すなわち近傍画素との間の相関性の高い画素を多く含む領域で、ノイズフリー混入領域識別フラグＳ１６ＮＦＦＭを立ち上げる。また処理対象の部分領域のノイズフリー画素混入領域識別フラグが立ち上がっていない場合でも、処理対象の部分領域に隣接する部分領域でノイズフリー画素混入領域識別フラグが立ち上がっている場合、すなわち隣接する部分領域が、近傍画素との間の相関性の高い画素を多く含む領域である場合、ノイズフリー混入領域識別フラグＳ１６ＮＦＦＭを立ち上げる。
【０１９３】
これにより図６０（Ａ）との対比により図６０（Ｂ）において隣接ノイズフリー画素混入領域により示すように、ノイズフリー混入領域検出部２１３は、隣接する部分領域がノイズフリー画素混入領域である場合も含めて、当該部分領域をノイズフリー混入領域と判定し、その判定結果をノイズフリー混入領域識別フラグＳ１６ＮＦＦＭにより出力する。なおここで図６０（Ｂ）では、太線による矩形の枠により、処理対象の部分領域において、ノイズフリー画素混入領域識別フラグの判定に供する領域を示す。
【０１９４】
計測有効判定部２１４は、ノイズフリー領域検出フラグＳ１６ＮＦＦに代えてノイズフリー混入領域識別フラグＳ１６ＮＦＦＭを基準にしてアクティビティＳ１６Ａを出力する点を除いて、図３４の計測有効判定部１２６と同一に構成される。
【０１９５】
この実施例では、近傍画素と相関性の高い画素を検出し、この検出結果に基づいて、近傍画素との間の相関性の高い画素を多く含む領域をノイズレベル計測対象から除外することにより、少しでも疑わしい領域については、ノイズレベルの計測に使用しないようにすることができ、これにより字幕、ＧＵＩの影響を一段と有効に回避して確実にノイズレベルを検出することができる。
【０１９６】
より具体的に、近傍画素との間の非相関性を示す指標である差異度を画素毎に検出し、この差異度を判定して、部分領域毎に、近傍画素と相関性の高い画素数を検出して判定し、近傍画素との間の相関性の高い画素を多く含む領域を検出することにより、確実にノイズレベルを検出することができる。
【０１９７】
また差分信号を使用して差異度を検出することにより、絶対値差分、２乗差分等の簡易な演算処理による指標により差異度を検出することができる。
【０１９８】
また対象領域だけでなく、隣接領域が近傍画素との間の相関性の高い画素を多く含む領域である場合にも、当該領域をノイズレベル計測対象から除外することにより、確実に字幕、ＧＵＩ等の影響を回避して正確にノイズレベルを計測することができる。
【実施例１５】
【０１９９】
図６１は、図１及び図５５との対比により本発明の実施例１５のノイズフィルタに適用されるノイズ領域検出部の構成を示すブロック図である。この実施例の計測部は、この図６１に示すノイズ領域検出部２３０の構成が異なる点を除いて、実施例１の計測部と同一に構成される。またこのノイズ領域検出部２３０は、ノイズフリー領域検出部２３に代えて、ノイズフリー領域検出部２３１が設けられる点を除いて、図１のノイズ領域検出部１８と同一に構成される。
【０２００】
またノイズフリー領域検出部２３１は、ノイズフリー画素検出部２１２、ノイズフリー混入領域検出部２１３に代えて、ノイズフリー画素検出部２３２、ノイズフリー混入領域検出部２３３が設けられる点を除いて図５５のノイズフリー領域検出部２１１と同一に構成される。ノイズフリー領域検出部２３１は、差分信号Ｓ１６に加えて、入力映像信号Ｓ１、参照映像信号Ｓ１１についても、差分信号Ｓ１６と同様にしてノイズフリー画素識別フラグＳ１ＮＦＰ、Ｓ１１ＮＦＰを生成し、さらにノイズフリー混入領域識別フラグＳ１ＮＦＦＭ、Ｓ１１ＮＦＦＭを生成する点を除いて、ノイズフリー領域検出部２１１と同一に構成される。計測有効判定部２３４は、これによりノイズフリー領域検出フラグＳ１ＮＦＦ、Ｓ１１ＮＦＦ、Ｓ１６ＮＦＦに代えて、ノイズフリー混入領域識別フラグＳ１ＮＦＦＭ、Ｓ１１ＮＦＦＭ、Ｓ１６ＮＦＦＭを基準にしてアクティビティＳ１Ａ、Ｓ１１Ａ、Ｓ１６Ａを出力する点を除いて、図１の計測有効判定部２４と同一に構成される。
【０２０１】
この実施例のように、差分信号についてだけでなく、入力映像信号、参照映像信号についても、隣接する部分領域をも含めて部分領域毎にノイズの計測に適した部分領域か否か判定することにより、字幕、ＧＵＩの影響を一段と有効に回避して確実にノイズレベルを検出することができる。
【実施例１６】
【０２０２】
図６２は、図３１及び図５５との対比により本発明の実施例１６のノイズフィルタに適用されるノイズ領域検出部の構成を示すブロック図である。この実施例の計測部は、この図６２に示すノイズ領域検出部２４０の構成が異なる点を除いて、実施例６の計測部と同一に構成される。またこのノイズ領域検出部２４０は、ノイズフリー領域検出部１０７に代えて、ノイズフリー領域検出部２４１が設けられる点を除いて、図３１のノイズ領域検出部１０２と同一に構成される。
【０２０３】
またノイズフリー領域検出部２４１は、ノイズフリー画素検出部２１２、ノイズフリー混入領域検出部２１３に代えて、ノイズフリー画素検出部２４２、ノイズフリー混入領域検出部２４３が設けられる点を除いて図５５のノイズフリー領域検出部２１１と同一に構成される。ここでノイズフリー画素検出部２４２、ノイズフリー混入領域検出部２４３は、差分信号Ｓ１６に代えて、入力映像信号Ｓ１を差分信号Ｓ１６と同様に処理してノイズフリー画素識別フラグＳ１ＮＦＰを生成し、さらにノイズフリー混入領域識別フラグＳ１ＮＦＦＭを生成する点を除いて、ノイズフリー画素検出部２１２、ノイズフリー混入領域検出部２１３と同一に構成される。計測有効判定部２４４は、これによりノイズ領域識別フラグＳ１ＮＦＦに代えてノイズフリー混入領域識別フラグＳ１ＮＦＦＭを基準にしてアクティビティＳ１Ａを出力する点を除いて、図３１の計測有効判定部１０８と同一に構成される。
【０２０４】
この実施例のように、入力映像信号について、隣接する部分領域をも含めて部分領域毎にノイズの計測に適した部分領域か否か判定するようにしても、実施例１３と同一の効果を得ることができる。
【実施例１７】
【０２０５】
なお上述の実施例においては、本発明をノイズフィルタに適用した場合について述べたが、本発明はこれに限らず、種々の映像信号の処理に広く適用することができる。
【０２０６】
また上述の実施例においては、ハードウエアによりノイズフィルタを構成する場合について述べたが、本発明はこれに限らず、演算処理手段によりプログラムの実行により構成するようにしてもよい。なおこの場合、このプログラムは、事前にインストールして提供するようにしてもよく、光ディスク、磁気ディスク、メモリカード等の記録媒体に記録して提供するようにしてもよく、さらにはインターネット等のネットワークを介したダウンロードにより提供するようにしてもよい。
【産業上の利用可能性】
【０２０７】
本発明は、例えば映像信号中のノイズを除去するノイズフィルタに適用することができる。
【図面の簡単な説明】
【０２０８】
【図１】本発明の実施例１のノイズフィルタに適用されるノイズ領域検出部を示すブロック図である。
【図２】本発明の実施例１のノイズフィルタの構成を示すブロック図である。
【図３】図２のノイズフィルタの計測部の構成を示すブロック図である。
【図４】図３の計測部における参照映像信号生成部の構成を示すブロック図である。
【図５】図４の参照映像信号生成部の他の例の構成を示すブロック図である。
【図６】図３の計測部における差分信号生成部の構成を示すブロック図である。
【図７】図３の計測部におけるノイズ領域検出部の説明に供する平面図である。
【図８】図７の他の例の構成を示す平面図である。
【図９】図１のノイズ領域検出部における計測有効判定部の構成を示すブロック図である。
【図１０】図３の計測部における部分領域信号分割部の構成を示すブロック図である。
【図１１】図１０の部分領域信号分割部におけるノイズレベル時間平滑部の構成を示すブロック図である。
【図１２】図１１のノイズレベル時間平滑部におけるフィルタ処理部の構成を示すブロック図である。
【図１３】図１２の他の例の構成を示すブロック図である。
【図１４】本発明の実施例１のノイズフィルタに適用されるノイズ領域検出部の構成を示すブロック図である。
【図１５】図１４のノイズ領域検出部における飽和補正アクティビティ算出部の構成を示すブロック図である。
【図１６】図１５の飽和補正アクティビティ算出部の動作の説明に供する特性曲線図である。
【図１７】図１４のノイズ領域検出部における計測有効判定部の構成を示すブロック図である。
【図１８】本発明の実施例３のノイズフィルタに適用される計測有効判定部の構成を示すブロック図である。
【図１９】図１８の計測有効判定部における最小アクティビティ算出部の構成を示すブロック図である。
【図２０】図１９の最小アクティビティ算出部の動作の説明に供する特性曲線図である。
【図２１】図１９の最小アクティビティ算出部による最小アクティビティの変化を示す特性曲線図である。
【図２２】本発明の実施例４のノイズフィルタに適用される計測有効判定部の構成を示すブロック図である。
【図２３】図２２の計測有効判定部における最小アクティビティ算出部の構成を示すブロック図である。
【図２４】本発明の実施例５のノイズフィルタに適用される計測部の構成を示すブロック図である。
【図２５】図２４の計測部におけるノイズ領域検出部の構成を示すブロック図である。
【図２６】映像信号の一般的な周波数特性を示す特性曲線図である。
【図２７】ノイズの一般的な周波数特性を示す特性曲線図である。
【図２８】図２５のノイズ領域検出部における計測有効判定部の構成を示すブロック図である。
【図２９】図２４の計測部におけるノイズレベル計測部の構成を示すブロック図である。
【図３０】本発明の実施例６のノイズフィルタに適用される計測部の構成を示すブロック図である。
【図３１】図３０の計測部におけるノイズレベル計測部の構成を示すブロック図である。
【図３２】本発明の実施例７のノイズフィルタに適用される計測部の構成を示すブロック図である。
【図３３】本発明の実施例８のノイズフィルタに適用される計測部の構成を示すブロック図である。
【図３４】図３３の計測部におけるノイズ領域検出部の構成を示すブロック図である。
【図３５】図３３の計測部におけるノイズレベル計測部の構成を示すブロック図である。
【図３６】本発明の実施例９のノイズフィルタに適用される計測部の構成を示すブロック図である。
【図３７】本発明の実施例１０のノイズフィルタの構成を示すブロック図である。
【図３８】図３７のノイズフィルタにおけるノイズ領域検出部の構成を示すブロック図である。
【図３９】図３８のノイズ領域検出部における計測有効判定部の構成を示すブロック図である。
【図４０】図３９の計測有効判定部の動作の説明に供する特性曲線図である。
【図４１】図３７のノイズフィルタにおけるノイズ抽出部の構成を示すブロック図である。
【図４２】図４１のノイズ抽出部の動作の説明に供する特性曲線図である。
【図４３】図４１のノイズ抽出部における非線形特性設定部の動作の説明に供する特性曲線図である。
【図４４】図４３の他の例を示す特性曲線図である。
【図４５】図３７のノイズフィルタにおけるノイズ減算処理部の構成を示すブロック図である。
【図４６】図４５のノイズ減算処理部の動作の説明に供する特性曲線図である。
【図４７】図４６の他の例を示す特性曲線図である。
【図４８】本発明の実施例１１のノイズフィルタの構成を示すブロック図である。
【図４９】図４８のノイズフィルタにおけるノイズ領域検出部の構成を示すブロック図である。
【図５０】図４９のノイズ領域検出部の動作の説明に供する特性曲線図である。
【図５１】図４８のノイズフィルタにおけるノイズ抽出部の構成を示すブロック図である。
【図５２】本発明の実施例１２のノイズフィルタの構成を示すブロック図である。
【図５３】図５２のノイズフィルタにおけるノイズ抽出部の構成を示すブロック図である。
【図５４】本発明の実施例１３のノイズフィルタの構成を示すブロック図である。
【図５５】本発明の実施例１４のノイズフィルタに適用されるノイズ領域検出部の構成を示すブロック図である。
【図５６】図５５のノイズ領域検出部の動作の説明に供する平面図である。
【図５７】図５５のノイズ領域検出部におけるノイズフリー画素検出部の構成を示すブロック図である。
【図５８】図５７のノイズフリー画素検出部の動作の説明に供する平面図である。
【図５９】図５５のノイズ領域検出部におけるノイズフリー混入領域検出部の構成を示すブロック図である。
【図６０】図５９のノイズフリー混入領域検出部の動作の説明に供する平面図である。
【図６１】本発明の実施例１５のノイズフィルタに適用されるノイズ領域検出部の構成を示すブロック図である。
【図６２】本発明の実施例１６のノイズフィルタに適用されるノイズ領域検出部の構成を示すブロック図である。
【符号の説明】
【０２０９】
１、１４１、１７１、１９１、２０１……ノイズフィルタ、６、８１、１０１、１１１、１２１、１３１、１４２、１７２、１９２……計測部、１１、１４３、１４３……参照映像信号生成部、１６、１３２……差分信号生成部、１８、５１、８５、１０２、１１４、１２２、１３４、１４４、１７４、２０３、２１０、２３０、２４０……ノイズ領域検出部、２０、８２、１０４、１１２……部分領域信号分割部、２１、１０５、１４５、１７５……画素領域特徴量抽出部２１、１０６……飽和領域検出部、２３、５３、１０７、１７７……ノイズフリー領域検出部、２４、５５、６１、７１、８７、１０８、１２６、１４７、１７９……計測有効判定部、２７、５６、６２、１５０……計測不能領域判定部、２９、６３、７２……最小アクティビティ算出部、３０……閾値設定部、３１、８８、１５３……有効ノイズ領域・アクティビティ選択部、３５、９０、１０３、１１５、１２３、１３５、１５５、１８０……ノイズレベル計測部、３７、９１、１２７……ノイズ領域統計値算出部、４０……ノイズレベル時間平滑部、４２……フィルタ処理部、４７……前値記憶部、５２、１７６……飽和補正アクティビティ算出部、８３、１１３、１３３、１７３……帯域分割部、８３、１７８……周波数領域特徴量抽出部、１５７、１８１、１９２……ノイズ抽出部、１５８……ノイズ抽出ブレンド比設定部、１５９、１８４、１９５……非線形特性設定部、１６０、１８３、１９６……非線形処理部、１６１、１８５……ブレンド処理部
【図１】
2008017448.tif 000003
【図２】
2008017448.tif 000004
【図３】
2008017448.tif 000005
【図４】
2008017448.tif 000006
【図５】
2008017448.tif 000007
【図６】
2008017448.tif 000008
【図７】
2008017448.tif 000009
【図８】
2008017448.tif 000010
【図９】
2008017448.tif 000011
【図１０】
2008017448.tif 000012
【図１１】
2008017448.tif 000013
【図１２】
2008017448.tif 000014
【図１３】
2008017448.tif 000015
【図１４】
2008017448.tif 000016
【図１５】
2008017448.tif 000017
【図１６】
2008017448.tif 000018
【図１７】
2008017448.tif 000019
【図１８】
2008017448.tif 000020
【図１９】
2008017448.tif 000021
【図２０】
2008017448.tif 000022
【図２１】
2008017448.tif 000023
【図２２】
2008017448.tif 000024
【図２３】
2008017448.tif 000025
【図２４】
2008017448.tif 000026
【図２５】
2008017448.tif 000027
【図２６】
2008017448.tif 000028
【図２７】
2008017448.tif 000029
【図２８】
2008017448.tif 000030
【図２９】
2008017448.tif 000031
【図３０】
2008017448.tif 000032
【図３１】
2008017448.tif 000033
【図３２】
2008017448.tif 000034
【図３３】
2008017448.tif 000035
【図３４】
2008017448.tif 000036
【図３５】
2008017448.tif 000037
【図３６】
2008017448.tif 000038
【図３７】
2008017448.tif 000039
【図３８】
2008017448.tif 000040
【図３９】
2008017448.tif 000041
【図４０】
2008017448.tif 000042
【図４１】
2008017448.tif 000043
【図４２】
2008017448.tif 000044
【図４３】
2008017448.tif 000045
【図４４】
2008017448.tif 000046
【図４５】
2008017448.tif 000047
【図４６】
2008017448.tif 000048
【図４７】
2008017448.tif 000049
【図４８】
2008017448.tif 000050
【図４９】
2008017448.tif 000051
【図５０】
2008017448.tif 000052
【図５１】
2008017448.tif 000053
【図５２】
2008017448.tif 000054
【図５３】
2008017448.tif 000055
【図５４】
2008017448.tif 000056
【図５５】
2008017448.tif 000057
【図５６】
2008017448.tif 000058
【図５７】
2008017448.tif 000059
【図５８】
2008017448.tif 000060
【図５９】
2008017448.tif 000061
【図６０】
2008017448.tif 000062
【図６１】
2008017448.tif 000063
【図６２】
2008017448.tif 000064