(57)【要約】【課題】輝度レベルのみが変化する映像信号においても、ノイズ成分を低減することが可能となる。【解決手段】本発明のフレーム巡回型ノイズ低減装置１００は、現在の映像信号を異なるフレーム期間遅延させるフレームメモリ１と、フレームメモリ１で遅延させた少なくとも２以上の映像信号からゲインを決定するゲイン決定部２と、遅延させた映像信号の１つにゲインを乗算した映像信号から現在の映像信号を減算した結果に基づき、現在の映像信号に加算する帰還映像信号を生成する帰還映像信号生成部５と、を備える。【選択図】図１
2010245998.tif 000002
【特許請求の範囲】
【請求項１】
現在の映像信号を異なるフレーム期間遅延させるフレームメモリと、
前記フレームメモリで遅延させた少なくとも２以上の映像信号からゲインを決定するゲイン決定部と、
前記遅延させた映像信号の１つに前記ゲインを乗算した映像信号から前記現在の映像信号を減算した結果に基づき、前記現在の映像信号に加算する帰還映像信号を生成する帰還映像信号生成部と、
を備えるフレーム巡回型ノイズ低減装置。
【請求項２】
前記帰還映像信号生成部は、
前記減算結果が大きくなるに従い前記帰還映像信号の輝度レベルを低くする
ことを特徴とする請求項１記載のフレーム巡回型ノイズ低減装置。
【請求項３】
現在の映像信号を少なくとも１フレーム期間遅延させるフレームメモリと、
前記フレームメモリで遅延させた映像信号と前記現在の映像信号からゲインを決定するゲイン決定部と、
前記遅延させた映像信号から前記現在の映像信号に前記ゲインを乗算した映像信号を減算した結果に基づき、前記現在の映像信号に加算する帰還映像信号を生成する帰還映像信号生成部と、
を備えるフレーム巡回型ノイズ低減装置。
【請求項４】
前記帰還映像信号生成部は、
前記減算結果が大きくなるに従い前記帰還映像信号の輝度レベルを低くする
ことを特徴とする請求項３記載のフレーム巡回型ノイズ低減装置。
【請求項５】
現在の映像信号の高周波成分を除去する第１のＨＰＦ処理部と、
現在の映像信号を１フレーム期間遅延させるフレームメモリと、
前記フレームメモリで遅延させた映像信号の高周波成分を除去する第２のＨＰＦ処理部と、
前記第２のＨＰＦ処理部で高周波成分を除去された前記フレームメモリで遅延させた映像信号から、前記第１のＨＰＦ処理部で高周波成分を除去された前記現在の映像信号を減算した結果に基づき、前記現在の映像信号に加算する帰還映像信号を生成する帰還映像信号生成部と、
を備えるフレーム巡回型ノイズ低減装置。
【請求項６】
前記帰還映像信号生成部は、
前記減算結果が大きくなるに従い前記帰還映像信号の輝度レベルを低くする
ことを特徴とする請求項５記載のフレーム巡回型ノイズ低減装置。
【請求項７】
前記第１のＨＰＦ処理部は、さらに、前記現在の映像信号からエッジ成分を検出し、
前記帰還映像信号生成部は、前記検出されたエッジ成分に基づき、前記現在の映像信号の前記エッジ成分の周辺部に加算する帰還映像信号を生成する
ことを特徴とする請求項５又は請求項６記載のフレーム巡回型ノイズ低減装置。
【請求項８】
前記現在の映像信号は、ＭＰＥＧ映像信号である
ことを特徴とする請求項７記載のフレーム巡回型ノイズ低減装置。
【請求項９】
現在の映像信号を異なるフレーム期間遅延させるステップと、
前記異なるフレーム期間遅延させた少なくとも２以上の映像信号からゲインを決定するステップと、
前記遅延させた映像信号の１つに前記ゲインを乗算した映像信号から前記現在の映像信号を減算した結果に基づき、前記現在の映像信号に加算する帰還映像信号を生成するステップと、
を備えるフレーム巡回型ノイズ低減方法。
【請求項１０】
現在の映像信号を少なくとも１フレーム期間遅延させるステップと、
前記遅延させた映像信号と前記現在の映像信号からゲインを決定するステップと、
前記遅延させた映像信号から前記現在の映像信号に前記ゲインを乗算した映像信号を減算した結果に基づき、前記現在の映像信号に加算する帰還映像信号を生成するステップと、
を備えるフレーム巡回型ノイズ低減方法。
【請求項１１】
現在の映像信号の高周波成分を除去するステップと、
現在の映像信号を１フレーム期間遅延させるステップと、
前記遅延させた映像信号の高周波成分を除去するステップと、
前記高周波成分を除去された現在の映像信号から、前記高周波成分を除去された前記遅延させた映像信号を減算した結果に基づき、前記現在の映像信号に加算する帰還映像信号を生成するステップと、
を備えるフレーム巡回型ノイズ低減方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像信号に含まれるノイズ成分を低減させるフレーム巡回型ノイズ低減装置、フレーム巡回型ノイズ低減方法に関する。
【背景技術】
【０００２】
一般に、映像信号に含まれる動画像には時間的に連続するフレーム間で強い相関性が存在するが、動画像に含まれるノイズ成分については時間的に連続するフレーム間の相関性が低いということが知られている。これらを利用したノイズ成分を低減させる技術として、フレーム巡回型ノイズ低減技術が知られている。フレーム巡回型ノイズ低減技術は、現在の入力映像信号をフレーム遅延させた遅延映像信号と現在の入力映像信号とを比較しノイズ成分を抽出する。その抽出したノイズ成分を利用して現在の入力映像信号のノイズ低減を行っている。
しかしながら、ノイズ成分の抽出は、単に現在の入力映像信号とフレーム遅延させた遅延映像信号との差分を取るだけでは、その差分が動画像に因るものかノイズに因るものかの判断が難しく、判断を誤ると動画像がボヤケるという弊害が発生する。この動画像がボヤケるという弊害を避けるために、抽出したノイズ成分の信頼度に応じてフレーム巡回の係数を動的に変えるという操作が必要となる。
図６は、従来のフレーム巡回型ノイズ低減技術を用いたノイズ低減装置の構成を示したものである。
ノイズ低減装置４００は、現在の入力映像信号と現在の入力映像信号を少なくとも１フレーム期間だけ遅延させた遅延映像信号との間の差分を示す差分映像信号にノイズ低減処理を施して帰還映像信号を生成し、帰還映像信号を現在の入力映像信号に加算して出力映像信号を生成する。レベル調整部３５は、現在の入力映像信号の輝度レベルが小さいほど帰還映像信号の輝度レベルを小さくするように構成されている。これによりフレーム間差分が小さい場合でも動画輪郭のボヤケやお引きなどの残像現象の発生を抑制することが可能となる（特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−２８８５９５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら特許文献１に記載されたノイズ低減装置においては、現在の入力映像信号と現在の入力映像信号を少なくとも１フレーム期間だけ遅延させた遅延映像信号との間の差分から動き検出を行っているため、輝度レベルのみが変化する映像信号、例えばフェードイン・フェードアウトの映像信号においても動画と判断し帰還映像信号の輝度レベルを小さくしてしまいノイズ成分を低減が出来ないという課題があった。
【課題を解決するための手段】
【０００５】
上記問題を解決するために、本発明のフレーム巡回型ノイズ低減装置は、現在の映像信号を異なるフレーム期間遅延させるフレームメモリと、前記フレームメモリで遅延させた少なくとも２以上の映像信号からゲインを決定するゲイン決定部と、前記遅延させた映像信号の１つに前記ゲインを乗算した映像信号から前記現在の映像信号を減算した結果に基づき、前記現在の映像信号に加算する帰還映像信号を生成する帰還映像信号生成部と、
を備える。
また、本発明のフレーム巡回型ノイズ低減装置は、現在の映像信号を少なくとも１フレーム期間遅延させるフレームメモリと、前記フレームメモリで遅延させた映像信号と前記現在の映像信号からゲインを決定するゲイン決定部と、前記遅延させた映像信号から前記現在の映像信号に前記ゲインを乗算した映像信号を減算した結果に基づき、前記現在の映像信号に加算する帰還映像信号を生成する帰還映像信号生成部と、を備える。
また、本発明のフレーム巡回型ノイズ低減装置は、現在の映像信号の高周波成分を除去する第１のＨＰＦ処理部と、現在の映像信号を１フレーム期間遅延させるフレームメモリと、前記フレームメモリで遅延させた映像信号の高周波成分を除去する第２のＨＰＦ処理部と、前記第２のＨＰＦ処理部で高周波成分を除去された前記フレームメモリで遅延させた映像信号から、前記第１のＨＰＦ処理部で高周波成分を除去された前記現在の映像信号を減算した結果に基づき、前記現在の映像信号に加算する帰還映像信号を生成する帰還映像信号生成部と、を備える。
【発明の効果】
【０００６】
本発明のフレーム巡回型ノイズ低減装置によれば、輝度レベルのみが変化する映像信号が入力されてもノイズ成分を低減することが可能である。
【図面の簡単な説明】
【０００７】
【図１】第１の実施例によるフレーム巡回型ノイズ低減装置の構成を示すブロック図
【図２】第１の実施例によるフレーム巡回型ノイズ低減装置におけるＫファクタ決定部のＫファクタとノイズ判断の閾値ＴＨとの関係を示す図
【図３】第１の実施例によるフレーム巡回型ノイズ低減装置におけるゲイン決定部の動作を示す概念図
【図４】第２の実施例態によるフレーム巡回型ノイズ低減装置置の構成を示すブロック図
【図５】第３の実施例によるフレーム巡回型ノイズ低減装置の構成を示すブロック図
【図６】従来のノイズ低減装置の構成を示すブロック図
【発明を実施するための形態】
【０００８】
以下、本発明の実施の形態について、図１から図５を用いて説明する。
【実施例１】
【０００９】
図１は本発明の第１の実施例におけるフレーム巡回型ノイズ低減装置１００のブロック構成図である。
フレーム巡回型ノイズ低減装置１００は、フレームメモリ１、ゲイン決定部２、乗算器３、減算器４、帰還映像信号生成部５及び、加算器６から構成される。また帰還映像信号生成部５は、Ｋファクタ決定部１５及び乗算器２５から構成される。
次に本発明のフレーム巡回型ノイズ低減装置１００の動作を説明する。
現在の入力映像信号Ｎフレーム（Ｎは整数）は、加算器６においてノイズ成分を取り除かれフレームメモリ１に入力される。
なお、フレームメモリ１に映像信号が何も格納されていない初期状態においては、減算器４の出力が所定の値より大きくなるため、Ｋファクタ決定部１５はＫファクタを０に設定する。従って、フレームメモリ１には現在の入力映像信号がそのまま格納される。
現在の入力映像信号Nフレームがフレームメモリ１に入力されると、フレームメモリ１でNフレームを１フレーム遅延させたＮ−１フレームとさらに１フレーム遅延させたＮ−２フレームが作成され、ゲイン決定部２に出力される。
ゲイン決定部２は、入力されたＮ−１フレーム及びＮ−２フレームにおける所定の領域ｎ×ｍピクセル（ｎ、ｍは整数）内の平均輝度を計算比較する。そして、比較結果に基づき、Ｎ−１フレームからＮフレームへの輝度変動の予測を行い、当該領域ｎ×ｍピクセルにおけるＮ−１フレームの輝度が当該領域ｎ×ｍピクセルにおけるＮフレームの輝度と同一になる様、Ｎ−１フレームの当該領域ｎ×ｍピクセルに掛けるゲインを決定する。
なお、所定の領域ｎ×ｍピクセル内の平均輝度を求める方法は、全てのピクセルの輝度を加算しピクセル数で割るというような方法等、公知の技術を適用可能であり、ここでの詳細な説明は省略する。
Ｎ−１フレームの当該領域ｎ×ｍピクセルに掛けるゲインＧ１は、N−１フレームとN−２フレームの当該領域ｎ×ｍピクセル内の平均輝度を例えばY１、Y２とすると、一例として数式１により求めることが出来る。
【００１０】
【数１】
2010245998.tif 000003
【００１１】
乗算器３において、ゲイン決定部２で決定されたゲインＧ１がＮ−１フレームの当該領域ｎ×ｍピクセル内の各ピクセルの輝度ＰＹに掛けられ、これにより当該領域ｎ×ｍピクセルにおけるNフレームとＮ−１フレームの輝度ＰＹＮは同一になる。Ｎ−１フレームの当該領域ｎ×ｍピクセルにおける輝度ＰＹＮは数式２により求めることが出来る。
【００１２】
【数２】
2010245998.tif 000004
【００１３】
当該領域ｎ×ｍピクセルにおける輝度ＰＹＮがＮフレームと同一になったであろうＮ−１フレームは、減算器４によりＮフレームとの間で差分が取られ、減算器４の減算結果が小さい程、ゲイン決定に成功しノイズ成分を抽出できたとみなし、Ｋファクタ決定部１５で大きな巡回係数Kファクタを決定する。逆に減算器４の減算結果が大きい程、ゲイン決定に失敗しノイズ成分以外も抽出してしまったとみなし、Ｋファクタ決定部５で小さな巡回係数Ｋファクタを決定する。
Ｋファクタ決定部５で決定するKファクタの一例として、ノイズ判断の閾値をＴHとすると図２に示した様に減算器４の結果に対応したルックアップテーブルにより決定され、Ｋファクタは、例えば０以上０．５未満の範囲に設定される。なおＫファクタは、この値に限定されるものではなく、フレーム巡回型ノイズ低減装置の特性により適宜選択すればよい。
ノイズ判断の閾値は、例えば、入力映像信号のダイナミックレンジが０〜１０２４の場合は３２とする。なおノイズ判断の閾値は、この値に限定されるものではなく、フレーム巡回型ノイズ低減装置の特性により適宜選択すればよい。
乗算器２５において、Ｋファクタ決定部１５で決定したKファクタと減算器４の出力を掛ける。つまり、帰還映像信号生成部５は、減算器４の減算結果が小さい程、帰還映像信号の輝度レベルを大きくするように構成されている。一方、帰還映像信号生成部５は、減算器４の減算結果が大きい程帰還映像信号の輝度レベルを小さくするように構成されている。
加算器６で帰還映像信号生成部５の出力にＮフレームを足し合わせる。
この動作を１フレーム全体に至るまで繰り返し、ノイズ低減を行う。
図３は、ゲイン決定部２の動作を説明する概念図である。ゲイン決定部２は、（ａ）Ｎ−２フレームと（ｂ）Ｎ−１フレームの同座標上にある同領域ｎ×ｍピクセル内の平均輝度を決定する。決定した（ａ）Ｎ−２フレームと（ｂ）Ｎ−１フレームとの平均輝度に基づき、（ｂ）Ｎ−１フレームから（ｃ）Ｎフレームへの輝度変動のゲインを決定する。その後、決定したゲインをＮ−１フレームの同領域ｎ×ｍピクセルに掛け、（ｂ‘）Ｎ−１フレームの同領域ｎ×ｍピクセルの映像を作成する。この計算を１フレーム全体に至るまで繰り返す。
以上、本実施例１におけるフレーム巡回型ノイズ低減装置によれば、輝度レベルのみが変化する映像信号（例えばフェードイン・フェードアウトの映像信号）に対しても、ノイズ成分を低減することが可能である。
なお、本実施例１においては、N―１フレームとN―２フレームの所定の領域における輝度差からゲインを求め、N―１フレームの当該領域の各ピクセルにゲインを掛けることで、Nフレームの当該領域における輝度になるであろうＮ―１フレームを作成したが、これに限定されず、異なるフレーム期間遅延させた複数のフレーム、例えばＮ−αフレームとＮ−βフレーム（αとβは２以上の異なる整数）の所定の領域における輝度差からゲインを求め、Ｎ−αフレームの当該領域の各ピクセルにゲインを掛けることで、Ｎフレームの当該領域における輝度になるであろうＮ−αフレームを作成しても良い。
また、本実施例１においては、N−１フレームとN−２フレームの所定の領域における輝度差からゲインを求め、N‐１フレームの当該領域の各ピクセルにゲインを掛けることで、Nフレームの当該領域における輝度になるであろうＮ−１フレームを作成したが、Ｎ−２フレームとＮ−１フレームとの輝度差からオフセットを求めN−１フレームにオフセットを足し合わせることでNフレームの輝度になるであろうＮ−１フレームを作成しても良いことは言うまでも無い。またゲイン乗算により映像を作成する方法では、映像信号中のノイズ成分までも強調されるという課題があるが、オフセット加算ではノイズ成分が強調されることはない。
【実施例２】
【００１４】
次に、本発明に係る第２の実施例について説明する。
図４は、本発明の第２の実施例におけるフレーム巡回型ノイズ低減装置２００のブロック構成図である。図２と図１との間で同一符号を付された構成要素は同一機能を有するものとする。
ゲイン決定部１２は、現在の入力映像Ｎフレームと、Ｎフレームをフレームメモリ１１で１フレーム遅延させたＮ−１フレームの映像信号が入力されると、ＮフレームとＮ−１フレームの所定の領域ｎ×ｍピクセル（ｎ、ｍは整数）内の平均輝度を計算比較し、当該領域ｎ×ｍピクセル内におけるＮ−１フレームの輝度とＮフレームの輝度が同一になる様、Ｎフレームに掛けるゲインを決定する。Ｎフレームの当該領域ｎ×ｍピクセルに掛けるゲインは、実施例１で述べた数式１のN−１フレームの輝度にNフレームの輝度、N−２フレームの輝度にN−１フレームの輝度を入れ替えることで決定される。
現在の入力映像信号Ｎフレームは、乗算器１３によりゲイン決定部１２にて決定したゲインを掛け合わされることで、当該領域ｎ×ｍピクセル内においてＮ−１フレームと同一の輝度になる。当該領域ｎ×ｍピクセル内においてＮ−１フレームと同一の輝度になったＮフレームとフレームメモリ１の出力のＮ−１フレームの差分を減算器１４で取ることによりノイズ成分の抽出が可能となり、以降は実施例１と同様にノイズ低減を行う。
なお、本実施例２においては、Ｎフレームと、Ｎフレームを１フレーム遅延させたＮ−１フレームの所定の領域における輝度差からゲインを求め、Ｎフレームの当該領域の各ピクセルにゲインを掛けることで、Ｎ−１フレームの当該領域における輝度になるであろうＮフレームを作成したが、これに限定されず、Ｎフレームと、Ｎフレームを２フレーム以上遅延させたＮ−γフレーム（γは２以上の整数）からＮ−γフレームの所定の領域における輝度になるであろうＮフレームを作成しても良い。
【００１５】
また、実施例１と同様に、本実施例２ではゲインを掛けることでN−１フレームと所定の領域において同じ輝度になるＮフレームを作成したが、オフセット加算でも同様のことが可能である。
【００１６】
以上、本実施の形態２におけるフレーム巡回型ノイズ低減装置によれば、輝度レベルのみが変化する映像信号（例えばフェードイン・フェードアウトの映像信号）においても、ノイズ成分を低減することが可能となる。
また、現在の映像信号を異なるフレーム期間遅延させる必要がないため、省フレームメモリでのノイズ成分の低減効果を実現することが出来る。
【実施例３】
【００１７】
次に、本発明に係る第３の実施例について説明する。
図５は、本発明の第３の実施例におけるフレーム巡回型ノイズ低減装置３００のブロック構成図である。図５と図１との間で同一符号を付された構成要素は同一機能を有するものとする。
第１のＨＰＦ処理部７には現在の入力映像信号Ｎフレームが入力され、第２のＨＰＦ処理部８にはフレームメモリ２１で現在の入力映像信号Ｎクレームから１フレーム遅延させたＮ−１フレームの映像信号が入力される。第１のＨＰＦ処理部７、第２のＨＰＦ処理部８によりＮフレーム及びＮ−１フレームの高周波成分が抜き出され、減算器２４によりそれらの差分を取ることでフレーム間の相関性が低いノイズ成分の抽出が可能となり、以降は実施例１と同様にノイズ低減を行う。
ＨＰＦ処理部の一例として数式３に示すような伝達関数Ｈ（Ｚ）を持つＨＰＦを掛け高周波成分の抜き出しを行う。なお、ＨＰＦの特性は固定ではなく、係数またはタップ数、他のフィルタとの掛け合わせ等、取り扱う映像信号により適宜に変更可能である。
【００１８】
【数３】
2010245998.tif 000005
【００１９】
なお、本実施例３ではＨＰＦにより高周波成分を抜き出したが、Ｎフレーム及びＮ−１フレームにＬＰＦを掛けて、ＮフレームからＮフレームにＬＰＦを掛けた結果を減算し、Ｎ−１フレームからＮ−１フレームにＬＰＦを掛けた結果を減算することでも、高周波成分の抜き出しが可能である。また、その他の公知の高周波成分抜き出し方法でも代用可能である。
【００２０】
また、ＭＰＥＧ動画入力時においては、さらに第１のＨＰＦ処理部７が検出した映像のエッジ成分を用いてKファクタの巡回割合を大きく設定することでモスキートノイズに対してもノイズ低減効果を持たせることができる。エッジ成分が大きいと判断（例えば、隣接するピクセルの差分が入力ダイナミックレンジの１／３以上であれば、エッジ成分が大きいと判断）した周辺部のＫファクタを大きく（巡回係数大）しノイズ低減効果を強める。
前記したKファクタの操作は例えば数式４の様なエッジ周辺部抜き出し関数Ｅ（Ｚ）により実現可能である。
【００２１】
【数４】
2010245998.tif 000006
【００２２】
数式４において、始めのＨＰＦ成分の絶対値（Ａｂｓ）を取ることでエッジ部を抜き出し、さらに窓関数Ｗ（Ｚ）を掛けることによりエッジの周辺部の抽出が可能となる。これをＫファクタのオフセットとして与えることでエッジ周辺部に対して巡回割合を大きくすることが出来る。
【００２３】
以上説明した様なエッジ周辺部を抜き出す窓関数Ｗ（Ｚ）を任意の特性にすることにより所望の領域のＫファクタの制御が可能となりエッジ周辺部のモスキートノイズの低減が可能となる。
【００２４】
なお、実施例１から３まで個々の構成で説明したが、それらの出力映像信号を所定の割合で掛け合わせることでもノイズ低減効果を得られるのは言うまでも無い。
【００２５】
以上、本実施例３における映像ノイズ低減処置装置によれば、輝度レベルのみが変化する映像信号（例えばフェードイン・フェードアウトの映像信号）においても、ノイズ成分を低減することが可能となる。
また、２つのフレーム遅延が不要になるため、省フレームメモリでのノイズ成分の低減効果を実現することが出来る。
また、映像のエッジ成分の利用によりＭＰＥＧ動画特有のモスキートノイズにも対応したノイズ低減効果を実現することが出来る。
【産業上の利用可能性】
【００２６】
本発明にかかるフレーム巡回型ノイズ低減装置、フレーム巡回型ノイズ低減方法は、輝度レベルのみが変化する映像信号が入力されてもノイズ成分を低減することが可能であり、映像信号に含まれるノイズ成分を低減させるフレーム巡回型ノイズ低減装置、フレーム巡回型ノイズ低減方等として有用である。
【符号の説明】
【００２７】
１、１１、２１    フレームメモリ
２、１２    ゲイン決定部
３、１３、２５    乗算器
４、１４、２４    減算器
５    帰還信号生部
６    加算器
７    第１のＨＰＦ処理部
８    第２のＨＰＦ処理部
１５    Ｋファクタ決定部
１００、２００、３００    フレーム巡回型ノイズ低減装置
【図１】
2010245998.tif 000007
【図２】
2010245998.tif 000008
【図３】
2010245998.tif 000009
【図４】
2010245998.tif 000010
【図５】
2010245998.tif 000011
【図６】
2010245998.tif 000012