(57)【要約】【課題】デジタル映像信号フィルタリング装置及び方法を提供する。【解決手段】デジタル映像信号フィルタリング装置は、映像を構成するフレームそれぞれの画素値を時間的及び空間的にフィルタリングした結果のうち何れか一つを、視空間フィルタリング値としてフィルタリングされた結果の大きさに応答して選択的に出力するノイズ低減フィルタ１０と、視空間フィルタリング値の高域成分を強調して出力する鮮明度向上フィルタ１２と、を備え、ノイズ低減フィルタ１０Ａは、時間フィルタリング部２０、空間フィルタリング部２２及びフィルタ選択部２４より構成される。【選択図】図３
2005323365.tif 000002
【特許請求の範囲】
【請求項１】
映像を構成するフレームそれぞれの画素値を時間的及び空間的にフィルタリングした結果のうち何れか一つを、視空間フィルタリング値として、前記フィルタリングした結果の大きさに応答して選択的に出力するノイズ低減フィルタと、
前記視空間フィルタリング値の高域成分を強調して出力する鮮明度向上フィルタと、を備えることを特徴とするデジタル映像信号フィルタリング装置。
【請求項２】
前記ノイズ低減フィルタは、
前記画素値を時間的にフィルタリングする時間フィルタリング部と、
前記画素値を空間的にフィルタリングする空間フィルタリング部と、
前記画素値を時間的および空間的にフィルタリングした結果それぞれの大きさとローカル空間平均値とを比較した結果に応答して、前記フィルタリングされた結果のうち何れか一つを、前記視空間フィルタリング値として選択的に出力するフィルタ選択部と、を備えることを特徴とする請求項１に記載のデジタル映像信号フィルタリング装置。
【請求項３】
前記フィルタ選択部は、
下式（１）により視空間フィルタリング値を選択することを特徴とする請求項２に記載のデジタル映像信号フィルタリング装置。
【数１】
2005323365.tif 000031
【請求項４】
前記時間フィルタリング部は、
現在フレームの画素値から以前フレームの画素値を減算した結果と動き検出しきい値とを比較し、比較された結果を画素値制御信号として出力する画素値制御部と、
前記現在フレームの画素値と前記以前フレームの画素値とを利用して、新たな画素値を生成する画素値演算部と、
前記画素値制御信号に応答して、前記現在フレームの画素値または前記新たな画素値を選択的に出力する画素値選択部と、を備えることを特徴とする請求項２に記載のデジタル映像信号フィルタリング装置。
【請求項５】
前記画素値演算部は、
前記現在フレームの画素値と前記以前フレームの画素値との平均を、前記新たな画素値として決定することを特徴とする請求項４に記載のデジタル映像信号フィルタリング装置。
【請求項６】
前記時間フィルタリング部は、
現在フレームの画素値から以前フレームの前記視空間フィルタリング値を減算した結果と動き検出しきい値とを比較し、比較された結果を画素値制御信号として出力する画素値制御部と、
前記現在フレームの画素値と前記以前フレームの視空間フィルタリング値とに加重値を付与しつつ、少なくとも一つの新たな画素値を生成する画素値演算部と、
前記画素値制御信号に応答して、前記現在フレームの画素値または前記新たな画素値を選択的に出力する画素値選択部と、を備えることを特徴とする請求項２に記載のデジタル映像信号フィルタリング装置。
【請求項７】
前記時間フィルタリング部は、下式（２）により前記画素値を時間的にフィルタリングすることを特徴とする請求項２に記載のデジタル映像信号フィルタリング装置。
【数２】
2005323365.tif 000032
【請求項８】
前記空間フィルタリング部は、
中心画素を中心とする所定サイズのウィンドウマスクの内部で、以前ラインに属する隣接画素に対して生成された前記視空間フィルタリング値を入手して、単位ライン遅延させるライン遅延部と、
前記ウィンドウマスクの内部に存在する画素のうち前記ライン遅延部から入手した前記以前ラインに属する隣接画素の画素値、または、前記ウィンドウマスクの内部に存在する画素のうち外部から入力された以後ラインに属する隣接画素の画素値に、対応する加重値を乗算して累積し、累積された結果を、前記中心画素の前記画素値を空間的にフィルタリングした結果として出力する第１乗算部と、を備え、
前記隣接画素は、前記中心画素の近くに位置し、前記以前ライン及び前記以後ラインは、前記中心画素が属する現在ラインの以前及び以後に、それぞれ位置するラインであることを特徴とする請求項２に記載のデジタル映像信号フィルタリング装置。
【請求項９】
前記空間フィルタリング部は、
前記中心画素の前記画素値から前記隣接画素の画素値を減算する減算部と、
前記中心画素の画素値から予測したノイズ分散値を利用して、加重基準値を生成する基準値生成部と、
前記減算部で減算された結果と前記加重基準値とを比較する比較部と、
前記比較部で比較された結果をアドレスとして入力され、前記加重値をデータとして保存し、前記アドレスに相応するデータを前記第１乗算部に出力するルックアップテーブルと、をさらに備えることを特徴とする請求項８に記載のデジタル映像信号フィルタリング装置。
【請求項１０】
前記基準値生成部は、
前記中心画素の画素値から前記ノイズ分散値を予測する分散値予測部と、
前記予測されたノイズ分散値を単位フレーム遅延するフレーム遅延部と、
前記遅延された結果を利用して、前記加重基準値を生成する演算部と、を備えることを特徴とする請求項９に記載のデジタル映像信号フィルタリング装置。
【請求項１１】
前記演算部は、
下式（３）により前記加重基準値を生成することを特徴とする請求項１０に記載のデジタル映像信号フィルタリング装置。
【数３】
2005323365.tif 000033
ここで、σは、前記加重基準値を表し、σinは、所定初期値であり、Ｎvarは、前記ノイズ分散値を表す。
【請求項１２】
前記分散値予測部は、
前記ウィンドウマスクの内部に存在する全ての画素のそれぞれの画素値と中間画素値との差を計算する第１画素値差計算部と、
前記第１画素値差計算部で計算された差の平均値を計算する平均値計算部と、
最大のヒストグラムを有する平均値を、前記ノイズ分散値として予測する最大ヒストグラム検出部と、を備えることを特徴とする請求項１０に記載のデジタル映像信号フィルタリング装置。
【請求項１３】
前記鮮明度向上フィルタは、
中心画素に対する前記視空間フィルタリング値の高域成分を抽出する高域成分抽出部と、
フィルタマスクの内部で、前記中心画素の画素値と隣接画素の画素値との差の変化幅を利用して、利得を決定する利得決定部と、
前記決定された利得と前記抽出された高域成分とを乗算する第２乗算部と、
前記第２乗算部で乗算された結果と前記映像とを合成し、合成された結果を前記鮮明度が強調された結果として出力する合成部と、を備え、
前記隣接画素は、前記中心画素に隣接することを特徴とする請求項１に記載のデジタル映像信号フィルタリング装置。
【請求項１４】
前記高域成分抽出部は、
前記中心画素の画素値と前記隣接画素の画素値との差を計算する第２画素値差計算部と、
前記第２画素値差計算部で計算された差の変化幅に相応する変数を決定する変数決定部と、
前記中心画素と前記隣接画素との相関度を、前記変数と前記差とを利用して計算する相関度計算部と、
前記相関度と前記視空間フィルタリング値とを利用して、前記高域成分を計算する高域成分計算部と、を備えることを特徴とする請求項１３に記載のデジタル映像信号フィルタリング装置。
【請求項１５】
前記変数決定部は、下記のように下式（４）により前記変数を決定することを特徴とする請求項１４に記載のデジタル映像信号フィルタリング装置：
【数４】
2005323365.tif 000034
【請求項１６】
前記相関度計算部は、下式（５−１），（５−２）により前記相関度を計算することを特徴とする請求項１４に記載のデジタル映像信号フィルタリング装置。
【数５】
2005323365.tif 000035
ここで、Ｄ（ｍ,ｎ）は、前記第２画素値差計算部で計算された前記差を表し、前記フィルタマスクのサイズは、Ｍ×Ｎであり、１≦ｍ≦Ｍ、１≦ｎ≦Ｎ、ｚ（ｍ,ｎ）は、前記中心画素の画素値を表し、ｚ（ｉ,ｊ）は、前記隣接画素の画素値を表し、Δは、前記変数を表し、Ｗcorr（ｍ,ｎ）は、前記相関度をそれぞれ表す。
【請求項１７】
前記高域成分計算部は、下式（６）により前記高域成分を計算することを特徴とする請求項１６に記載のデジタル映像信号フィルタリング装置。
【数６】
2005323365.tif 000036
【請求項１８】
前記利得決定部は、
前記差の変化幅が狭い領域で利得を小さく決定し、前記差の変化幅が広い領域で前記差の変化幅と反比例するように前記利得を決定し、前記差の変化幅が中間領域で前記利得を大きく決定する利得計算部を備えることを特徴とする請求項１３に記載のデジタル映像信号フィルタリング装置。
【請求項１９】
前記利得決定部は、下式（７）により前記利得を決定することを特徴とする請求項１３に記載のデジタル映像信号フィルタリング装置。
【数７】
2005323365.tif 000037
ここで、ｔｈ2、ｔｈ3及びｔｈ4は、第２、第３及び第４所定臨界値をそれぞれ表し、Ｄrangeは、前記差の変化幅を表し、Ｇａｉｎは、前記利得を表し、前記Ｇmaxは、前記利得の最大値をそれぞれ表す。
【請求項２０】
前記利得決定部は、
前記隣接画素を中心とするブロックに含まれる全ての画素に対して前記差の変化幅を検出し、検出された前記差の変化幅を利用して、前記利得を調整する利得調整部を備えることを特徴とする請求項１３に記載のデジタル映像信号フィルタリング装置。
【請求項２１】
前記利得調整部は、
前記隣接画素それぞれに対して、前記ブロックに含まれる全ての画素それぞれと前記隣接画素との画素値の差の変化幅を検出する変化幅検出部と、
前記変化幅検出部で検出された差の変化幅の最大値と最小値との差を計算する変化程度計算部と、
前記変化程度計算部で計算された差の大きさに応答して、前記決定された利得を前記差の変化幅を利用して調整する利得減衰部と、を備えることを特徴とする請求項２０に記載のデジタル映像信号フィルタリング装置。
【請求項２２】
前記利得減衰部は、前記計算された差の大きさが第５所定臨界値以上であるとき、前記決定された利得を下式（８）により調整することを特徴とする請求項２１に記載のデジタル映像信号フィルタリング装置。
【数８】
2005323365.tif 000038
ここで、Ｇfinalは、前記利得減衰部から出力される前記調整された利得を表し、Ｇａｉｎは、前記決定された利得を表し、Ｄrangeは、前記差の変化幅を表し、ｃは、前記隣接画素の数を表す。
【請求項２３】
映像を構成するフレームそれぞれの画素値を時間的及び空間的にフィルタリングした結果のうち何れか一つを、視空間フィルタリング値として、前記フィルタリングされた結果の大きさに応答して選択的に決定する段階と、
前記視空間フィルタリング値の高域成分を強調する段階と、を備えることを特徴とするデジタル映像信号フィルタリング方法。
【請求項２４】
デジタル映像信号のフレームそれぞれの画素値を時間的にフィルタリングする段階と、
前記デジタル映像信号の前記フレームそれぞれの前記画素値を空間的にフィルタリングする段階と、
前記デジタル映像信号の現在フレームの所定領域の平均画素値を前記現在フレームの時間的及び空間的にフィルタリングされた画素値それぞれと比較する段階と、
前記時間的にフィルタリングされた画素値または前記空間的にフィルタリングされた画素値のうち何れか一つを、前記比較された結果に基づいて選択し、ゴーストテールアーチファクトを最小化させる段階と、
前記時間的にフィルタリングされた画素値または前記空間的にフィルタリングされた画素値のうち、前記比較された結果に基づいて選択された一つを強調する段階と、を備えることを特徴とするデジタル映像信号フィルタリング方法。
【請求項２５】
前記画素値を時間的にフィルタリングする段階は、
現在フレームの画素値から以前フレームの画素値を減算した結果と動き検出しきい値とを比較する段階と、
前記比較された結果に基づいて画素値制御信号を発生させる段階と、
前記現在フレームの画素値と前記以前フレームの画素値とを利用して新たな画素値を生成する段階と、
前記画素値制御信号に応答して、前記現在フレームの画素値または前記新たな画素値を選択して、ユーザ視覚の動き検出に基づいたブラリングの発生を減らす段階と、を備えることを特徴とする請求項２４に記載のデジタル映像信号フィルタリング方法。
【請求項２６】
前記画素値を空間的にフィルタリングする段階は、
前記所定領域の中心画素を取り囲む隣接画素の単位ラインに基づいて、前記時間的にフィルタリングされた画素値または前記空間的にフィルタリングされた画素値のうち、選択された何れか一つを遅延する段階と、
前記隣接画素値と前記所定領域にある各画素値とを乗算した空間的にフィルタリングした結果を累積する段階と、を備えることを特徴とする請求項２４に記載のデジタル映像信号フィルタリング方法。
【請求項２７】
前記時間的にフィルタリングされた画素値または前記空間的にフィルタリングされた画素値のうち、前記比較された結果に基づいて選択された一つを強調する段階は、
前記所定領域の中心画素についての前記時間的にフィルタリングされた画素値または前記空間的にフィルタリングされた画素値のうち、選択された何れか一つの高域成分を抽出する段階と、
前記所定領域で前記中心画素を取り囲む各隣接画素の画素値と前記中心画素の画素値との差の変化幅を利用して、利得を決定する段階と、
前記決定された利得と前記抽出された高域成分とを、強調された結果として乗算する段階と、
前記時間的にフィルタリングされた画素値または前記空間的にフィルタリングされた画素値のうち、選択された何れか一つを前記強調された結果と合成する段階と、を備えることを特徴とする請求項２４に記載のデジタル映像信号フィルタリング方法。
【請求項２８】
前記時間的にフィルタリングされた画素値または前記空間的にフィルタリングされた画素値のうち、前記比較された結果に基づいて選択された一つを強調する段階は、
前記所定領域で中心画素を取り囲む各隣接画素の画素値と前記所定領域で前記中心画素の画素値との差を決定する段階と、
前記決定された差に基づいて高域通過フィルタの係数を決定して、前記時間的にフィルタリングされた画素値または前記空間的にフィルタリングされた画素値のうち、選択された何れか一つの高域成分を強調する段階と、を備えることを特徴とする請求項２４に記載のデジタル映像信号フィルタリング方法。
【請求項２９】
デジタル映像信号のフレームそれぞれの画素値を時間的にフィルタリングする段階と、
前記デジタル映像信号の前記フレームそれぞれの前記画素値を空間的にフィルタリングする段階と、
前記時間的にフィルタリングされた画素値と前記空間的にフィルタリングされた画素値とに基づいて、前記デジタル映像信号のノイズレベルを推定する段階と、
前記時間的にフィルタリングされた画素値と前記空間的にフィルタリングされた画素値のうち、何れか一つを選択して、前記推定されたノイズレベルが高いとき、前記デジタル映像の悪化を最小化させる段階と、
前記推定されたノイズレベルに基づいて調整された非線形利得を利用して、前記時間的にフィルタリングされた画素値と前記空間的にフィルタリングされた画素値のうち、選択された何れか一つを強調する段階と、を備えることを特徴とするデジタル映像信号フィルタリング方法。
【請求項３０】
デジタル映像信号のフレームそれぞれの画素値を時間的にフィルタリングする段階と、
前記デジタル映像信号の前記フレームそれぞれの前記画素値を空間的にフィルタリングする段階と、
前記デジタル映像信号の特性によって、前記画素値を時間的にフィルタリングする段階または前記画素値を空間的にフィルタリングする段階のうち、何れか一つをフィルタリング方法として選択する段階と、を備えることを特徴とするデジタル映像信号フィルタリング方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタルＴＶ（ＤＴＶ：Digital TeleVision）、多機能モニターまたはディスプレイシステムオンチップ（ＳｏＣ：System on Chip）のように映像を処理するデバイスに係り、特に、デジタル映像信号フィルタリング装置及び方法に関する。
【背景技術】
【０００２】
一般的に、送信端から伝送されるデジタル映像信号は、伝送チャンネルやディスプレイ装置の特性に起因して必然的にノイズ成分を伴う。このようなノイズ成分は、受信端で信号処理技法を通じて改善することができる。
【０００３】
信号処理技法を通じてノイズを低減させる従来のデジタル映像信号フィルタリング方法のほとんどは、２次元空間的フィルタリングや１次元時間的フィルタリングを利用する。これに加えて、最近には、動映像シーケンスでフィールド間相関情報の正確な抽出のために、動き補償を利用した技法が提案されている。しかし、このような従来の方法は、ノイズ成分による動き推定の正確度を低下させ、動き推定は、複雑な演算を伴い、ハードウェアの複雑度を高めるという問題点がある。
【０００４】
しかも、ノイズ低減フィルタを通過した後の映像は、一般的に、入力映像に比べて鮮明度が劣る。これは、一般的なノイズ低減フィルタの低域通過フィルタ特性に起因する。したがって、従来のほとんどのフィルタリング方法は、ノイズ低減フィルタリング後に、高域成分を向上させる機能を有する鮮明度向上フィルタを採択して鮮明度低下現象を防止する。
【０００５】
空間的フィルタリングを利用する従来の方法が非特許文献１及び２または特許文献１に開示されている。特許文献１に開示された従来の空間的フィルタリング方法は、ファジー論理処理を利用してフィルタリング対象画素が平坦画素に属するか否かを判断し、その判断に応じて低域通過フィルタリングを適用する。しかし、このような従来の方法は、ノイズレベルが高い場合、性能を低下させるという問題点がある。
【０００６】
また、動き補償を利用した従来の方法が非特許文献３に開示されている。ここに開示された従来の方法は、過度な反復演算によって高い演算量を要求して実現するためのコストが高くなるだけでなく、リアルタイムでの実現を難しくするという問題点がある。
【０００７】
時間的フィルタリングを利用する従来の方法は、非特許文献４に開示されている。ここに開示された従来の方法は、ウィンドウ内の異なる領域に属する画素がフィルタリングに含まれることを防止するために、中心画素と隣接画素の距離に基づいて概略的に映像を分割する方法である。このような時間的フィルタリングを利用する従来の方法は、空間的フィルタリング方法に比べると、映像の境界部分におけるブラリング（blurring）の発生量を低減させるが、フィルタリングに使われるフレームの数が増加するほどゴーストテール（ghost tail）のような画質の劣化を発生させるという問題点がある。
【０００８】
‘Ｄｕｂｏｉｓ’の技法を改善した従来の時間的フィルタリング方法が、非特許文献５に開示されている。この方法では、ゴーストテールの発生を防止するために、動き検出とエッジ検出とを通じてフィルタ機能をオン／オフさせているが、ゴーストテールは、依然として発生し、特にノイズピークが存在するときにも、フィルタ機能がオフとなるという問題点がある。
【０００９】
しかも、前述した従来の方法は、ほとんど低域通過フィルタリング技法を通じてノイズを低減させるので、必然的にフィルタリングされた結果の鮮明度を低下させるという問題点がある。
【００１０】
【特許文献１】ＥＰ０８７８７７６号（Ｍａｎｃｕｓｏら）
【非特許文献１】Ｌ,Ｙａｎ、“Ｎｏｉｓｅ Ｒｅｄｕｃｔｉｏｎ ｆｏｒ ＭＰＥＧ ｔｙｐｅ ｏｆ ｃｏｄｅ”（１９９４年）、ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ Ａｃｏｕｓｔｉｃ，Ｓｐｅｅｃｈ ａｎｄ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ
【非特許文献２】Ａ．ｖａｎ ｄｅｒ Ｗｅｒｆ、“Ｉ.ＭｃＩＣ：ａ ｓｉｎｇｌｅ−ｃｈｉｐ ＭＰＥＧ−２ ｖｉｄｅｏ ｅｎｃｏｄｅｒ ｆｏｒ ｓｔｏｒａｇｅ”（１９９７年１１月）、ＩＥＥＥ Ｊｏｕｒｎａｌ ｏｆＳｏｌｉｄ−Ｓｔａｔｅ Ｃｉｒｃｕｉｔｓ，ｖｏｌ.３２，ｎｏ.１１
【非特許文献３】Ｋａｔｓａｇｇｅｌｏｓ、“Ｎｏｉｓｅ Ｒｅｄｕｃｔｉｏｎ Ｆｉｌｔｅｒｓ ｆｏｒ Ｄｙｎａｍｉｃ Ｉｍａｇｅ Ｓｅｑｕｅｎｃｅｓ：ａ Ｒｅｖｉｅｗ”（１９９６年９月）、Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＩＥＥＥ，ｖｏｌ.８３
【非特許文献４】Ｅ.Ｄｕｂｏｉｓ、“Ｎｏｉｓｅ Ｒｅｄｕｃｔｉｏｎ ｉｎ Ｉｍａｇｅ Ｓｅｑｕｅｎｃｅｓ ｕｓｉｎｇ Ｍｏｔｉｏｎ Ｃｏｍｐｅｎｓａｔｅｄ Ｔｅｍｐｏｒａｌ Ｆｉｌｔｅｒｉｎｇ”（１９８４年７月）、ＩＥＥＥ Ｔｒａｎｓ.ｏｎ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ，ｖｏｌ.ＣＯＭ−３２、ｐｐ８２６〜８３１
【非特許文献５】Ｓ.Ｉｎａｍｏｒｉ、“Ａ Ｍｅｔｈｏｄ ｏｆ Ｎｏｉｓｅ Ｒｅｄｕｃｔｉｏｎ ｏｎ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ”（１９９３年１１月）、ＩＥＥＥ Ｔｒａｎｓ.ｏｎ Ｃｏｎｓｕｍｅｒ Ｅｌｅｃｔｏｒｉｎｉｃｓ，ｖｏｌ.３９，Ｎｏ.４
【発明の開示】
【発明が解決しようとする課題】
【００１１】
本発明が解決しようとする技術的課題は、効率的かつ経済的にノイズを低減させつつ鮮明度を向上させることができるデジタル映像信号フィルタリング装置を提供することである。
本発明が解決しようとする他の技術的課題は、効率的かつ経済的にノイズを低減させつつ鮮明度を向上させることができるデジタル映像信号フィルタリング方法を提供することである。
【課題を解決するための手段】
【００１２】
前記課題を解決するための本発明によるデジタル映像信号フィルタリング装置は、映像を構成するフレームそれぞれの画素値を時間的及び空間的にフィルタリングした結果のうち何れか一つを、視空間フィルタリング値として、前記フィルタリングされた結果の大きさに応答して選択的に出力するノイズ低減フィルタと、前記視空間フィルタリング値の高域成分を強調して出力する鮮明度向上フィルタと、から構成されることが望ましい。
【００１３】
前記ノイズ低減フィルタは、前記画素値を時間的にフィルタリングする時間フィルタリング部と、前記画素値を空間的にフィルタリングする空間フィルタリング部と、前記画素値を時間的および空間的にフィルタリングした結果それぞれの大きさとローカル空間平均値とを比較した結果に応答して、前記フィルタリングされた結果のうち何れか一つを、前記視空間フィルタリング値として選択的に出力するフィルタ選択部と、を備えることが望ましい。
【００１４】
前記フィルタ選択部は、下式（１）により視空間フィルタリング値を選択することが望ましい。
【数９】
2005323365.tif 000003
【００１５】
前記時間フィルタリング部は、現在フレームの画素値から以前フレームの画素値を減算した結果と動き検出しきい値とを比較し、比較された結果を画素値制御信号として出力する画素値制御部と、前記現在フレームの画素値と前記以前フレームの画素値とを利用して、新たな画素値を生成する画素値演算部と、前記画素値制御信号に応答して、前記現在フレームの画素値または前記新たな画素値を選択的に出力する画素値選択部と、を備えることが望ましい。
【００１６】
前記画素値演算部は、前記現在フレームの画素値と前記以前フレームの画素値との平均を、前記新たな画素値として決定することが望ましい。
【００１７】
前記時間フィルタリング部は、現在フレームの画素値から以前フレームの前記視空間フィルタリング値を減算した結果と動き検出しきい値とを比較し、比較された結果を画素値制御信号として出力する画素値制御部と、前記現在フレームの画素値と前記以前フレームの視空間フィルタリング値とに加重値を付与しつつ、少なくとも一つの新たな画素値を生成する画素値演算部と、前記画素値制御信号に応答して、前記現在フレームの画素値または前記新たな画素値を選択的に出力する画素値選択部と、を備えることが望ましい。
【００１８】
前記時間フィルタリング部は、下式（２）により前記画素値を時間的にフィルタリングすることが望ましい。
【数１０】
2005323365.tif 000004
【００１９】
前記空間フィルタリング部は、中心画素を中心とする所定サイズのウィンドウマスクの内部で、以前ラインに属する隣接画素に対して生成された前記視空間フィルタリング値を入手して、単位ライン遅延させるライン遅延部と、前記ウィンドウマスクの内部に存在する画素のうち前記ライン遅延部から入手した前記以前ラインに属する隣接画素の画素値、または、前記ウィンドウマスクの内部に存在する画素のうち外部から入力した以後ラインに属する隣接画素の画素値に、対応する加重値を乗算して累積し、累積された結果を、前記中心画素の前記画素値を空間的にフィルタリングした結果として出力する第１乗算部と、を備え、前記隣接画素は、前記中心画素の近くに位置し、前記以前ライン及び前記以後ラインは、前記中心画素が属する現在ラインの以前及び以後に、それぞれ位置するラインであることが望ましい。
【００２０】
前記空間フィルタリング部は、前記中心画素の前記画素値から前記隣接画素の画素値を減算する減算部と、前記中心画素の画素値から予測したノイズ分散値を利用して、加重基準値を生成する基準値生成部と、前記減算部で減算された結果と前記加重基準値とを比較する比較部と、前記比較部で比較された結果をアドレスとして入力し、前記加重値をデータとして保存し、前記アドレスに相応するデータを前記第１乗算部に出力するルックアップテーブルと、をさらに備えることが望ましい。
【００２１】
前記基準値生成部は、前記中心画素の画素値から前記ノイズ分散値を予測する分散値予測部と、前記予測されたノイズ分散値を単位フレーム遅延するフレーム遅延部と、前記遅延された結果を利用して、前記加重基準値を生成する演算部と、を備えることが望ましい。
【００２２】
前記演算部は、下式（３）により前記加重基準値を生成することが望ましい。
【数１１】
2005323365.tif 000005
ここで、σは、前記加重基準値を表し、σinは、所定初期値であり、Ｎvarは、前記ノイズ分散値を表す。
【００２３】
前記分散値予測部は、前記ウィンドウマスクの内部に存在する全ての画素のそれぞれの画素値と中間画素値との差を計算する第１画素値差計算部と、前記第１画素値差計算部で計算された差の平均値を計算する平均値計算部と、最大のヒストグラムを有する平均値を、前記ノイズ分散値として予測する最大ヒストグラム検出部と、を備えることが望ましい。
【００２４】
前記鮮明度向上フィルタは、中心画素に対する前記視空間フィルタリング値の高域成分を抽出する高域成分抽出部と、フィルタマスクの内部で、前記中心画素の画素値と隣接画素の画素値との差の変化幅を利用して、利得を決定する利得決定部と、前記決定された利得と前記抽出された高域成分とを乗算する第２乗算部と、前記第２乗算部で乗算された結果と前記映像とを合成し、合成された結果を前記鮮明度が強調された結果として出力する合成部と、を備え、前記隣接画素は、前記中心画素に隣接することが望ましい。
【００２５】
前記高域成分抽出部は、前記中心画素の画素値と前記隣接画素の画素値との差を計算する第２画素値差計算部と、前記第２画素値差計算部で計算された差の変化幅に相応する変数を決定する変数決定部と、前記中心画素と前記隣接画素との相関度を、前記変数と前記差とを利用して計算する相関度計算部と、前記相関度と前記視空間フィルタリング値とを利用して、前記高域成分を計算する高域成分計算部と、を備えることが望ましい。
【００２６】
前記変数決定部は、下記のように下式（４）により前記変数を決定することが望ましい。
【数１２】
2005323365.tif 000006
【００２７】
前記相関度計算部は、下式（５−１），（５−２）により前記相関度を計算することが望ましい。
【数１３】
2005323365.tif 000007
ここで、Ｄ（ｍ,ｎ）は、前記第２画素値差計算部で計算された前記差を表し、前記フィルタマスクのサイズは、Ｍ×Ｎであり、１≦ｍ≦Ｍ、１≦ｎ≦Ｎ、ｚ（ｍ,ｎ）は、前記中心画素の画素値を表し、ｚ（ｉ,ｊ）は、前記隣接画素の画素値を表し、Δは、前記変数を表し、Ｗcorr（ｍ,ｎ）は、前記相関度をそれぞれ表す。
【００２８】
前記高域成分計算部は、下式（６）により前記高域成分を計算することが望ましい。
【数１４】
2005323365.tif 000008
【００２９】
前記利得決定部は、前記差の変化幅が狭い領域で利得を小さく決定し、前記差の変化幅が広い領域で前記差の変化幅と反比例するように前記利得を決定し、前記差の変化幅が中間領域で前記利得を大きく決定する利得計算部を備えることが望ましい。
【００３０】
前記利得決定部は、下式（７）により前記利得を決定することが望ましい。
【数１５】
2005323365.tif 000009
ここで、ｔｈ2、ｔｈ3及びｔｈ4は、第２、第３及び第４所定臨界値をそれぞれ表し、Ｄrangeは、前記差の変化幅を表し、Ｇａｉｎは、前記利得を表し、前記Ｇmaxは、前記利得の最大値をそれぞれ表す。
【００３１】
前記利得決定部は、前記隣接画素を中心とするブロックに含まれる全ての画素に対して前記差の変化幅を検出し、検出された前記差の変化幅を利用して、前記利得を調整する利得調整部を備えることが望ましい。
【００３２】
前記利得調整部は、前記隣接画素それぞれに対して、前記ブロックに含まれる全ての画素それぞれと前記隣接画素との画素値の差の変化幅を検出する変化幅検出部と、前記変化幅検出部で検出された差の変化幅の最大値と最小値との差を計算する変化程度計算部と、前記変化程度計算部で計算された差の大きさに応答して、前記決定された利得を前記差の変化幅を利用して調整する利得減衰部と、を備えることが望ましい。
【００３３】
前記利得減衰部は、前記計算された差の大きさが第５所定臨界値以上である時、前記決定された利得を下式（８）により調整することが望ましい。
【数１６】
2005323365.tif 000010
ここで、Ｇfinalは、前記利得減衰部から出力される前記調整された利得を表し、Ｇａｉｎは、前記決定された利得を表し、Ｄrangeは、前記差の変化幅を表し、ｃは、前記隣接画素の数を表す。
【００３４】
前記他の課題を解決するための本発明によるデジタル映像信号フィルタリング方法は、映像を構成するフレームそれぞれの画素値を時間的及び空間的にフィルタリングした結果のうち何れか一つを、視空間フィルタリング値として、前記フィルタリングされた結果の大きさに応答して選択的に決定する段階と、前記視空間フィルタリング値の高域成分を強調する段階と、からなることが望ましい。
【００３５】
また、デジタル映像信号フィルタリング方法は、デジタル映像信号のフレームそれぞれの画素値を時間的にフィルタリングする段階と、前記デジタル映像信号の前記フレームそれぞれの前記画素値を空間的にフィルタリングする段階と、前記デジタル映像信号の現在フレームの所定領域の平均画素値を前記現在フレームの時間的及び空間的にフィルタリングされた画素値それぞれと比較する段階と、前記時間的にフィルタリングされた画素値または前記空間的にフィルタリングされた画素値のうち何れか一つを、前記比較された結果に基づいて選択し、ゴーストテールアーチファクトを最小化させる段階と、前記時間的にフィルタリングされた画素値または前記空間的にフィルタリングされた画素値のうち、前記比較された結果に基づいて選択された一つを強調する段階と、を備えることが望ましい。
【００３６】
前記画素値を時間的にフィルタリングする段階は、現在フレームの画素値から以前フレームの画素値を減算した結果と動き検出しきい値とを比較する段階と、前記比較された結果に基づいて画素値制御信号を発生させる段階と、前記現在フレームの画素値と前記以前フレームの画素値とを利用して新たな画素値を生成する段階と、前記画素値制御信号に応答して、前記現在フレームの画素値または前記新たな画素値を選択して、ユーザ視覚の動き検出に基づいたブラリングの発生を減らす段階と、を備えることが望ましい。
【００３７】
前記画素値を空間的にフィルタリングする段階は、前記所定領域の中心画素を取り囲む隣接画素の単位ラインに基づいて、前記時間的にフィルタリングされた画素値または前記空間的にフィルタリングされた画素値のうち、選択された何れか一つを遅延する段階と、前記隣接画素値と前記所定領域にある各画素値とを乗算した空間的にフィルタリングした結果を累積する段階と、を備えることが望ましい。
【００３８】
前記時間的にフィルタリングされた画素値または前記空間的にフィルタリングされた画素値のうち、前記比較された結果に基づいて選択された一つを強調する段階は、前記所定領域の中心画素についての前記時間的にフィルタリングされた画素値または前記空間的にフィルタリングされた画素値のうち、選択された何れか一つの高域成分を抽出する段階と、前記所定領域で前記中心画素を取り囲む各隣接画素の画素値と前記中心画素の画素値との差の変化幅を利用して、利得を決定する段階と、前記決定された利得と前記抽出された高域成分とを、強調された結果として乗算する段階と、前記時間的にフィルタリングされた画素値または前記空間的にフィルタリングされた画素値のうち、選択された何れか一つを前記強調された結果と合成する段階と、を備えることが望ましい。
【００３９】
前記時間的にフィルタリングされた画素値または前記空間的にフィルタリングされた画素値のうち、前記比較された結果に基づいて選択された一つを強調する段階は、前記所定領域で中心画素を取り囲む各隣接画素の画素値と前記所定領域で前記中心画素の画素値との差を決定する段階と、前記決定された差に基づいて高域通過フィルタの係数を決定して、前記時間的にフィルタリングされた画素値または前記空間的にフィルタリングされた画素値のうち、選択された何れか一つの高域成分を強調する段階と、を備えることが望ましい。
【００４０】
また、本発明に係るデジタル映像信号フィルタリング方法は、デジタル映像信号のフレームそれぞれの画素値を時間的にフィルタリングする段階と、前記デジタル映像信号の前記フレームそれぞれの前記画素値を空間的にフィルタリングする段階と、前記時間的にフィルタリングされた画素値と前記空間的にフィルタリングされた画素値とに基づいて、前記デジタル映像信号のノイズレベルを推定する段階と、前記時間的にフィルタリングされた画素値と前記空間的にフィルタリングされた画素値のうち、何れか一つを選択して、前記推定されたノイズレベルが高い時、前記デジタル映像の悪化を最小化させる段階と、前記推定されたノイズレベルに基づいて調整された非線形利得を利用して、前記時間的にフィルタリングされた画素値と前記空間的にフィルタリングされた画素値のうち、選択された何れか一つを強調する段階と、を備えることを特徴とする。
【００４１】
また、本発明に係るデジタル映像信号フィルタリング方法は、デジタル映像信号のフレームそれぞれの画素値を時間的にフィルタリングする段階と、前記デジタル映像信号の前記フレームそれぞれの前記画素値を空間的にフィルタリングする段階と、前記デジタル映像信号の特性によって、前記画素値を時間的にフィルタリングする段階または前記画素値を空間的にフィルタリングする段階のうち、何れか一つをフィルタリング方法として選択する段階と、を備えることを特徴とする。
【発明の効果】
【００４２】
本発明によるデジタル映像信号フィルタリング装置及び方法は、ノイズ低減フィルタを利用して、映像信号の特性によって２次元空間的なフィルタリングと１次元時間的なフィルタリングとを適応的に適用して、映像の境界部分での過度な平坦化及び動きブラリングの発生を抑制してゴーストテールの問題を解決し、ノイズレベル推定を通じて、ノイズレベルが高い場合にも、画質の劣化なしにノイズを効率的に低減させ、視空間フィルタリング値の特性に適応的に高域成分を抽出することによって、残滓ノイズ成分を過度に増幅させないと同時に鮮明度を向上させることができるなど、デジタル映像信号を低コストだけでなく、低い演算複雑度でフィルタリングできる。
【発明を実施するための最良の形態】
【００４３】
以下、本発明によるデジタル映像信号フィルタリング装置の構成及び動作とデジタル映像信号フィルタリング方法を、添付した図面を参照して次のように説明する。
【００４４】
図１は、本発明によるデジタル映像信号フィルタリング装置のブロック図である。デジタル映像信号フィルタリング装置は、ノイズ低減フィルタ１０及び鮮明度向上フィルタ１２より構成される。
【００４５】
図２は、本発明によるデジタル映像信号フィルタリング方法を説明するためのフローチャートである。デジタル映像信号フィルタリング方法は、画素値を時間的及び空間的にフィルタリングした結果のうち、何れか一つを選択する段階（第１４段階）及び選択された結果の高域成分を強調する段階（第１６段階）よりなる。
【００４６】
図１に示されたノイズ低減フィルタ１０は、入力端子ＩＮ１を通じて入力された映像を構成するフレームそれぞれの画素値を時間的及び空間的にフィルタリングし、時間的及び空間的にフィルタリングした結果のうち、何れか一つを選択し、選択された結果を視空間フィルタリング値として鮮明度向上フィルタ１２に出力する（第１４段階）。
【００４７】
図３は、図１に示されたノイズ低減フィルタ１０の本発明による実施例のブロック図である。ノイズ低減フィルタ１０Ａは、時間フィルタリング部２０、空間フィルタリング部２２及びフィルタ選択部２４より構成される。
【００４８】
図３に示された時間フィルタリング部２０は、入力端子ＩＮ２を通じて入力された画素値を時間的にフィルタリングし、時間的にフィルタリングされた結果をフィルタ選択部２４に出力する。
【００４９】
空間フィルタリング部２２は、入力端子ＩＮ２を通じて入力された画素値を空間的にフィルタリングし、空間的にフィルタリングされた結果をフィルタ選択部２４に出力する。
【００５０】
このとき、フィルタ選択部２４は、時間フィルタリング部２０及び空間フィルタリング部２２から入力（入手）したフィルタリングされた結果それぞれの大きさと、ローカル空間平均値と、を比較し、比較した結果に応答してフィルタリングされた結果のうち何れか一つを、視空間フィルタリング値、すなわち、ノイズフィルタリングされた最終結果として選択し、選択された結果を出力端子ＯＵＴ２を通じて出力する。例えば、フィルタ選択部２４は、次の式（１）のように視空間フィルタリング値を選択できる。
【００５１】
【数１７】
2005323365.tif 000011
なお、ローカル空間平均値とは、入力端子ＩＮ２を通じて現在入力されるフレームで関心の対象となる中心画素を有する局部的な領域の平均画素値である。
【００５２】
図４は、ゴーストテールの発生例を説明するための図面である。
図４に示すように、時間フィルタリングのみを利用する従来の方法の場合、映像の画質が劣化することがある。具体的には、第ｔ−１フレーム３０の輝度値の緩やかな傾斜エッジ３６と第ｔフレーム３２とが重畳されてゴーストテール３４が発生する。輝度値の変化が急激でなく緩やかである場合、固定された動き検出しきい値が一般的に使われるため、ゴーストテールが発生し、これにより画質が劣化する。しかし、本発明によるデジタル映像信号フィルタリング装置及び方法は、画素値を時間的にフィルタリングした結果がローカル空間平均値より大きい場合、ゴーストテールアーチファクト（ghost tail artifact）が発生する可能性が大きいので、式（１）のように、画素値を時間的にフィルタリングした結果を選択する代わりに、空間的にフィルタリングした結果を選択する。
【００５３】
以下、図３に示された時間フィルタリング部２０の本発明による実施例の構成及び動作を、添付した図面を参照して次のように説明する。
【００５４】
図５は、図３に示された時間フィルタリング部２０の本発明による実施例２０Ａのブロック図である。時間フィルタリング部２０Ａは、画素値制御部４０、画素値演算部４２及び画素値選択部４４より構成される。
【００５５】
本発明の一実施例によれば、画素値制御部４０は、入力端子ＩＮ３を通じて入力された現在フレームの画素値から、入力端子ＩＮ４を通じて入力された以前フレームの画素値を減算し、減算した結果と動き検出しきい値とを比較し、比較された結果を画素値制御信号として画素値選択部４４に出力する。
【００５６】
このとき、画素値演算部４２は、入力端子ＩＮ３を通じて入力された現在フレームの画素値と、入力端子ＩＮ４を通じて入力された以前フレームの画素値とを利用して新たな画素値を生成し、生成された新たな画素値を画素値選択部４４に出力する。
例えば、画素値演算部４２は、入力端子ＩＮ３を通じて入力された現在フレームの画素値と、入力端子ＩＮ４を通じて入力された以前フレームの画素値との平均を新たな画素値として決定する。
【００５７】
画素値選択部４４は、画素値制御部４０から入力された画素値制御信号に応答して、入力端子ＩＮ３を通じて入力される現在フレームの画素値または画素値演算部４２から入力される新たな画素値を選択し、選択された結果を出力端子ＯＵＴ３を通じて出力する。例えば、画素値選択部４４は、画素値制御信号を通じて、減算された結果が動き検出しきい値以下であると認識されれば、新たな画素値を選択し、減算された結果が動き検出しきい値より大きいと認識されれば、現在フレームの画素値を選択する。例えば、減算された結果が動き検出しきい値以下であるというのは、映像を通じて表現される対象の動き発生程度が低いということを意味し、減算された結果が動き検出しきい値より大きいというのは、動き発生程度が高いということを意味する。したがって、動き発生程度が低い場合、人間の視覚によるノイズの認識の程度が高いため、時間フィルタリング部２０Ａは、ノイズを低減させる新たな画素値を選択して出力し、動き発生程度が高い場合、人間の視覚によるノイズの認識の程度が低いため、現在のフレーム画素値を選択して出力する。したがって、ブラリングの発生が減少する。
【００５８】
本発明の他の実施例によれば、画素値制御部４０は、入力端子ＩＮ３を通じて入力された現在フレームの画素値から、入力端子ＩＮ４を通じてフィルタ選択部２４から入力された以前フレームの視空間フィルタリング値を減算し、減算した結果と動き検出しきい値とを比較し、比較された結果を画素値制御信号として画素値選択部４４に出力する。このとき、画素値演算部４２は、入力端子ＩＮ３を通じて入力された現在フレームの画素値と、入力端子ＩＮ４を通じて入力された以前フレームの視空間フィルタリング値とに加重値を付与しつつ、少なくとも一つの新たな画素値を生成し、生成された新たな画素値を画素値選択部４４に出力する。このとき、画素値選択部４４は、画素値制御部４０から入力された画素値制御信号に応答して、入力端子ＩＮ３を通じて入力された現在フレームの画素値または画素値演算部４２から入力された新たな画素値を選択し、選択された結果を出力端子ＯＵＴ３を通じて出力する。例えば、時間フィルタリング部２０Ａは、画素値を次の式（２）のように時間的にフィルタリングすることができる。
【００５９】
【数１８】
2005323365.tif 000012
【００６０】
式（２）から分かるように、現在フレームの画素値と以前フレームの視空間フィルタリング値との差が小さい場合、連続的な画質具現のために、以前フレームの視空間フィルタリング値にさらに多くの加重値を付与し、そうでない場合には、現在フレームの画素値にさらに多くの加重値を付与する。
【００６１】
以下、図３に示された空間フィルタリング部２２の本発明による実施例の構成及び動作を、添付された図面を参照して次のように説明する。
【００６２】
図６は、図３に示された空間フィルタリング部２２の本発明による実施例２２Ａのブロック図である。空間フィルタリング部２２Ａは、ライン遅延部６０、第１乗算部６２、減算部６４、基準値生成部６６、比較部６８及びルックアップテーブル（ＬＵＴ：Look Up Table）７０より構成される。
【００６３】
ここで、本発明の一実施例によれば、空間フィルタリング部２２Ａは、ライン遅延部６０及び第１乗算部６２のみによって具現することもできる。
ライン遅延部６０は、所定サイズのウィンドウマスクの内部で以前ラインに属する隣接画素に対して生成された視空間フィルタリング値を、入力端子ＩＮ５を通じてフィルタ選択部２４から入手して単位ライン遅延させ、単位ライン遅延された結果を第１乗算部６２に出力する。ここで、以前ラインとは、現在ラインの以前に位置するラインを意味し、現在ラインとは、中心画素が位置するラインを意味し、中心画素とは、ウィンドウマスクの中心に位置する画素を意味し、隣接画素とは、中心画素の近くに位置する画素を意味する。
【００６４】
第１乗算部６２は、ウィンドウマスクの内部に存在する画素のうち、ライン遅延部６０から入力された以前ラインに属する隣接画素の画素値、または、ウィンドウマスクの内部に存在する画素のうち、外部から入力端子ＩＮ６を通じて入力された以後ラインに属する隣接画素の画素値に、対応する加重値を互いに乗算して累積し、累積された結果を、中心画素の画素値を空間的にフィルタリングした結果として出力端子ＯＵＴ４を通じて出力する。ここで、以後ラインとは、現在ラインの以後に位置するラインを意味する。例えば、第１乗算部６２は、次の式（９）のように中心画素の画素値を空間的にフィルタリングした結果を求めることができる。
【００６５】
【数１９】
2005323365.tif 000013
【００６６】
図７は、図６に示された空間フィルタリング部２２Ａの理解を助けるための３×５の所定サイズを有するウィンドウマスクの例示的な図面であって、以前ライン９０、現在ライン９２及び以後ライン９４より構成される。
【００６７】
図６に示されたライン遅延部６０は、図７に示されたウィンドウマスクの内部で以前ライン９０に属する隣接画素８０及び８２に対して生成された視空間フィルタリング値を入力端子ＩＮ５を通じてフィルタ選択部２４から入手して単位ライン遅延させ、単位ライン遅延された結果を第１乗算部６２に出力する。
【００６８】
第１乗算部６２は、図７に示されたウィンドウマスクの内部に存在する画素のうち、ライン遅延部６０から入力された以前ラインに属する隣接画素８０及び８２の画素値
2005323365.tif 000014
、または、ウィンドウマスクの内部に存在する画素のうち、外部から入力端子ＩＮ６を通じて入力された以後ライン９４に属する隣接画素８６及び８８の画素値
2005323365.tif 000015
に、対応する加重値を互いに乗算して累積し、累積された結果を、中心画素８４の画素値を空間的にフィルタリングした結果として出力端子ＯＵＴ４を通じて出力する。
【００６９】
前述したように、空間フィルタリング部２２Ａは、ウィンドウマスクの内部に含まれた画素のうち、ただ５個の画素８０，８２，８４，８６及び８８のみを利用して空間的なフィルタリングを行う。このように、ウィンドウマスク内に存在する全ての画素を利用しない理由は、本発明による空間フィルタリング部２２Ａは、ノイズ低減効果の向上のために、以前ライン９０に属する隣接画素８０及び８２に対する視空間フィルタリング値を利用する回帰的な構造を有するためである。このように、回帰的な構造を通じて中心画素８４の画素値を空間的にフィルタリングするので、オーバー平坦化による劣化を最小化することができる。
【００７０】
また、本発明の他の実施例によれば、空間フィルタリング部２２Ａは、加重値を生成するために、図６に示されたように、減算部６４、基準値生成部６６、比較部６８及びＬＵＴ７０をさらに設けて実現することが可能である。
【００７１】
ここで、減算部６４は、入力端子ＩＮ７を通じて入力された中心画素の画素値から入力端子ＩＮ５またはＩＮ６を通じて入力された隣接画素の画素値を減算し、減算された結果を比較部６８に出力する。
【００７２】
このとき、基準値生成部６６は、入力端子ＩＮ７を通じて入力された中心画素の画素値からノイズ分散値を予測し、予測したノイズ分散値を利用して加重基準値を生成し、生成された加重基準値を比較部６８に出力する。
【００７３】
図８は、図６に示された基準値生成部６６の本発明による実施例６６Ａのブロック図である。基準値生成部６６Ａは、分散値予測部１００、フレーム遅延部１０２及び演算部１０４より構成される。
【００７４】
分散値予測部１００は、入力端子ＩＮ８を通じて入力された中心画素の画素値からノイズ分散値を予測し、予測されたノイズ分散値をフレーム遅延部１０２に出力する。
図９は、図８に示された分散値予測部１００の本発明による実施例１００Ａのブロック図である。分散値予測部１００Ａは、さらに、第１画素値差計算部１２０、平均値計算部１２２及び最大ヒストグラム検出部１２４より構成される。
【００７５】
第１画素値差計算部１２０は、ウィンドウマスクの内部に存在する全ての画素それぞれの画素値と中間画素値との差を計算し、計算された差を平均値計算部１２２に出力する。ここで、第１画素値差計算部１２０は、入力端子ＩＮ９を通じてウィンドウマスクの内部に存在する全ての画素の画素値を入手し、入手した全ての画素値から中間画素値を求めることができる。そして、平均値計算部１２２は、第１画素値差計算部１２０で計算された差の平均値を計算し、計算された平均値を最大ヒストグラム検出部１２４に出力する。例えば、平均値計算部１２２は、次の式（１０）のように平均値を求める。
【００７６】
【数２０】
2005323365.tif 000016
【００７７】
このとき、最大ヒストグラム検出部１２４は、平均値計算部１２２から平均値を入手し、最大のヒストグラムを有する平均値からノイズ分散値を予測し、予測されたノイズ分散値を出力端子ＯＵＴ６を通じて出力する。例えば、最大ヒストグラム検出部１２４は、ノイズ分散値を次の式（１１）のように求めることができる。
【００７８】
【数２１】
2005323365.tif 000017
ここで、Ｎvarは、ノイズ分散値を表し、ＭＡＸは、最大値を表す。
【００７９】
一方、図８に示されたフレーム遅延部１０２は、分散値予測部１００で予測されたノイズ分散値を単位フレーム遅延し、単位フレーム遅延されたノイズ分散値を演算部１０４に出力する。演算部１０４は、フレーム遅延部１０２で遅延された結果を利用して加重基準値を生成し、生成された加重基準値を比較部６８に出力端子ＯＵＴ５を通じて出力する。本発明によれば、演算部１０４は、次の式（３）のように加重基準値を生成することができる。
【００８０】
【数２２】
2005323365.tif 000018
ここで、σは、加重基準値を表し、σinは、所定初期値を表す。
【００８１】
一方、比較部６８（図６参照）は、減算部６４で減算された結果と基準値生成部６６で生成された加重基準値とを比較し、比較された結果をＬＵＴ７０に出力する。ＬＵＴ７０は、比較部６８で比較された結果をアドレスとして入手し、加重値をデータとして保存し、比較部６８から入手したアドレスに相応するデータを第１乗算部６２に出力する。
例えば、図６に示された減算部６４、基準値生成部６６、比較部６８及びＬＵＴ ７０は、次の式（１２）のように加重値を生成することができる。
【００８２】
【数２３】
2005323365.tif 000019
ここで、ｖ（ａ）は、加重値を表し、ａは、減算部６４で減算された結果を表す。
【００８３】
式（１２）を通じて分かるように、中心画素の画素値から隣接画素の画素値を減算した結果ａが小さいほど中心画素と隣接画素との相関関係が高い可能性が大きいので、加重値［ｖ（ａ）］が高く生成される。
【００８４】
結局、空間フィルタリング部２２Ａでフィルタリングされた結果に最も大きい影響を及ぼすものは、加重基準値σである。すなわち、ノイズ分散値が大きい場合、基準加重値を大きくしてノイズ除去効果を増大させ、そうでない場合、基準加重値を小さくしてブラリング劣化の発生を防止する。このために、以前フレームのデータに対してノイズ分散値を予測して、以前フレームのノイズの程度によって所定初期値σinを式（３）のように適応的に可変させるようにした。このとき、ノイズ低減効果の極大化のために、現在フレームに対するノイズ分散値を予測しなければならない。しかし、現在フレームに対してノイズ分散値を予測する場合、出力端で１フレーム遅延が必然的に発生し、追加的に現在フレームのデータを保存するための１個のフレームメモリがさらに必要になってしまう。したがって、ノイズ成分が定常であるという仮定の下に、以前フレームのデータに対して予測されたノイズ分散値を現在フレームのノイズ低減に使用することとした。
【００８５】
一方、図１に示された鮮明度向上フィルタ１２は、図２に示す第１４段階の後に、ノイズ低減フィルタ１０から入力された視空間フィルタリング値の高域成分を強調し、高域成分が強調された結果を出力端子ＯＵＴ１を通じて出力する（第１６段階）。
【００８６】
ここで、ノイズ低減フィルタ１０から出力される視空間フィルタリング値は、ＲＧＢ（Red Green Blue）の状態にすることも可能である。この場合、鮮明度向上フィルタ１２は、グレーエッジでのカラーバランシングのためにＲＧＢ型の視空間フィルタリング値をＹＣｂＣｒ（ここで、Ｙは、輝度成分を表し、ＣｂＣｒは、色差成分をそれぞれ表す）の色空間に変換した後、変換されたＹのみを利用して高域成分を強調できる。この場合、Ｙに対して高域成分が強調される間にＣｂＣｒは遅延され、Ｙに対して高域が強調された結果と遅延されたＣｂＣｒとは、再びＲＧＢの状態に復元される。例えば、鮮明度向上フィルタ１２は、ＲＧＢをＹＣｂＣｒに変換する変換部（図示せず）、ＣｂＣｒを遅延する遅延部（図示せず）及びＹＣｂＣｒをＲＧＢに復元する復元部（図示せず）を設けることができる。しかし、変換部、遅延部及び復元部は、鮮明度向上フィルタ１２の外部に別途に設けられることもある。
【００８７】
図１０は、図１に示された鮮明度向上フィルタ１２の本発明による望ましい実施例１２Ａのブロック図である。鮮明度向上フィルタ１２は、図１０に示すように、高域成分抽出部１４０、利得決定部１４２、第２乗算部１４４及び合成部１４６より構成される。
【００８８】
図１０に示された高域成分抽出部１４０は、中心画素に対する視空間フィルタリング値を入力端子ＩＮ１０を通じて入手し、入手した視空間フィルタリング値の高域成分を抽出し、抽出された高域成分を第２乗算部１４４に出力する。
【００８９】
図１１は、図１０に示された高域成分抽出部１４０の本発明による実施例１４０Ａのブロック図である。高域成分抽出部１４０Ａは、第２画素値差計算部１６０、変数決定部１６２、相関度計算部１６４及び高域成分計算部１６６より構成される。
【００９０】
図１１に示された第２画素値差計算部１６０は、入力端子ＩＮ１２を通じて中心画素の画素値と隣接画素の画素値とを入手し、入手した中心画素の画素値と隣接画素の画素値との差を計算し、計算された差を変数決定部１６２及び相関度計算部１６４にそれぞれ出力する。ここで、隣接画素は、中心画素に隣接する画素を意味する。
【００９１】
このとき、変数決定部１６２は、第２画素値差計算部１６０で計算された差を入手し、入手した差の変化幅を求め、差の変化幅に相応する変数を決定し、決定された変数を相関度計算部１６４に出力する。また、変数決定部１６２は、求めた差の変化幅を出力端子ＯＵＴ８を通じて出力する。例えば、変数決定部１６２は、次の式（４）のように変数を決定することができる。
【００９２】
【数２４】
2005323365.tif 000020
ここで、Δは、変数決定部１６２で決定される変数を表し、ｔｈ1は、第１所定臨界値を表し、Ｄrangeは、差の変化幅であって、次の式（１３）のように表現することができる。
【００９３】
【数２５】
2005323365.tif 000021
ここで、フィルタマスクのサイズがＭ’×Ｎ’とする時、１≦ｍ≦Ｍ’、１≦ｎ≦Ｎ’
であり、Ｄ（ｍ,ｎ）は、第２画素値差計算部１６０で計算された差を表す。
Ｄ（ｍ,ｎ）は、次の式（５−１）のように表現することができる。
【００９４】
【数２６】
2005323365.tif 000022
ここで、ｚ（ｍ,ｎ）は、中心画素の画素値を表し、ｚ（ｉ,ｊ）は、隣接画素の画素値をそれぞれ表す。
【００９５】
相関度計算部１６４は、中心画素と隣接画素との相関度を変数決定部１６２から入力された変数と、第２画素値差計算部１６０から入力された差とを利用して計算し、計算された相関度を高域成分計算部１６６に出力する。例えば、相関度計算部１６４は、次の式（５−２）のように相関度を計算する。
【００９６】
【数２７】
2005323365.tif 000023
ここで、Ｗcorr（ｍ,ｎ）は、相関度を表す。
【００９７】
図１２は、変数と相関度との関係を表すグラフであって、縦軸は、相関度Ｗcorr（ｍ,ｎ）を表し、横軸は、第２画素値差計算部１６０で計算された差Ｄ（ｍ,ｎ）を表す。
【００９８】
式（５−２）及び図１２を参照すれば、第２画素値差計算部１６０から入力された差Ｄ（ｍ,ｎ）が大きければ、相関度Ｗcorr（ｍ、ｎ）が低くなり、差Ｄ（ｍ,ｎ）が小さくなれば、相関度Ｗcorr（ｍ,ｎ）が高くなる。すなわち、差Ｄ（ｍ,ｎ）と相関度Ｗcorr（ｍ,ｎ）とは、ガウス状の関数関係を有する。このとき、変数Δは、ガウス状の関数の幅を決定する役割を行う。例えば、変数が大きくなるほどガウス状の関数の幅は、ｅ１、ｅ２、ｅ３及びｅ４の順に増加する。例えば、ガウス状の関数の幅ｅ１、ｅ２、ｅ３及びｅ４は、変数Δが５、１０、１５及び２０である場合にそれぞれ該当する。すなわち、差Ｄ（ｍ,ｎ）が固定された状態で変数Δが増加するほど相関度Ｗcorr（ｍ,ｎ）が高くなる。このように、相関度が高くなれば、ノイズ成分の増幅を減らせる。
【００９９】
高域成分計算部１６６は、相関度計算部１６４から入力された相関度Ｗcorr（ｍ,ｎ）と、入力端子ＩＮ１２を通じて入力された視空間フィルタリング値とを利用して高域成分を計算し、計算された高域成分を出力端子ＯＵＴ９を通じて出力する。高域成分計算部１６６は、一種の高域通過フィルタであって、フィルタマスクの内部の全ての係数の和が‘０’とならねばならないので、最終的な高域通過フィルタの係数は、次の式（１４）のように求める。
【０１００】
【数２８】
2005323365.tif 000024
【０１０１】
すなわち、Ｍ’×Ｎ’サイズのフィルタマスクに対して、全ての相関度値に対する平均
値と各相関度値との差を求めて高域通過フィルタの特性を与える。このとき、高域成分計算部１６６は、次の式（６）のように高域成分を計算可能である。
【０１０２】
【数２９】
2005323365.tif 000025
【０１０３】
式（６）を通じて分かるように、中心画素と隣接画素の画素値の差Ｄ（ｍ,ｎ）が大きい場合、相関度Ｗcorr（ｍ,ｎ）が低いため、相関度から平均相関度を減算した結果が負の値を有し、そうでない場合には、正の値を有するので、効果的に高域成分を抽出することができる。このように高域成分を抽出する場合、変数Δが増加するほど映像の背景領域での微細なノイズ成分の増幅を防止する効果が向上する。しかし、中心画素と隣接画素の画素値の差が大きい強いエッジ領域の場合、オーバーシュート（overshoot）あるいはアンダーシュート(undershoot)のような画質劣化の発生が増加するだけでなく、大きい変数Δ値によって、映像に存在する微細な諧調値の差が平坦化されて、出力映像が不自然に生成される。したがって、本発明による高域成分抽出部１４０Ａの変数決定部１６２は、前述した式（４）のように差の変化幅Ｄrangeによって変数Δを別途に決定する。すなわち、差の変化幅Ｄrangeが第１所定臨界値ｔｈ1以下である平坦領域で変数Δを高く設定し、差の変化幅Ｄrangeが第１所定臨界値ｔｈ1より大きいエッジ領域で変数Δを低く設定する。
【０１０４】
このとき、高域成分を抽出するためにラプラシアン及びそのグラジエント基盤の高周波成分抽出技法を利用する従来の方法が‘Ａｎｉｌ Ｋ.Ｊａｉｎ’によって著述され、“Ｆｕｎｄａｍｅｎｔａｌｓ ｏｆ Ｄｉｇｉｔａｌ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ”という題目で１９８９年度にＰｒｅｎｔｉｃｅ−Ｈａｌｌ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｅｄｉｔｉｏｎによって出刊された本のｐｐ３４７〜３５７に開示されている。開示された従来の方法は、ノイズ敏感度が高くてノイズ低減フィルタ１０を通過した映像に存在するノイズ成分を強調して、出力映像の画質を劣化させてしまう可能性がある。これを解決するために、本発明による鮮明度向上フィルタ１２は、前述したように、中心画素と隣接画素との画素値の差Ｄ（ｍ,ｎ）を利用して、画素間の類似性を判断した後、この結果を利用して、非線形的に高域通過フィルタの係数を決定した。
【０１０５】
一方、図１０に示された利得決定部１４２は、フィルタマスクの内部で中心画素と隣接画素の画素値の差の変化幅を利用して利得を決定し、決定された利得を第２乗算部１４４に出力する。このために、利得決定部１４２は、差の変化幅を高域成分抽出部１４０から入力されることもあり、すなわち、図１１に示す高域成分抽出部１４０Ａの変数決定部１６２から入力されることもあり、入力端子ＩＮ１０を通じて入力された中心画素に対する視空間フィルタリング値を利用して求めることもある。
【０１０６】
図１３は、図１０に示された利得決定部１４２の本発明による実施例１４２Ａのブロック図である。利得決定部１４２Ａは、利得計算部２００及び利得調整部２０８より構成される。
【０１０７】
図１４は、差の変化幅Ｄrangeによる利得Ｇａｉｎの関係を表す本発明による例示的なグラフであって、横軸は、差の変化幅を表し、縦軸は、利得をそれぞれ表す。
【０１０８】
利得計算部２００は、例えば、図１４に示されたように、線形的に利得を決定できる。例えば、利得計算部２００は、差の変化幅Ｄrangeが小さな領域では、ノイズ成分の増幅を防止するために利得を小さく決定し、差の変化幅Ｄrangeが大きい領域では、オーバーシュート／アンダーシュートの発生を抑制するために、変化幅と反比例するように利得を決定し、差の変化幅Ｄrangeが中間程度の領域では、画像の鮮明度を向上させるために利得を大きく決定する。
【０１０９】
例えば、利得計算部２００は、次の式（７）のように利得を決定することができる。
【０１１０】
【数３０】
2005323365.tif 000026
ここで、ｔｈ2、ｔｈ3及びｔｈ4は、第２、第３及び第４所定臨界値をそれぞれ表し、Ｇmaxは、利得の最大値を表す。
【０１１１】
図１５は、オーバーシュートとアンダーシュートの発生を説明するための例示的な図面であって、ブロック２１０及びブロック２１２より構成される。
【０１１２】
図１３に示された利得決定部１４２Ａが利得計算部２００のみで具現される場合、オーバーシュートやアンダーシュートを完壁に除去できない。例えば、図１５に示されたブロック２１０は、平坦な領域に区分されて高周波成分がほぼ‘０’に近い。しかし、ブロック２１２は、相当な大きさの高周波成分が抽出される。人間の視覚は、このようなブロック２１２のオーバーシュートに対して敏感な反応を示す。事実、利得計算部２００でこのようなブロック２１２に対する高周波増幅利得を減少させるｋとができるが、ブロック２１２の強いエッジ成分によって相当量の高周波成分が原映像に加えられてオーバーシュートが発生する可能性がある。画質の連続性を得るために、高周波領域の利得を急激に減少させることができないので、このようなブロック２１２に対する処理が付加的になされなければならない。このために、図１３に示された利得決定部１４２Ａには、利得計算部２００以外に利得調整部２０８が付加的に設けられている。ここで、利得調整部２０８は、入力端子ＩＮ１３を通じて入力されたブロックの全ての画素に対して差の変化幅を検出し、検出された差の変化幅を利用して利得を調整し、調整された利得を出力端子ＯＵＴ１０を通じて出力する。このために、利得調整部２０８は、変化幅検出部２０２、変化程度計算部２０４及び利得減衰部２０６より実現することができる。
【０１１３】
ここで、変化幅検出部２０２は、隣接画素それぞれに対して、隣接画素を中心とするブロックに含まれる全ての画素それぞれと隣接画素の画素値の差の変化幅を検出する。
【０１１４】
変化程度計算部２０４は、変化幅検出部２０２で検出された差の変化幅の最大値と最小値との差を計算し、計算された差を利得減衰部２０６に出力する。
【０１１５】
図１６は、図１３に示された利得調整部２０８の理解を助けるための例示的な図面であって、陰影で表示された中心画素２５０及び隣接画素２５２，２５４，２５６，２５８，２６０，２６２，２６４及び２６６と陰影で表示されていない画素より構成される。
【０１１６】
変化幅検出部２０２は、隣接画素２５２，２５４，２５６，２５８，２６０，２６２，２６４または２６６をそれぞれ中心とするブロック３００，３０２，３０４，３０６，３１０，３１２，３１４または３１６に含まれる全ての画素それぞれと隣接画素２５２，２５４，２５６，２５８，２６０，２６２，２６４または２６６の画素値の差の変化幅Ｄrangeｓを、次の式（１５）のように求める。ここで、図１６の場合、１≦ｓ≦８となる。
【０１１７】
【数３１】
2005323365.tif 000027
ここで、ＭＩＮは、最小値を表し、ブロックのサイズをＰ×Ｑとするとき、１≦ｐ≦Ｐ、１≦ｑ≦Ｑであり、図１６の場合、Ｐ＝Ｑ＝３と仮定された。
【０１１８】
また、式（１５）で、Ｄｓ（ｐ,ｑ）は、隣接画素２５２，２５４，２５６，２５８，２６０，２６２，２６４または２６６を中心とするブロック３００，３０２，３０４，３０６，３１０，３１２，３１４または３１６に含まれる全ての画素それぞれと隣接画素２５２，２５４，２５６，２５８，２６０，２６２，２６４または２６６の画素値の差を表し、次の式（１６）のように表現することができる。
【０１１９】
【数３２】
2005323365.tif 000028
ここで、ｚ（ｐ,ｑ）は、中心画素の画素値を表し、ｚ（ｉ,ｊ）は、隣接画素の画素値をそれぞれ表す。
【０１２０】
したがって、変化程度計算部２０４で計算された検出された差の変化幅の最大値ＭＡＸと最小値ＭＩＮとの差Ｄｉｆｆ＿Ｄrangeは、次の式（１７）のように表現することができる。
【０１２１】
【数３３】
2005323365.tif 000029
【０１２２】
利得減衰部２０６は、変化程度計算部２０４で計算された差Ｄｉｆｆ＿Ｄrangeの大きさに応答して、決定された利得を差の変化幅Ｄrangeを利用して調整し、調整された利得を出力端子ＯＵＴ１０を通じて出力する。例えば、利得減衰部２０６は、計算された差Ｄｉｆｆ＿Ｄrangeの大きさが第５所定臨界値ｔｈ5以上であるとき、決定された利得Ｇａｉｎを、次の式（８）のように調整することができる。
【０１２３】
【数３４】
2005323365.tif 000030
ここで、Ｇfinalは、利得減衰部２０６から出力される調整された利得を表し、Ｇａｉｎは、利得計算部２００で決定された利得を表し、Ｄrangeは、中心画素２５０を中心とするブロック３０８に含まれる全ての画素２５２，２５４，２５６，２５８，２６０，２６２，２６４及び２６６それぞれと中心画素２５０の画素値の差の変化幅Ｄrangeを表し、ｃは、中心画素２５０に隣接する隣接画素の数を表す。
【０１２４】
このとき、式（８）の理解を助けるために、図１６に示された参照符号を使用したが、式（８）は、図１６に限定されていない。
【０１２５】
第２乗算部１４４は、利得決定部１４２で決定された利得と、高域成分抽出部１４０から抽出された高域成分とを乗算し、乗算された結果を合成部１４６に出力する。合成部１４６は、第２乗算部１４４で乗算された結果と入力端子ＩＮ１１を通じた映像、すなわち、視空間フィルタリング値とを合成し、合成された結果を鮮明度が強調された結果として出力端子ＯＵＴ７を通じて出力する。
【０１２６】
図１７（ａ）及び図１７（ｂ）は、本発明と従来の技術とを比較するための図面であって、図１７（ａ）は、従来のデジタル映像信号フィルタリング装置及び方法によってフィルタリングされた映像を例示的に表し、図１７（ｂ）は、本発明によるデジタル映像信号フィルタリング装置及び方法によってフィルタリングされた映像を例示的に表す。
【０１２７】
図１７（ａ）に示されたように、画素値を時間的にのみフィルタリングする場合、ゴーストテール４００が発生して画質の劣化をもたらす。しかし、図１７（ｂ）に示されたように、画素値を時間的にフィルタリングした結果及び空間的にフィルタリングした結果のうち、何れか一つを選択する場合、ゴーストテールが発生した領域４０２でゴーストテールが消えているということが分かる。
【産業上の利用可能性】
【０１２８】
本発明は、ＤＴＶ、多機能モニターまたはＳｏＣのように映像を処理するデバイスに適用可能である。
【図面の簡単な説明】
【０１２９】
【図１】本発明によるデジタル映像信号フィルタリング装置のブロック図である。
【図２】本発明によるデジタル映像信号フィルタリング方法を説明するためのフローチャートである。
【図３】図１に示されたノイズ低減フィルタの本発明による実施例のブロック図である。
【図４】ゴーストテールの発生例を説明するための図面である。
【図５】図３に示された時間フィルタリング部の本発明による実施例のブロック図である。
【図６】図３に示された空間フィルタリング部の本発明による実施例のブロック図である。
【図７】図６に示された空間フィルタリング部の理解を助けるための３×５の所定サイズを有するウィンドウマスクの例示的な図面である。
【図８】図６に示された基準値生成部の本発明による実施例のブロック図である。
【図９】図８に示された分散値予測部の本発明による実施例のブロック図である。
【図１０】図１に示された鮮明度向上フィルタの本発明による望ましい実施例のブロック図である。
【図１１】図１０に示された高域成分抽出部の本発明による実施例のブロック図である。
【図１２】変数と相関度との関係を示すグラフである。
【図１３】図１０に示された利得決定部の本発明による実施例のブロック図である。
【図１４】差の変化幅による利得の関係を表す本発明による例示的なグラフである。
【図１５】オーバーシュート及びアンダーシュートの発生を説明するための例示的な図面である。
【図１６】図１３に示された利得調整部の理解を助けるための例示的な図面である。
【図１７】本発明と従来の発明とを比較するための図面であり、（ａ）は従来の装置及び方法によりフィルタリングした映像、（ｂ）は本発明の装置及び方法によりフィルタリングした映像を表す。
【符号の説明】
【０１３０】
１０Ａ    ノイズ低減フィルタの実施例
２０    時間フィルタリング部
２２    空間フィルタリング部
２４    フィルタ選択部
ＩＮ２    入力端子
ＯＵＴ２    出力端子                                                                                
【図１】
2005323365.tif 000039
【図２】
2005323365.tif 000040
【図３】
2005323365.tif 000041
【図４】
2005323365.tif 000042
【図５】
2005323365.tif 000043
【図６】
2005323365.tif 000044
【図７】
2005323365.tif 000045
【図８】
2005323365.tif 000046
【図９】
2005323365.tif 000047
【図１０】
2005323365.tif 000048
【図１１】
2005323365.tif 000049
【図１２】
2005323365.tif 000050
【図１３】
2005323365.tif 000051
【図１４】
2005323365.tif 000052
【図１５】
2005323365.tif 000053
【図１６】
2005323365.tif 000054
【図１７】
2005323365.tif 000055