(57)【特許請求の範囲】
【請求項１】
入力データを処理し、その処理結果としての出力データを出力するデータ処理装置であって、
入力データのそれぞれを、順次、注目している注目入力データとして、前記入力データから、前記注目入力データの値との差が予め設定されている所定値より小さい値となる類似入力データを抽出する抽出手段と、
入力データのそれぞれを、順次、注目している注目連続入力データとして、前記注目連続入力データに対して特定の方向に隣接する入力データである隣接入力データが前記抽出手段により前記類似入力データとして抽出されているとき、または、前記注目連続入力データの値、前記注目連続入力データに対して特定の一方向に隣接する入力データである隣接入力データの値、およびその隣接入力データに前記特定の一方向に隣接する隣接入力データの値が連続的に増加若しくは減少しているとき、前記注目連続入力データの連続性が有ると判定する判定手段と、
前記抽出手段により類似入力データとして抽出され、かつ前記判定手段により連続性がある注目連続入力データとして判定された入力データを、処理に用いる処理入力データとして決定する決定手段と、
前記決定手段において決定された前記処理入力データを、同一の重み付けがされるか、または、前記注目入力データからの時間的距離若しくは空間的距離が近いほど大きな重み付けがされるように重み付け加算することにより、前記注目入力データに対する出力データを求める処理手段と
を含むことを特徴とするデータ処理装置。
【請求項２】
前記入力データが時間方向および空間方向に並んでいる場合において、
前記判定手段は、前記時間方向および前記空間方向それぞれについて、前記類似入力データのそれぞれを、順次、前記注目連続入力データとして、その注目連続入力データの連続性の有無を判定する
ことを特徴とする請求項１に記載のデータ処理装置。
【請求項３】
前記入力データは、画像データである
ことを特徴とする請求項１に記載のデータ処理装置。
【請求項４】
前記抽出手段は、前記注目入力データと空間的または時間的に近い位置にある入力データのうち、前記注目入力データの値との差が前記所定値より小さいものを抽出する
ことを特徴とする請求項１に記載のデータ処理装置。
【請求項５】
前記処理手段は、前記処理入力データが所定数以上ない場合、前記注目入力データと空間的または時間的に周辺位置にある入力データのみを重み付け加算することにより、前記出力データを求める
ことを特徴とする請求項１に記載のデータ処理装置。
【請求項６】
入力データを処理し、その処理結果としての出力データを出力するデータ処理方法であって、
入力データのそれぞれを、順次、注目している注目入力データとして、前記入力データから、前記注目入力データの値との差が予め設定されている所定値より小さい値となる類似入力データを抽出する抽出ステップと、
入力データのそれぞれを、順次、注目している注目連続入力データとして、前記注目連続入力データに対して特定の方向に隣接する入力データである隣接入力データが前記抽出ステップの処理により前記類似入力データとして抽出されているとき、または、前記注目連続入力データの値、前記注目連続入力データに対して特定の一方向に隣接する入力データである隣接入力データの値、およびその隣接入力データに前記特定の一方向に隣接する隣接入力データの値が連続的に増加若しくは減少しているとき、前記注目連続入力データの連続性が有ると判定する判定ステップと、
前記抽出ステップにより類似入力データとして抽出され、かつ前記判定ステップにより連続性がある注目連続入力データとして判定された入力データを、処理に用いる処理入力データとして決定する決定ステップと、
前記決定ステップにおいて決定された前記処理入力データを、同一の重み付けがされるか、または、前記注目入力データからの時間的距離若しくは空間的距離が近いほど大きな重み付けがされるように重み付け加算することにより、前記注目入力データに対する出力データを求める処理ステップと
を含むことを特徴とするデータ処理方法。
【請求項７】
入力データを処理し、その処理結果としての出力データを出力するデータ処理を行うためのプログラムを、コンピュータに実行させる媒体であって、
入力データのそれぞれを、順次、注目している注目入力データとして、前記入力データから、前記注目入力データの値との差が予め設定されている所定値より小さい値となる類似入力データを抽出する抽出ステップと、
入力データのそれぞれを、順次、注目している注目連続入力データとして、前記注目連続入力データに対して特定の方向に隣接する入力データである隣接入力データが前記抽出ステップの処理により前記類似入力データとして抽出されているとき、または、前記注目連続入力データの値、前記注目連続入力データに対して特定の一方向に隣接する入力データである隣接入力データの値、およびその隣接入力データに前記特定の一方向に隣接する隣接入力データの値が連続的に増加若しくは減少しているとき、前記注目連続入力データの連続性が有ると判定する判定ステップと、
前記抽出ステップにより類似入力データとして抽出され、かつ前記判定ステップにより連続性がある注目連続入力データとして判定された入力データを、処理に用いる処理入力データとして決定する決定ステップと、
前記決定ステップにおいて決定された前記処理入力データを、同一の重み付けがされるか、または、前記注目入力データからの時間的距離若しくは空間的距離が近いほど大きな重み付けがされるように重み付け加算することにより、前記注目入力データに対する出力データを求める処理ステップと
を含むことを特徴とするプログラムを、前記コンピュータに実行させる媒体。
【請求項８】
入力データを処理し、そこに含まれるノイズを除去した出力データを出力するノイズ除去装置であって、
入力データのそれぞれを、順次、注目している注目入力データとして、前記入力データから、前記注目入力データの値との差が予め設定されている所定値より小さい値となる類似入力データを抽出する抽出手段と、
入力データのそれぞれを、順次、注目している注目連続入力データとして、前記注目連続入力データに対して特定の方向に隣接する入力データである隣接入力データが前記抽出手段により前記類似入力データとして抽出されているとき、または、前記注目連続入力データの値、前記注目連続入力データに対して特定の一方向に隣接する入力データである隣接入力データの値、およびその隣接入力データに前記特定の一方向に隣接する隣接入力データの値が連続的に増加若しくは減少しているとき、前記注目連続入力データの連続性が有ると判定する判定手段と、
前記抽出手段により類似入力データとして抽出され、かつ前記判定手段により連続性がある注目連続入力データとして判定された入力データを、処理に用いる処理入力データとして決定する決定手段と、
前記決定手段において決定された前記処理入力データを、同一の重み付けがされるか、または、前記注目入力データからの時間的距離若しくは空間的距離が近いほど大きな重み付けがされるように重み付け加算することにより、前記注目入力データに対する出力データを求める処理手段と
を含むことを特徴とするノイズ除去装置。
【請求項９】
前記入力データが時間方向および空間方向に並んでいる場合において、
前記判定手段は、前記時間方向および前記空間方向それぞれについて、前記類似入力データのそれぞれを、順次、前記注目連続入力データとして、その注目連続入力データの連続性の有無を判定する
ことを特徴とする請求項８に記載のノイズ除去装置。
【請求項１０】
前記入力データは、画像データである
ことを特徴とする請求項８に記載のノイズ除去装置。
【請求項１１】
前記抽出手段は、前記注目入力データと空間的または時間的に近い位置にある入力データのうち、前記注目入力データの値との差が前記所定値より小さいものを抽出する
ことを特徴とする請求項８に記載のノイズ除去装置。
【請求項１２】
前記処理手段は、前記処理入力データが所定数以上ない場合、前記注目入力データと空間的または時間的に周辺位置にある入力データのみを重み付け加算することにより、前記出力データを求める
ことを特徴とする請求項８に記載のノイズ除去装置。
【請求項１３】
入力データを処理し、そこに含まれるノイズを除去した出力データを出力するノイズ除去方法であって、
入力データのそれぞれを、順次、注目している注目入力データとして、前記入力データから、前記注目入力データの値との差が予め設定されている所定値より小さい値となる類似入力データを抽出する抽出ステップと、
入力データのそれぞれを、順次、注目している注目連続入力データとして、前記注目連続入力データに対して特定の方向に隣接する入力データである隣接入力データが前記抽出ステップの処理により前記類似入力データとして抽出されているとき、または、前記注目連続入力データの値、前記注目連続入力データに対して特定の一方向に隣接する入力データである隣接入力データの値、およびその隣接入力データに前記特定の一方向に隣接する隣接入力データの値が連続的に増加若しくは減少しているとき、前記注目連続入力データの連続性が有ると判定する判定ステップと、
前記抽出ステップにより類似入力データとして抽出され、かつ前記判定ステップにより連続性がある注目連続入力データとして判定された入力データを、処理に用いる処理入力データとして決定する決定ステップと、
前記決定ステップにおいて決定された前記処理入力データを、同一の重み付けがされるか、または、前記注目入力データからの時間的距離若しくは空間的距離が近いほど大きな重み付けがされるように重み付け加算することにより、前記注目入力データに対する出力データを求める処理ステップと
を含むことを特徴とするノイズ除去方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、データ処理装置およびデータ処理方法、媒体、並びにノイズ除去装置およびノイズ除去方法に関し、特に、例えば、データに含まれるノイズの効果的な除去を、容易に行うことができるようにするデータ処理装置およびデータ処理方法、媒体、並びにノイズ除去装置およびノイズ除去方法に関する。
【０００２】
【従来の技術】
例えば、伝送や再生等された画像データや音声データなどのデータには、一般に、時間的に変動するノイズが含まれているが、データに含まれるノイズを除去する方法としては、従来より、入力データ全体の平均（以下、適宜、全平均という）や、入力データの局所的な平均である移動平均を求めるもの、さらには、注目しているデータを、その近傍にあるデータのメディアン（中央値）に置き換えるものなどが知られている。また、画像については、例えば、ある１のフレームを参照フレームとして、他の１のフレームの動きベクトルを求め、その動きベクトルによって、他の１フレームの動き補償を行い、その動き補償後のフレームと、参照フレームとの加重平均を求めることにより、ノイズを除去する方法が知られている。
【０００３】
【発明が解決しようとする課題】
しかしながら、全平均を計算する方法は、データに含まれるノイズの度合い、即ち、データのＳ／Ｎ（Signal/Noise）が一定である場合は有効であるが、データのＳ／Ｎが変動する場合には、Ｓ／Ｎの悪いデータが、Ｓ／Ｎの良いデータに影響し、効果的にノイズを除去することが困難となることがある。
【０００４】
また、移動平均を計算する方法では、入力されたデータから時間的に近い位置にあるデータの平均が求められるため、その処理結果は、データのＳ／Ｎの変動の影響を受ける。即ち、データのＳ／Ｎの良い部分については、処理結果のＳ／Ｎも良くなるが、Ｓ／Ｎの悪い部分については、処理結果のＳ／Ｎも悪くなる。さらに、全平均や移動平均を計算する方法によれば、データが平滑化されるから、画像に適用すると、データが急激に変化する部分、即ち、急峻なエッジ等が失われることになる。
【０００５】
また、メディアンに置き換える方法では、データの時間的な順序が無視されるため、元の波形の特徴が大きく損なわれることがある。
【０００６】
さらに、動きベクトルを用いる方法では、動きベクトルの検出を誤ると、処理後の画像の画質が大きく劣化する。
【０００７】
本発明は、このような状況に鑑みてなされたものであり、データに含まれるノイズを、容易かつ効果的に除去することができるようにするものである。
【０００８】
【課題を解決するための手段】
本発明のデータ処理装置は、入力データのそれぞれを、順次、注目している注目入力データとして、入力データから、注目入力データの値との差が予め設定されている所定値より小さい値となる類似入力データを抽出する抽出手段と、入力データのそれぞれを、順次、注目している注目連続入力データとして、注目連続入力データに対して特定の方向に隣接する入力データである隣接入力データが抽出手段により類似入力データとして抽出されているとき、または、注目連続入力データの値、注目連続入力データに対して特定の一方向に隣接する入力データである隣接入力データの値、およびその隣接入力データに特定の一方向に隣接する隣接入力データの値が連続的に増加若しくは減少しているとき、注目連続入力データの連続性が有ると判定する判定手段と、抽出手段により類似入力データとして抽出され、かつ判定手段により連続性がある注目連続入力データとして判定された入力データを、処理に用いる処理入力データとして決定する決定手段と、決定手段において決定された処理入力データを、同一の重み付けがされるか、または、注目入力データからの時間的距離若しくは空間的距離が近いほど大きな重み付けがされるように重み付け加算することにより、注目入力データに対する出力データを求める処理手段とを含むことを特徴とする。
【００１１】
入力データが時間方向および空間方向に並んでいる場合においては、判定手段には、時間方向および空間方向それぞれについて、類似入力データのそれぞれを、順次、注目連続入力データとさせて、その注目連続入力データの連続性の有無を判定させることができる。
【００１２】
入力データは、画像データとすることができる。
【００１３】
抽出手段には、注目入力データと空間的または時間的に近い位置にある入力データのうち、注目入力データの値との差が所定値より小さいものを抽出させることができる。
また、処理手段には、処理入力データが所定数以上ない場合、注目入力データと空間的または時間的に周辺位置にある入力データのみを重み付け加算することにより、出力データを求めさせることができる。
【００１４】
本発明のデータ処理方法は、入力データのそれぞれを、順次、注目している注目入力データとして、入力データから、注目入力データの値との差が予め設定されている所定値より小さい値となる類似入力データを抽出する抽出ステップと、入力データのそれぞれを、順次、注目している注目連続入力データとして、注目連続入力データに対して特定の方向に隣接する入力データである隣接入力データが抽出ステップの処理により類似入力データとして抽出されているとき、または、注目連続入力データの値、注目連続入力データに対して特定の一方向に隣接する入力データである隣接入力データの値、およびその隣接入力データに特定の一方向に隣接する隣接入力データの値が連続的に増加若しくは減少しているとき、注目連続入力データの連続性が有ると判定する判定ステップと、抽出ステップにより類似入力データとして抽出され、かつ判定ステップにより連続性がある注目連続入力データとして判定された入力データを、処理に用いる処理入力データとして決定する決定ステップと、決定ステップにおいて決定された処理入力データを、同一の重み付けがされるか、または、注目入力データからの時間的距離若しくは空間的距離が近いほど大きな重み付けがされるように重み付け加算することにより、注目入力データに対する出力データを求める処理ステップとを含むことを特徴とする。
【００１５】
本発明の媒体がコンピュータに実行させるプログラムは、入力データのそれぞれを、順次、注目している注目入力データとして、入力データから、注目入力データの値との差が予め設定されている所定値より小さい値となる類似入力データを抽出する抽出ステップと、入力データのそれぞれを、順次、注目している注目連続入力データとして、注目連続入力データに対して特定の方向に隣接する入力データである隣接入力データが抽出ステップの処理により類似入力データとして抽出されているとき、または、注目連続入力データの値、注目連続入力データに対して特定の一方向に隣接する入力データである隣接入力データの値、およびその隣接入力データに特定の一方向に隣接する隣接入力データの値が連続的に増加若しくは減少しているとき、注目連続入力データの連続性が有ると判定する判定ステップと、抽出ステップにより類似入力データとして抽出され、かつ判定ステップにより連続性がある注目連続入力データとして判定された入力データを、処理に用いる処理入力データとして決定する決定ステップと、決定ステップにおいて決定された処理入力データを、同一の重み付けがされるか、または、注目入力データからの時間的距離若しくは空間的距離が近いほど大きな重み付けがされるように重み付け加算することにより、注目入力データに対する出力データを求める処理ステップとを含むことを特徴とする。
【００１６】
本発明のノイズ除去装置は、入力データのそれぞれを、順次、注目している注目入力データとして、入力データから、注目入力データの値との差が予め設定されている所定値より小さい値となる類似入力データを抽出する抽出手段と、入力データのそれぞれを、順次、注目している注目連続入力データとして、注目連続入力データに対して特定の方向に隣接する入力データである隣接入力データが抽出手段により類似入力データとして抽出されているとき、または、注目連続入力データの値、注目連続入力データに対して特定の一方向に隣接する入力データである隣接入力データの値、およびその隣接入力データに特定の一方向に隣接する隣接入力データの値が連続的に増加若しくは減少しているとき、注目連続入力データの連続性が有ると判定する判定手段と、抽出手段により類似入力データとして抽出され、かつ判定手段により連続性がある注目連続入力データとして判定された入力データを、処理に用いる処理入力データとして決定する決定手段と、決定手段において決定された処理入力データを、同一の重み付けがされるか、または、注目入力データからの時間的距離若しくは空間的距離が近いほど大きな重み付けがされるように重み付け加算することにより、注目入力データに対する出力データを求める処理手段とを含むことを特徴とする。
【００１９】
入力データが時間方向および空間方向に並んでいる場合においては、判定手段には、時間方向および空間方向それぞれについて、類似入力データのそれぞれを、順次、注目連続入力データとして、その注目連続入力データの連続性の有無を判定させることができる。
【００２０】
入力データは、画像データとすることができる。
【００２１】
抽出手段には、注目入力データと空間的または時間的に近い位置にある入力データのうち、注目入力データの値との差が所定値より小さいものを抽出させることができる。
また、処理手段には、処理入力データが所定数以上ない場合、注目入力データと空間的または時間的に周辺位置にある入力データのみを重み付け加算することにより、出力データを求めさせることができる。
【００２２】
本発明のノイズ除去方法は、入力データのそれぞれを、順次、注目している注目入力データとして、入力データから、注目入力データの値との差が予め設定されている所定値より小さい値となる類似入力データを抽出する抽出ステップと、入力データのそれぞれを、順次、注目している注目連続入力データとして、注目連続入力データに対して特定の方向に隣接する入力データである隣接入力データが抽出ステップの処理により類似入力データとして抽出されているとき、または、注目連続入力データの値、注目連続入力データに対して特定の一方向に隣接する入力データである隣接入力データの値、およびその隣接入力データに特定の一方向に隣接する隣接入力データの値が連続的に増加若しくは減少しているとき、注目連続入力データの連続性が有ると判定する判定ステップと、抽出ステップにより類似入力データとして抽出され、かつ判定ステップにより連続性がある注目連続入力データとして判定された入力データを、処理に用いる処理入力データとして決定する決定ステップと、決定ステップにおいて決定された処理入力データを、同一の重み付けがされるか、または、注目入力データからの時間的距離若しくは空間的距離が近いほど大きな重み付けがされるように重み付け加算することにより、注目入力データに対する出力データを求める処理ステップとを含むことを特徴とする。
【００２３】
本発明のデータ処理装置およびデータ処理方法、媒体、並びにノイズ除去装置およびノイズ除去方法においては、入力データのそれぞれが、順次、注目している注目入力データとされて、入力データから、注目入力データの値との差が予め設定されている所定値より小さい値となる類似入力データが抽出され、入力データのそれぞれが、順次、注目している注目連続入力データとされて、注目連続入力データに対して特定の方向に隣接する入力データである隣接入力データが類似入力データとして抽出されているとき、または、注目連続入力データの値、注目連続入力データに対して特定の一方向に隣接する入力データである隣接入力データの値、およびその隣接入力データに特定の一方向に隣接する隣接入力データの値が連続的に増加若しくは減少しているとき、注目連続入力データの連続性が有ると判定される。そして、類似入力データとして抽出され、かつ連続性がある注目連続入力データとして判定された入力データが、処理に用いる処理入力データとして決定され、その決定された処理入力データが、同一の重み付けがされるか、または、注目入力データからの時間的距離若しくは空間的距離が近いほど大きな重み付けがされるように重み付け加算されることにより、注目入力データに対する出力データが求められる。
【００２４】
【発明の実施の形態】
以下に、本発明の実施の形態について説明するが、その前の前段階の準備として、本発明によるノイズ除去の原理について説明する。
【００２５】
例えば、いま、図１に示すように、時系列の入力データがあった場合において、ある時刻nの入力データに注目したとき、その注目入力データと値が近い入力データ、即ち、注目入力データとの差分の絶対値がε（＞０）の範囲にある入力データを抽出し、その抽出したデータおよび注目入力データを対象として、重み付け加算を行うことで、注目入力データからノイズを除去（低減）したデータを得ることができる。
【００２６】
このような重み付け加算により、ノイズの除去を行うことができるのは、次のような原理による。なお、ここでは、説明を簡単にするため、重み付け加算として、最も単純な相加平均（いわゆる平均値）を考える。
【００２７】
例えば、いま、入力データが画像であるとして、その画素の画素値の観測値と真値との間の誤差、即ち、ノイズが正規分布となると仮定すると（このような仮定をしても、基本的に問題はない）、画素値の観測値（真値が同一の画素に、正規分布するノイズを重畳し、その画素値を観測して得られる観測値）も、図２に示すように、正規分布になる。
【００２８】
いま、ある注目画素の画素値の観測値が、Ｃであったとすると、そのような観測値Ｃとの等分の絶対値がεとなる画素は、図２においてＤで示す斜線部分に分布する。そして、観測値Ｃに近い画素の相加平均を、Ｃ’とすると、その相加平均値Ｃ’は、図２の正規分布のうちの、Ｄで示す斜線部分の面積を２等分するような値となる。従って、画素値の観測値が正規分布であれば、観測値Ｃに近い画素値の相加平均値Ｃ’は、図２に示すように、真値に近づくから、観測値Ｃに近い画素の相加平均をとることにより、ノイズが低減されることになる。
【００２９】
また、図３は、ある画像を構成する各画素の画素値の観測値と真値との間の誤差の分布を示している。注目画素と画素値の近い画素の相加平均を計算し、その結果得られる平均値を、注目画素の画素値とすることで、この分布は、図４に示すようになる。
【００３０】
即ち、相加平均を演算することで、誤差Ｅを有していた画素の誤差の分布は、図４においてＦで示すようになる。この場合、誤差が、元の誤差Ｅよりも増加する画素も多少は存在するが、ほとんどの画素の誤差は、元の誤差Ｅよりも減少する。その結果、誤差の分布は、図４に実線で示すように、元の分布（図３）（図４において点線で示す）に比較して、急峻なもの（従って、誤差の小さい画素が増加したもの）となる。
【００３１】
なお、以上のようなノイズ除去（低減）の原理から明らかなように、重み付け加算によってノイズを低減した画像を対象に、再び、重み付け加算を計算することによって、さらなるノイズの低減を図ることができる。
【００３２】
次に、上述の原理に基づき、第ｎフレームのある位置にある画素Ｐnを注目画素として、この注目画素Ｐnに含まれるノイズを、注目画素Ｐnと空間的に同一の位置にある他のフレームの画素を用いた加算（以下、適宜、足し込みともいう）によって除去することを考える。
【００３３】
この場合、注目画素Ｐnと空間的に同一の位置にある画素の画素値（の観測値）の時間方向の並びが、例えば、図５に示すようなものであったとすると、まず最初に、注目画素Ｐnの画素値を中心とした±εの範囲（以下、適宜、ゲートという）が想定され、画素値が、そのゲート内にある画素が、足し込みの対象とする画素（以下、適宜、足し込み画素という）として抽出される。従って、図５においては、画素Ｐn-12乃至Ｐn-9，Ｐn-7，Ｐn-4，Ｐn-2乃至Ｐn+8が、足し込み画素として抽出され（画素Ｐn-8，Ｐn-6，Ｐn-5，Ｐn-3は、ゲートの外にあるので、足し込み画素値して抽出されない）、それらの足し込み結果が、注目画素Ｐnのノイズ除去結果とされる。
【００３４】
ここで、上述のような足し込みによるノイズ除去を行う場合には、図１乃至図４で説明したことから、注目画素Ｐnの真値と同一の真値を、画素値として有する画素のみを対象として足し込みを行うのが理想的である。
【００３５】
しかしながら、そのような画素を、正確に見つけ出すのは困難であり、そのため、ここでは、ゲート内にある画素を、注目画素Ｐnの真値と同一の真値を有する画素であるとみなして、足し込みの対象としてる。
【００３６】
ところで、ゲート内にある画素であっても、真値に大きなノイズがのることによって、ゲート内に位置するようになっているものがあり、そのような画素は、真値が、注目画素Ｐnの真値と大きく異なっていると予想されるから、足し込みの対象とすべきでない。即ち、より効果的にノイズ除去を行うためには、ゲート内にある画素のうち、ノイズのより少ないもののみを、足し込みの対象とすべきである。
【００３７】
そこで、ノイズの少ない画素の検出が問題となるが、確率的には（経験上）、画素値の連続性がある画素（ここでは、例えば、画素値が連続的にゲート内にある画素）は、ノイズが少ない。従って、ゲート内にある画素のうち、連続性のないものは足し込みの対象から除外し、連続性のある画素のみを、足し込みの対象とすることで、より効果的にノイズの除去を行うことができることになる。
【００３８】
一方、画素の連続性の判断は、その画素値だけを観察しただけでは困難であり、その画素付近の領域全体を観察して行う必要がある。
【００３９】
即ち、例えば、図５において、足し込み画素として抽出される画素Ｐn-12乃至Ｐn-9，Ｐn-7，Ｐn-4，Ｐn-2乃至Ｐn+8のうち、例えば、画素Ｐn-7は、その画素値だけを観察する限りは、ゲート内にあるが、その画素Ｐn-7付近の領域（図５では、画素Ｐn-7付近の時間方向の領域）を観察した場合には、その領域には、足し込み画素とされる画素もあれば、足し込み画素とされない画素もある。具体的には、画素Ｐn-7付近の領域では、画素Ｐn-7はゲート内にあるが、その両隣（ここでは、前後のフレーム）の画素Ｐn-8およびＰn-6はゲート内にない。
【００４０】
この場合、ゲート内にある画素Ｐn-7は、連続性があるとはいえない。同様の観点から、ゲート内にある画素Ｐn-4も連続性があるとはいえない。従って、図５では、ゲート内にある画素Ｐn-12乃至Ｐn-9，Ｐn-7，Ｐn-4，Ｐn-2乃至Ｐn+8のうち、連続性のない画素Ｐn-7およびＰn-4を除いた画素、即ち、連続性のある画素Ｐn-12乃至Ｐn-9，Ｐn-2乃至Ｐn+8を足し込むことにより、注目画素Ｐnについて、より効果的なノイズ除去結果を得ることができることになる。
【００４１】
図６は、以上のようにして、画像からノイズを除去するノイズ除去装置の一実施の形態の構成例を示している。
【００４２】
ノイズ除去の対象となる画像データは、足し込み範囲決定部１に供給されるようになっており、足し込み範囲決定部１は、注目画素について、そのノイズ除去のための足し込みを行う場合に、その足し込みの対象とする画素を選択する範囲（足し込み範囲）を決定するようになっている。
【００４３】
即ち、足し込み範囲決定部１は、例えば、時間軸方向に注目した場合に、注目画素を中心とする、所定のフレーム数の範囲を、足し込み範囲と決定するようになっている。さらに、足し込み範囲決定部１は、そこに供給される画像データから、足し込み範囲内にある画素を抽出し、足し込み画素決定部２に供給するようにもなっている。
【００４４】
足し込み画素決定部２は、足し込み範囲決定部１から供給される足し込み範囲内にある画素の中から、足し込みの対象である足し込み画素とするものを決定するようになっている。即ち、足し込み画素決定部２は、画素値比較部３とやりとりすることで、足し込み範囲内にある画素の中から、足し込み画素の候補とするもの（足し込み画素候補）を抽出する。さらに、足し込み画素決定部２は、連続性判定部４とやりとりすることで、足し込み画素候補の中から、最終的に足し込み画素とするものを抽出し、足し込み処理部５に出力する。
【００４５】
画素値比較部３は、足し込み画素決定部２の制御に基づいて、足し込み画素決定部２から供給される足し込み範囲内にある画素の画素値を比較し、その比較結果を、足し込み画素決定部２に供給するようになっている。即ち、足し込み画素決定部２は、足し込み範囲内にある画素を、画素値比較部３に供給するようになっており、画素値比較部３は、足し込み範囲内にある画素のうちの注目画素と、その足し込み範囲内にある画素それぞれとの画素値を比較し、その比較結果を、足し込み画素決定部２に供給するようになっている。ここで、足し込み画素決定部２は、上述したような画素値比較部３からの比較結果に基づいて、足し込み範囲内にある画素の中から、ゲート内にあるものを検出し、それを、足し込み画素候補とするようになっている。
【００４６】
連続性判定部４は、足し込み画素決定部２の制御に基づいて、足し込み画素決定部２から供給される足し込み画素候補の連続性を判定し、その判定結果を、足し込み画素決定部２に供給するようになっている。即ち、足し込み画素決定部２は、足し込み画素候補を、連続性判定部４に供給するようになっており、連続性判定部４は、例えば、足し込み画素決定部２からの足し込み画素候補を、順次、注目候補として、その注目候補の両隣の画素が、足し込み画素候補となっているかどうかを判定する。そして、連続性判定部４は、注目候補の両隣の画素のうちの少なくとも一方が、足し込み画素候補となっている場合には、その注目候補には連続性があると判定し、また、注目候補の両隣の画素のうちの両方が、足し込み画素候補となっていない場合には、その注目候補には連続性がないと判定し、その判定結果を、足し込み画素決定部２に供給するようになっている。ここで、足し込み画素決定部２は、上述したような連続性判定部４からの連続性の判定結果に基づいて、足し込み画素候補の中から、最終的に足し込み画素とするものを決定するようになっている。
【００４７】
足し込み処理部５は、足し込み画素決定部２からの足し込み画素を足し込み、即ち、例えば、相加平均値等の重み付け加算値を演算し、その演算結果を、注目画素のノイズ除去結果として出力するようになっている。
【００４８】
次に、図７のフローチャートを参照して、図６のノイズ除去装置によるノイズ除去処理について説明する。
【００４９】
足し込み範囲決定部１は、まず最初に、ステップＳ１において、足し込み範囲を決定し、ステップＳ２に進み、そこに供給される画素の中から、足し込み範囲内にある画素を抽出する。即ち、ここでは、例えば、時間方向のみを考えるとすると、ステップＳ１では、注目画素のフレームを基準として、所定フレーム数だけ前のフレーム（時間的に先行するフレーム）から、所定フレーム数だけ後のフレーム（時間的に後行するフレーム）までの範囲が、足し込み範囲として決定される。さらに、ステップＳ２では、注目画素と空間的に同一位置にある画素のうち、足し込み範囲内にあるものが抽出される。この足し込み範囲内にある画素は、足し込み範囲決定部１から足し込み画素決定部２に供給される。
【００５０】
足し込み画素決定部２は、足し込み範囲決定部１から足し込み範囲内にある画素を受信すると、ステップＳ３において、その画素の中から、足し込み画素候補を抽出する。
【００５１】
即ち、足し込み画素決定部２は、足し込み範囲内にある画素を、画素値比較部３に供給し、画素値比較部３に、足し込み範囲内にある画素のうちの注目画素と、その足し込み範囲内にある画素それぞれ（従って、注目画素自身も含まれる）との画素値を比較させる。足し込み画素決定部２は、注目画素と、足し込み範囲内にある画素それぞれとの比較結果を受信すると、足し込み範囲内にある画素の中から、注目画素との差分の絶対値がε以下のもの、即ち、画素値が、注目画素についてのゲート内にある画素のみを、足し込み画素候補として抽出する。
【００５２】
その後、足し込み画素決定部２は、ステップＳ４において、足し込み画素候補を、連続性判定部４に供給し、その連続性を判定させる。即ち、連続性判定部４は、足し込み画素候補を、順次、注目候補として、その注目候補の両隣の画素が、足し込み画素候補となっているかどうかを判定し、注目候補の両隣の画素のうちの少なくとも一方が、足し込み画素候補となっている場合には、その注目候補には連続性があると判定し、また、注目候補の両隣の画素のいずれも、足し込み画素候補となっていない場合には、その注目候補には連続性がないと判定する。そして、連続性判定部４は、各足し込み画素候補についての連続性の判定結果を、足し込み画素決定部２に供給する。
【００５３】
足し込み画素決定部２では、ステップＳ５において、連続性判定部４からの連続性の判定結果に基づいて、足し込み画素候補の中から、最終的に足し込み画素とするものが決定される。即ち、足し込み画素決定部２は、足し込み画素候補のうち、連続性があるもののみを、足し込み画素として決定する。この足し込み画素は、足し込み処理部５に供給される。
【００５４】
足し込み処理部５では、ステップＳ６において、足し込み画素決定部２からの足し込み画素の、例えば、相加平均値が演算され、その相加平均値が、注目画素についてのノイズ除去結果として出力される。
【００５５】
そして、ステップ７に進み、次に処理すべき画素があるかどうかが判定され、あると判定された場合、その画素が、新たに注目画素とされる。さらに、ステップＳ２に戻り、以下、上述の場合と同様の処理が繰り返される。
【００５６】
一方、ステップＳ７において、次に処理すべき画素がないと判定された場合、ノイズ除去処理を終了する。
【００５７】
以上のように、ゲート内にある画素の中の、連続性のあるもののみを抽出し、そのような画素のみを対象に、足し込みを行うようにしたので、より効果的にノイズの除去を行うことができる。また、連続性のあるもののみを抽出することによって、確率的に、注目画素の真値とほぼ一致する真値を有する画素のみを対象に足し込みが行われるので、足し込みによる画素値の平滑化、即ち、例えば、エッジがぼやけること等を防止（低減）することができる。
【００５８】
なお、上述の場合には、注目候補の両隣の画素のうちの少なくとも一方が、足し込み画素候補となっている場合には、その注目候補には連続性があると判定し、また、注目候補の両隣の画素の両方が、足し込み画素候補となっていない場合には、その注目候補には連続性がないと判定するようにしたが、注目候補の連続性は、その他、例えば、次のように判定することも可能である。
【００５９】
即ち、注目候補の微分値（例えば、注目候補と、そのクレーム前の、同一位置にある画素との差分値）を演算し、その微分値が、前の画素の微分値の符号と一致する場合（従って、画素値が、連続して増加または減少している場合）に、連続性があると判定し、一致しない場合に、連続性がないと判定するようにすることが可能である。なお、この場合、例えば、図５においては、ゲート内にある画素Ｐn-12乃至Ｐn-9，Ｐn-7，Ｐn-4，Ｐn-2乃至Ｐn+8のうち、画素Ｐn-7およびＰn-4の他、画素Ｐn-2も連続性がないと判定されることになる。
【００６０】
また、上述の場合においては、ゲート内にある画素（足し込み画素候補）を抽出し、その後、その画素の連続性に基づいて、足し込み画素とする画素を抽出するようにしたが、足し込み画素とする画素は、ここでは、ゲート内にあり、かつ連続性があれば良いから、連続性のある画素を先に抽出し、その後に、その連続性のある画素の中から、ゲート内にあるものを、足し込み画素として抽出しても良い。
【００６１】
次に、注目画素Ｐnと空間的に同一の位置にある画素の画素値の時間方向の並びが、例えば、図８に示すような場合を考えると、図８においては、注目画素Ｐnについてのゲート内に、他の画素が存在しないため、図７で説明したノイズ除去処理では、対処することが困難である。
【００６２】
ここで、注目画素Ｐnについてのゲート内に、他の画素が存在しないことが生じる場合としては、次の２つのケースがある。
【００６３】
即ち、第１のケースは、例えば、画像に比較的高速で動いている物体が存在する場合で、この場合は、画素を、他の方向から観測することで、ゲート内に、他の画素を観察することができる。具体的には、画像（動画像）については、時間方向だけでなく、空間方向にも、画素が並んでいる。そして、画像に比較的高速で動いている物体が存在する場合には、物体が表示されているフレームと表示されていないフレームとで、物体が表示される画素の画素値は大きく変化するが、物体が表示されているフレームでは、物体が表示されている部分の画素の、画素値はそれほど大きく変化しない。従って、この場合、時間方向ではなく、空間方向（例えば、垂直方向や水平方向、斜め方向）に並ぶ画素を観察することによって、注目画素Ｐnについてのゲート内に、他の画素を観察することができる。その結果、第１のケースでは、そのように、ゲート内に他の画素を観察することができる方向に注目すれば、図７で説明した場合と同様にして、ノイズ除去を行うことができる。
【００６４】
一方、第２のケースは、注目画素Ｐnに大きなノイズがのっている場合で、この場合には、どのような方向に注目しても、ゲート内に、他の画素を観察することはできない。従って、第２のケースには、図７で説明したノイズ除去処理では対処することができないため、ここでは、例えば、注目画素Ｐnの時間的、空間的に周辺にある、注目画素Ｐnを除く画素の相加平均値を、注目画素Ｐnのノイズ除去結果とすることで、第２のケースに対処することとする。
【００６５】
そこで、図９のフローチャートを参照して、上述のようにして、第１および第２のケースに対処可能なノイズ除去処理について説明する。
【００６６】
この場合、足し込み範囲決定部１は、ステップＳ１１において、画素が並んでいる方向のうちのある方向に注目し、その注目方向について、足し込み範囲を決定する。即ち、足し込み範囲決定部１は、例えば、時間方向に注目した場合には、図７のステップＳ１における場合と同様に、注目画素のフレームを基準として、所定フレーム数だけ前のフレームから、所定フレーム数だけ後のフレームまでの範囲を、足し込み範囲として決定する。また、足し込み範囲決定部１は、例えば、空間方向に注目した場合には、注目画素のフレーム内の、注目画素から所定の画素数の範囲を、足し込み範囲として決定する。
【００６７】
足し込み範囲決定部１は、注目方向について足し込み範囲を決定すると、ステップＳ１２に進み、その注目方向に並ぶ（配置された）画素のうち、足し込み範囲内にある画素を抽出し、足し込み画素決定部２に供給する。
【００６８】
足し込み画素決定部２では、ステップＳ１３において、足し込み画素決定処理が行われる。即ち、足し込み画素決定部２は、ステップＳ１３において、足し込み範囲決定部１からの画素を対象に、図７のステップＳ３乃至Ｓ５における場合と同様の処理を行うことで、足し込み画素を決定する。
【００６９】
そして、ステップＳ１４に進み、足し込み範囲決定部１において、画素が並んでいる方向で、まだ、注目方向としていない方向があるかどうかが判定される。ステップＳ１４において、まだ、注目方向としていない方向があると判定された場合、その方向を新たに注目方向として、ステップＳ１１に戻り、以下、同様の処理が繰り返される。
【００７０】
また、ステップＳ１４において、まだ、注目方向としていない方向がないと判定された場合、即ち、例えば、画像については、時間方向および空間方向を、注目方向として処理を行った場合、ステップＳ１５に進み、足し込み画素決定部２において、注目画素について、足し込み画素として決定された画素が所定数（１以上の整数）以上あるかどうかが判定される。
【００７１】
ステップＳ１５において、注目画素について、足し込み画素として決定された画素が所定数以上あると判定された場合、足し込み画素決定部２は、その足し込み画素を、足し込み処理部５に供給し、ステップＳ１６に進む。ステップＳ１６では、足し込み処理部５において、図７のステップＳ６における場合と同様に、足し込み画素決定部２からの足し込み画素の、例えば、相加平均値が演算され、その相加平均値が、注目画素についてのノイズ除去結果として出力される。
【００７２】
一方、ステップＳ１５において、注目画素について、足し込み画素として決定された画素が所定数以上ないと判定された場合、即ち、時間方向と、空間方向のそれぞれに注目した結果得られた足し込み画素の合計が、所定数以上とならず、従って、注目画素が、非常に大きなノイズがのっているものであると推定される場合、足し込み画素決定部２は、足し込み範囲決定部１から供給された画素のうち、注目画素の空間的、時間的に周辺にあるもののみ（注目画素自身を除く）を、足し込み処理部５に供給し、ステップＳ１７に進む。ステップＳ１７では、足し込み処理部５において、足し込み画素決定部２からの画素の相加平均値が演算され、その相加平均値が、注目画素についてのノイズ除去結果として出力される。
【００７３】
以上のように、複数の方向それぞれについて注目して、足し込み画素を決定することで、ある方向だけに注目した場合に、ゲート内に他の画素が存在しないような画素に関しても、より効果的にノイズ除去を行うことが可能となる。
【００７４】
なお、上述の場合には、時間方向と空間方向に注目するようにしたが、その他、例えば、時間方向および空間方向に対して、斜めの方向に注目するようにすることも可能である。
【００７５】
次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアとしてのノイズ除去装置に組み込まれているコンピュータ、または各種のプログラムをインストールすることで各種の処理を行う汎用のコンピュータ等にインストールされる。
【００７６】
そこで、図１０を参照して、上述した一連の処理を実行するプログラムをコンピュータにインストールし、コンピュータによって実行可能な状態とするために用いられる媒体について説明する。
【００７７】
プログラムは、図１０（Ａ）に示すように、コンピュータ１０１に内蔵されている記録媒体としてのハードディスク１０２に予めインストールした状態でユーザに提供することができる。
【００７８】
あるいはまた、プログラムは、図１０（Ｂ）に示すように、フロッピーディスク１１１、CD-ROM(Compact Disc Read Only Memory)１１２，MO(Magneto optical)ディスク１１３，DVD(Digital Versatile Disc)１１４、磁気ディスク１１５、半導体メモリ１１６などの記録媒体に、一時的あるいは永続的に格納し、パッケージソフトウエアとして提供することができる。
【００７９】
さらに、プログラムは、図１０（Ｃ）に示すように、ダウンロードサイト１２１から、ディジタル衛星放送用の人工衛星１２２を介して、コンピュータ１２３に無線で転送したり、LAN(Local Area Network)、インターネットといったネットワーク１３１を介して、コンピュータ１２３に有線で転送し、コンピュータ１２３において、内蔵するハードディスクなどに格納させるようにすることができる。
【００８０】
本明細書における媒体とは、これら全ての媒体を含む広義の概念を意味するものである。
【００８１】
また、本明細書において、媒体により提供されるプログラムを記述するステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。
【００８２】
なお、本実施の形態では、足し込み処理部５において、足し込み画素を対象とした足し込みとして、その相加平均値、即ち、同一の重み付けを行った加算値を演算することとしたが、足し込み画素を対象とした足し込みは、画素ごとに異なる重みを用いて行うことが可能である。即ち、足し込み画素を対象とした足し込みは、例えば、注目画素から、時間的、空間的に近い画素ほど、大きな重みを付けて行うことが可能である。
【００８３】
また、本実施の形態では、画像を処理の対象としたが、本発明は、その他、例えば、音声等を処理の対象とすることも可能である。
【００８４】
さらに、本実施の形態では、本発明について、ノイズの除去という観点から説明を行ったが、本発明によれば、入力データの波形整形（波形等化）などを行うことも可能である。
【００８５】
【発明の効果】
以上の如く、本発明のデータ処理装置およびデータ処理方法、媒体、並びにノイズ除去装置およびノイズ除去方法によれば、入力データのそれぞれが、順次、注目している注目入力データとされて、入力データから、注目入力データの値との差が予め設定されている所定値より小さい値となる類似入力データが抽出され、入力データのそれぞれが、順次、注目している注目連続入力データとされて、注目連続入力データに対して特定の方向に隣接する入力データである隣接入力データが類似入力データとして抽出されているとき、または、注目連続入力データの値、注目連続入力データに対して特定の一方向に隣接する入力データである隣接入力データの値、およびその隣接入力データに特定の一方向に隣接する隣接入力データの値が連続的に増加若しくは減少しているとき、注目連続入力データの連続性が有ると判定される。そして、類似入力データとして抽出され、かつ連続性がある注目連続入力データとして判定された入力データが、処理に用いる処理入力データとして決定され、その決定された処理入力データが、同一の重み付けがされるか、または、注目入力データからの時間的距離若しくは空間的距離が近いほど大きな重み付けがされるように重み付け加算されることにより、注目入力データに対する出力データが求められる。従って、例えば、入力データに含まれるノイズを効果的に除去することが可能となる。
【図面の簡単な説明】
【図１】注目画素Ｐnについてのゲートを示す図である。
【図２】注目画素と画素値の近い画素の足し込みによってノイズが除去される原理を説明するための図である。
【図３】観測値と真値との間の誤差の分布を示す図である。
【図４】観測値と真値との間の誤差の分布を示す図である。
【図５】画素の連続性を考慮したノイズ除去を説明するための図である。
【図６】本発明を適用したノイズ除去装置の一実施の形態の構成例を示すブロック図である。
【図７】図６のノイズ除去装置によるノイズ除去処理を説明するためのフローチャートである。
【図８】図７のノイズ除去処理では、対処が困難な場合を説明するための図である。
【図９】図８における場合であっても対処が可能なノイズ除去処理を説明するためのフローチャートである。
【図１０】本発明を適用した媒体を説明するための図である。
【符号の説明】
１  足し込み範囲決定部，  ２  足し込み画素決定部，  ３  画素値比較部，４  連続性判定部，  ５  足し込み処理部，  １０１  コンピュータ，  １０２  ハードディスク，  １０３  半導体メモリ，  １１１  フロッピーディスク，  １１２  CD-ROM，  １１３  MOディスク，  １１４  DVD，  １１５  磁気ディスク，  １１６  半導体メモリ，  １２１  ダウンロードサイト，  １２２衛星，  １２３  コンピュータ，  １３１  ネットワーク
【図１】
0004131355.tif 000002
【図２】
0004131355.tif 000003
【図３】
0004131355.tif 000004
【図４】
0004131355.tif 000005
【図５】
0004131355.tif 000006
【図６】
0004131355.tif 000007
【図７】
0004131355.tif 000008
【図８】
0004131355.tif 000009
【図９】
0004131355.tif 000010
【図１０】
0004131355.tif 000011