(57)【要約】【課題】原画像に存在するノイズ様の情報を除去することなく、符号化・復号化に伴うモスキートノイズやブロックノイズを効果的に除去する。【解決手段】再生・受信した符号化された状態の１フレーム分の画像データに対しＦＦＴ分析を行い、原信号が１次減衰特性であると仮定したカットオフ周波数を水平方向、垂直方向毎に求める（Ｓ１、Ｓ２）。予め異なるカットオフ周波数に対応して異なるパラメータを持つように設計されたサンプル値Ｈ∞フィルタ（デジタルフィルタ）を選択し（Ｓ３）、このフィルタを用いて復号化された画像データの水平方向及び垂直方向にそれぞれフィルタリング処理を行う（Ｓ４）。１フレームの画像毎に原画像のアナログ特性の相違が考慮されるので、原画像に存在するノイズ様の情報が除去されにくくなる。【選択図】図３
2010199631.tif 000002
【特許請求の範囲】
【請求項１】
所定形式で圧縮符号化された画像データを復号して画像を再現する際に発生するノイズを除去する画像ノイズ除去方法であって、
a)１枚又は１フレームの画像を構成する圧縮符号化された状態の画像データに対しデジタル周波数応答を調べて圧縮符号化前の画像のアナログ特性を推定する推定ステップと、
b)前記推定ステップによる推定結果に応じて後記デジタルフィルタのパラメータを変更するパラメータ設定ステップと、
c)元のアナログ画像信号とアナログ／デジタル変換、符号化／復号化、及びデジタル／アナログ変換を通して得られるアナログ画像信号との誤差を小さくするようにデジタルフィルタを設計すべく設定した条件式を、有限次元離散時間系に近似的に変換することで得た計算式を所定の条件に基づいてＨ∞制御により解くことによって又はそれに相当する厳密な計算で解くことによって算出したパラメータを有するサンプル値Ｈ∞フィルタを用い、復号化されてデジタル／アナログ変換させる前の画像データに対するフィルタリング処理を行う処理ステップと、
を有することを特徴とする画像ノイズ除去方法。
【請求項２】
請求項１に記載の画像ノイズ除去方法であって、前記処理ステップにおけるフィルタリング処理は、１枚又は１フレームの画像の水平方向及び垂直方向に配列された画像データに対してそれぞれ行うことを特徴とする画像ノイズ除去方法。
【請求項３】
請求項１に記載の画像ノイズ除去方法であって、前記推定ステップは、圧縮符号化前の画像のアナログ特性が所定次数の減衰特性を有するローパスフィルタであると仮定してカットオフ周波数を算出することを特徴とする画像ノイズ除去方法。
【請求項４】
請求項３に記載の画像ノイズ除去方法であって、前記所定次数は１次であることを特徴とする画像ノイズ除去方法。
【請求項５】
請求項１に記載の画像ノイズ除去方法であって、前記処理ステップでは、前記サンプル値Ｈ∞フィルタとともにε-分離非線形フィルタを併用することを特徴とする画像ノイズ除去方法。
【請求項６】
請求項１に記載の画像ノイズ除去方法であって、処理対象はＪＰＥＧ方式で圧縮符号化される静止画像であることを特徴とする画像ノイズ除去方法。
【請求項７】
請求項１に記載の画像ノイズ除去方法であって、処理対象はＭＰＥＧ方式で圧縮符号化される動画像であることを特徴とする画像ノイズ除去方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタル化され所定形式で圧縮符号化された静止画像や動画像を復号化して再現する際に発生するノイズを除去するための画像ノイズ除去方法に関する。
【背景技術】
【０００２】
近年、静止画像や動画像の圧縮技術の進展はめざましく、光学ディスク、ハードディスク、固体メモリ等の記録媒体への画像の記録・再生や、インターネットなどの通信路を介した画像の伝送、或いは放送などの分野で広く利用されている。静止画像の圧縮方式としてよく知られているのはＪＰＥＧ（Joint Photographic Experts Group）方式、動画像の圧縮方式としてよく知られているのはＭＰＥＧ（Moving Picture Experts Group）方式であるが、これら以外にも様々な方式が提案されている。
【０００３】
ところで、画像データを圧縮・伸張するための符号化・復号化処理に伴って画像上には原画像にはない様々なノイズが発生すること知られている。代表的なノイズとして、ブロックノイズ、モスキートノイズと呼ばれるものがある。ブロックノイズはデータ圧縮の際に１フレームの画像を複数のブロックにエリア分割し、各ブロック毎に独立に処理を行うことに起因するブロックの境目付近に発生するノイズである。一方、モスキートノイズは、圧縮の際に画像データを離散コサイン変換（ＤＣＴ）により周波数分解し、高周波成分を除去することに起因するノイズ（フーリエ解析で一般にギブス現象と呼ばれるもの）である。いずれも効率のよい記録・伝送を行うために圧縮率を高くしようとするほど顕著になり、こうしたノイズを除去したり抑圧したりする様々な手法が従来より研究・開発されている（例えば特許文献１、２など参照）。
【０００４】
視覚上不快で目障りな上記のようなノイズを除去することは静止画処理、動画処理のいずれにおいても非常に重要な技術の１つであるが、画質を改善するためにノイズの除去効果を高めようとすると、ノイズ以外の本来必要とされる画像情報の一部も失われてしまい、画像が不自然になったり味気ないものになったりする場合がある。また、一般に高度なノイズ除去を行おうとすると、処理が複雑になって回路規模が増大し、コストが高くついたり、或いは回路基板のサイズが大きくなったりするといった問題が起こる。
【０００５】
本願発明者は、これまで長年に亘り、特にデジタルオーディオの分野において、連続時間特性を扱うことができるサンプル値制御理論、より詳しくはサンプル値Ｈ∞制御をデジタルオーディオ信号を扱うデジタル／アナログ（Ｄ／Ａ）変換技術やサンプリングレート変換技術などに導入する試みについて長年研究を続けてきた（特許文献３、４など参照）。この技術は、元のデジタル信号のサンプルを単に離散時間信号としてのみ捉えるのではなく、サンプル間応答に含まれるアナログ特性をも考慮してＤ／Ａ変換やサンプリングレート変換の際のデジタルフィルタの設計を行うことによって、アナログオーディオとしての聴感上での音質が最良又はそれに近い状態となるようにすることを意図するものであった。
【０００６】
換言すれば、上記のフィルタリング技術は、既定のサンプリング周波数と量子化ビット数という制限の下で、元のアナログオーディオの音質にできるだけ近い自然な音を追究しようとする試みである。なお、このフィルタは「ＹＹフィルタ」という呼称で、携帯電話用或いは携帯音楽プレーヤ用のＩＣなどで実用化されている。
【０００７】
本願発明者は、上述したような近年の画像の圧縮技術の進展及びそれに伴う画質改善の必要性に鑑み、上記技術の基本であるサンプル値Ｈ∞最適化の手法を画像のノイズ除去に適用する試みを進め、静止画像のノイズ除去に適用した例（非特許文献１参照）や動画像のノイズ除去に適用した例（非特許文献２参照）を既に開示している。こうした従来の画像ノイズ除去の検討によれば、サンプル値Ｈ∞最適化手法を画像のノイズ除去に適用することでブロックノイズを効果的に除去できることが確認できたものの、やはり本来はノイズでない情報部分がノイズとみなされて除去されてしまう、或いは逆に、ノイズであるにも拘わらずそれが画像情報の一部であると誤判断されて除去されないで残る、といった問題があることが判明した。
【０００８】
【特許文献１】特開２００５−２９５３７１号公報
【特許文献２】特開２００６−１４０８１８号公報
【特許文献３】特開２００１−１２７６３７号公報
【特許文献４】特開２００１−３５８５６１号公報
【非特許文献１】掛水、永原、小林、山本、「ノイズ・リダクション・オブ・ＪＰＥＧ・イメージズ・バイ・サンプルド-データ・Ｈ∞・オプティマル・ε・フィルターズ（Noise Reduction of JPEG Images by Sampled-Data Ｈ∞ Optimal ε Filters）」、SICE Annual Conference 2005, pp.1080-1085
【非特許文献２】小林、永原、山本、「サンプル値制御理論によるＭＰＥＧ動画のノイズ除去」、第51回システム制御情報学会研究発表講演会論文集、2007年5月16日
【発明の開示】
【発明が解決しようとする課題】
【０００９】
本発明は上記課題に鑑みて成されたものであり、その目的とするところは、符号化・復号化に伴って動画像や静止画像に発生するブロックノイズやモスキートノイズを、その画像が本来有する情報内容に与える影響を抑えつつ効果的に除去することができる画像のノイズ除去方法を提供することにある。
【課題を解決するための手段】
【００１０】
上記課題を解決するために成された本発明は、所定形式で圧縮符号化された画像データを復号して画像を再現する際に発生するノイズを除去する画像ノイズ除去方法であって、
a)１枚又は１フレームの画像を構成する圧縮符号化された状態の画像データに対しデジタル周波数応答を調べて圧縮符号化前の画像のアナログ特性を推定する推定ステップと、
b)前記推定ステップによる推定結果に応じて後記デジタルフィルタのパラメータを変更するパラメータ設定ステップと、
c)元のアナログ画像信号とアナログ／デジタル変換、符号化／復号化、及びデジタル／アナログ変換を通して得られるアナログ画像信号との誤差を小さくするようにデジタルフィルタを設計すべく設定した条件式を、有限次元離散時間系に近似的に変換することで得た計算式を所定の条件に基づいてＨ∞制御により解くことによって又はそれに相当する厳密な計算で解くことによって算出したパラメータを有するサンプル値Ｈ∞フィルタを用い、復号化されてデジタル／アナログ変換させる前の画像データに対するフィルタリング処理を行う処理ステップと、
を有することを特徴としている。
【００１１】
本発明に係る画像ノイズ除去方法では、例えば、ノイズ除去の処理対象をＪＰＥＧ方式で圧縮符号化される静止画像、又はＭＰＥＧ方式で圧縮符号化される動画像とすることができる。
【００１２】
また本発明に係る画像ノイズ除去方法において、上記推定ステップは、１枚（静止画像の場合）又は１フレーム（動画像の場合）を構成する圧縮符号化された状態の画像データに対しＦＦＴ（高速フーリエ変換）処理を実行するものとすることができる。より具体的には、圧縮符号化前の画像のアナログ特性が所定次数の減衰特性を有するローパスフィルタであると仮定し、例えばＦＦＴによりそのカットオフ周波数を算出するものとすることができる。
【００１３】
ここで上記所定次数は２次、３次、又はそれ以上の高次としてもよいが、最も単純な１次の減衰特性のローパスフィルタを想定しても十分である。本願発明者の検討によれば、１枚の静止画像又は動画像の１フレームの画像の情報内容に拘わらず、原画像のアナログ特性は１次の減衰特性でかなり適切に近似でき、情報内容の相違はカットオフ周波数に現れることが確認できた。したがって、推定ステップにおいて上記のようなかなり簡単化した、つまり演算処理自体も簡単である仮定の下で原画像のアナログ特性を判断しても、その判断の適格性を十分に保証することができる。
【００１４】
本発明に係る画像ノイズ除去方法では、ノイズ除去自体は、デジタル化される前の原画像のアナログ特性を考慮して、ノイズをＨノルムを用いた評価基準で最小化する方法を用い、それ自体は従前のデジタルオーディオのノイズ除去や静止画像・動画像のノイズ除去に利用した方法と大きな相違はない。しかしながら、従来の静止画像・動画像のノイズ除去方法ではデジタルフィルタのパラメータを原画像のアナログ特性の相違が反映されていなかったのに対し、本発明では、圧縮された状態の画像から原画像のアナログ特性を推定し、その推定結果に基づいてデジタルフィルタのパラメータ、つまりその特性を適応的に変化させる。したがって、画像上に現れる微小部分についてのその周囲との相違がノイズであるか否かを判断する基準が、原画像のアナログ特性に応じて変更されることになる。
【００１５】
なお、上記処理ステップにおけるフィルタリング処理は、１枚又は１フレームの画像の水平方向及び垂直方向に配列された画像データに対してそれぞれ行うようにするとよい。
【００１６】
また、本発明に係る画像ノイズ除去方法において、サンプル値Ｈ∞フィルタは線形フィルタであるため、これだけでフィルタリングを行った場合、高周波ノイズを除去する際に特に高周波成分の多い画像上のエッジをぼやけさせるおそれがある。そこで、これを回避するには、サンプル値Ｈ∞フィルタとともにε-分離非線形フィルタを併用し、高周波ノイズと元信号のエッジ部分とを区別してノイズだけを除去するようにすることが好ましい。
【発明の効果】
【００１７】
本発明に係る画像ノイズ除去方法によれば、原画像に含まれる情報、例えばブロックノイズやモスキートノイズとの判別が困難であるような微小領域の情報をできるだけ残しながら、ノイズを的確に除去することができるようになる。これにより、例えばＭＰＥＧ方式などで圧縮率を高めたときに出現し易くなるブロックノイズやモスキートノイズを目立たなくしつつ、原画像に良さを損なわないような高い画質を達成することができる。
【００１８】
サンプル値Ｈ∞フィルタはフィルタの構造としては一般のデジタルフィルタと変わらず、タップ数が小さければ回路規模は小さくて済み、また原画像のアナログ特性の推定に使用されるＦＦＴなども処理自体は煩雑なものではない。そうしたことから、ノイズ除去のためのコストの大幅な増加を回避することができ、ＬＳＩ化も容易であるので小型化にも向いている。
【発明を実施するための最良の形態】
【００１９】
以下、本発明に係る画像ノイズ除去方法の一実施形態について図面を参照しつつ説明する。
【００２０】
図２は、本発明に係るノイズ除去方法を適用する対象の一例であるデジタル動画処理系モデルの概略ブロック構成図である。原信号はまず標本化部１で所定の標本化周波数で標本化されて離散時間信号となる。この信号は次の符号化部２で所定ビット数で量子化されてデジタル信号にされるとともに、例えばＭＰＥＧ方式等の所定のアルゴリズムに従ってデータ圧縮され、圧縮されたデータが伝送／記録系３により伝送路上に伝送されたり或いは記録媒体に記録されたりする。伝送路を通して或いは記録・再生（又は記憶・読み出し）の過程を経て得られたデータは、復号化部４において復号化処理によりデータ伸張されるとともにデジタル信号がアナログ信号に変換され、さらにホールド部５により離散時間信号が連続時間信号に変換されて復元信号として出力される。
【００２１】
図２中に示すように、標本化部１、符号化部２、及び伝送／記録系３の一部が記録装置や送信装置に含まれ、伝送／記録系３の残りの部分、復号化部４、及びホールド部５が再生装置や受信装置に含まれる。
【００２２】
サンプル値制御理論を利用したノイズ除去、即ちフィルタリングでは、上記デジタル動画処理系への入力である原信号と出力である復元信号とができるだけ近くなるように、つまり両者の誤差ができるだけ小さくなるように復号化部４を設計する。そこで、いま図１に示す誤差系モデルを考える。これが、画像のノイズ除去のためのフィルタＫ（ｚ）設計のブロック図である。
【００２３】
図１では、下側の信号経路がデジタル動画処理系であり、上側の信号経路が、非因果的なフィルタを設計するための時間遅れの系である。即ち、連続時間信号である原信号ｗは、Ａ／Ｄ変換部に含まれるフィルタ１１で帯域制限されたあと、デジタル動画処理系においては、サンプラ１２によりサンプル周期ｈでサンプリングされて離散時間信号（デジタル信号）となる。フィルタ１１では高周波成分がカットされるが、原信号ｗの基本的な周波数成分は維持され、ここでは、そのアナログ特性をＦ（ｓ）として表す。また、標本化を理想サンプラとしてＳhで表す。
【００２４】
デジタル信号に対しては符号化（圧縮）・復号化（伸張）の処理がなされるが、その際にその周波数特性がＷ（ｚ）の伝達関数に従うノイズが加算器１３においてデジタル信号に加算される。これはブロックノイズやモスキートノイズなどをモデル化したものであり、その伝達特性Ｗ（ｚ）はハイパスフィルタの特性を持つ。ノイズが付加された信号に対し、伝達特性がＫ（ｚ）であるデジタルフィルタ１４でノイズ除去及び原信号の周波数特性Ｆ（ｓ）に基づく信号の補正を実行し、零次ホールド要素１５で連続時間信号に戻す。ここで、この零次ホールド要素１５の後段には、設計したフィルタの係数がサンプル点上を中心として過去方向と未来方向とで対称的になることが保証されるように、サンプル周期ｈの１／２の遅れ要素１６が挿入されている（非特許文献２参照）。
【００２５】
一方、上側の時間遅れ系では、原信号に対してサンプル間隔の整数倍の遅れ要素１８（（ｅ-mhs）が与えられ、減算器１７により上記処理系を経た復元信号と遅延した原信号との誤差信号ｅを取り出す。この誤差信号ｅができる限り小さくなるようにデジタルフィルタ１４の伝達関数Ｋ（ｚ）を決定し、それが実現されるパラメータを求めることが必要である。そのために、原信号ｗ及びノイズｄから誤差信号ｅへ変換するシステムをＴｅｗとＴｅｄとおく。このとき、伝達関数がＫ（ｚ）であるデジタルフィルタ１４の設計問題を次のように定義する。
【００２６】
即ち、伝達関数Ｆ（ｓ）、Ｗ（ｚ）、遅れステップｍ、定数γ＞０が与えられたとき、
【数１】
2010199631.tif 000003
を満たすデジタルフィルタを設計する。この(1)式が本発明におけるデジタルフィルタを設計すべく設定した条件式である。この問題こそが、サンプル値Ｈ∞最適化問題であり、サンプル値制御理論を適用することにより、計算機を用いて容易にＨ∞最適フィルタＫ（ｚ）を得ることが可能である。その具体的な手法については、特許文献１、２、非特許文献２などにおいて本願発明者が開示している手法を利用することができ、それによってデジタルフィルタのフィルタ係数を求めることができる。
【００２７】
従来、本願発明者が提案していた画像ノイズ除去方法では、伝達関数Ｆ（ｓ）つまり原信号ｗのアナログ特性は安定している、つまり一定であるとして考えていたが、符号化・復号化によって付加されるノイズＷ（ｚ）は本来、原信号の値に依存しており、それは原信号のアナログ特性Ｆ（ｓ）に依存する。そのため、原信号のアナログ特性が想定している状態から外れると、デジタルフィルタ１４が理想的に動作せず、図２の誤差系での誤差信号ｅが大きくなる、つまりは再現された画像上に現れるノイズが除去されずに残ったり逆にノイズでない情報部分が誤って除去されてしまったりするという不具合が発生する。最も好ましいのは、記録側や送信側における原信号のアナログ特性を把握することであるが、もちろん、再生側や受信側では原信号のアナログ特性を直接知ることはできない。そこで、本願発明に係る画像ノイズ除去方法では、その大きな特徴として、与えられた圧縮データ画像から原信号のアナログ特性Ｆ（ｓ）を推定し、その推定結果に基づいてデジタルフィルタの伝達特性Ｋ（ｚ）を修正することにより、ノイズ除去の効果を高めるようにしている。
【００２８】
本実施形態では、アナログ特性Ｆ（ｓ）は次の(2)式で示す１次減衰特性を持つローパスフィルタであるとし、このフィルタのカットオフ周波数ωcを推定することでＦ（ｓ）を推定する。
Ｆ（ｓ）＝ωc ／ （ｓ＋ωc）     …(2)
ここでＦ（ｓ）を１次減衰特性としたのは、様々な種類の画像に対してＦＦＴを行って周波数成分を調べてみた結果、画像の情報内容に依らずにいずれもほぼ１次の減衰特性を示すことが確認できたこと、１次特性であればパラメータ数が少なくカットオフ周波数ωcの推定が容易で演算時間の短縮化に有利であること、などの理由による。
【００２９】
カットオフ周波数ωcの推定は以下の手順で行うことができる。まず、与えられた１枚の圧縮静止画像又は圧縮動画像の１フレーム分の画像（以下、単に１フレームの画像という）に対してＦＦＴを実行する。次に、１フレームの画像に対するＦＦＴデータの各列の最大値を抽出し、最小二乗法により水平方向のカットオフ周波数ωchを求める。また、同じ１フレームの画像に対するＦＦＴデータの各行の最大値を抽出し、最小二乗法により垂直方向のカットオフ周波数ωcvを求める。
【００３０】
ここで、画質評価用などのために従来からよく知られている幾つかの標準的な静止画像についてのカットオフ周波数ωch、ωcvの推算結果を表１に示す。
【表１】
2010199631.tif 000004
この結果から、カットオフ周波数ωch、ωcvはほぼ０．００１〜０．０１[rad/sec]の範囲に収まっていることが分かる。そこで、ここではカットオフ周波数ωc＝０．００１，０．０２，０．０３，…，０．０１[rad/sec]としたアナログ特性Ｆ（ｓ）を前提とした１０種類のデジタルフィルタ（それぞれの伝達関数をＫ1（ｚ）、Ｋ2（ｚ）、Ｋ3（ｚ）、…、Ｋ10（ｚ）とする）を予め設計しておく。そして、次の表２に示すように、実際に処理する画像から推定したカットオフ周波数ωch、ωcvの値に応じて使用するデジタルフィルタを切り替えるようにする。
【表２】
2010199631.tif 000005
以上のような処理を行うことにより、再現しようとしている画像のアナログ特性に合わせた適切な伝達特性で以てフィルタリングを行うことができるので、符号化・復号化に伴うブロックノイズやモスキートノイズを的確に除去しつつ、原画像に含まれるノイズ様の情報を不必要に除去してしまうことを回避できる。
【００３１】
次に、本実施形態におけるノイズ除去の手順を図３のフローチャートに従って説明する。このノイズ除去を実施する前に、上述したように原信号のアナログ特性を反映するカットオフ周波数ωcと使用するデジタルフィルタの伝達関数Ｋ（ｚ）との関係を示す表２のような情報が予めテーブル形式等で用意されているものとする。
【００３２】
まず、１フレームの圧縮画像（又は１枚の静止画像）のデータを取得すると（ステップＳ１）、その画像データに対して上述のようなＦＦＴ処理を実行し、水平方向、垂直方向それぞれのカットオフ周波数ωch、ωcvを求める（ステップＳ２）。次に、上記のように予め用意された情報に基づいてカットオフ周波数ωch、ωcvに対応した伝達関数Ｋ（ｚ）を選択し（ステップＳ３）、これにより、使用するデジタルフィルタ（サンプル値Ｈ∞フィルタ）を垂直方向、水平方向毎に決定する。
【００３３】
これと並行して上記圧縮データに対する復号化処理が実行され、各画素の値が求まると、上記決定されたデジタルフィルタを用いたフィルタリング処理が実行され、符号化・復号化に伴うノイズが除去される（ステップＳ４）。そうして、ノイズ除去処理が施された画素信号が出力され、アナログ信号に変換され、或いは所定形式のデジタル信号列に変換されて出力される（ステップＳ５）。
【００３４】
ステップＳ４のノイズ除去の際には、サンプル値Ｈ∞フィルタとともにε-分離非線形フィルタを併用する。即ち、上述したサンプル値Ｈ∞フィルタは結果として線形のローパスフィルタとなるため、ノイズの周波数成分と同じ帯域に原信号が存在すると、その原信号の高周波成分も同時に除去されてしまう。こうした高周波成分は画像内の文字の部分や物体の境界などのエッジに多く存在するため、上記フィルタリング処理をそのまま実行するとエッジがぼけて特に文字などが見にくくなるおそれがある。そこで、ε-分離非線形フィルタにより、エッジとノイズとを区別し、エッジと判断した部分にはサンプル値Ｈ∞フィルタによるフィルタリング処理を行わないようにしている。
【００３５】
ε-分離非線形フィルタはＦＩＲフィルタを拡張した非線形処理を行うものであり、次の(3)式で定義される。
【数２】
2010199631.tif 000006
但し、ここでｈf[ｋ]（−Ｎ1≦ｋ≦Ｎ2）はＦＩＲフィルタの係数、ｘ、ｙはそれぞれ入力と出力、εは定数の閾値である。ε-分離非線形フィルタは、ノイズの振幅が原信号のエッジを挟んだ信号の変化幅よりも小さいとの前提の下に、閾値εを基準とした大小に応じてノイズと信号のエッジとを区別する。そして、振幅の小さい部分、つまり高い確率でノイズとみなし得る部分でのみＦＩＲフィルタによる処理を行うことで、原信号のエッジをぼやかすことなくノイズ除去を行うようにしている（ε-分離非線形フィルタの詳細については非特許文献１を参照）。
【００３６】
また、ステップＳ２におけるカットオフ周波数の決定やステップＳ４におけるフィルタリング処理の際には、次のようにデータ処理を並列的に行うことで処理効率の向上を図ることができる。
いま、１フレームの画像を構成するデータが図４に示すように全体としては上の行から下の行へ、各行においては左から右方へと１画素ずつ順番に転送されるものとする。なお、動画像の場合には、こうした画像データが各フレーム毎に転送されるものとする。また入力側では画像データが上記のように送られてきて、出力側でも画像データが同じように送り出されるものとする。
【００３７】
並列処理では、１フレーム画像の全てのデータを再生又は受信した後にカットオフ周波数決定処理やフィルタリング処理を実行するのではなく、再生・受信を行いながら、再生・受信した行から次々に処理を実行してゆく。１行分の画像データに対する処理に要する時間をτとし、１行分の画像データを再生・受信するのに要する時間をＴとする。整数ｐをτ／Ｔの整数部分であるとすると、１フレーム内のｐ＋１行目の画像データを再生・受信した時点で１行目の処理は完了しているので、ｐ＋１行目の処理に１行目の処理に用いたバッファ及び演算回路（推定及びフィルタ処理のための回路）を使用することができる。
【００３８】
そこで、具体的には次のようにする。即ち、ハードウエアとしては、図５（ａ）に示すように、処理のために画像１フレーム分のバッファメモリと、ｐ個の演算処理回路とを用意しておく。そして、入力された画像データを１画素ずつ順次バッファメモリに格納する。図５（ａ）に示すように、１行目の全ての画像データがバッファメモリに揃ったならば、このデータを演算処理回路Ｅ１に与えて１行目の処理を開始する。同様に、２行目の全ての画像データがバッファメモリに揃ったならば次の演算処理回路Ｅ２により２行目の処理を開始し、３行目、４行目、…、とそれぞれ演算処理回路Ｅ３、…で処理を開始する。つまり、ｐ行分の画像データは並行処理される。そして、ｐ＋１行目の画像データが全てバッファメモリに入力されたときには、演算処理回路Ｅ１は既に１行目の演算処理を終了している。したがって、この行の画像データの処理には１行目に使用された演算処理回路Ｅ１を使用することができる。
【００３９】
上記処理は水平方向のものであり、処理の方向とデータの転送方向とが一致しているが、垂直方向に対する処理については処理の方向がデータの転送方向と異なるため、上記のような並列処理は行えない。また、水平方向の処理→垂直方向の処理、という順番で処理を進める場合、水平方向の処理がなされて送られてくる画像データの順序が、入力された画像データの順序とは異なることも考慮する必要がある。そこで、垂直方向の処理は行毎でなく画素毎に並列化を実行する。具体的には次のようにする。なお、ここで、ｍはフィルタのタップ数である。
【００４０】
即ち、ハードウエアとしては、図５（ｂ）に示すように、処理のために画像１フレーム分のバッファメモリと、ｐ個の演算処理回路とを用意しておく。そして、水平方向に処理されて送られてくる画像データを順次バッファメモリに格納する。ｍ＋１行目の画像データがバッファメモリに溜まったならば、１行目の画像データの処理を開始する。つまり、バッファメモリから演算処理回路Ｅｐ＋１に１行１列目の画像データを送り処理を開始する。それからＴ秒後に演算処理回路Ｅｐ＋２を用いて１行２列目の画像データの処理を開始する。同様にＴ秒ずつ遅延させつつ１列ずつ別の演算処理回路を割り当てて処理を開始する。処理開始からτ（＝Ｔp）秒後に１行１列目の処理が終了しているので、１行ｐ＋１列目の画像データには再び演算処理回路Ｅｐ＋１を割り当てる。２行目のデータがバッファに全て格納されたならば、２行１列目の処理を開始する。そして、同様にして１フレーム全ての画像データの処理を行う。
【００４１】
なお、上記のような並列処理によって、出力される動画像には入力の動画像から、おおよそ（ｐ＋ｍ）Ｔ≒τ＋ｍＴ秒の遅れが生じる。しかしながら、上述したデジタルフィルタ（サンプル値Ｈ∞フィルタ）は一般に数タップ程度の少ないタップ数で実現できるので、この時間遅れは短く、ストリーミングであっても視聴上の感覚では殆ど無視できる程度である。
【００４２】
このようにして、１フレームの画像データの全てが揃うのを待つことなく、カットオフ周波数決定処理やフィルタリング処理を実行することができる。特に大きなサイズの画像を処理する場合、画像全体のデータに対して順番に処理を実行すると非常に時間が掛かり、特にストリーミングのようなリアルタイム処理を必要とする場合には不利であるが、上記のような処理によりデータ処理を並列的に行うことで処理効率の向上を図ることができる。もちろん、例えば携帯電話用など、１フレーム画像の画像数が比較的少ない場合には、並列処理を行わずとも処理時間が短くて済み、回路規模を縮小するとともに制御も簡単にできる。
【００４３】
本実施形態による画像ノイズ除去方法により、静止画像のノイズ除去を行った場合のシミュレーション結果を図６〜図８に示す。これらは評価用標準画像として知られているものであり、いずれも（ａ）は本実施形態によるノイズ除去処理前の画像、（ｂ）は本実施形態によるノイズ除去処理後の画像である。
【００４４】
図６（ａ）に示す処理前の画像では、ブロックノイズやモスキートノイズによって、特に人物の顔や背景の椅子の周り（画像左上部）が荒れている。これに対し、図６（ｂ）に示すように、処理によりこうしたノイズが低減しているのが分かる。また、このようなノイズ除去処理を従来方法で行うと、多くの場合、スカーフの縞模様にモアレが生じることが多いが、本実施形態のノイズ除去処理ではそうしたモアレの発生も回避できている。
図７（ａ）に示す処理前の画像では、人物や背景の建物の周りにモスキートノイズが目立つが、図７（ｂ）に示す処理後の画像ではそうしたノイズがきれいに除去されていることが分かる。しかも、そうした処理によっても画像全体はぼやけることなく、人物や建物などの境界部分のエッジが保存されていることも分かる。
また図８（ａ）に示す処理前の画像では、文字が書かれている黒い板の上にノイズが乗っているが、図８（ｂ）に示す処理後の画像ではそうしたノイズが除去され、文字が鮮明になっていることが分かる。こうしたことから、本実施形態のノイズ除去方法は、その特性上、例えば自動文字認識などの分野への応用が有効であると考えられる。
【００４５】
なお、上記実施形態は本発明の一例にすぎず、本発明の趣旨の範囲で適宜変形や修正、追加を行っても本願特許請求の範囲に包含されることは当然である。
【図面の簡単な説明】
【００４６】
【図１】本発明に係る画像ノイズ除去のためのフィルタＫ（ｚ）を設計するための誤差系モデルのブロック図。
【図２】本発明に係るノイズ除去方法を適用する対象の一例であるデジタル動画処理系モデルの概略ブロック構成図。
【図３】本発明の一実施形態におけるノイズ除去の手順を示すフローチャート。
【図４】１フレームの画像を構成する画像データの転送順序を示す模式図。
【図５】本実施形態のノイズ除去などの処理を並列的に行う場合の処理手順を説明する模式図。
【図６】本実施形態のノイズ除去処理の前後の画像の一例を示す図。
【図７】本実施形態のノイズ除去処理の前後の画像の一例を示す図。
【図８】本実施形態のノイズ除去処理の前後の画像の一例を示す図。
【符号の説明】
【００４７】
１１…フィルタ
１２…サンプラ
１３…加算器
１４…デジタルフィルタ
１５…零次ホールド要素
１６、１８…遅れ要素
１７…減算器
【図１】
2010199631.tif 000007
【図２】
2010199631.tif 000008
【図３】
2010199631.tif 000009
【図４】
2010199631.tif 000010
【図５】
2010199631.tif 000011
【図６】
2010199631.tif 000012
【図７】
2010199631.tif 000013
【図８】
2010199631.tif 000014