(57)【要約】零の共分散行列を有する曲率保護フィルタは入力画像に利用されて、図形表示装置あるいは機械分析ツールへの出力用のノイズ除去された出力画像を生成する。一実施例においては、入力画像は零の共分散行列を有する小さなカーネルであり、フィルタは直和によって入力画像に適用される。別の実施例においては、ディジタル画像は、フーリエ変換を実行してフーリエ変換された信号を生成する画像プロセッサに入力される。曲率保護フィルタはフーリエ空間内のフーリエ変換された信号に利用され、ノイズ除去された信号を生成し、次いで、ノイズ除去された信号は逆フーリエ変換によって変換されて、ノイズ除去された出力画像１２を生成する。代替的な実施例においては、フィルタは逆点応答関数を含むことによって、ブレ除去された信号を更に生成する。【選択図】  図１
2009538582.tif 000002
【特許請求の範囲】
【請求項１】
画像ソースから画像を再構成する方法であって：
複数の画素を具えるディジタル画像信号を、少なくとも０次モーメントと、１次モーメントと、零の共分散行列を具える２次モーメントと、を具える曲率保存フィルタを実行するようにプログラムされた画像処理装置に入力するステップと；
前記フィルタにより前記画像信号をフィルタして、ノイズ除去した画像を生成するステップと；
前記ノイズ除去した画像を図形表示装置又は機械分析ツールに出力するステップと；
を具えることを特徴とする方法。
【請求項２】
請求項１に記載の方法において、前記フィルタが更にブレ除去用の逆点応答関数を具えることを特徴とする方法。
【請求項３】
請求項１に記載の方法において、前記画像処理装置が、少数の画素からなるカーネルを受け取るように構成される１又はそれ以上のプログラマブル理論ゲート配列又は特定用途向け集積回路を具えることを特徴とする方法。
【請求項４】
請求項３に記載の方法において、前記画像信号がラスタデータストリームを具えることを特徴とする方法。
【請求項５】
請求項１に記載の方法において、前記画像処理装置が、乗算ステップの前に、フーリエ変換を実行してフーリエ空間中に波数ベクトルを具えるフーリエ変換信号を生成し、前記フィルタによる前記画像信号の乗算後に、逆フーリエ変換を実行して前記ノイズ除去した画像を生成するソフトウェアが中に保存される中央演算装置、マイクロプロセッサ又はディジタル信号プロセッサを具えることを特徴とする方法。
【請求項６】
請求項５に記載の方法において、前記画像信号が全データフレームを具えることを特徴とする方法。
【請求項７】
請求項５に記載の方法において、前記フィルタが４より大きい又は等しい累乗を伴う、前記波数ベクトルの大きさの偶数乗の関数であることを特徴とする方法。
【請求項８】
請求項５に記載の方法において、前記フィルタが、ａを前記フィルタの幅を決めるスケール長、
2009538582.tif 000048
を前記波数ベクトル、
2009538582.tif 000049
を
2009538582.tif 000050
の大きさとした場合に、
2009538582.tif 000051
となるフーリエ表現を有することを特徴とする方法。
【請求項９】
請求項５に記載の方法において、前記フィルタが、ａを前記フィルタの幅を決めるスケール長、
2009538582.tif 000052
を前記波数ベクトル、
2009538582.tif 000053
を
2009538582.tif 000054
の大きさ、σを点応答関数の標準偏差とした場合に、
2009538582.tif 000055
となるフーリエ表現を有することを特徴とする方法。
【請求項１０】
入力画像をノイズ除去するための画像処理装置であって：
前記入力画像を受け取り、ディジタル画像信号を出力するための入力装置と；
少なくとも０次モーメントと、１次モーメントと、零の共分散行列を具える２次モーメントと、を具える曲率保存フィルタを前記画像信号に適用して、ノイズ除去した信号を生成するようにプログラムされた、前記画像信号を受信するためのプロセッサと；
前記ノイズ除去した画像を図形表示装置又は機械分析ツールに出力するための出力装置と；
を具えることを特徴とする画像処理装置。
【請求項１１】
請求項１０に記載の画像処理装置において、前記フィルタが更にブレ除去用の逆点応答関数を具えることを特徴とする画像処理装置。
【請求項１２】
請求項１０に記載の画像処理装置において、当該画像処理装置が、少数の画素からなるカーネルを受け取るように構成される１又はそれ以上のプログラマブル理論ゲート配列又は特定用途向け集積回路を具えることを特徴とする画像処理装置。
【請求項１３】
請求項１２に記載の画像処理装置において、前記画像信号がラスタデータストリームを具えることを特徴とする画像処理装置。
【請求項１４】
請求項１０に記載の画像処理装置において、当該画像処理装置が、乗算ステップの前に、フーリエ変換を実行してフーリエ空間中に波数ベクトルを具えるフーリエ変換信号を生成し、前記フィルタによる前記画像信号の乗算後に、逆フーリエ変換を実行して前記ノイズ除去した画像を生成するソフトウェアが中に保存される中央演算装置、マイクロプロセッサ又はディジタル信号プロセッサを具えることを特徴とする画像処理装置。
【請求項１５】
請求項１４に記載の画像処理装置において、前記画像信号が全データフレームを具えることを特徴とする画像処理装置。
【請求項１６】
請求項１４に記載の画像処理装置において、前記フィルタが４より大きい又は等しい累乗を伴う、前記波数ベクトルの大きさの偶数乗の関数であることを特徴とする画像処理装置。
【請求項１７】
請求項１４に記載の画像処理装置において、前記フィルタが、ａを前記フィルタの幅を決めるスケール長、
2009538582.tif 000056
を前記波数ベクトル、
2009538582.tif 000057
を
2009538582.tif 000058
の大きさとした場合に、
2009538582.tif 000059
となるフーリエ表現を有することを特徴とする画像処理装置。
【請求項１８】
請求項１４に記載の画像処理装置において、前記フィルタが、ａを前記フィルタの幅を決めるスケール長、
2009538582.tif 000060
を前記波数ベクトル、
2009538582.tif 000061
を
2009538582.tif 000062
の大きさ、σを点応答関数の標準偏差とした場合に、
2009538582.tif 000063
となるフーリエ表現を有することを特徴とする画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
［関連する出願］
本出願は２００６年５月２４日出願の米国仮特許出願第６０／８０８，４３９号の優先権を主張し、全体を参照してここに取り込まれている。
【背景技術】
【０００２】
本発明はブレ及び形状ひずみを最小化するのと同時にノイズを除去することによる、ディジタル画像の再構成方法に関する。
【０００３】
センサから収集されたデータは常にある程度、物理的なブレ及びノイズによって劣化しており、測定ノイズによって破損していない任意の鮮明な画像を生成する画像機器を構築することは不可能である。ディジタル画像の再構成はノイズやブレを除去することによって画像の質を向上させるのに徐々に用いられてきている。ソフトウェア、ハードウェアあるいはその組合せによって行われるディジタル画像再構成の役割は、未加工の入力データを処理して、結果として生ずる画像が最良に近い真の原画像を提供するようにすることである。再構成された画像は対象の情報を抽出するために、ビューアや機械画像分析ツールへ提供される。従って、画像再構成は存在し、ブレやノイズによって未加工データ中に隠されている情報を明らかにしている。画像再構成においては、主の目標は入力データ内の測定誤差が、再構築された画像内で許容されないアーチファクトに増幅されるのを防ぐことである。
【０００４】
画像再構成に対する多くの現存するアプローチにおいては、画像は隣接する画素の強度の重みつき平均で画素の画像強度を置換することによって、ブレ除去及びノイズ除去される。重みづけが総て正である場合、正のノイズ波動が負のノイズ波動を打ち消すためノイズは減ぜられる。しかし、これは更に画素内の信号を平均化させ、更なるブレを生じさせる。この再構成バイアスは正と負の重みづけの混合を用いることによって緩和できる。正と負の重みづけのこのような組合せを用いて、未加工データ固有の物理的なブレを元に戻すことができる。しかしながら、混合信号の重みづけは往々にして、非常に有意にノイズを更に増幅できる。従って、画像再構成の目標は、信号平均化によって生じたバイアスを最小化する際に、ノイズ減少を最大化する最適な重みづけスキームを見出すことである。できる限り、画像再構成は可能な範囲で元の物理的なブレも減ずるべきである。
【０００５】
信号平均化によって誘導されたバイアスは、１画素についてのテイラー級数で信号を展開することによって評価する。例示の目的で２次元の例がここで述べられるが、公式はいずれの次元に対しても自明に一般化される。（ｘ，ｙ）をノイズ除去すべき基準画素の位置とする。（ｘ，ｙ）の近傍にある画像信号は、
2009538582.tif 000003
のように展開できる。ここで、サブスクリプト０は基準点（ｘ，ｙ）での値を示している。Ｉの１次導関数は画像勾配成分である一方、２次導関数はヘッセの曲率行列の成分である。明確には示されていない、テイラー展開の更なる項は、（ｘ，ｙ）でのＩの高次偏導関数テンソルである係数を伴う、ｒとｓの高次多項式を含んでいる。
【０００６】
信号平均化はＩ（ｘ＋ｒ，ｙ＋ｓ）をフィルタｇ（ｒ，ｓ）で乗算し、ｒとｓで積分することによって得られる。その結果は、平均化された信号：
2009538582.tif 000004
となる。ここで、μ（０）、μ（１）及びμ（２）は、ｇの０次、１次及び２次モーメントであり、それぞれ：
2009538582.tif 000005
2009538582.tif 000006
2009538582.tif 000007
となる。ここでｕとｖは必要に応じてｒ又はｓと対応する。
【０００７】
慣例により、フィルタは単位積分及び零平均で正規化され、従って：
2009538582.tif 000008
2009538582.tif 000009
となり、２次モーメントは平滑化フィルタの共分散行列：
2009538582.tif 000010
となる。式２に式６−８を当てはめることによって、フィルタによって導入されるバイアスを与える主要な項が、画像のヘッセの曲率行列及びフィルタの共分散行列の成分の積の合計によるものであることが明らかになる。
2009538582.tif 000011
【０００８】
式９を導くのと同じ論証は、画像の勾配及び高次導関数に適用できる。バイアス中の主要な項はフィルタの共分散行列を有する画像の導関数テンソルの成分の積の合計による。従って、フィルタは画像の形状をひずませる原因ともなる。
【０００９】
ノイズ除去された画像Ｊと、画像Ｉと、フィルタｇとの間の関係は、畳み込みである（式２）。従って、畳み込み定理を利用してフーリエ空間での単純積で関係を表現することは有用である。
2009538582.tif 000012
となり、ここで、
2009538582.tif 000013
はフーリエ空間での波数ベクトルである。
【００１０】
ノイズはフーリエ空間でのパワースペクトルによって都合良く表現される。従って、ノイズ除去は、ノイズ低減因子：
2009538582.tif 000014
により、ノイズの振幅の波数ごとの減衰を生じさせる。例えばガウスフィルタについては、
2009538582.tif 000015
となる。ここで、
2009538582.tif 000016
は、波数ベクトル長であり、σはフィルタの標準偏差であって、
2009538582.tif 000017
により、その半波高全幅値と関連している。
【００１１】
一般的に、フィルタは低い方の波数（長い方の波長）を伝送し、高い方の波数を減衰し、各画素中の画像強度を、その近傍の画像強度上での重みづけ平均と置換している。重みづけスキームの詳細はフィルタに依存するが、質的な振る舞いは低い方の波数を伝送し、高い方の波数を減衰すべきである。ギブスの現象による振動性の振る舞いを避けるために、低い
2009538582.tif 000018
から高い
2009538582.tif 000019
のレジームまでの遷移は更に円滑にすべきである。
【００１２】
「ブレ除去」は、光システムあるいは画像ソースと検出器との間の介在手段によって生じるどんな物理的なブレをも元に戻すようにする処理である。ブレは更にこの場合、真の原画像と点応答関数との間で重みづけの形式を多くの場合で取り、点源が焦点面上で延びる画像である。フーリエ空間においては、ブレた画像は、真の画像と点応答関数との積：
2009538582.tif 000020
であり、ブレ除去された画像は、逆点応答関数を用いたフィルタリング：
2009538582.tif 000021
として書くことができる。
【００１３】
残念ながら、
2009538582.tif 000022
は高い波数では小さいためこの処理はノイズを増幅し、
2009538582.tif 000023
で除算することは、
2009538582.tif 000024
のノイズ成分を増幅する。例えば、ガウスの点応答関数（ＰＲＦ）に対して、
2009538582.tif 000025
となり、波数：
2009538582.tif 000026
と共に指数関数的に増大する。
【００１４】
点応答関数は、光システム及び介在手段の物理によって決定される。従って、逆点応答関数を変更することはできない。画像再構成で利用可能な唯一の自由は、ノイズ除去フィルタを変更することである。
【００１５】
再構成方法は明確なフーリエ技術である必要はなく、異なる部分の画像で異なる度合いのノイズ除去も利用できるが、同じ原理が適用される。総ての画像再構成方法の基礎では明確あるいは暗黙のノイズ除去スキームの選択が、画像の初期ノイズを減ずることも、及び／又は、ぶれ除去から生ずるノイズ振幅を抑制することもできる。
【００１６】
Ｔｓｃｈｕｍｐｅｒｌｅは、論文「Ｃｕｒｖａｔｕｒｅ−Ｐｒｅｓｅｒｖｉｎｇ  Ｒｅｇｕｌａｒｉｚａｔｉｏｎ  ｏｆ  Ｍｕｌｔｉｖａｌｕｅｄ  Ｉｍａｇｅｓ  Ｕｓｉｎｇ  ＰＤＥ’ｓ（ｉｎ  Ｅｕｒｏｐｅａｎ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ，Ｐａｒｔ  ＩＩ，Ｌｅｏｎａｒｄｉｓ  Ａ，Ｂｉｓｃｈｏｆ  Ｈ，Ｐｉｎｚ  Ａ（ｅｄｓ．），ＬＮＣＳ  ３９５２：２９５−３０７，２００６」及び「Ｆａｓｔ  Ａｎｉｓｏｔｒｏｐｉｃ  Ｓｍｏｏｔｈｉｎｇ  ｏｆ  Ｍｕｌｔｉｖａｌｕｅｄ  Ｉｍａｇｅｓ  Ｕｓｉｎｇ  Ｃｕｒｖａｔｕｒｅ−Ｐｒｅｓｅｒｖｉｎｇ  ＰＤＥ’ｓ（Ｉｎｔｌ．Ｊ．Ｃｏｍｐｕ．Ｖｉｓｉｏｎ，６８：６５−８２，２００６）」において、偏微分方程式を用いて画像の正則化した曲率保護を得ることを、近年提唱してきた。このアプローチは、画像上で規定されるベクトルあるいはテンソル場を用いる非線形の異方性平滑化を用いて、ベクトル又はテンソル場によって規定される曲線に沿った画像曲率を保護している。Ｔｓｃｈｕｍｐｅｒｌｅは、用語「曲率」を用いて、ここに引用したヘッセの曲率行列とは異なる量を示している。更に、本アプローチは非線形性及び異方性を要求する一方、ここに示した曲率保護フィルタは線形性及び等方性の双方にすることができ、ほとんどはそうなるであろう。
【００１７】
より洗練された再構成方法は一般的に反復性があり、従ってゆっくりである。反復法の優先度は非反復法の欠損による。非反復法がノイズを抑制する場合、画像をぼかし、ブレ除去する場合、画像内のノイズを増幅させる。ＰｕｅｔｔｅｒとＧｏｓｎｅｌｌとＹａｈｉｌ（２００５，Ａｎｎｕ．Ｒｅｖ．Ａｓｔｒｏｎ．Ａｓｔｒｏｐｈｙｓ，４３：１３９−１９４）は、引用によってここに取り込まれて、ディジタル画像再構成の包括的な再検討を提供している。 
【００１８】
最終的な分析においては、ディジタル画像再構成は競合効果間の取引であり、最適な再構成方法の選択はユーザの目標に依存する。従って、ユーザの目標を特定することなく、従来技術の妥当性を評価することは不可能である。例えば静止画像の再構成は、リアルタイムでの迅速な映像処理と比べると、画像再構成処理をほとんど要求しない。
【発明の概要】
【００１９】
いずれの次元の画像もノイズ除去し、制御されたブレ除去するために曲率保護フィルタ（ＣＰＦ）を提供することが本発明の目的である。
【００２０】
本発明の更に別の目的は、画像をノイズ除去し、ノイズ除去フィルタによって通常生ずるブレ及び形状のゆがみを最小化する手段を提供することである。
【００２１】
フィルタが非零の共分散行列を有する場合に、画像のヘッセの曲率行列によって生ずるバイアスを避ける画像再構成の方法を提供することが本発明の別の目的である。
【００２２】
本発明は、いずれの次元の画像もノイズ除去し、制御されたブレ除去する曲率保護フィルタ（ＣＰＦ）を具えている。本発明によると、ノイズ除去フィルタは低い波数（ｋ）を有するフーリエ成分を伝送し、高いｋを有する成分を抑制し、２のｋレジーム間を平滑に変化し、ノイズ除去バイアスを最小化するノイズ除去フィルタが提供される。
【００２３】
画像内に存在する物理的なブレを元に戻すための制御されたブレ除去は、ノイズの増加を最小にして、ノイズ除去フィルタに更に追加できる。組み合わされた場合、ＣＰＦのノイズ除去及びブレ除去能力は、ディジタル画像再構成技術に対する重要な追加となる。
【００２４】
本発明の一態様においては、複数のデータユニット（ピクセル、ボクセル、あるいはその他の測定値）を具えるディジタル画像は、波数ベクトルの関数がフーリエ空間内で連動するように、フーリエ変換を実行して複雑な強度を具えるフーリエ変換された信号を生成する画像プロセッサに入力される。零の共分散行列を有する曲率保護フィルタはフーリエ変換された信号に利用され、ノイズ除去された信号を生成する。ノイズ除去された信号は逆フーリエ変換によって変換されて、図形表示装置あるいは画像認識システムのような機械分析ツールへの出力用のノイズ除去された出力画像を生成する。代替的な実施例としては、フィルタは点応答関数の逆関数を含むことによって、ブレ除去された信号を更に生成している。
【００２５】
本発明の別の態様においては、フィルタは零の共分散行列を有する小さなカーネルであり、限られた数の画素上に拡張され、フーリエ及び逆フーリエ変換に頼ることなく、直和によって入力画像に適用される。
【００２６】
第１の実施例においては、フィルタは画像プロセッサも実行するコンピュータ内に保存されたソフトウェアを具えている。第２の実施例においては、画像プロセッサ及びフィルタは１又はそれ以上のプログラマブル理論ゲート配列又は特定用途向け集積回路を具え、リアルタイムにラスタ映像を処理している。
【図面の簡単な説明】
【００２７】
本発明は、同様の番号は同様の部分に対応する、添付図と併用された以下の本発明のいくつかの好ましい実施例の詳細な記載からより良く理解されるであろう。
【００２８】
【図１】図１は、本発明による画像再構成用の中央演算装置、マイクロプロセッサ又はディジタル信号プロセッサを用いて実装された、画像プロセッサの構成要素のブロック図である。
【図２】図２は、本発明による映像ストリームを処理するステップのブロック図である。
【図３】図３は、更なるプロセスが行われる実際の画像である。
【図４ａ】図４ａは図３の画像の変形であり、追加されたノイズを有する画像を示す。
【図４ｂ】図４ｂは図３の画像の変形であり、ＣＰＦでノイズ除去した後の画像を示す。
【図４ｃ】図４ｃは図３の画像の変形であり、従来技術のガウスフィルタでノイズ除去した後の画像を示す。
【図５ａ】図５ａは図３の画像の変形であり、追加されたノイズ及びブレを有する画像を示す。
【図５ｂ】図５ｂは図３の画像の変形であり、ＣＰＦでノイズ除去及びブレ除去した後の画像を示す。
【図５ｃ】図５ｃは図３の画像の変形であり、従来技術のガウスフィルタで処理した後の画像を示す。
【図６ａ】図６ａは図３の画像の変形であり、ブレがあり、追加されたノイズを有する画像を示す。
【図６ｂ】図６ｂは図３の画像の変形であり、ＣＰＦでノイズ除去及び部分ブレ除去した後の画像を示す。
【図６ｃ】図６ｃは図３の画像の変形であり、従来技術のガウスフィルタで処理した後の画像を示す。
【発明を実施するための形態】
【００２９】
図１に示したように、例えば医療画像、写真、映像フレームあるいは検出器アレイからといったディジタル画像２は、フーリエ変換アルゴリズム６を実行してフーリエ空間内で複雑な画像強度を具えるフーリエ変換された信号を生成する画像プロセッサ４に入力される。フィルタ８はフーリエ変換された信号に適用されて、ノイズ除去された信号を生成し、この場合フィルタは零の共分散行列を有している。ノイズ除去された信号は逆フーリエ変換１０によって変換されて、出力装置への出力用のノイズ除去された出力画像１２を生成し、出力装置は、ユーザインタフェースでのコンピュータモニタ、テレビ画面、あるいはプリンタのような、グラフィックディスプレイ１４及び／又は画像分析器１６にすることができる。可能な画像分析器は、画像認識又は計算機支援診断（ＣＡＤ）システムを含んでいる。代替的な実施例において、フィルタ８は点応答関数の逆関数を含むことによって、ブレ除去された信号を更に生成する。第１の実施例においては、図１に示したようにフィルタ８が、中央演算装置、マイクロプロセッサ又はディジタル信号プロセッサを用いて実行された画像プロセッサ内に保存されたソフトウェアを具えている。第２の実施例においては、画像プロセッサ及びフィルタは、１又はそれ以上のプログラマブル理論ゲート配列又は特定用途向け集積回路を具えている。リアルタイムでのラスタ映像処理が好ましい場合のように、フィルタが１又はそれ以上のＦＰＧＡ又はＡＳＩＣを有して実装する場合、フーリエ空間のフィルタのアプリケーションは、図１に示したステップ６及び１０が省略されて、プロセッサ４はフィルタ８を実装するＦＰＧＡ又はＡＳＩＣとなるようにすることを必要としない。
【００３０】
本発明によるとノイズ除去は、総ての上記基準を満たし、フーリエ表現：
2009538582.tif 000027
を有する単一フィルタの使用によって得ることができる。ここで、ａはスケール長であり、フィルタの幅を決定する。フィルタ８の主の利点は零の共分散行列であり、
2009538582.tif 000028
の２階微分は総て
2009538582.tif 000029
で消滅する。
2009538582.tif 000030
結果として、ノイズ除去バイアスの主要項は零である（式９）。従って、このフィルタでの平滑化は画像の曲率を保護している。
【００３１】
フィルタは単に波数ベクトルの大きさ：
2009538582.tif 000031
の関数であって向きはないため、総てのフィルタの奇数及び異方性モーメントもまた零である。従って、１次の非零モーメントは４次モーメントμ（４）の等方性部分であり、ノイズ除去バイアスに寄与するのが第１項である。
【００３２】
ＣＰＦは零の共分散行列の結果として画像空間で小さなギブス振動を有している（フィルタは正負の双方でなければならず、結果、２次モーメントは消滅するようにできる）。しかし、フィルタの負のディップは非常にわずかである。フィルタの（正の）最大値に対する（負の）最小値の比率は−０．０６である。
【００３３】
式１７のＣＰＦの更なる利点は、負の指数部を有する大きな
2009538582.tif 000032
での減衰は、
2009538582.tif 000033
に比例する。この強い減衰は、正の指数部が一般的に、
2009538582.tif 000034
にのみ比例する、一般的な逆点応答関数の指数関数的な増加に打ち勝つ。例えば、その逆関数が指数関数的に増加する（式１６）ガウスの点応答関数のために、結合したブレ除去及びノイズ除去フィルタが上手く振る舞う結果となる。
2009538582.tif 000035
従って、ブレ除去は問題なくＣＰＦに加えることができる。
【００３４】
ＣＰＦはソフトウェアあるいはハードウェアのいずれにも、又はそれらの組合せに用いて実装できる。ソフトウェア処理はフーリエの畳み込み定理の応用によって最も簡単に行われる。フーリエ変換された入力信号：
2009538582.tif 000036
は、高速フーリエ変換（ＦＦＴ）アルゴリズムを用いて最初に得られる。フーリエ変換された出力信号：
2009538582.tif 000037
は次いで、フーリエ変換された入力信号を式１０のフィルタで乗算することによって得られる。純粋なノイズ除去のために、用いるべきフィルタは
2009538582.tif 000038
（式１７）である。ノイズ除去とブレ除去の双方を行うために、式１９のフィルタ：
2009538582.tif 000039
が代わりに用いられる。最終的に、出力信号は
2009538582.tif 000040
の逆高速フーリエ変換によって得られる。
【００３５】
高速フーリエ変換は標準的なデスクトップコンピュータ、すなわち、ＰＣあるいはアップル（登録商標）社のマッキントッシュ（登録商標）のような１又はそれ以上のＣＰＵ、メモリ及びインタフェースで用いられる場合に、非常に効果的に畳み込みを行うが、しかしながら、計算が始まる前に、全データフレームが収集されることが要求される。全データフレームを収集する時間は大抵、計算時間を超えるため、入ってくる際にパイプライン形式のラスタ映像を処理する場合、このことはかなり不利である。ラスタデータストリームのパイプライン畳み込みは、カーネルがフレーム領域の数パーセント程度しかカバーしない場合でさえも、大規模並列処理の直和技術によってより効果的に行われる。ハードウェア端末においては、プログラマブル理論ゲート配列（ＦＰＧＡ）又は特定用途向け集積回路（ＡＳＩＣ）は、ディジタル信号プロセッサ（ＤＳＰ）あるいはマイクロプロセッサユニット（ＭＰＵ）よりも、後者のプロセッサは全データフレームが収集されることを要求するため、より更に効果的である。商業的に利用可能なＦＰＧＡあるいはＡＳＩＣを製作して、ラスタ映像が直接的に供給できる比率、例えば、現在の技術を用いて１秒につき〜１５０メガピクセル以上の比率よりも速く小さなカーネルの畳み込みを行うことができる。
【００３６】
曲率保護の小さなカーネルは、多様な方法で設計でき、唯一の要求は零の共分散行列を有することである。一方法は式１７あるいは１９でフィルタの逆フーリエ変換を得ることである。これらのカーネルはスケール長ａ（式１７に規定された）を有意に超えて拡がらない。従って、これらのカーネルは数スケール長で安全に端を切り捨てることができ、次いでハードウェアベースの小さなカーネルの畳み込みで用いることができる。
【００３７】
映像入力に対する本発明の例示的なアプリケーションは図２に示され、ここで標準的なＮＴＳＣ（全国テレビジョン方式委員会）映像ストリームが入力信号７２を提供する。画像処理システム中の総てのモジュールを制御する（破線によって示されたように）、マイクロプロセッサ８０の制御の下で、映像はデコード（７４）、デインタレース（７６）されて、１秒につき６０回ごとに高解像度画像を提供する。映像信号がカラーを含む場合、輝度（Ｙ）７８及びクロミナンス（ＵＶ）８２成分に分けられる。マイクロプロセッサ制御下で１又はそれ以上のプログラマブル理論ゲート配列（ＦＰＧＡ）を用いた場合、信号の輝度成分は上述の手順によって処理され、輝度データは小さなカーネルフィルタ９０によって畳み込まれて、ノイズ除去された（あるいはノイズ除去及びブレ除去された）変換された入力信号９２を生成する。
【００３８】
クロミナンス信号８２は、処理なくハードウェアを通じて前方に進むが、８４で適切に遅延されて、処理された輝度信号９２と同期された信号８２’を提供する。輝度９２とクロミナンス８２’信号は２つの別個の出力チャネルへの入力のために８６で合流及びスイッチされる。第１のチャネル８８においては、輝度及びクロミナンス信号はＲＧＢ信号に変換され、ＲＧＢ信号は三重のＤＡ変換器（ＤＡＣ）９４へ通されて、ＳＶＧＡモニタのような高解像度モニタ９６へ出力される。第２のチャネルはＮＴＳＣあるいはＰＡＬ標準出力チャネル９８である。後者のために、信号はＮＴＳＣあるいはＰＡＬ標準出力用にエンコード９５される前に再インタレース９３される。
【００３９】
代替的な実施例においては、デインタレース処理７６は省略され、インタレース信号は別個に処理される。この実施例においては、垂直解像度の損失は、入力デインタレーサによって導入された遅延の除去と交換に生ずる。この場合において、標準映像出力用の再インタレースステップ９２は除去することもできる。
【００４０】
更に代替的な実施例においては、入力映像信号は進行性であり、デインタレースステップ７６は適用できず、従って省略される。この場合においては、デインタレースの欠乏は、垂直解像度の損失を生じない。
【００４１】
以下の例はロンドンのピカデリーサーカスの写真画像についてのノイズ除去とブレ除去の双方を述べている。図３は「真の画像」を提供し、続くシミュレーション及び再構成用の基礎である。この画像は下はフルカラー（ＲＧＢ）画像であったが、本記述のためにグレイスケールに変換した。
【実施例１】
【００４２】
［ノイズ除去］
第１のシミュレーションにおいて、ノイズのみが真の画像に加えられ、ブレ除去はない。元の画像のＲＧＢ強度の範囲は、［０，２５５］であり、加えられるノイズレベルは２５５／２０＝１２．７５である。従って最大ＳＮ比は２０である。ノイズのあるデータ画像は図４ａに示され、再構成への入力となる。
【００４３】
スケール長ａ＝２ピクセルでＣＰＦを適用した結果は図４ｂに示され、図４ｃと比較でき、図４ｃは１．７７ピクセルの半波高全幅値を有するガウスフィルタで平滑化した結果を示している。このガウスフィルタは、ノイズ除去強度が全ピクセルの平滑化した重みづけの二乗の和によって測定される場合に、重みづけの合計が１になるように正規化されたＣＰＦと同一のノイズ除去強度を有する。
【００４４】
２つの再構成の質は、再構成と真の画像との間の異なる画像を検査することによって比較でき、この場合、残留信号は真の画像のどの程度が再構成間にバイアスするのを断念されたかを示している。２つの差異（真−ＣＰＦ）と（真−ガウスフィルタ）（図示せず）の比較においては、ＣＰＦ残留はガウスフィルタのそれよりも非常に小さく、ＣＰＦがガウスフィルタよりも小さなバイアスを有していることを示している。
【実施例２】
【００４５】
［ブレ除去及びノイズ除去］
第２のシミュレーションにおいて、図３の真の画像は、ノイズが第１のシミュレーションのように加えられる前に、σ＝２ピクセルでのガウスによって、まずぼかされる。従って、図５ａに示された未加工画像はブレとノイズの双方がある。ＣＰＦはフィルタ内にブレ除去の項、式１９を含むことによって、ブレを打ち消すようにする。一方では、ガウスフィルタは、破滅的なノイズ振幅なしに、ガウスのブレ除去を加えることは不可能であるため、第１の再構成にあるままに残される。ＣＰＦと異なり、ガウスフィルタは従って、ノイズ除去できるのみであり、ブレ除去できない。
【００４６】
再構成の結果は図５ｂ−５ｃに示され、図４ｂ−４ｃの類似形であり、図５ｂはＣＰＦの再構成を示し、図５はガウスの再構成を示している。ＣＰＦは更に、ガウスフィルタよりも良い再構成を提供する。ブレ除去の重要性は、例１（ブレなし）のそれに対し本例の結果を比較する場合に明らかになる。ガウスフィルタでは相対的な残留信号は、例１のものと比較した本例では有意に強く、ブレ除去の欠損は更なるバイアスを誘導することを示している。一方では、図１及び図２のＣＰＦ用の残留信号間の差異はとても小さい。従って、ブレ除去を提供するＣＰＦの能力はかなりのボーナスである。
【実施例３】
【００４７】
［部分的なブレ除去及びノイズ除去］
第３のシミュレーションにおいては、図３の真の画像はノイズが第１のシミュレーションのように加えられる前にσ＝４ピクセルでの広いガウスによってぼかされ、図６ａに示された未加工画像を与える。更に、ＣＰＦは式１９によるフィルタ内にブレ除去の項を含むことによって、ブレを打ち消すようにする一方、ガウスフィルタはノイズ除去のみでき、ブレ除去はできない。
【００４８】
再構成の結果は図６ａ−６ｃに示され、図４ｂ−ｃ及び５ｂ−５ｃの類似形である。ＣＰＦは更に、ガウスフィルタよりも良い再構成を提供する。しかし、この場合においては、ノイズ除去がとても強く、指数関数的に増加する
2009538582.tif 000041
因子（式１６）によって得られるノイズ振幅は、他の再構成で用いられた同一のスケール長ａ＝２ピクセルを用いる場合に、指数関数的に減少する
2009538582.tif 000042
因子によって同様には減衰されない。
【００４９】
フィルタ、つまり式１９中のσ及びａの値を変更することによって、ノイズに対する解像度を交換し、ユーザの好みに合わせることができる。減少したσあるいは増加したａは不完全なブレ除去の代償で、低いノイズ振幅を生じる。図６ｂに示した再構成で生成された選択は、σ＝４ピクセル及びａ＝２ピクセルである。
【００５０】
本発明のフィルタを汎用化して、式１７の指数関数以外に、
2009538582.tif 000043
の関数、あるいは、より高次の
2009538582.tif 000044
の偶数乗の関数を用いることによって特定のニーズに合わせることができる。しかしながら、より高次の
2009538582.tif 000045
の累乗はこのようなフィルタが低い
2009538582.tif 000046
から高い
2009538582.tif 000047
のレジームまでのより急な遷移を有するため、ギブズの現象の振幅を増加する傾向にある。
【００５１】
前述のＣＰＦは例として２Ｄ画像を用いてなされた。当該技術分野の当業者にとって、類似の議論がいかなる次元の画像に対してもなされうることは容易に明白となるであろう。３Ｄ画像、１Ｄ図、１Ｄスペクトルあるいは、更なる次元が時間、温度、波長、あるいは多数の変数である、３より高次元の「画像」にすることもできる。
【００５２】
本発明のＣＰＦは反復と非反復の再構成の双方によって用いることができる。非反復法の利点は、非反復技術によって共通に生成されるアーチファクトを限定できることである。しかし、使用中にフィルタの代わりに、反復法で使用できる。従ってＣＰＦは補完的な新しい技術を形成している。既存の技術は置き換えず、単に改良したフィルタを提供する。しかしながら、ＣＰＦはロバストにし、アーチファクトをなくすことによって、高速な非反復法のために画像の質と処理速度の間のトレードオフを与えることが期待される。
【００５３】
前述の詳細な記載においては、本発明はその特定の例示した実施例を引用して記載されている。しかしながら、様々な変更及び変化は、請求項及び等価物の全範囲に記載のような、本発明の広い精神及び範囲から分離することなくそこでなされ得ることは明らかであろう。
【図１】
2009538582.tif 000064
【図２】
2009538582.tif 000065
【図３】
2009538582.tif 000066
【図４ａ】
2009538582.tif 000067
【図４ｂ】
2009538582.tif 000068
【図４ｃ】
2009538582.tif 000069
【図５ａ】
2009538582.tif 000070
【図５ｂ】
2009538582.tif 000071
【図５ｃ】
2009538582.tif 000072
【図６ａ】
2009538582.tif 000073
【図６ｂ】
2009538582.tif 000074
【図６ｃ】
2009538582.tif 000075
【国際調査報告】
2009538582.tif 000076
2009538582.tif 000077