(57)【特許請求の範囲】
【請求項１】
画像のノイズを除去するための方法であって、
前記画像についてのエッジ方向を選択するステップと、
前記選択されたエッジ方向に沿った異方性勾配のノルムから前記画像についての異方性勾配のノルムを規定するステップと、
画像の画素を調整して前記画像についての異方性勾配のノルムを最小化することによって、画像のノイズを除去するステップと
を含む、前記方法。
【請求項２】
前記エッジ方向を選択するステップが、
前記画像を領域に分割するステップと、
各画像領域についての複数の最初の方向のそれぞれに沿って異方性勾配のノルムを規定するステップと、
前記異方性勾配のノルムに従い、画像エッジに沿って存在する可能性が最も高いエッジ方向を選択するステップと
を含む、請求項１に記載の方法。
【請求項３】
前記異方性勾配のノルムを規定するステップが、
前記選択されたエッジ方向に沿って各画像領域についての異方性勾配のノルムを規定するステップと、
前記画像領域についての前記異方性勾配のノルムを合計して、前記画像について前記異方性勾配のノルムを算出するステップと
を含む、請求項２に記載の方法。
【請求項４】
前記各画像領域について前記異方性勾配のノルムを規定するステップが、前記各画像領域を、より小さい勾配のノルムおよび高い強度を有する方向に沿って平滑化するステップをさらに含む、請求項３に記載の方法。
【請求項５】
前記画像の画素は、調整されて、
【数１】
0005824155.tif 000027
の関係に従って前記異方性勾配のノルムを最小化し、ここで、
【数２】
0005824155.tif 000028
を表し、ｐ、ｑおよびｒは、検出されたエッジ方向であり、α、βおよびγは、勾配に対する重み付けであり、ｆは画像領域を表し、ｎは画像のノイズを表し、λは、所与の画像領域の平滑度に応じて反復的に更新される画像の強度パラメータである、請求項１に記載の方法。
【請求項６】
前記画像の画素が調整されて、
【数３】
0005824155.tif 000029
の関係に従って前記異方性勾配のノルムを最小化し、ここで、
【数４】
0005824155.tif 000030
または、
【数５】
0005824155.tif 000031
であり、ｚは低解像度画像であり、λは、所与の画像領域の平滑度に応じて反復的に更新される画像の強度パラメータであり、ｆは前記画像のアップサンプリングされる行列であり、Φは前記画像のダウンサンプリングされる行列である、請求項１に記載の方法。
【請求項７】
画像のノイズを除去するための装置であって、
前記画像についてのエッジ方向を選択する手段と、
前記選択されたエッジ方向に沿った異方性勾配のノルムから前記画像についての異方性勾配のノルムを規定する手段と、
画像の画素を調整して前記画像についての前記異方性勾配のノルムを最小化することによって、画像のノイズを除去する手段と
を含む、前記装置。
【請求項８】
前記エッジ方向を選択する手段が、
前記画像を領域に分割する手段と、
各画像領域についての複数の最初の方向のそれぞれに沿って異方性勾配のノルムを規定する手段と、
前記異方性勾配のノルムに従い、画像エッジに沿って存在する可能性が最も高いエッジ方向を選択する手段と
を含む、請求項７に記載の装置。
【請求項９】
前記異方性勾配のノルムを規定する手段が、
前記選択されたエッジ方向に沿った各画像領域についての異方性勾配のノルムを規定する手段と、
前記画像領域について前記異方性勾配のノルムを合計して、前記画像についての前記異方性勾配のノルムを算出する手段と
を含む、請求項８に記載の装置。
【請求項１０】
前記各画像領域についての前記異方性勾配のノルムを規定する手段が、前記各画像領域を、より小さい勾配ノルムおよび高い強度を有する方向に沿って平滑化する手段をさらに含む、請求項９に記載の装置。
【請求項１１】
前記画像の画素を調整する手段が、
【数６】
0005824155.tif 000032
の関係に従って前記異方性勾配のノルムを最小化し、ここで、
【数７】
0005824155.tif 000033
を表し、ｐ、ｑおよびｒは、検出されたエッジ方向であり、α、βおよびγは、勾配に対する重み付けであり、ｆは画像領域を表し、ｎは画像のノイズを表し、λは、所与の画像領域の平滑度に応じて反復的に更新される画像の強度パラメータである、請求項７に記載の装置。
【請求項１２】
前記画像の画素を調整する手段が、
【数８】
0005824155.tif 000034
の関係に従って前記異方性勾配のノルムを最小化し、ここで、
【数９】
0005824155.tif 000035
または、
【数１０】
0005824155.tif 000036
であり、ｚは低解像度画像であり、λは、所与の画像領域の平滑度に応じて反復的に更新される画像の強度パラメータであり、ｆは前記画像のアップサンプリングされる行列であり、Φは前記画像のダウンサンプリングされる行列である、請求項７に記載の装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ビデオ画像を復元するための技術に関し、より詳細には、画像のノイズを除去するための技術に関する。
【背景技術】
【０００２】
画像の復元は概して、ノイズのあるまたは他の欠陥のある画像から（未知の）原画像を推定する処理を構成する。理想的には、推定される画像には実質的にノイズが含まれないはずであるため、画像の復元により、ノイズ除去された形式が構成される。画像の復元中、勾配画像解析等の種々のツールが有用であることが分かる。自然画像中の隣接画素間の違いは小さく現れることが多いが、自然画像が歪曲すると通常画像勾配における明度値のｌ１およびｌ２ノルムは増加するため、勾配画像解析は画像歪曲の尺度を提供することができる。
【０００３】
画像勾配はまた、画像の復元、特に画像のノイズ除去、においてある役割を担う。全変動（ＴＶ）は、画像勾配を利用するものであり、画像エッジを保存しながらノイズ除去を実行する能力があるため、画像のノイズ除去のための一般的なツールとして機能する。加えて、ＴＶノイズ除去は、低解像度のバージョンから非常に良好に高解像度画像を生成し、完成どの低い情報を伴う画像を回復させるのに役立つ。
【０００４】
典型的には、全変動の計算は、水平勾配画像および垂直勾配画像によって決まる。画像を、その水平勾配画像
【０００５】
【数１】
0005824155.tif 000002
【０００６】
および垂直勾配画像
【０００７】
【数２】
0005824155.tif 000003
【０００８】
より、以下のように定義することができる。
【０００９】
【数３】
0005824155.tif 000004
【００１０】
そして、全変動（ＴＶ）は以下により計算される。
【００１１】
【数４】
0005824155.tif 000005
【００１２】
又は、
【００１３】
【数５】
0005824155.tif 000006
【００１４】
古典的ＴＶノイズ除去では、Ｒｕｄｉｎ−Ｏｓｈｅｒ−Ｆａｔｅｍｉ（ＲＯＦ）のノイズ除去モデル
【００１５】
【数６】
0005824155.tif 000007
【００１６】
を最少化しようとする。ここで、ｎはノイズのある画像であり、ＴＶ（ｆ）はｆの全変動を表し、λはノイズ除去強度を制御するパラメータである。
【００１７】
従来のＴＶ正則化では、方程式（２）で提供されるように、画像の内容を考慮しない。むしろ、従来のＴＶノイズ除去は、水平方向および垂直方向の両方向から等しい強度で画像を平滑化する働きをする。従って、エッジは、特に斜めのエッジが、ＴＶノイズ除去の後、多かれ少なかれ平滑化される。
【００１８】
改良版のＴＶは、方向性全変動と称され、エッジ方向とそれに直交する方向に沿った一対の勾配画像のｌ２ノルムを利用する。方向性ＴＶ正則化は、従来のＴＶ正則化よりも主観的品質および客観的品質の両方において性能が優れ、かつ、斜めのテクスチャおよびエッジの保存において特に良好である。対照的に、既存のＴＶ正則化技術では、実際に全方向に沿った平滑性を推測する。換言すると、既存のＴＶ正則化技術では、２つの直交する方向に沿った勾配のノルムを最小化することにより、全方向に沿って画像を平滑化しようとする。その結果、既存のＴＶ正則化技術では、必然的にエッジおよびテクスチャがぼやけ、取り去られさえする。異なったより大きな重みを課すことによりエッジに沿った平滑化に重点を置く提案が存在するが、他の方向に沿った勾配のノルムを最小化することには困難を伴う。
【００１９】
従って、上記の不都合を克服するノイズ除去の技術の必要性がある。
【発明の概要】
【課題を解決するための手段】
【００２０】
簡潔には、本原理の好ましい実施形態によると、異方性勾配の正則化を使用して画像のノイズを除去する方法が、最初に、画像のエッジ方向を選択することにより開始される。その後、異方性勾配のノルムが、選択されたエッジ方向に沿った異方性勾配のノルムから画像について規定される。画像の画素が調整されて画像についての異方性勾配のノルムが最小化され、それにより画像のノイズが除去される。
【図面の簡単な説明】
【００２１】
【図１】異方性勾配の正則化を使用して画像のノイズ除去を達成するための本原理によるシステムのブロック概略図である。
【図２】異方性画像勾配の候補方向を示すベクトル図である。
【発明を実施するための形態】
【００２２】
図１は、以下でさらに詳細に検討する方法で異方性勾配の正則化を使用して画像のノイズ除去を達成するための本原理による、システム１０を示す。システム１０には、画像のノイズ除去異方性勾配の正則化を行うソフトウェアを実行するコンピュータの形式の、プロセッサ１２が含まれる。プロセッサ１２は、操作者の入力を受け取るための１つまたは複数の従来型のデータ入力装置への接続を享受する。実際には、そのようなデータ入力装置には、キーボード１４およびコンピュータマウス１６が含まれる。プロセッサが生成する出力情報は、モニタ１８上に表示される。加えて、そのような出力情報はまた、ネットワークリンク２０を介して１つまたは複数の送信先に送信可能である。
【００２３】
プロセッサ１２は、プロセッサの内部のまたはプロセッサから分離したハードドライブまたは他の不揮発性記憶装置上に常駐可能なデータベース２２その接続を享受する。データベース２２は、未加工画像情報に加えて処理された画像情報を格納するほか、ソフトウェアおよび／またはプロセッサで使用するためのデータを格納することができる。
【００２４】
システム１０には、プロセッサ１２に１つまたは複数の入来画像に関連するデータを供給するための画像取得装置２４がさらに含まれる。画像取得装置２４は、入来画像に応じて、多くの異なる形態をとることができる。例えば、入来画像が「ライブ」である場合、画像取得装置２４はテレビカメラから成ってよい。画像が前もって記録されている場合は、画像取得装置２４は、そのような画像を格納するための記憶装置から成ってよい。画像が別の場所から生じるものであるような状況では、画像取得装置２４は、プロセッサ１２を、そのような画像を受信するためのネットワーク（図示せず）に連結させるためのネットワークアダプタから成ってよい。図２では、画像取得装置２４がプロセッサから分離して示されるが、画像がどのように生じるかに応じて、画像取得装置２４の機能性をプロセッサ１２内に与えても良い。
【００２５】
本原理の異方性勾配の正則化のノイズ除去技術の実行は、まず、画像勾配を生成させるための候補方向を定義することにより開始される。図２に示すように、８個の候補方向（ａからｈ）が最初に選択されて、画像勾配が生成される。方向性勾配が以下のように定義される。
【００２６】
【数７】
0005824155.tif 000008
【００２７】
次に、各方向に沿った勾配のｌ２ノルムの計算が、関係
【００２８】
【数８】
0005824155.tif 000009
【００２９】
に従って行われ、ここで、
【００３０】
【数９】
0005824155.tif 000010
【００３１】
である。Ｅｋは、方向決定のための機構として機能することができる。
【００３２】
選択されたエッジ方向は、
【００３３】
【数１０】
0005824155.tif 000011
【００３４】
であり、ここでｔｈは予め定義された閾値である。
【００３５】
方向決定は、以下のステップに従って行われる。
【００３６】
ａ）画像をｎ×ｎ個のブロックの単位で事前処理し、全ての候補方向性勾配を得る。ここでｎはブロックのサイズである。
【００３７】
ｂ）各方向性勾配についてＥｋを計算し、
【００３８】
【数１１】
0005824155.tif 000012
【００３９】
に従い画像エッジに沿って存在する可能性が最も高い方向を選択する。
ｃ）ステップｂ）で選択された方向がｔｈ２個より多い場合、ｔｈ２個の方向を最大のＥｋと共に保持し、残りを破棄する。典型的にはｔｈ２＝３である。
【００４０】
次に、各画像領域についての検出された方向に沿って、勾配のｌ２ノルムの計算が行われる。画像領域ｆｌの異方性勾配のノルム（ＡＧＮ）が以下のように定義される。
【００４１】
【数１２】
0005824155.tif 000013
【００４２】
ここで、ｐ、ｑおよびｒは、検出されたエッジ方向であり、α、β、およびγは、勾配に対する重み付けである。一般に、より高い強度を用いたより小さいノルムの方向に沿った画像領域の平滑化（例えば、画像領域内の画素の調整）は、依然として好ましい。
【００４３】
【数１３】
0005824155.tif 000014
【００４４】
しかし、全ての画像領域について３方向を使用する必要はない。画像領域において検出されたエッジ方向が２個のみの場合、他の重みを０に設定することができる。
【００４５】
画像全体に対して、以下のように、全ての画像領域のＡＧＮの合計から異方性勾配のノルムが計算される。
【００４６】
【数１４】
0005824155.tif 000015
【００４７】
なお、画像領域の境界画素の勾配には他の画像領域内の画素を必要とするものがあるため、画像のＡＧＮの計算が画像領域を超えて行われることがある。
【００４８】
上記で検討した異方性勾配の正則化技術は、エッジおよびテクスチャを向上させる傾向がある。本技術は、実際のエッジをよりシャープにするが、偽のエッジを生成することも可能である。この問題には、正則化ループにおいて強度適応を利用することにより対処することができる。画像のノイズ除去のための異方性勾配の正則化は、以下のように公式化することができる。
【００４９】
【数１５】
0005824155.tif 000016
【００５０】
ここで、λは強度パラメータである。
基本的に、画像の平滑な領域に対しては、より小さいλを使用することが可能であり、その逆の場合も同様である。文献においては、λは常に、定数として選択されるか、または、ノイズのある画像ｎとその反復画像ｆｎとの間の差異から反復して推定される。例えば、ｎ番目の反復において、適切なλを以下のように選択することができる。
【００５１】
【数１６】
0005824155.tif 000017
【００５２】
他の方法では、一定の乗数を使用してλを更新する。例えば、以下の関係を考える。
【００５３】
【数１７】
0005824155.tif 000018
【００５４】
ここで、λは、ノイズが小さくなるので各反復後に小さくなる。
しかし、λを画像の各領域の内容に従って計算することにより、より良好な結果が得られる。
【００５５】
正則化強度適応の実装は、以下のようにして行われる。λ０を初期値とすると、λｎが各反復後に更新される。ｎ番目の反復において、勾配の最大ノルムの最小値に対する割合が計算される。
【００５６】
【数１８】
0005824155.tif 000019
【００５７】
閾値をｔｈとすると、ρは、領域が平滑であるか複雑であるかを概算で示すことができる。
ρ＞ｔｈの場合、領域は比較的平滑である。その時、λｎ＝η１λｎ−１である。
ρ≦ｔｈの場合、領域は比較的複雑である。その時、λｎ＝η２λｎ−１である。
ここで、１＞η２＞η１＞０である。実際には、η１＝０．８５、η２＝０．９５と設定する。
有利には、適応強度を用いた異方性勾配の正則化により、明らかな偽のテクスチャは生成されない。
【００５８】
ノイズのある画像内の画像領域のテクスチャ／エッジの方向について、以下のように画像の異方性勾配のノルム（ＡＧＮ）を最小化することにより異方性勾配の正則化ノイズ除去が行われる。
【００５９】
【数１９】
0005824155.tif 000020
【００６０】
ここで、ｎは入力されたノイズのある画像である。エッジ方向は上記で検討したように決定される。異方性勾配の正則化ノイズ除去は、従来のＴＶノイズ除去より著しく性能が優れる。
【００６１】
画像エッジを高解像度でシャープに保持することは、補間／超解像においては依然として重大な問題である。直感的なバイリニア／バイキュービック補間では、通常、補間中にぼけが取り込まれる。全変動（ＴＶ）正則化に基づく補間では、より良好な解決方法が提供されるが、これはＴＶ正則化において、以下の関係を使用して、アップサンプリング処理中に以前の情報として自然画像の強度持続性を利用するためである。
【００６２】
【数２０】
0005824155.tif 000021
【００６３】
ここで、Φはダウンサンプリング行列であり、ｙは低解像度画像であり、ｆはアップサンプリングされたバージョンである。
【００６４】
全変動（ＴＶ）正則化では、画像内のテクスチャおよびエッジを検出および保護しないため、ＴＶ正則化では、シャープな（斜めの）エッジを持つ高解像度画像を生成することができない。しかし、上記で検討したように、本原理のノイズ除去技術は、以下の関係に従ってＡＧＮの最小化に依存する。
【００６５】
【数２１】
0005824155.tif 000022
【００６６】
本原理の復元技術では、全ての可能性のあるエッジを検出し、かつ、異方性勾配を生成する。そして、異方性勾配のノルムおよびダウンサンプリングされたバージョンと入力画像との間の差を最小化することにより、補間が発生する。このように、アップサンプリングされた画像では、よりエッジがシャープであり、よりぼけが少ない。
【００６７】
上記では画像のノイズを除去するための技術について記述した。
本発明の好ましい実施形態を以下に示す。
付記１．画像のノイズを除去するための方法であって、
画像についてのエッジ方向を選択するステップと、
前記選択されたエッジ方向に沿った異方性勾配のノルムから前記画像についての異方性勾配のノルムを規定するステップと、
画像の画素を調整して前記画像についての異方性勾配のノルムを最小化することによって、画像のノイズを除去するステップと
を含む、前記方法。
付記２．前記エッジ方向を選択するステップが、
前記画像を領域に分割するステップと、
各画像領域についての複数の最初の方向のそれぞれに沿って勾配ノルムを規定するステップと、
前記勾配ノルムに従い画像エッジに沿って存在する可能性が最も高いエッジ方向を選択するステップと
を含む、付記１に記載の方法。
付記３．前記異方性勾配のノルムを規定するステップが、
前記選択された方向に沿って各画像領域についての異方性勾配のノルムを規定するステップと、
前記画像領域についての前記異方性勾配のノルムを合計して、前記画像について前記異方性勾配のノルムを算出するステップと
を含む、付記２に記載の方法。
付記４．前記各画像領域について前記異方性勾配のノルムを規定するステップが、前記各領域を、より小さい勾配ノルムおよび高い強度を有する方向に沿って平滑化するステップをさらに含む、付記３に記載の方法。
付記５．前記画像の画素は、調整されて、
【数２２】
0005824155.tif 000023
の関係に従って前記異方性勾配のノルムを最小化し、ここで、ｆは画像領域を表し、ｎは画像のノイズを表し、λは、所与の画像領域の平滑度に応じて反復的に更新される画像の強度パラメータである、付記１に記載の方法。
付記６．前記画像の画素が調整されて、
【数２３】
0005824155.tif 000024
の関係に従って前記異方性勾配のノルムを最小化し、ここで、ｆは前記画像のアップサンプリングされる行列であり、Φは前記画像のダウンサンプリングされる行列である、付記１に記載の方法。
付記７．画像のノイズを除去するための装置であって、
前記画像についてのエッジ方向を選択する手段と、
前記選択されたエッジ方向に沿った異方性勾配のノルムから前記画像についての異方性勾配のノルムを規定する手段と、
画像の画素を調整して前記画像についての前記異方性勾配のノルムを最小化することによって、画像のノイズを除去する手段と
を含む、前記装置。
付記８．前記エッジ方向を選択する手段が、
前記画像を領域に分割する手段と、
各画像領域についての複数の最初の方向のそれぞれに沿って勾配ノルムを規定する手段と、
前記勾配ノルムに従って画像エッジに沿って存在する可能性が最も高いエッジ方向を選択する手段と
を含む、付記７に記載の装置。
付記９．前記異方性勾配のノルムを規定する手段が、
前記選択された方向に沿った各画像領域についての異方性勾配のノルムを規定する手段と、
前記画像領域について前記異方性勾配のノルムを合計して、前記画像についての前記異方性勾配のノルムを算出する手段と
を含む、付記８に記載の装置。
付記１０．前記各画像領域についての前記異方性勾配のノルムを規定する手段が、前記各領域を、より小さい勾配ノルムおよび高い強度を有する方向に沿って平滑化する手段をさらに含む、付記９に記載の装置。
付記１１．前記画像の画素を調整する手段が、
【数２４】
0005824155.tif 000025
の関係に従って前記異方性勾配のノルムを最小化し、ここで、ｆは画像領域を表し、ｎは画像のノイズを表し、λは、所与の画像領域の平滑度に応じて反復的に更新される画像の強度パラメータである、付記７に記載の装置。
付記１２．前記画像の画素を調整する手段が、
【数２５】
0005824155.tif 000026
の関係に従って前記異方性勾配のノルムを最小化し、ここで、ｆは前記画像のアップサンプリングされる行列であり、Φは前記画像のダウンサンプリングされる行列である、付記７に記載の装置。
【図１】
0005824155.tif 000037
【図２】
0005824155.tif 000038