(57)【要約】  シーンの画像を表す画像データを処理して画像データにあるノイズの推定値を生成する方法を提供する。本方法は、異なる推定値の関数を評価するステップであって、関数がノイズの推定値を入力として取得する、ステップと、最適値を有する関数のノイズの推定値を決定するステップとを含む。
2008536365.tif 000002
【特許請求の範囲】
【請求項１】
シーンの画像を表す画像データを処理して画像データ中にあるノイズの推定値を生成する方法であって、
異なる前記推定値の関数を評価するステップであって、前記関数が前記ノイズの推定値を入力として取得する、ステップと、
最適値を有する前記関数の前記ノイズの推定値を決定するステップと
を含む、方法。
【請求項２】
前記画像データが、前記画像の複数の画素の各々について画素値を含み、前記関数が前記画素値の少なくとも部分集合を入力として取得する、請求項１に記載の方法。
【請求項３】
フィルタされた画素値を含むフィルタされた画像データを生成するため、前記画像データをフィルタするステップを含み、前記関数が、前記フィルタされた画素値の少なくとも部分集合を入力として取得する、請求項１又は２に記載の方法。
【請求項４】
前記関数の前記最適値が前記関数の停留点である請求項１から３のいずれかに記載の方法。
【請求項５】
前記停留点が最小点である請求項４に記載の方法。
【請求項６】
前記関数が次の形式であり、
【数１】
2008536365.tif 000064
Ｋは処理されるべき画素の数であり、ｐkは画素ｋの値であり、
【数２】
2008536365.tif 000065
は、上記の低域フィルタを適用した後の画素ｋの値であり、λは、推定値の値であり、Ｓ（λ）は、最適化されるべき関数である、請求項１から５のいずれかに記載の方法。
【請求項７】
前記最適値が数値解析手法を使用して決定される請求項１から６のいずれかに記載の方法。
【請求項８】
前記推定値が最初は０である請求項６に記載の方法。
【請求項９】
複数の推定値を生成するステップを含み、各々の推定値が、前記画像の画素のそれぞれの部分集合におけるノイズの推定値である、請求項１から８のいずれかに記載の方法。
【請求項１０】
複数の推定値が、画像が取られる視点と、画素によって表されたシーン内の点との間の距離に基づいて生成される請求項９に記載の方法。
【請求項１１】
請求項１から１０のいずれかに記載の方法を使用してノイズを推定するステップと、
前記ノイズの推定値を除去して出力画素値を生成するため、画像の各々の画素を処理するステップと
を含む、画像からノイズを除去する方法。
【請求項１２】
前記出力画素値に所定の係数を掛けるステップを更に含む請求項１１に記載の方法。
【請求項１３】
前記ノイズが大気後方散乱光に少なくとも部分的に帰因する請求項１から１２のいずれかに記載の方法。
【請求項１４】
前記ノイズがカメラの暗電流効果に少なくとも部分的に帰因する請求項１から１３のいずれかに記載の方法。
【請求項１５】
前記ノイズがカメラレンズ上のごみに対して少なくとも部分的に帰因する請求項１から１４のいずれか一項に記載の方法。
【請求項１６】
前記ノイズが前記画像の画素の少なくとも部分集合へ適用されたオフセットを含み、前記オフセットが前記画像の画素の前記部分集合の全ての画素について実質的に等しい、請求項１から１５のいずれかに記載の方法。
【請求項１７】
前記オフセットが前記画像の全ての画素に適用される請求項１６に記載の方法。
【請求項１８】
前記ノイズが前記画像の少なくとも幾つかの画素へ適用されたオフセットを含み、前記オフセットが、前記画像を生成するために使用されたカメラ位置と、その画素によって表された点との間の距離から特別に独立して決定される、請求項１から１５のいずれかに記載の方法。
【請求項１９】
請求項１から１８のいずれかに記載の方法をコンピュータに実行させるように構成されたコンピュータ読み取り可能命令を搬送する搬送メディア。
【請求項２０】
画像を表す画像データ中にあるノイズの推定値を生成するコンピュータ装置であって、
プロセッサ読み取り可能命令を含むプログラム・メモリと、
該プログラム・メモリの中に記録された命令を読み取って実行するように構成されたプロセッサと
を備え、前記プロセッサ読み取り可能命令が、請求項１から１８のいずれかに記載の方法をコンピュータに実行させるように構成された命令を含む、コンピュータ装置。
【請求項２１】
ビデオ・データの複数のフレームを処理して、向上したビデオ・データを生成する方法であって、
ビデオ・データの第１のフレームを処理して、ビデオ・データの前記フレームの中に含まれたノイズの推定値を生成ステップと、
ノイズの前記推定値を示すデータを記憶するステップと、
ビデオ・データの少なくとも１つの更なるフレームを処理して、ビデオ・データの前記第１のフレームの中に含まれたノイズの前記記憶された推定値を減じることによって、ビデオ・データの前記更なるフレームからノイズを除去するステップと、
ビデオ・データの前記更なるフレームを使用して生成されたビデオ・データの向上したフレームを出力するステップと
を含む、方法。
【請求項２２】
前記減じることが前記画像の画素の値から前記推定値を減じることを含む請求項２１に記載の方法。
【請求項２３】
前記画素の値から前記推定値を減じた後、前記画素の値を再尺度化するステップを更に含む請求項２２に記載の方法。
【請求項２４】
ビデオ・データの少なくとも１つの更なるフレームを処理するステップが、ノイズの前記記憶された推定値を使用してビデオ・データの複数の更なるフレームを処理するステップを含み、ビデオ・データの複数の向上したフレームを出力するステップを含む、請求項２１から２３のいずれかに記載の方法。
【請求項２５】
前記推定値を生成するため、ビデオ・データの前記第１のフレームを処理するステップが、請求項１から１８のいずれかに記載の方法に従って処理するステップを含む、請求項２１から２４のいずれかに記載の方法。
【請求項２６】
ビデオ・データの前記第１のフレームを処理するステップが更に、コントラスト向上パラメータを生成する請求項２１から２５のいずれかに記載の方法。
【請求項２７】
請求項２１から２６のいずれかに記載の方法をコンピュータに実行させるように構成されたコンピュータ読み取り可能命令を搬送する搬送メディア。
【請求項２８】
ビデオ・データの複数のフレームを処理するコンピュータ装置であって、
プロセッサ読み取り可能命令を含むプログラム・メモリと、
該プログラム・メモリの中に記憶された命令を読み取って実行するように構成されたプロセッサとを
備え、前記プロセッサ読み取り可能命令が、請求項２１から２７のいずれかに記載の方法をコンピュータに実行させるように構成された命令を含む、コンピュータ装置。
【請求項２９】
ビデオ・データの複数のフレームを処理し、向上したビデオ・データを生成する方法であって、
ビデオ・データの第１のフレームを処理し、ビデオ・データの前記フレームの中の画像照明の推定値を生成するステップと、
画像照明の前記推定値を示すデータを記憶するステップと、
ビデオ・データの少なくとも１つの更なるフレームを処理して、ビデオ・データの前記第１のフレームの中の画像照明の前記記憶された推定値を使用して照明補償を実行するステップと、
ビデオ・データの前記更なるフレームを使用して生成されたビデオ・データの向上したフレームを出力するステップと
を含む、方法。
【請求項３０】
ビデオ・データの少なくとも１つの更なるフレームを処理するステップが、ビデオ・データの前記更なるフレームの中の画素の値を再尺度化するステップを含む請求項２９に記載の方法。
【請求項３１】
請求項２９又は３０に記載の方法をコンピュータに実行させるように構成されたコンピュータ読み取り可能命令を搬送する搬送メディア。
【請求項３２】
ビデオ・データの複数のフレームを処理するコンピュータ装置であって、
プロセッサ読み取り可能命令を含むプログラム・メモリと、
該プログラム・メモリの中に記憶された命令を読み取って実行するように構成されたプロセッサと
を備え、前記プロセッサ読み取り可能命令が、請求項２９又は３０に記載の方法をコンピュータに実行させるように構成された命令を含む、コンピュータ装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理方法に関する。特に、これに限定されないが、ノイズの効果によって少なくとも部分的に影響を受ける画像を処理する方法に関する。
【背景技術】
【０００２】
シーンの画像を劣化させる多くのノイズ源が存在する。例えば、シーンの画像は、霧又はかすみ等による光の光学的散乱によってたびたび劣化する。この光学的散乱は、画像の幾つかの部分において付加的な明るさを生じ、文献では「エアライト」と呼ばれている。エアライトによる画素値の成分を除去するため、画像を処理することが望ましい。
【０００３】
カメラで生成された画像によって表されるシーンの全ての点と、カメラ位置との間の距離が、ほぼ一定であれば、エアライトは推定可能であり、画像の各々の画素へ式（１）を適用することによってエアライトを除去することができる。
ｙ＝ｍ（ｘ−ｃ）                          （１）
ｘは、元の画素値であり、
ｃは、「エアライト」を表すように選択された補正値であり、
ｍは、尺度化パラメータであり、
ｙは、修正された画素値である。
【０００４】
パラメータｃが正しく選択されると仮定すると、式（１）に従って単色画像の各々の画素を処理するステップは、エアライトを除去することによって画像を向上させる。しかし、パラメータｃの適切な値を決定することは、多くの場合、問題を含む。
【０００５】
コントラスト測定値、例えば、画素値の平均に対する画素値の標準偏差の比を使用することによって、パラメータｃを推定する様々な公知の方法がある。しかし、そのようなコントラスト測定値は、エアライトによって誘導されたコントラスト損失と、本来的に低いコントラストのシーンとを区別しない。例えば、砂丘の画像は、多くの場合、エアライトが存在しないときでも、シーンの明るい部分と暗い部分との間に、コントラストをほとんど提供しない。したがって、パラメータｃを決定する場当たり的なスキームは、往々にして深刻な画像歪曲を生じる。
【０００６】
式（１）を参照して説明した上記の方法は、単色画像に適用することができる。カラー画像を処理する場合、更なる問題が生じる。典型的には、画素値へのエアライトの寄与、したがってパラメータｃの値は、光の波長（カラー）に依存する。したがって、式（１）をカラー画像へ適用するのであれば、画像の赤、緑、及び青チャネルについて、パラメータｃの異なる値が必要となる。
【０００７】
上記で説明した方法は、画像によって表されたシーンの中の全ての点からカメラ位置が等距離であるとする。公開された欧州特許ＥＰ０８３９３６１は、本発明者の一人によって開発された方法を説明する。この特許において、式（１）で異なる画素のためにパラメータｃの異なる値が使用され、その使用は、前記画素によって表されたシーン内の位置とカメラ位置との間の距離に依存して行われる。本発明は、後方散乱される光が、カメラ位置とシーン内の位置との間の距離に依存して変動するという認識から生じた。
【発明の開示】
【発明が解決しようとする課題】
【０００８】
本発明の実施形態の目的は、上記で概説した問題の少なくとも幾つかを回避又は緩和することである。
【課題を解決するための手段】
【０００９】
本発明によれば、シーンの画像を表す画像データを処理し、画像データ中のノイズの推定値を生成する方法が提供される。本方法は、ノイズの推定値を入力として取る関数を含む。この関数は、複数の異なる推定値について評価され、関数が最適値を有する推定値が決定される。最適値は、関数の停留点、例えば、最小点であってもよい。
【００１０】
このようにして、本発明は、関数を単純に評価し、関数が最適値を有するノイズ推定値を決定することによって、画像の中に存在するノイズを決定するロバストな方法を提供する。
【００１１】
この文書の中で使用されるノイズの用語は、画像へ遅い変動オフセットを与える画像の任意のアーチファクトを意味するように使用される。ノイズの例は、これから更に詳細に説明するが、そのようなノイズの例はエアライトを含むことが理解される。
【００１２】
画像データは、画像の複数の画素の各々について画素値を含んでもよく、関数は画素値の少なくとも部分集合を入力として取ってもよい。
【００１３】
本方法は、更に、画像データをフィルタし、フィルタされた画像データを生成することを含んでもよい。フィルタされた画像データは、画像の画素の各々について、フィルタされた画素値を含む。関数は前記フィルタされた画素値の少なくとも部分集合を入力として取ってもよい。部分集合は、好ましくは、関数が画素値を入力として取る画素の同じ部分集合であるように選択される。
【００１４】
上記で説明された関数は、次の形式であってもよい。
【数１】
2008536365.tif 000003
Ｋは、処理されるべき画素の数であり、
ｐkは、画素ｋの値であり、
【数２】
2008536365.tif 000004
は、上記で説明した低域フィルタを適用した後の画素ｋの値であり、
λは、パラメータの値であり、
Ｓ（λ）は、最適化されるべき関数である。
【００１５】
最適値は、当分野で周知の多数の任意の数値解析手法を使用して決定されてもよい。そのような数値解析手法は、好ましくは、画像の中に含まれるノイズについてゼロの初期推定値から始まる。
【００１６】
画像の中に存在するある種のノイズは、カメラ位置とシーン中の位置との間の距離に依存して変動することが知られている。そのような変動は、複数の異なる推定値を生成することによって、上記で記述された方法を使用して考慮されてもよい。
【００１７】
本発明は、更に、画像からノイズを除去する方法を提供する。本方法は、上記で記述された方法を使用して画像の中に含まれるノイズを推定し、次いで画像の各々の画素を処理して前記ノイズの推定値を除去し、前記出力画素値を生成することを含む。
【００１８】
ノイズを除去する方法は、更に、出力画素値に所定の係数を掛けることを含んでもよい。出力画素値に所定の係数を掛けることは、多数の周知の照明補償手法の１つを使用した照明補償を提供することができる。
【００１９】
画像の中に含まれるノイズは、少なくとも部分的には、大気の後方散乱光、カメラの暗電流効果、又はカメラレンズ上のごみの１つ又は複数に帰因する。
【００２０】
本発明の更なる態様によれば、前記請求項のいずれかに記載の方法をコンピュータに実行させるように構成されたコンピュータ読み取り可能命令を搬送する搬送メディアが提供される。
【００２１】
本発明は、更に、画像を表す画像データ中にあるノイズの推定値を生成するコンピュータ装置を提供する。この装置は、プロセッサ読み取り可能命令を含むプログラム・メモリ、及び該プログラム・メモリの中に記憶された命令を読み取って実行するように構成されたプロセッサを含む。プロセッサ読み取り可能命令は、前述した方法をコンピュータに実行させるように構成された命令を含む。
【００２２】
本発明の更なる態様によれば、ビデオ・データの複数のフレームを処理して、向上したビデオ・データを生成する方法が提供される。本方法は、ビデオ・データの第１のフレームを処理し、ビデオ・データの前記フレームの中に含まれるノイズの推定値を生成し、ノイズの前記推定値を示すデータを記憶し、ビデオ・データの少なくとも１つの更なるフレームを処理して、ビデオ・データの前記第１のフレームの中に含まれるノイズの前記記憶された推定値を使用してビデオ・データの前記更なるフレームからノイズを除去し、ビデオ・データの前記更なるフレームを使用して生成されたビデオ・データの向上したフレームを出力することを含む。
【００２３】
このようにして、上記で記述された方法を使用することによって、ビデオ・データの第１のフレームの処理は比較的ゆっくりと進行し、ビデオ・データの少なくとも１つの更なるフレームの処理は比較的迅速に行われ、出力ビデオ・データの中で「発作」のアーチファクトが明瞭にならないようにすることができる。
【００２４】
ビデオ・データの第１のフレームは、上記で記述された方法に従って処理されてもよい。この処理は、更に、コントラスト向上パラメータを生成することができる。
【００２５】
添付の図面を参照し、例を挙げて、これから本発明の実施形態を説明する。
【発明を実施するための最良の形態】
【００２６】
画像の画素値は、多くの場合、エアライトと呼ばれる大気の後方散乱光によって生じたノイズに帰因する成分を含む。そのようなノイズは、上記で記述されて下記で想起される式（１）を使用して、画像から除去可能である。
ｙ＝ｍ（ｘ−ｃ）                  （１）
ｘは、元の画素値であり、
ｃは、「エアライト」を表すように選択された補正値であり、
ｍは、尺度化パラメータであり、
ｙは、修正された画素値である。
【００２７】
本発明の実施形態は、パラメータｃの値を推定する方法を提供する。本方法は、図１のフローチャートに示される。本方法は、画像を定める画素の少なくとも部分集合に関連づけられた画素値をサンプリングし、これらの値をパラメータ関数の中へ入力し、関数が最適値を有するパラメータ関数のパラメータについて値を決定することによって動作する。そのようにして決定されたパラメータの値は、式（１）のパラメータｃについて生成された値である。
【００２８】
図１を参照すると、処理されるべき画像の中の少なくとも幾つかの画素に関連づけられた画素値ｐが、ステップＳ１でサンプリングされる。ステップＳ２では、処理されるべき画像へ低域フィルタが適用され、画像の画素の各々について、フィルタされた画素値
【数３】
2008536365.tif 000005
が生成される。フィルタは、好ましくは、ガウス型の核及び約５に等しいσ値を有する低域フィルタである。そのような低域フィルタの生成は当業者に周知である。
【００２９】
ステップＳ３では、パラメータ関数のパラメータλ（前述）が、典型的には、０の値へ初期化される。図１のステップＳ４で評価されるパラメータ関数は、式（２）の関数である。
【数４】
2008536365.tif 000006
Ｋは、処理されるべき画素の数であり、
ｐkは、画素ｋの値であり、
【数５】
2008536365.tif 000007
は、上記で説明した低域フィルタを適用した後の画素ｋの値であり、
λは、パラメータの値であり、
Ｓ（λ）は、最適化されるべき関数である。
【００３０】
前述したように、λはステップＳ３で０の値へ初期化され、次いで式（２）がステップＳ４で評価される。ステップＳ５では、式（２）の評価された値が最適値、この場合は最小値であるかどうかが検査される。これがその場合であると決定されたとき、パラメータｃはステップＳ６でλの決定された値となるように設定される。Ｓ（λ）が最小となるλの値が見つかるまで、λはステップＳ７で更新され、処理はステップＳ４へ戻る。
【００３１】
Ｓ（λ）の最小値の突き止め（ステップＳ３〜Ｓ７）は、多くの公知の数値最適化手法を使用して実行可能である。１つのそのような手法の更なる詳細を下記で呈示する。
【００３２】
関数Ｓ（λ）が最小となるλの値を決定するように、処理が実行されることが示された。これから、λのそのような値が、式（１）のパラメータｃについて良好な推定値となることを示す。
【００３３】
画像は、領域の集まりであり、各々の領域はある種の可視表面に対応すると考えることができる。例えば、木は葉、幹、及び枝の領域の集まりとして見ることができる。各々の領域は、その局所的な色に関連づけられるあるスペクトル反射性を有する。各々の領域の中で、局所的表面方位の巨視的変動に主として起因する明るさの変動が存在する。画像をこのように考えることは、画像テクスチャの、かなり一般的で基本的なモデルに対応する。
【００３４】
上記で説明されたモデルの重要な特徴は、明るさの部分的変動は、実際の明るさからほぼ独立していることである。エアライトに起因する任意のオフセットは、この特徴を変化させ、したがって検出可能である。これは、図１及び式（２）を参照して上記で説明された処理の基礎として使用される。
【００３５】
説明される実施形態において、局所的テクスチャ変動は、正規（ガウス）分布を有すると仮定される。
【００３６】
処理されるべき画像は、Ｍ個の領域を含むと仮定され、領域ｍの平均の明るさはＲmである。ここで、ｍ＝１．．．Ｍである。一般性の喪失は暗示されない。なぜなら、Ｍを非常に大きくすることができ、領域は非常に小さいからである。画像をこれらのＭ個の領域へ明瞭に区分することは行われない。
【００３７】
画像内の画素の総数はＫで表され、領域ｍの中のそれら画素の端数はＫmで表される。領域ｍの中のｋ番目の画素は、
【数６】
2008536365.tif 000008
で表される。
【００３８】
領域ｍの中のｋ番目の画素
【数７】
2008536365.tif 000009
は、次のように表される。
【数８】
2008536365.tif 000010
Ｎ＝Ｎ（０，σ）は、ゼロ平均、標準偏差σを有する正規確率変数であり、ｃはエアライトを示すスカラー定数である。
【００３９】
上記で説明された低域フィルタは、局所的画素値
【数９】
2008536365.tif 000011
の確率的揺動を平滑化し、各々の画素について「平滑化された」値
【数１０】
2008536365.tif 000012
を生成する。
【００４０】
フィルタの空間範囲が、平滑化の目的には十分大きいが、画像領域のサイズに関しては小さいならば（ボーダー効果は著しくない）、
【数１１】
2008536365.tif 000013
【００４１】
即ち、フィルタリングは、正規変数Ｎによって表される変動を除去する。
【００４２】
式（２）を想起する。
【数１２】
2008536365.tif 000014
【００４３】
式（２）は画像の全ての画素について総和を必要とするが、Ｋmが領域ｍの中の画素の端数であることを想起すると、式（２）はＭ個の領域の各々の領域ｍに関して書き直すことができる。
【００４４】
更に、式（３）及び（４）を想起すると、式（２）は次のように書くことができる。
【数１３】
2008536365.tif 000015
【００４５】
式（５）を簡約し、Ｎ＝Ｎ（０，σ）であることを想起すると、次式が得られる。
【数１４】
2008536365.tif 000016
ここで、σ２はＮの平方の期待値とする。
【００４６】
次のように定義し、
ｕ＝ｃ−λ                （７）
式（７）を式（６）へ代入すると、次式が得られる。
【数１５】
2008536365.tif 000017
【００４７】
次のように定義する。
【数１６】
2008536365.tif 000018
及び
【数１７】
2008536365.tif 000019
【００４８】
ｕに関して式（９）を微分すると、次式が得られる。
【数１８】
2008536365.tif 000020
【００４９】
ｕに関して式（１０）を微分すると、次式が得られる。
【数１９】
2008536365.tif 000021
【００５０】
式（８）から、
Ｓ（λ）＝σ2ｆ・ｇ              （１３）
【００５１】
したがって、
【数２０】
2008536365.tif 000022
【００５２】
式（９）、（１０）、（１１）、及び（１２）を式（１４）へ代入すると、次式が得られる。
【数２１】
2008536365.tif 000023
【００５３】
λに関して式（７）を微分すると、次式が得られる。
【数２２】
2008536365.tif 000024
【００５４】
次のように記述することができる。
【数２３】
2008536365.tif 000025
【００５５】
即ち、
【数２４】
2008536365.tif 000026
【００５６】
Ｓが最小であるとき、即ち、
【数２５】
2008536365.tif 000027
であるとき、λ＝ｃであることが上記で記述された。λ＝ｃであれば、式（７）からｕ＝０である。ｕ＝０を式（１８）へ代入すると、次式が得られる。
【数２６】
2008536365.tif 000028
【００５７】
【数２７】
2008536365.tif 000029
であると仮定すれば、
【数２８】
2008536365.tif 000030
であることが分かる。これは、λ＝ｃであるとき、式（２）は停留点を有するという主張を支持する。これは、有効な数値探索手続きを式（２）へ適用することによって、ｃを決定できることを意味する。
【００５８】
Ｓ（λ）が最小であるλの値は、ｃについて良好な推定値を提供することを示したので、これから関数Ｓ（λ）を最小にする方法を説明する。式（２）の関数を最小にする最も単純な方法は、式（２）の値を直接評価することである。しかし、費用関数のこの定式化は、数値の不正確性から悪影響を受ける。一般的には、数値最適化アルゴリズムが効率的に働くためには、目標関数が、そのパラメータの連続的かつ滑かな関数でなければならない。費用関数の代替的であるが等価の定式化は、下記で説明される。この定式化が好ましい。なぜなら、それはλの最適値の一層迅速な決定を導くからである。適切な最適化コードの例は、Ｎｕｍｅｒｉｃａｌ  Ａｌｇｏｒｉｔｈｍｓ  Ｇｒｏｕｐ  Ｌｔｄ，ＯｘｆｏｒｄからのルーチンＥ０４ＵＣＣである。
【００５９】
画像データは、各々の行ｉについて行ごとに処理される。次に、この行ごとの処理の結果は、再帰的に結合される。
【００６０】
式（２）から、
【数２９】
2008536365.tif 000031
【００６１】
所与の行ｉについて、次のように定義する。
【数３０】
2008536365.tif 000032
ここで、Ｍは列の数であり、ｍは現在処理されている列である。
【数３１】
2008536365.tif 000033
【００６２】
ここで、ｎは行の数である。したがって、次のことが分かる。
【数３２】
2008536365.tif 000034
【００６３】
式（２３）からＲＴＬ（ｎ）の定義を想起すると、式２５は次のように書き直すことができる。
【数３３】
2008536365.tif 000035
【００６４】
式２６の総和を再配列すると、次式が得られる。
【数３４】
2008536365.tif 000036
【００６５】
これを再配列すると、次式が得られる。
【数３５】
2008536365.tif 000037
【００６６】
和の指数は、和の成分の指数の乗法に等しいとすれば、式２８は次のように書き直すことができる。
【数３６】
2008536365.tif 000038
【００６７】
これは次のように書き直すことができる。
【数３７】
2008536365.tif 000039
【００６８】
これは、式（２３）からＲＴＬ（ｎ）の定義を想起すると次式を与える。
【数３８】
2008536365.tif 000040
【００６９】
式（３１）の表現からの乗法は、次式を与える。
【数３９】
2008536365.tif 000041
【００７０】
これは次のように書き直すことができる。
【数４０】
2008536365.tif 000042
【００７１】
これは次のように書き直すことができる。
【数４１】
2008536365.tif 000043
【００７２】
乗法の第２の項を書き直すと、次式が得られる。
【数４２】
2008536365.tif 000044
【００７３】
式（２４）からＳ（ｎ）の定義を想起すると、次式が得られる。
【数４３】
2008536365.tif 000045
【００７４】
このようにして、式（２）の費用関数は、式（３６）を使用して有効に評価可能であることが分かる。即ち、画像の最初の行について変数ＲＳ（ｉ）、ＲＬ（ｉ）、及びＲＴＬ（ｎ）を適切に初期化することによって、費用関数Ｓは、式３６で示されるように行ごとに計算可能である。
【００７５】
アルゴリズムのコンピュータ・プログラム実現において、ｆｏｒループは画像の各々の行を順番に処理する。ＲＳ（ｉ）の初期値は最初の行について計算され、変数ＲｏｗＰｒｏｄＳｕｍの中に記憶される。最初の行について、ＲＬ（ｉ）の初期値も計算され、変数Ｒｏｗ＿Ｓｕｍ＿Ｌｏｇの中に記憶される。次に、変数Ｓが初期化され、各々の行について更新され、ＲＴＬの値を適切に更新するため式２３が使用される。変数ｗｆは１．０／（ｉ＋１．０）に等しく設定される。これは上記の式の項
【数４４】
2008536365.tif 000046
に対応する。
【００７６】
適切なプログラム・コードは、下記のコード断片１で示される。
【００７７】
２つの倍精度浮動小数点変数Ａ及びＲＴＢ（これはＲＴＬを表す）は、下記の行回帰構造で使用される。行番号はｉで表される。
｛行０から開始して、各々の画像行を処理する。行番号はｉである｝
【数４５】
2008536365.tif 000047
｛全ての行が処理されたとき、最終の費用関数値はＡである｝
コード断片１
【００７８】
これから、図１で示された方法を、図２で示される例示的画像へ適用する場合を説明する。
【００７９】
図２の画像は、本発明の説明された実施形態の方法を例証するために形成された合成画像である。画像は、異なる強度レベルを有する２つの領域を含む。
【００８０】
最初に、区域１で３０の強度を有し、区域２で１２０の強度を有する画像が生成された。各々の画素へ乱数を加算することによって、テクスチャ効果がシミュレートされた。乱数は、ゼロ平均及び画素値の１／１０に等しい標準偏差を有する正規分布を使用して生成された。エアライトの効果は、各々の画素へ５０の定値を加算することによってシミュレートされた。図２の画像において、区域１の平均値は８０であり、区域の平均値は１５０である。
【００８１】
図３は、λの異なる値について、式（２）で定義された関数Ｓ（λ）の図面を示す。Ｓ（λ）の値は、図２の全ての画素から取得された画像データ、及び前述したように適切な低域フィルタを適用した後の画素値を使用して生成される。Ｓ（λ）は、λ＝５３．４２のとき最小値を有することが分かる。これは正確な値λ＝５０に近い（５０はシミュレートされたエアライトである）。２つのパッチの端に沿ったわずかな歪曲は、推定されたオフセットが真の値λ＝５０からわずかにオフセットされる結果を生じる。
【００８２】
端の近傍の画素値がＳ（λ）の評価から除外されるとき、関数はλ＝４９．９で最小値を有する。λ＝４９．９は真の値に非常に近い。画像内の鋭い端の近くにある画素を計算から排除することは、端の強度の測度を計算し（例えば、勾配のモジュラス）、その解析から強い端を除外することによって、自動的に実行可能である。
【００８３】
上記で記述された方法は、異なる強度の少なくとも２つの領域が存在する任意の画像で働く。これは、実際には限定的ではない。
【００８４】
上記で記述された式（２）は、確率的ノイズの公知のレベルを画像が含む場合に修正可能である。そのような場合、Ｓ（λ）は下記の式（３７）によって定義される。
【数４６】
2008536365.tif 000048
Ｋは、処理されるべき画素の数であり、
ｐkは、画素ｋの値であり、
【数４７】
2008536365.tif 000049
は、前述した低域フィルタを適用した後の画素ｋの値であり、
Ａνは、加法的ノイズ成分の分散を表し、
Ｔνは、画像テクスチャに関連した定数であり、
λは、決定されるべきパラメータの値であり、および
Ｓ（λ）は、最適化されるべき関数である。
【００８５】
再び、Ｓ（λ）が最小となるλの値は、画像の中に存在するエアライト成分の良好な推定値である。
【００８６】
前記の説明は、単色画像に関連して行われた。カラー画像については、前に記述した式（２）又は式（３７）のいずれかを使用して、３つの異なるカラー・チャネル（赤、緑、及び青）が別々に解析（及び、別々に補正）されてもよい。
【００８７】
しかし、代替の方法が好ましい。代替の方法では、合成関数が使用され、３変数最適化プロセスが実行される。１つのそのような合成関数は、式（３８）として記述される。
【数４８】
2008536365.tif 000050
Ｋは、処理されるべき画素の数であり、
ｐkr、ｐkg、ｐkbは、赤、緑、及び青チャネルそれぞれについての画素ｋの値であり、
【数４９】
2008536365.tif 000051
は、前述した低域フィルタを適用した後の赤、緑、及び青チャネルそれぞれについての画素ｋの値であり、
（λr，λg，λb）は、決定されるべきパラメータの値であり、および
Ｓ（λr，λg，λb）は、最適化されるべき関数である。
【００８８】
前と同じように、ある一定の仮定に従って（明るさの端数変動は実際の明るさからほぼ独立であり、その端数変動は赤、緑、及び青のカラー・チャネルで同一である）、（λr，λg，λb）がエアライトに帰因する各々のチャネルの成分を示すとき、関数Ｓ（λr，λg，λb）は停留点（最小点）を有する。
【００８９】
前述した評価手法は、前記の式（３８）を使用してカラー画像について使用可能である。
【００９０】
ここで、前述したパラメータＲＳは、画像の各々のチャネルについて１つの、３つのＲＳパラメータによって置換される。これらは、下記で記述される式（３９）、（４０）、及び（４１）に従って定義される。
【数５０】
2008536365.tif 000052
【００９１】
同様に、前述したパラメータＲＬは、式（４２）、（４３）、及び（４４）で示されるように、再び画像の各々のチャネルについて１つの、３つのパラメータによって置換される。
【数５１】
2008536365.tif 000053
【００９２】
再び同様に、パラメータＲＴＬは、下記で記述される式（４５）、（４６）、及び（４７）に従って各々のチャネルについて１つの、３つの値によって置換される。
【数５２】
2008536365.tif 000054
【００９３】
処理は、一度に１つのチャネルについて実行され、したがってパラメータＳは、再び式（４８）、（４９）、及び（５０）に従って、３つのパラメータによって置換される。
【数５３】
2008536365.tif 000055
【００９４】
したがって、式３７は次のように書き直すことができる。
【数５４】
2008536365.tif 000056
【００９５】
変数Ｓ及びＲＴＬの値は、前述した１つのチャネルの場合のように、計算可能であることが理解される。計算の実現において、変数ＲｏｗＰｒｏｄＳｕｍは３要素配列によって置換され、変数Ｒｏｗ＿Ｓｕｍ＿Ｌｏｇは再び３要素配列によって置換される。ＲＴＬ変数ＲＴＢは、再び適切な３要素配列によって置換される。
【００９６】
画像の中のエアライトの成分は、画素によって表されるシーンの中の点とカメラとの間の距離に依存して変動することができる。図４は、シーンの画像を生成するために配置されたカメラ３を示す。カメラ３は、水平線に対して角度θで向けられ、視界角ＦＯＶを有する。
【００９７】
エアライト（λ）は、典型的には、式（５２）に従ってＤとして参照される画像平面４とカメラ３との間の距離に依存して変動する。
λ∝（１−ｅｘｐ（−βsc（ω）・Ｄ）      （５２）
ここで、βscは波長ωの光の総体積散乱係数である。正規化された体積散乱βsc’（ω）係数は、次のように定義される。
βsc’（ω）＝βsc（ω）・ｑ          （５３）
【００９８】
ここで、ｑは画像の中心に対応する距離Ｄの値である。本発明の説明された実施形態において、正規化された散乱係数βsc’は、赤、緑、及び青のカラー帯域それぞれにおける公称波長に対応する３つのスカラー変数Ｘ0、Ｘ1、及びＸ2によって表される。
【００９９】
図４で示されるシーンのジオメトリは、一般的に、未知である。したがって、２つの更なるスカラー変数Ｘ3及びＸ4が、次のように定義される。
【数５５】
2008536365.tif 000057
【０１００】
即ち、ここで、ＦＯＶは視界角であり、θはカメラから画像中心への距離と水平線との間の角度である。
【数５６】
2008536365.tif 000058
【０１０１】
全ての５つのパラメータ（Ｘ0，Ｘ1Ｘ2Ｘ3Ｘ4）は多変数最適化によって決定される。
【０１０２】
カメラと画像平面との間の距離は、画像平面の中の位置に依存して変動する。この位置は変数νで表される。変数νは１つの極端で０．５の値を取り、他の極端で−０．５を取り、中心で０を取る。
【０１０３】
図４へ正弦法則を適用する。
【数５７】
2008536365.tif 000059
【０１０４】
次のことが分かる。
ｒ＝１８０−（θ＋φ）              （５８）
【０１０５】
次のように仮定すると、
φ＝−νＸ4                          （５９）
次のようになる。
ｒ＝１８０−（θ−νＸ4）            （６０）
及び
ｓｉｎ  ｒ＝ｓｉｎ（θ−νＸ4）        （６１）
【０１０６】
したがって、
【数５８】
2008536365.tif 000060
【０１０７】
式（６４）を式（５２）へ代入すると、単色画像又はカラー画像の１つのチャネル（例えば、赤チャネル）について、画素のエアライトを与える。
【数５９】
2008536365.tif 000061
ここで、Ｃは、式（５２）における比例定数である。項λ（Ｘ0，Ｘ3，Ｘ4）は、式（２）又は（３７）のλと置き換わる。定数Ｃの値は、大気放射輝度とカメラ利得との積に依存する。一般的に、これらのパラメータは未知である。Ｃの推定値は、様々な方法で形成される。１つの方法は、画像の中の最高画素値を使用することである。
【０１０８】
式のカラー・バージョン（式（３８））が使用されるならば、Ｘ0は緑又は青チャネルについて適切にＸ1又はＸ2で置換される。この項は、画像内の画素の各々の行について別々に計算される。
【０１０９】
視界角が比較的小さく、約１５度以下であるとき、次の近似が行われてもよい。
【数６０】
2008536365.tif 000062
【０１１０】
この式は、ただ１つの幾何学的パラメータを含む。これは、視界角（式（６７）におけるパラメータＸ4）が、実際にはほとんど影響しないことを示す。好ましい実現では式（５６）が使用されるが、Ｘ4は固定値である。カメラの視界が未知であれば、Ｘ4はある小さな値、例えば、１度に設定される。
【０１１１】
これまでの説明は、静的画像のエアライトを推定することに関連した。前述の手法は、各々のフレームを順番に処理することによって、複数のフレームを含むビデオ・データへ適用可能であることが理解される。ビデオ・データをこのように処理するとき、注意して、画像処理動作が十分に速く、処理されるビデオ・データの中で「発作」のアーチファクトが生じないことを確実にしなければならない。このようにして、速度のために画像処理の品質を犠牲にすることが必要であるかもしれない。
【０１１２】
本発明の幾つかの実施形態によれば、画像処理は、図５で示された配列を使用して実行される。各々のフレームの各々の画素が、別々の赤、緑、及び青チャネルによって表されるカラー入力ビデオ・データ６が受け取られ、並行して解析モジュール７及びビデオ処理モジュール８へ渡される。解析モジュールは比較的遅く動作し、式（１）のパラメータｃ及びｍの値を生成するように構成される。ｃの決定は、例えば、これまで概説した方法を使用して実行されてもよい。パラメータｃ及びｍのパラメータの値は、係数バッファ９の中に記憶される。
【０１１３】
画像の解析には、全ての画像データが必要とされるわけではない。例えば、画像は２の因子でサブサンプリングされ、解析は画素値の半分だけに基づくようにされてもよい。これは計算時間を節約する。更に、解析は、通常、ボーダー又はスクリーン注釈（ときどきＣＣＴＶ装置で使用される）を避けるため画像の所定部分について実行される。
【０１１４】
ビデオ処理モジュール８は、受け取られたフレームの各々の画素を式（１）に従って処理し、係数バッファ９からパラメータｃ及びｍの適切な値を読み取ることによって動作する。ビデオ処理モジュール８によって処理されたデータは、ディスプレイ・スクリーン１０へ出力される。
【０１１５】
解析モジュール７がビデオ処理モジュール８と比較して遅く動作するとすれば、ビデオ処理モジュール８は、典型的には、ビデオ・データの早期のフレームを使用して生成された係数を適用する。エアライトの変化が延長時間にわたって起こる傾向があるとすれば、これは実際には画像品質にほとんど影響しないことが分かる。
【０１１６】
解析モジュール７は、好ましくは、処理されたフレームの各々の画素についてｃ及びｍの値を生成する。即ち、上記で説明されるかＥＰ０８３９３６１で説明されるように、カメラ位置からの距離と共に変動するエアライトを考慮する方法が、好ましくは使用される。本発明のそのような実施形態において、各々のカラー・チャネルについて２つの、全部で６つの表が使用される。各々の表は、画像内の各々の画素について１つの項目を有する。赤、緑、及び青のチャネルが別々に処理され、次に再結合されて最終画像を形成する。
【０１１７】
必要に応じて、ｍの値を調整し、エアライト補償に加えて不均一照明の補償を提供することができる。局所的照明レベルを推定する幾つかの方法は、例えば、Ｊｏｂｓｏｎ，Ｊ．，Ｒａｈｍａｎ，Ｚ．，Ｗｏｏｄｅｌｌ，Ｇ．Ａ．，「Ａ  ｍｕｌｔｉｓｃａｌｅ  ｒｅｔｉｎｅｘ  ｆｏｒ  ｂｒｉｄｇｉｎｇ  ｔｈｅ  ｇａｐ  ｂｅｔｗｅｅｎ  ｃｏｌｏｕｒ  ｉｍａｇｅｓ  ａｎｄ  ｔｈｅ  ｈｕｍａｎ  ｏｂｓｅｒｖａｔｉｏｎ  ｏｆ  ｓｃｅｎｅｓ」，ＩＥＥＥ  Ｔｒａｎｓａｃｔｉｏｎ  ｏｎ  Ｉｍａｇｅ  Ｐｒｏｃｅｓｓｉｎｇ，Ｖｏｌ．６，Ｉｓｓｕｅ  ７，Ｊｕｌｙ  １９９７，ｐｐ．９６５−９７６に記載されるような文献から入手可能である。
【０１１８】
ここで、照明の推定及び補償を簡単に説明する。照明の補償は、照明が緩慢に変化すること、及び低域フィルタを使用して照明分布の推定値を生成できるというアイデアに基づく。画像を向上する目的で、低域フィルタ、例えば、準同形フィルタを使用して照明を推定できることは公知である。これは、例えば、上記の  Ｊｏｂｓｏｎ、Ｒａｈｍａｎ、及び  Ｗｏｏｄｅｌｌの参考文献で説明される。
【０１１９】
上記で説明したタイプの照明推定方法は、拡散反射のランバーティアン・モデルに基づく。これは、Ａｎｙａ  Ｈｕｒｌｂｅｒｔ，「Ｆｏｒｍａｌ  ｃｏｎｎｅｃｔｉｏｎｓ  ｂｅｔｗｅｅｎ  ｌｉｇｈｔｎｅｓｓ  ａｌｇｏｒｉｔｈｍｓ」，Ｊ．Ｏｐｔ．Ｓｏｃ．Ａｍ．Ａ，Ｖｏｌ．３，Ｎｏ．１０，ｐｐ．１６８４−１６９３，Ｏｃｔｏｂｅｒ  １９８６で説明される。画像の中の可視表面がランバーティアン特性を有し、照明が波長の狭い範囲へ限定されるならば、
【数６１】
2008536365.tif 000063
ここで、Ｉ（ｘ，ｙ）は画素（ｘ，ｙ）における強度値であり、Ｒ（ｘ，ｙ）はスカラー反射率であり、Ｌ（ｘ，ｙ）はスカラー放射照度値である。画像処理手続きは簡単である。最初にＬ（ｘ，ｙ）の推定値を形成し、次にｃ／Ｌ（ｘ，ｙ）によって尺度化する。ここで、定数ｃは画素を表示範囲の中に保つように選ばれる。
【０１２０】
このモデルは、狭帯域フィルタが各々のカラー・チャネルに使用されるという仮定のもとで、カラー画像へ一般化可能である。従来のＲＧＢフィルタを使用してスペクトルが局所化されるときでも、（６８）によって定義されたモデルは真の応答への近似値を与える。そのような分解の利点には、後方／前方照明効果を除去し、空間変動する照明を含むショット、例えば、陰影を含む画像を向上できることが含まれる。
【０１２１】
照明関数Ｌ（ｘ，ｙ）を推定する様々な方法が提案された。Ａｋｉｒａ  Ｓｕｚｕｋｉ，Ａｋｉｏ  Ｓｈｉｏ，Ｈｉｒｏｙｕｋｉ  Ａｒａｉ，ａｎｄ  Ｓａｋｕｉｃｈｉ  Ｏｈｔｓｕｋａ，「Ｄｙｎａｍｉｃ  ｓｈａｄｏｗ  ｃｏｍｐｅｎｓａｔｉｏｎ  ｏｆ  ａｅｒｉａｌ  ｉｍａｇｅｓ  ｂａｓｅｄ  ｏｎ  ｃｏｌｏｒ  ａｎｄ  ｓｐａｔｉａｌ  ａｎａｌｙｓｉｓ」，Ｐａｔｔｅｒｎ  Ｒｅｃｏｇｎｉｔｉｏｎ，２０００．Ｐｒｏｃｅｅｄｉｎｇｓ．１５ｔｈ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ，３−７  Ｓｅｐｔ．２０００，Ｖｏｌ．１，ｐｐ．３１７−３２０では、形態学的平滑化フィルタが使用される。Ｔｈｏｍａｓ  Ｓｔｏｃｋｈａｍ，Ｊｒ．ｉｎ  「Ｉｍａｇｅ  ｐｒｏｃｅｓｓｉｎｇ  ｉｎ  ｔｈｅ  ｃｏｎｔｅｘｔ  ｏｆ  ａ  ｖｉｓｕａｌ  ｍｏｄｅｌ，」，Ｐｒｏｃ．ＩＥＥＥ，Ｖｏｌ．６０，Ｎｏ．７，ｐｐ．８２８−８４２，１９７２で説明される準同形フィルタは、初期の照明補償手法である。Ｊｏｂｓｏｎ，Ｒａｈｍａｎ，ａｎｄ  Ｗｏｏｄｅｌｌ  ｉｎ  「Ｐｒｏｐｅｒｔｉｅｓ  ａｎｄ  ｐｅｒｆｏｒｍａｎｃｅ  ｏｆ  ａ  ｃｅｎｔｒｅ／ｓｕｒｒｏｕｎｄ  ｒｅｔｉｎｅｘ」，ＩＥＥＥ  Ｔｒａｎｓａｃｔｉｏｎｓ  ｏｎ  Ｉｍａｇｅ  Ｐｒｏｃｅｓｓｉｎｇ，Ｖｏｌ．６，Ｎｏ．３，１９９７，ｐｐ．４５１−４６２で説明されるレチネックス・アルゴリズムは、更に最近の方法である。
【０１２２】
上記で説明された照明推定及び補償手法は、図５で示されたシステムとの関連で適用可能である。具体的には、解析モジュール７は照明を推定することができ、ビデオ処理モジュール８はデータを処理し、照明補償を実行することができる。
【０１２３】
本発明の好ましい実施形態を上記で説明したが、理解されるように、補正された請求項によって定められる本発明の精神及び範囲から逸脱することなく、それらの実施形態へ様々な修正を行うことができる。
【０１２４】
上記で記述された説明は、画像からエアライト効果を除去することに関連する画像処理手法について行われた。エアライト効果とは別に、画像オフセットの他の源が存在することが理解される。具体的には、カメラの熱応答、いわゆる「暗電流」によって、画像オフセットが生成される。更に、カメラ・レンズ又は保護窓の上のごみによって、オフセットが生成される。更に、いわゆる「ペデスタル」誤差によって、ノイズが生じる。ＰＡＬ標準のある変形を含む幾つかのビデオ標準は、非ゼロ電圧レベルを使用して黒を表す。このレベルは「ペデスタル」として知られる。ビデオデコーダがペデスタルを不適切に考慮すると、明るさのレベルの全てが上又は下へ移動する結果となる。これらのタイプの全てのオフセットは、上記で説明した方法によって検出（及び緩和）可能である。
【図面の簡単な説明】
【０１２５】
【図１】本発明に従った画像処理方法のフローチャートである。
【図２】図１に従った処理が適用される例示的画像である。
【図３】図１の処理が図２の画像へ適用されるときに使用されるパラメータ関数の値を示すグラフである。
【図４】シーン・ジオメトリを示す図である。
【図５】本発明に従った画像処理方法の実現の略図である。
【図１】
2008536365.tif 000066
【図２】
2008536365.tif 000067
【図３】
2008536365.tif 000068
【図４】
2008536365.tif 000069
【図５】
2008536365.tif 000070
【国際調査報告】
2008536365.tif 000071
2008536365.tif 000072
2008536365.tif 000073