(57)【要約】  本発明は、ノイズを含む第1の型のオリジナルオブジェクト(I)のノイズを、第1の型のノイズを含まないオブジェクト(J)を得るために除去するステップと、オリジナルオブジェクトとノイズを含まないオブジェクトとの間の差分(B)から第1の型の擬似白色ノイズを含むオブジェクトを得るステップと、ノイズを含まないオブジェクト(J)に対し、第2の型の変換済みオブジェクト(K)を得るための隣接処理を含む、前記オリジナルオブジェクトに適用された場合にオリジナルオブジェクトに含まれているノイズを構造化するような第1の処理(t1)を適用するステップと、第2の型の擬似白色変換済みノイズオブジェクト(C)を得るためにノイズオブジェクトに対し第2の白色処理(t2)を適用するステップと、変換済みオブジェクト(K)内に変換済みノイズオブジェクトを挿入するステップとを含む、デジタルオブジェクトの処理に関する。
2010536081.tif 000002
【特許請求の範囲】
【請求項１】
デジタルオブジェクトを処理するための方法であって、
ノイズを含む第1の型のオリジナルオブジェクト(I)のノイズ除去を、前記第1の型のノイズ除去済みオブジェクト(J)を得るために行うステップと、
前記オリジナルオブジェクトと前記ノイズ除去済みオブジェクトとの間の差分(B)から前記第1の型の擬似白色ノイズオブジェクトを得るステップと、
前記ノイズ除去済みオブジェクトに対し、第2の型の変換済みオブジェクト(K)を得るために隣接するオブジェクト要素の値に応じてオブジェクト要素の値を変換する隣接処理を含む、前記オリジナルオブジェクトに適用された場合に前記オリジナルオブジェクト内に含まれる前記ノイズを構造化する効果を持つような第1の処理(t1)を適用するステップと、
前記第2の型の擬似白色変換済みノイズオブジェクト(C)を得るために前記ノイズオブジェクトに対し第2の白色処理(t2)を適用するステップと、
前記変換済みノイズオブジェクトを前記変換済みオブジェクト(K)内に導入するステップとを含む方法。
【請求項２】
前記オリジナルオブジェクト、前記ノイズ除去済みオブジェクト、前記変換済みオブジェクト、前記ノイズオブジェクト、および前記変換済みノイズオブジェクトのうちの少なくとも1つは、デジタル画像を含む請求項1に記載の方法。
【請求項３】
前記第1の型および前記第2の型は、互いに異なる、色、ジオメトリ、および鮮明さのうちの少なくとも1つの属性を有するオブジェクトに対応し、前記第1の処理(t1)および前記第2の処理(t2)は、前記ノイズ除去済みオブジェクト(J)および前記ノイズオブジェクトに関して前記属性を修正する効果をそれぞれ有する請求項1または2に記載の方法。
【請求項４】
前記オリジナルオブジェクト(I)は、RAW型の画像である請求項1から3のいずれか一項に記載の方法。
【請求項５】
前記第1の処理(t1)は、前記ノイズ除去済みオブジェクト(J)のデマトリックス処理を含む請求項1から4のいずれか一項に記載の方法。
【請求項６】
前記第1の処理(t1)は、前記ノイズ除去済みオブジェクト(J)の少なくとも一部の鮮明化処理を含む請求項1から5のいずれか一項に記載の方法。
【請求項７】
前記第1の処理(t1)は、前記ノイズ除去済みオブジェクト(J)の少なくとも一部の変形処理を含む請求項1から6のいずれか一項に記載の方法。
【請求項８】
前記第2の処理(t2)は、前記ノイズオブジェクトのそれぞれの要素に、前記オリジナルオブジェクト(I)と前記ノイズ除去済みオブジェクト(J)との間の差分(B)に対応する少なくとも1つの要素に関連付けられている値に依存する少なくとも1つの値を関連付ける請求項1から7のいずれか一項に記載の方法。
【請求項９】
前記オリジナルオブジェクト(I)と前記ノイズ除去済みオブジェクト(J)との間の差分(B)のそれぞれの要素に複数のチャネルのうちの1つのチャネルに関係する第1の値が関連付けられ、前記第2の処理(t2)は、前記ノイズオブジェクトのそれぞれの要素に、前記オリジナルオブジェクト(I)と前記ノイズ除去済みオブジェクト(J)との間の差分(B)内の前記対応する要素に関連付けられている前記第1の値に加えて、前記複数のもの他のチャネルにそれぞれ関係する、前記第1の値を参照して決定される少なくとも第2の値を関連付ける請求項8に記載の方法。
【請求項１０】
前記第2の処理(t2)は、前記ノイズオブジェクトのそれぞれの要素に、前記オリジナルオブジェクト(I)、前記ノイズ除去済みオブジェクト(J)、および前記変換済みオブジェクト(K)のうちの少なくとも1つのオブジェクトの少なくとも1つの対応する要素に関連付けられている値に依存する少なくとも1つの値を関連付ける請求項1から9のいずれか一項に記載の方法。
【請求項１１】
前記第2の処理(t2)は、前記ノイズオブジェクトのそれぞれの要素に、少なくとも1つの外因的パラメータに依存する少なくとも1つの値を関連付ける請求項1から10のいずれか一項に記載の方法。
【請求項１２】
請求項1から11のいずれか一項に記載の方法を実装するように配列構成されたデジタルオブジェクトを処理するためのシステムであって、
ノイズを含む第1の型のオリジナルオブジェクト(I)のノイズ除去を、前記第1の型のノイズ除去済みオブジェクト(J)を得るために行うためのユニットと、
前記オリジナルオブジェクトと前記ノイズ除去済みオブジェクトとの間の差分(B)から前記第1の型の擬似白色ノイズオブジェクトを得るためのユニットと、
前記ノイズ除去済みオブジェクトに対し、第2の型の変換済みオブジェクト(K)を得るために隣接するオブジェクト要素の値に応じてオブジェクト要素の値を変換する隣接処理を含む、前記オリジナルオブジェクトに適用された場合に前記オリジナルオブジェクト内に含まれる前記ノイズを構造化する効果を持つような第1の処理(t1)を適用するためのユニットと、
前記第2の型の擬似白色変換済みノイズオブジェクト(C)を得るために前記ノイズオブジェクトに対し第2の白色処理(t2)を適用するためのユニットと、
前記変換済みノイズオブジェクトを前記変換済みオブジェクト(K)内に導入するためのユニットとを備えるシステム。
【請求項１３】
さらに、画像取り込み手段および/または画像取り出し手段も備える請求項12に記載のシステム。
【請求項１４】
コンピュータ手段にロードされ実行されたときに、
ノイズを含む第1の型のオリジナルオブジェクト(I)のノイズ除去を、前記第1の型のノイズ除去済みオブジェクト(J)を得るために行うステップと、
前記オリジナルオブジェクトと前記ノイズ除去済みオブジェクトとの間の差分(B)から前記第1の型の擬似白色ノイズオブジェクトを得るステップと、
前記ノイズ除去済みオブジェクト(J)に対し、第2の型の変換済みオブジェクト(K)を得るために隣接するオブジェクト要素の値に応じてオブジェクト要素の値を変換する隣接処理を含む、前記オリジナルオブジェクトに適用された場合に前記オリジナルオブジェクト内に含まれる前記ノイズを構造化する効果を持つような第1の処理(t1)を適用するステップと、
前記第2の型の擬似白色変換済みノイズオブジェクト(C)を得るために前記ノイズオブジェクトに対し第2の白色処理(t2)を適用するステップと、
前記変換済みノイズオブジェクトを前記変換済みオブジェクト(K)内に導入するステップとを実施するように適合された符号化命令を含む、請求項1から11のいずれか一項に記載の方法を実装するためのコンピュータプログラム製品。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタルオブジェクトの処理に関するものである。
【背景技術】
【０００２】
デジタルオブジェクトは、複数の要素、つまり、基本情報項目からなる。これはさまざまな性質を持ちうる。例えば、特にデジタル写真の場合の二次元画像が挙げられる。この場合、そのような画像を構成する要素は、ピクセル(「画素」を意味する)である。
【０００３】
一変形例では、オブジェクトは、三次元画像(2つの空間次元と1つの時間次元)ともみなせる、一連の二次元画像とすることができる。これは、例えばいくつかの医療用途または映画の場合である。このようなオブジェクトを構成する要素は、例えば、その一連の画像内の1つの画像のピクセルである。
【０００４】
注目するデジタルオブジェクトは、例えばそれぞれの画像が三次元画像となっている映画の場合のように、4つの次元を持つこともできる。
【０００５】
他の例によれば、デジタルオブジェクトは、例えば構成要素が強度である音声、または構成要素が強度および/または位相である変調信号を含むことが可能である。
【０００６】
より一般的には、デジタルオブジェクトは、1つまたは複数の次元、とりわけ、空間次元(例えば、距離、角度、またはメッシュ内の行程)、時間次元、周波数次元(例えば、色、周波数、周波数帯域)、相空間の次元、他のベクトル空間基底による分解(例えば、ウェーブレット分解)の次元、または位相空間の任意の次元を有する。
【０００７】
デジタルオブジェクトは、これを構成する基本情報に加えて、その性質に応じて変化しうる、ある数の属性を備える。これらの属性は、特に、オブジェクトの次元に関係し、また基本情報にも関係しうる。そこで、オブジェクトの型を定義し、与えられた属性の集合を有するオブジェクトにそれぞれの型が対応するようにすることが可能である。オブジェクトの典型的な属性の中で、例えば、色、ジオメトリ、および鮮明度を挙げることができる。もちろん、他の属性も、考えられる。オブジェクトの型、および属性の例を以下に示す。
【０００８】
注目するデジタルオブジェクトがデジタル画像である場合、これは、例えば、撮影システムなどの、収集システムを使って得ることができる。
【０００９】
限定しない例によれば、収集システムは、使い捨て型写真撮影装置、デジタル写真撮影装置、レフレックスカメラ(デジタル式のカメラまたはデジタル式でないカメラ)、スキャナ、ファクス機、内視鏡、カメラ、カムコーダー、監視カメラ、おもちゃ、電話に組み込まれた、または接続されたカメラもしくは写真撮影装置、パーソナルアシスタントもしくはコンピュータ、温度カメラ、超音波検査装置、MRI(磁気共鳴)撮像装置、またはX線検査装置とすることができる。
【００１０】
画像収集システムは、一般に、役割が集光することである光学系は別として、センサーを備える。このようなセンサーは、画像を取り込み、および/または記録するための機械的、化学的、または電子的な手段を備える。
【００１１】
センサーは、例えば、受けた光の量をデジタル値に変換し、対応する1つまたは複数の値を属性としてそれぞれのピクセルに付与する感光セルのシステムである。センサーによって直接取得される原画像は、伝統的に、RAW画像と称される。最終的にそれぞれのピクセルに属性として付与されるデジタル値の個数は、写真撮影システムに依存する。
【００１２】
いろいろな理由から、センサーによって返されるRAW画像の基本情報項目の値は、受けた光の量の完全に決定論的な機能ではない。これらは、観察されるシーンとの関係を有しない、ノイズと称されるランダム部分を含む。ノイズは、例えば、センサーの電子回路内に発生する光または熱的現象の特定の性質によるものである。
【００１３】
ノイズの一部は、一般的に、極端に局所的であり、その範囲は１ピクセルの大きさ程度であり得る。
【００１４】
第1近似として、その統計性は、以下の2つのパラメータによってうまく記述される。
-ノイズの2つの値が有する統計的独立性または所定の閾値より低い従属性を得るために移動する必要のある特性距離を与える距離。この距離は、デジタルグレインのサイズとみなすことができ、その定義は以下に与えられる。
-ノイズによって引き起こされるデジタル値の変動を記述する、強度と称される値。カラー画像の場合、ノイズはチャネル毎に値を有する。
【００１５】
本発明の意味の範囲内で、白色ノイズまたはより一般的に、「白色」オブジェクトは、オブジェクトのある位置における基本情報項目が隣接するいくつかの位置においてはこの同じオブジェクトの基本情報項目と無相関であるオブジェクトとして定義される。したがって、オブジェクトのこれらの基本値は、統計的に独立である。
【００１６】
本発明の意味の範囲内で、「擬似白色」ノイズまたはより一般的に、「擬似白色」オブジェクトは、オブジェクトのある位置における基本情報項目が隣接するいくつかの位置におけるこの同じオブジェクトの基本情報項目との閾値より低い相関レベルを有するオブジェクトとして定義され、この閾値は例えば構造化ノイズに対する目の感度に応じて事前に決定されるか、または他のオブジェクトの自己相関から決定され、そこで、この閾値は、例えば、10%の値を取ることができ、この閾値は、本発明による方法の1つによって擬似白色オブジェクトが抽出されるオリジナルオブジェクトの自己相関レベルの10%の値を取ることもできる。
【００１７】
同様にして、RAW画像以外の画像、つまり、すでに数回の変換を受けている画像は、ノイズを含む。
【００１８】
デジタル画像は、表示される前に、処理系列と称される、一連の処理演算を適用される。これらの処理演算の目的は、例えば、鮮明度を改善すること、アーチファクトを除去すること、または色を修正することである。
【００１９】
これらの処理演算の中には、注目する画像内に含まれるノイズに対し有害な影響を及ぼすものもある。
【００２０】
これは、隣接するピクセル(またはより一般的には隣接するオブジェクト要素)の値に応じてピクセルの(またはより一般的にはオブジェクト要素の)値を変換するという意味で、特にいわゆる隣接処理演算の場合と言える。
【００２１】
これらの隣接処理演算では、シーン内のいくつかの密集位置が相関情報を含む、つまり互いにリンクされているという事実を利用する。この仮定を置くことで、デジタル画像内の欠落または劣化情報を再構成することが可能になる。
【００２２】
それぞれのピクセルにおける値が修正される傾向があるだけでなく、それぞれのピクセルにおける新しい値が生成されうる。したがって、最終画像は、オリジナル画像と異なる数のチャネルを有することがある。例えば、オリジナル画像がRAW画像である場合、ピクセル毎の単一の値が単一のチャネルに対応していれば、最終画像において、処理後に、ピクセル毎に3つの値がそれぞれ赤色、緑色、および青色(R、G、B)の3つのチャネルを持つことができる。
【先行技術文献】
【特許文献】
【００２３】
【特許文献１】米国特許第6,934,056号
【特許文献２】国際公開第03/007239号
【特許文献３】米国特許第3,971,065号
【特許文献４】欧州特許第02751241.7号
【特許文献５】欧州特許第02743349.9号
【特許文献６】欧州特許第02747504.5号
【特許文献７】欧州特許第02748934.3号
【特許文献８】欧州特許第02743348.1号
【特許文献９】欧州特許第02748933.5号
【特許文献１０】欧州特許第02747503.7号
【特許文献１１】欧州特許第02747506.0号
【特許文献１２】欧州特許第02745485.9号
【特許文献１３】PCT/仏国特許出願第2004/050455号
【非特許文献】
【００２４】
【非特許文献１】J S Lee、「Digital image smoothing and the sigma filter」、Computer Vision、Graphics and Image Processing 24:255〜269頁、1983年
【非特許文献２】S M SmithおよびJ M Brady、「SUSAN - A new approach to low level image processing」、International Journal of Computer Vision、23(1):45〜78頁、1997年5月
【非特許文献３】C TomasiおよびR Manduchi、「Bilateral Filtering for Gray and Color Images」、Proceedings of the 1998 IEEE International Conference on Computer Vision、Bombay、India
【非特許文献４】A Buades、B Coll、およびJ M Morel、「A review of image denoising algorithms, with a new one」、Multiscale Modelling and Simulation (SIAM interdisciplinary journal)、Vol 4 (2)、490〜530頁、2005年
【非特許文献５】Proceedings of IEEE, International Conference of Image Processing, Singapore 2004年
【非特許文献６】Jerome BuzziおよびFrederic Guichardによる「Uniqueness of Blur Measure」
【発明の概要】
【発明が解決しようとする課題】
【００２５】
これらの隣接処理演算が引き起こす問題の1つは、これらの演算によって形成される情報の局所相関の仮定が、シーンの物理的特性と無関係の性質を持つノイズについては、間違っているという点である。
【００２６】
より正確には、隣接処理は、ノイズ中に相関をもたらし、その結果として、観察されるシーンに決して対応することのない目に見える構造を出現させる。言い換えると、隣接処理がノイズを構造化するということである。数学的な観点からすると、隣接処理演算は、自己相関関数などのノイズの統計性を変化させる。
【００２７】
ノイズのこのような構造化は、デジタルグレインの表示によって視覚的に表される。カラー画像の場合、このグレインは、典型的には、きたない色のスポットの形で出現し、そのサイズおよび強度は隣接処理演算に依存する。このデジタルグレインは、一般には、銀塩写真の魅力を持たず、それなしで済ませることが望まれている。
【００２８】
デジタルグレインの可能な定義の1つは、例えば、異なる空間位置で取った、ノイズとそれ自身との空間相関を数量化したノイズの自己相関であろう。
【００２９】
デジタル画像に含まれるノイズに対し有害な影響を及ぼしうる処理演算の他の例は、ノイズを増幅する傾向のある処理演算に関する。これらの処理演算は画像の劣化を引き起こしうるが、それは、ノイズがときには有用な情報を損なうほどにその中で目立つからである。
【００３０】
このような処理演算の一例は、画像のコントラストの増大である。これは、大まかには、画像内の暗いピクセルをより暗くすることと、画像の明るいピクセルをより明るくすることとからなる。コントラストのこのような増幅は、処理された画像中に含まれるノイズにも同様に適用される。
【００３１】
要約すれば、ノイズを構造化するか、または増幅する処理演算は、ノイズの多いデジタル画像に適用された場合に望ましくない効果をもたらす。
【００３２】
これらの望ましくない効果を制限することを試みるアイデアの1つは、注目する処理演算をそれに適用する前にデジタル画像のノイズを除去するというものであろう。このアイデアは、特定の用途において、米国特許第6,934,056号で特に構想された。本明細書では、実際に、RAW画像のノイズ除去を、デマトリックス処理と称される隣接処理をRAW画像に適用する前に実行することを規定する。
【００３３】
この目的のために、さまざまなノイズ除去アルゴリズムを使用できる。その目的は、オリジナル画像から、理想的には、ノイズがなければ得られるであろう画像である画像を導出するためにオリジナル画像を修正することである。
【００３４】
しかし、最良最新のノイズ除去法でも、表面の粗さまたは皮膚の凸凹などの微細なきめとノイズとを区別することは可能にならない。これらの方法の大半は、グレインの細かさを損ねてノイズの強度を低減する効果を有する。
【００３５】
このため、デジタル画像のノイズ除去は、そのノイズを減衰するが、画像の有用な情報を構成するいくつかの微細構造を除去する。その結果得られる画像は、彫りと写実性を欠いた印象を与えることがある。
【００３６】
特に上ではデジタル画像の例が調べられているけれども、上述の他の種類のオブジェクトについても同様に同じ問題が生じることに留意されたい。
【００３７】
本発明の目的の1つは、上記の欠点を制限することである。
【００３８】
特に、本発明の目的の1つは、有用な情報を過剰に喪失させることなく、デジタルオブジェクトに含まれるノイズの構造化を制限することである。
【課題を解決するための手段】
【００３９】
そこで、本発明は、デジタルオブジェクトを処理する方法を提案するが、この方法は、
-ノイズを含む第1の型のオリジナルオブジェクトのノイズ除去を、前記第1の型のノイズ除去済みオブジェクトを得るために行うステップと、
-オリジナルオブジェクトとノイズ除去済みオブジェクトとの間の差分から第1の型の擬似白色ノイズオブジェクトを得るステップと、
-ノイズ除去済みオブジェクトに対し、第2の型の変換済みオブジェクトを得るために隣接するオブジェクト要素の値に応じてオブジェクト要素の値を変換する隣接処理を含む、前記オリジナルオブジェクトに適用された場合にオリジナルオブジェクト内に含まれるノイズを構造化する効果を持つような第1の処理を適用するステップと、
-第2の型の擬似白色変換済みノイズオブジェクトを得るためにノイズオブジェクトに対し第2の白色処理を適用するステップと、
-変換済みノイズオブジェクトを変換済みノイズオブジェクト内に導入するステップとを含む。
【００４０】
序文で述べたように、第1および第2の型のオブジェクトはそれぞれ、属性(例えば、色、ジオメトリ、鮮明度など)の与えられた集合を有するオブジェクトに対応する。
【００４１】
さらに、擬似白色オブジェクトは、オブジェクトのある位置における基本情報が隣接するいくつかの位置において同じオブジェクトの基本情報項目とは無相関または擬似無相関であるオブジェクトとして定義される。
【００４２】
そのため、擬似白色オブジェクトは、相関オブジェクトとは反対であり、このオブジェクトはオブジェクトのある位置における基本情報項目が隣接する位置における同じオブジェクトの基本情報と相関するオブジェクトに関係する。
【００４３】
その部分に対する白色処理は、擬似白色オブジェクトを擬似白色オブジェクトに変換する処理である。
【００４４】
それらの部分に対する隣接処理演算は、すでに、序文ですでに定義されている。
【００４５】
したがって、本発明によれば、第1の処理の実施の上流での、オリジナルオブジェクトからの擬似白色ノイズの抽出、および次いで、白色処理である第2の処理の使用を使った擬似白色の性質の保存により、ノイズを擬似白色のままにすることができ、したがって、ノイズの構造化(つまり、相関化)を防ぐことができる。
【００４６】
それに加えて、ノイズ除去時に、ノイズとともに、オリジナルオブジェクトから抽出された有用な情報は、変換済みオブジェクトから変換済みノイズオブジェクト内への再導入によって最終オブジェクト内に再び見つかる。ノイズをこのように再導入することは、ノイズが構造化されていないため問題にならない。特に、デジタル画像が関わる場合、最終画像のデジタルグレインは、初期画像のデジタルグレインと同一であるか、または類似のサイズである。
【００４７】
それに加えて、ノイズをこのように再導入することは、使用される第1および第2の処理演算が、同じ型の、つまり特に色、ジオメトリ、および鮮明度の同じ属性を有するオブジェクトを得るために同じ方法で、ノイズ除去されたオブジェクトおよびノイズオブジェクトの型を修正するという事実によって容易になる。この対策がないと、変換済みオブジェクトと変換済みノイズオブジェクトを組み合わせることが不適切であるか、さらには不可能にすらなりうる。例えば、3つの色チャネル(例えば、R、G、B)を含む変換済みオブジェクトと単一の色チャネルを備えるノイズオブジェクトとの「単純な」組合せだと、問題が生じる。同様に、幾何学歪みについて補正された変換済みオブジェクトと非変換ノイズオブジェクトとを組み合わせると、例えば、暗領域内のノイズは変換済みオブジェクトの暗領域上に重ね合わされないので、問題を生じる。同様に、オブジェクトを取り込むために使用されたレンズによって引き起こされる曖昧さが取り除かれている変換済みオブジェクトと非変換オブジェクトとを組み合わせると、擬似白色ノイズオブジェクトがよりぼやけ、目から変換済みオブジェクトの鮮明度の増大を隠すことになるため、問題を生じる。
【００４８】
上述のオブジェクト、つまり、オリジナルオブジェクト、ノイズ除去済みオブジェクト、変換済みオブジェクト、ノイズオブジェクト、および変換済みノイズオブジェクトの一部または全部は、デジタル画像を含みうる。一変形例では、これらは、序文で列挙されているオブジェクトの他のカテゴリに属することができる。
【００４９】
第2のプロセス(ノイズの減衰、ノイズの色の修正など)は、有利に、最終オブジェクト内のノイズの有害な影響を制限するように選択されうる。このようにして、最終オブジェクト内に出現するノイズは、制御される。それに加えて、第2の処理は、このオブジェクトからすでに分離されているノイズに適用されるので、オリジナルオブジェクト内に含まれる有用な情報に対しマイナスの効果をもたらさない。
【００５０】
ノイズ除去済みオブジェクトに適用される第1の処理は、例えば、隣接するオブジェクト要素の値に応じてオブジェクト要素の値を変換する隣接処理を含み、前記オリジナルオブジェクトに適用された場合にオリジナルオブジェクト内に含まれるノイズを構造化する効果を持つ。例えば、第1の処理は、オリジナルオブジェクトがRAW画像である場合のデマトリックス処理、曖昧さ除去、およびノイズ除去済みオブジェクトの少なくとも一部の変形のうちの1つまたは複数を含みうる。
【００５１】
他の例によれば、第1の処理は、シミュレートされたシルバーグレインの追加、倍率色収差の補正、サブピクセル画像調整、圧縮/展開、およびマルチスケール方式で適用される処理のうちの1つまたは複数を含みうる。
【００５２】
一変形例において、またはそれに加えて、ノイズ除去済みオブジェクトに適用される第1の処理は、前記オリジナルオブジェクトに適用された場合にオリジナルオブジェクト内に含まれるノイズを増幅する効果を有する処理を含みうる。例えば、第1の処理は、オリジナルオブジェクトの送り元であるセンサーの感度に依存する増幅、ノイズ除去済みオブジェクトの少なくとも一部におけるコントラストの増大、およびノイズ除去済みオブジェクトの少なくとも一部におけるホワイトバランス処理の実施のうちの1つまたは複数を含みうる。
【００５３】
他の例によれば、第1の処理は、シェーディングの補正、色の彩度、色の変換、または例えばセンサーのダイナミックレンジを人為的に高めるための異なる撮影パラメータと画像との組合せのうちの1つまたは複数を含みうる。
【００５４】
オリジナルオブジェクトとノイズ除去済みオブジェクトとの間の差分に適用される第2の処理は、その結果得られるノイズオブジェクトのそれぞれの要素(例えば、その結果得られるノイズ画像のそれぞれのピクセル)に、オリジナルオブジェクトとノイズ除去済みオブジェクトとの間の差分に対応する少なくとも1つの要素に関連付けられている値、オリジナルオブジェクト、ノイズ除去済みオブジェクト、および変換済みオブジェクトのうちの少なくとも1つのオブジェクトの少なくとも1つの対応する要素に関連付けられている値に依存する値、少なくとも1つの外因的パラメータに依存する値のうちの1つまたは複数に依存する少なくとも1つの値に関連付けることができる。
【００５５】
本発明は、前述の方法を実装するように配列構成されたデジタルオブジェクトの処理のためのシステムも提案する。このシステムは、
-ノイズを含む第1の型のオリジナルオブジェクトのノイズ除去を、前記第1の型のノイズ除去済みオブジェクトを得るために行うためのユニットと、
-オリジナルオブジェクトとノイズ除去済みオブジェクトとの間の差分から第1の型の擬似白色ノイズオブジェクトを得るためのユニットと、
-ノイズ除去済みオブジェクトに対し、第2の型の変換済みオブジェクトを得るために隣接するオブジェクト要素の値に応じてオブジェクト要素の値を変換する隣接処理を含む、前記オリジナルオブジェクトに適用された場合にオリジナルオブジェクト内に含まれるノイズを構造化する効果を持つような第1の処理を適用するためのユニットと、
-第2の型の擬似白色変換済みノイズオブジェクトを得るためにノイズオブジェクトに対し第2の白色処理を適用するためのユニットと、
-変換済みノイズオブジェクトを変換済みオブジェクト内に導入するためのユニットとを備える。
【００５６】
このシステムは、画像取り込み手段および/または画像取り出し手段を備えることもできる。
【００５７】
本発明は、コンピュータ手段にロードされ、コンピュータ手段上で実行されると前述の方法を実行するように適合されているコード命令を含むコンピュータプログラム製品も提案する。
【００５８】
本発明の他の詳細および利点は、付属の図面を参照しつつ、限定されない例の以下の説明から明らかになる。
【図面の簡単な説明】
【００５９】
【図１】本発明によるデジタルオブジェクト処理の主ステップを示す図である。
【図２】デマトリックス処理用途に関係する本発明の特定の実施形態によるデジタルオブジェクト処理のステップを示す図である。
【図３】鮮明化用途に関係する本発明の特定の実施形態によるデジタルオブジェクト処理のステップを示す図である。
【図４】移動用途に関係する本発明の特定の実施形態によるデジタルオブジェクト処理のステップを示す図である。
【発明を実施するための形態】
【００６０】
本発明は、まず第一に、その概要について図1を参照しつつ説明される。この説明では、操作されるデジタルオブジェクトがデジタル画像であるとの仮定がなされた。しかし、本発明は、序文で述べられている他の種類のデジタルオブジェクトにも適用される。
【００６１】
オリジナルデジタル画像Iが利用可能であるが、これは、どのような種類のものでも、またどのような次元のものでもよい。
【００６２】
デジタル画像とは、デジタル形式の画像のことである。画像は、序文で述べたようなデジタル画像収集システムに由来するものとしてよい。画像は、静止画、動画、撮影前のビデオシーケンス中の画像、または送信もしくは保存を意図された画像とすることができる。
【００６３】
デジタル画像は、中間調と称されるデジタル値の集合によって表すことができ、それぞれのデジタル値は感色性および面もしくは立体における相対的幾何学的位置に関連付けられる。色は、同じ感色性に関連付けられたすべてのデジタル値を指す。
【００６４】
デジタル画像は、デマトリックス処理演算前にセンサーから直接送られて来る原画像(RAW画像)とすることができる。デジタル画像は、処理、例えば、デマトリックス処理、ホワイトバランス処理、サブサンプリング処理などを施されていることもある。
【００６５】
より一般的に、オリジナル画像Iは第1の型であると考えられる。このため、例えば色、ジオメトリ、鮮明度などに関するこの第1の型の画像のいくつかの特性属性を備える。
【００６６】
このオリジナル画像Iは、ノイズ除去済み画像Jを得るために、ノイズ除去アルゴリズムdを使ってノイズ除去される。使用されるノイズ除去アルゴリズムdは、知られているどのようなノイズ除去アルゴリズムでもよい。しかし、これが適用される型の画像を修正しないように選択される。言い換えると、ノイズ除去アルゴリズムを使って得られるノイズ除去済み画像Jは、オリジナル画像Iなどの第1の型である。したがって、オリジナル画像Iと同じ属性を備える。
【００６７】
例えば、ノイズ除去アルゴリズムdは、ノイズ除去済み画像Jのそれぞれのピクセルをオリジナル画像Iおよびその隣接要素の対応するピクセルの加重平均として定義することによって動作しうる。このような平均処理は、実際に、ノイズの分散を低減する。
【００６８】
ノイズ除去アルゴリズムdの限定しない例を用いることで、シグマフィルター、双方向フィルター、またはNL平均について言及できる。
【００６９】
シグマフィルターは、重みがノイズ除去されるピクセルからの中間調の差の減少関数である加重平均をもたらす。これは、J S Leeの論文「Digital image smoothing and the sigma filter」、Computer Vision、Graphics and Image Processing 24:255〜269頁、1983年において説明されている。
【００７０】
双方向フィルターでは、平均の重み付けで使用される重みは、ノイズ除去されるピクセルからの中間調の差とこのピクセルまでの距離の減少関数である。ノイズ除去法は、S M SmithおよびJ M Bradyの論文「SUSAN - A new approach to low level image processing」、International Journal of Computer Vision、23(1):45〜78頁、1997年5月またはC TomasiおよびR Manduchiの論文「Bilateral Filtering for Gray and Color Images」、Proceedings of the 1998 IEEE International Conference on Computer Vision、Bombay、Indiaにおいて説明されている。
【００７１】
NL平均については、これは重みがノイズ除去される点のコンテキストとその隣接要素との間の距離の減少関数である平均の重み付けを使用する。これは、例えば、A Buades、B Coll、およびJ M Morelの論文「A review of image denoising algorithms, with a new one」、Multiscale Modelling and Simulation (SIAM interdisciplinary journal)、Vol 4 (2)、490〜530頁、2005年において説明されている。
【００７２】
次いで、変換済み画像Kを得るために、ノイズ除去済み画像Jに処理t1が適用される。処理t1は、オリジナル画像Iに適用された場合にこのオリジナル画像Iに含まれるノイズを構造化する効果を有するような処理である。これは、序文で定義されているような隣接処理を含む。続いて、処理t1の例について調べることにする。
【００７３】
処理t1を、オリジナル画像Iにではなくノイズ除去済み画像Jに適用するのは、オリジナル画像内に含まれるノイズの構造化をまさに回避することを目的としていることに留意されたい。画像J内に含まれているノイズはノイズ除去アルゴリズムdの効果によって制限されるが、変換済み画像Kは、特に、目障りなノイズ構造が目に見える形で存在していることによる序文で述べられている短所を持たない。変換済み画像Kは、オリジナル画像Iに比べて粗いが、振幅は限定されているデジタルグレインを有する。
【００７４】
変換済み画像Kのピクセルは、必ずしもノイズ除去済み画像Jと同じ型ではない。特に、これらは、画像Jと異なる数のチャネルを有することがある。
【００７５】
より一般的に、第1の処理t1は、適用先の型の画像を修正する効果を有することができる。したがって、変換済み画像Kは、第1の型と異なりうる第2の型である。このため、変換済み画像Kは、色および/またはジオメトリおよび/または鮮明度などの、オリジナル画像Iと異なる1つまたは複数の属性を備えうる。
【００７６】
さらに、オリジナル画像Iとノイズ除去済み画像Jとの間の差分から擬似白色ノイズ画像が得られる。ノイズ除去アルゴリズムdの動作モードを通じて、得られるノイズ画像は、ノイズとは別に、ノイズ除去済み画像Jでは取り去られたオリジナル画像Iに関する有用な情報を含む。この有用な情報は、特に、表面または例えば皮膚のきめなどの、オリジナル画像Iの微細構造を含む。
【００７７】
得られたノイズ画像は、擬似白色であるという事実から、このノイズ画像内の任意の位置における基本情報項目は、隣接する位置における同じ画像の基本情報項目と無相関であるか、またはごくわずかに相関することがわかる。この段階でノイズを構造化する相関は、こうして阻止される。
【００７８】
さらに、得られるノイズ画像は、オリジナル画像Iと同じ型である、つまり、第1の型である。したがって、オリジナル画像Iと同じ属性を備える。
【００７９】
このノイズ画像は、処理t2を受ける。次いで、変換済みノイズ画像Cが得られる。処理t2は、したがって擬似白色オブジェクトを擬似白色オブジェクトに変換する白色処理である。そのため、オリジナル画像Iとノイズ除去済み画像Jとの間の差分から得られるノイズ画像は、擬似白色なので、同じことが変換済みノイズ画像Cにも当てはまる。このようにして、ノイズは、構造化もしくは相関しないか、またはごくわずかに構造化もしくは相関し、ノイズの望ましくない目に見える効果が制限されうる。
【００８０】
それに加えて、白色処理t2は、処理t1と同じようにして適用される型の画像を修正する。したがって、第1の型のノイズ画像に適用される場合、第2の型の変換済みノイズ画像Cを得ることが可能になる。変換済みノイズ画像Cは、こうして、変換済み画像Kと同じ属性を有する。
【００８１】
白色処理t2のさまざまな例を考えることができ、そのうちのいくつかについて以下で述べる。
【００８２】
白色処理t2の効果を通して、変換済みノイズ画像Cのそれぞれのピクセルに、ノイズ画像の少なくとも1つの対応するピクセルに関連付けられている値、オリジナル画像Iの少なくとも1つの対応するピクセルに関連付けられている値、ノイズ除去済み画像Jの少なくとも1つの対応するピクセルに関連付けられている値、変換済み画像Kの少なくとも1つの対応するピクセルに関連付けられている値、および1つまたは複数の外因的パラメータのうちの1つまたは複数のどれかに依存する1つまたは複数の値に関連付けることができる。
【００８３】
外因的パラメータの場合、これらはユーザー側で固定できる。一変形例では、これらは、例えば、焦点値、レンズ口径、焦点距離、カメラの特性などに対応するときにユーザーと無関係なものであってよい。可変特性とも称される外因的パラメータの概念は、国際公開第03/007239号において詳しく説明されている。
【００８４】
有用な情報およびノイズを含むオリジナル画像Iが前もって分離されているため、白色処理t2の実施は、画像の劣化をもたらさないことに留意されたい。したがって、ノイズに対して非常に効果的である、またオリジナル画像I上に直接実施することができたことのない白色処理t2を使用することが可能である。
【００８５】
次いで、最終画像Fを得るために、変換済みノイズ画像Cが変換済み画像K内に導入される。この導入は、変換済みノイズ画像Cを変換済み画像Kに加えることを含みうる。一変形例では、またはそれに加えて、この導入は、変換済み画像Kと変換済みノイズ画像Cとの乗算を含みうる。
【００８６】
変換済みノイズ画像Cをこのように導入することが可能であり、また容易であるのは、この画像が変換済み画像Kと同じ型(第2の型)であるという事実による。変換済み画像Cおよび変換済み画像Kの属性が同じなので、これらの組合せは自然であり、コヒーレントな最終画像Fが得られる。
【００８７】
それに加えて、変換済み画像K内に変換済みノイズ画像Cを導入することで、最終画像F内に、ノイズ除去Dにおいて消去されたオリジナル画像Iの微細構造を再導入することが可能になる。したがって、このような最終画像Fによってレンダリングされる視覚効果は、変換済み画像Kと比べて良好であり、よりリアルである。
【００８８】
この最終画像Fのグレインは、サイズが限定されてもおり、例えば、オリジナル画像Iの場合と同じオーダーである。
【００８９】
このような方法で、上流で実行されるノイズ除去dにより、ノイズが処理t1によって過剰に構造化されていない最終画像Fが得られるが、それにもかかわらず、ノイズ除去dが削除してしまった画像の微細構造を含んでいる。
【００９０】
より一般的には、最終画像Fにおいて、ノイズは、有用な情報を過剰に失うことなく制御されると言える。
【００９１】
したがって、オリジナル画像I、ノイズ除去済み画像J、およびノイズ画像Bは、第1の型のオブジェクトに対応する。変換済み画像Kおよび変換済みノイズ画像Cは、第2の型のオブジェクトに対応し、したがって、最終画像Fを得るために変換済みノイズ画像Cが変換済み画像K内に導入できる。一実施形態では、前記第1の型および前記第2の型は、互いに異なる、色、ジオメトリ、および鮮明度のうちの少なくとも1つの属性を有するオブジェクトに対応し、第1の処理t1および第2の処理t2は、第1の型のオブジェクトから始めて第2の型のオブジェクトを得るためにノイズ除去済みオブジェクトJおよびノイズオブジェクトに関して前記属性を修正する効果をそれぞれ有する。
【００９２】
画像以外のデジタルオブジェクトに関する場合にも同様の結果が得られる。
【００９３】
次に、本発明の実施形態および実装のさまざまな限定しない例について説明する。これらは、開示されたばかりの一般原理に則って、考えられうる任意の方法で互いに有利に組み合わせることができる。
【００９４】
図2に例示されている実施形態では、オリジナルオブジェクトまたは画像、ノイズ除去済みオブジェクトおよびノイズオブジェクトは、後述のような4つのピクセルG、R、およびBの正方形にまとめられた基本情報項目の編成に対応する「Bayer-RAW色」を色属性として有するオブジェクトに対応するBayer-RAW画像である。一変更実施形態では、オリジナル画像、ノイズ除去済み画像、およびノイズ画像は、他の色属性を持つ他の型のオブジェクトに対応するピクセルの他の編成(例えば、白色、赤色、緑色、および青色のピクセルを含む全整色)を有するRAW画像である。一変更実施形態では、オリジナル画像、ノイズ除去済み画像、およびノイズ画像は、他の色属性「RGB色」、「YUV420色」、および「YUV422色」を持つ他の型のオブジェクトに対応するRGBまたはYUV420またはYUV422画像である。同様に、変換済みオブジェクトおよび変換済みノイズオブジェクトにはさまざまな型がありえ、またさまざまな色属性、例えば、属性「RGB色」を有する。したがって、色属性は、例えば、それぞれの基本情報項目によって表される色に関係する1つまたは複数の基準に対応しうる。
【００９５】
図2の例では、第1の型および第2の型の色属性は、異なり、また第1および第2の処理演算t1およびt2は、この色属性を修正する。第1の型の色属性は、「Bayer raw色」である。第2の型の色属性は、「RGB色」である。
【００９６】
図2に示されている例では、オリジナル画像Iは、カラーフィルターのアレイを備えるセンサーから送られて来るRAW画像であり、これにより、それぞれのピクセル内の波長範囲にわたってのみ光を測定することが可能になる。この例の目的に関して、注目するRAW画像は、米国特許第3,971,065号で説明されている内容に従ってBayerアレイに由来するものである。当然のことだが、モノクロセンサーから送られて来る画像、複数のインタレースされたBayerアレイなどの他の種類のRAW画像も、オリジナル画像として使用することが可能である。RAW画像Iは、4つのピクセルの正方形の集合から形成され、共通のエッジを持たないそのうち2つのピクセルは緑色波長帯(「G」で表されるピクセル)の各値を受け取り、1つのピクセルは赤色波長帯(「R」で表されるピクセル)の1つの値を受け取り、最後のピクセルは青色波長帯(「B」で表されるピクセル)の1つの値を受け取る。
【００９７】
カラーフィルターの構造を保存するノイズ除去dがRAW画像Iに適用され、これにより、Iと同じ型のノイズ除去済み画像J(つまり、これもまたBayerアレイに編成されている)が得られる。
【００９８】
ノイズ除去済み画像Jに適用される処理t1は、デマトリックス処理演算である。このデマトリックス処理により、ピクセル毎に複数の値を再構成することが可能である。したがって、示されている例では、それぞれのピクセルに赤色、緑色、または青色チャネルのうちの1つにそれぞれ対応する値の三つ組み(R,G,B)が割り当てられた変換済み画像Kが得られる。したがって、画像Kのピクセルは、RAW画像Iまたはノイズ除去済み画像Jより3倍多い値を有する。そのため、RAW画像Iとは異なり、変換済み画像Kはカラー画像である。したがって、この変換済み画像Kは、特に色に関係する属性(Bayerアレイではなく3つの平面R、G、B内の編成)に関して、RAW画像Iと異なる型である。
【００９９】
デマトリックス処理は、ノイズの多い画像に適用された場合にノイズを構造化する効果を有する隣接処理である。これは、例えばこのピクセルに対するGチャネルに対応する値から与えられたピクセルに対するRおよびBチャネルに対応する値を見つけるために、前記ピクセルに近いピクセルに関連付けられているRおよびBチャネルに対応する値をそれぞれ考慮した補間を行うからである。
【０１００】
前にノイズ除去Dを行っているため、この処理演算は、オリジナル画像I内に含まれるノイズにおいて類似の相関をもたらさない。
【０１０１】
さらに、ノイズ画像Bは、RAW画像Iとノイズ除去済み画像Jとの間の差分として定義される。IおよびJのように、画像Bは、ピクセル毎に3つのチャネルR、G、およびBのうちの1つのみに対応する1つの値を含む。したがって、ノイズ画像Bは、画像IおよびJと同じ型である。また、隣接する位置で含む基本情報項目の間に相関はまったく、またはごくわずかしか存在しないため、これは擬似白色画像である。
【０１０２】
次いで、変換済みノイズ画像Cを得るために、ノイズ画像Bに処理t2が適用される。第2の型のオブジェクトを得るためにこの例で考えられた処理tは、2つの欠落チャネルに対応する値をピクセル毎に決定することからなる。例えば、これらの値は、知られている値に等しいものとしてみなせる。言い換えると、緑色チャネルに対応する値を有するノイズ画像Bのピクセルは、同じ画像C内で、赤色および青色のチャネルに対する同一の追加値を割り当てられる。したがって、変換済みノイズ画像Cのそれぞれのピクセルには、この例における注目する3つのチャネルに対する3つの値R=G=Bが関連付けられている。チャネルのこの等化の結果、ノイズは灰色になり、色は他の色から区別されず、ノイズは見ても不愉快でなくなる。当然のことながら、他の白色処理演算t2も可能であり、特に他の値も、知られている値を参照しつつ、欠落チャネルに対し定義されうる。
【０１０３】
この例では、ノイズ画像Cの与えられたピクセルに関連付けられている値は、ノイズ画像B内の同じ位置のピクセルに関連付けられている値にのみ依存することに留意されたい。言い換えると、処理t2は、それがノイズ画像Bの擬似白色の性質を保存するので白色処理である。
【０１０４】
それに加えて、得られた変換済みノイズ画像Cは、それぞれのピクセルに値の三つ組み(R,G,B)が関連付けられるカラー画像であるため変換済み画像Kと同じ型である。
【０１０５】
最後に、画像Cが画像K内に導入され、これらの画像は同じ型である、つまり、ピクセル毎に同じ数の値を有する。これにより、最終画像Fをカラーで取得することが可能になる。この画像Kのデジタルグレインは、比較的細かく、いかなる場合も、RAW画像Iのグレインと同一または近いサイズを有するが、それは、RAW画像Iのノイズ除去dの後にデマトリックス処理t1が実行されたからである。それに加えて、ノイズ除去Dによって減衰または削除すらされたRAW画像の微細構造は、再び、ノイズCを最終画像F内に再導入することで見つかる。それに加えて、灰色に見えるようにノイズが処理されたという事実から、最終画像F内で特に目立たない。
【０１０６】
上で開示されている本発明の一般原理に従って、ノイズ除去済み画像Jに適用することができ、思い付くいかなる方法でも組み合わせることができる処理演算t1の他の限定しない例を以下で取りあげる。
【０１０７】
鮮明さ属性は、例えば、取り込むために使用される装置およびシーンから画像を取得するために適用される処理演算によって導入されるぼけの量を特徴付けることに対応する。
【０１０８】
例えば、鮮明さは、「Proceedings of IEEE, International Conference of Image Processing, Singapore 2004」、およびJerome BuzziおよびFrederic Guichardによる「Uniqueness of Blur Measure」という表題の論文で説明されているように、ぼけたパッチ面の測定結果である、BXUと称される値の測定結果に対応しうる。
【０１０９】
簡単にするため、光学系のぼけは、鮮明さ平面内に置かれた無限に小さな点の、「パルス応答」と称される画像から測定される。BXUパラメータは、パルス応答の分散である(つまり、その平均表面)。
【０１１０】
したがって、鮮明さ属性は、例えば、画像の少なくとも1つの領域内のBXU、および焦点距離などの少なくとも1つの外因的パラメータ値について従うべき基準によって定義されうる。そのため、「画像内の至るところでBXU鮮明さ≦4」または「画像内の至るところでBUX鮮明さ≦2」または「画像内の至るところでBXU鮮明さ≦0.5または2≦BXU≦3」は、鮮明さ属性のいくつかの例である。鮮明さ属性は、例えばさまざまな光学収差の測定を使用して他の基準で定義することもできる。
【０１１１】
一実施形態では、オリジナルオブジェクトまたは画像、ノイズ除去済みオブジェクト、およびノイズオブジェクトは、その鮮明さ属性としてオリジナル画像の収集時にレンズおよびセンサーによって入り込んだぼけを考慮した特定のぼけレベルに対応する「カメラC1のraw鮮明さ」を有するオブジェクトに対応するRAW画像である。ぼけ属性は、画像内の位置またはレンズの焦点距離または色などの外因的パラメータに依存しうることに留意されたい。一変更実施形態では、オリジナル画像、ノイズ除去済み画像、およびノイズ画像は、他の鮮明さ属性を持つ他の型のオブジェクトに対応するピクセルの他の編成(例えば、白色、赤色、緑色、および青色のピクセルを含む全整色)を有するRAW画像である。一変更実施形態では、オリジナル画像、ノイズ除去済み画像、およびノイズ画像は、これらの画像を得るために実行される処理演算に関する鮮明さレベルに対応する他の鮮明さ属性を持つ他の型のオブジェクトに対応するRGBまたはYUV420またはYUV422またはG画像である。同様に、変換済みオブジェクトおよび変換済みノイズオブジェクトにはさまざまな型がありえ、またさまざまな鮮明さ属性、例えば、属性「2 BxUだけ増大したカメラC1のraw鮮明さ」を有する。実際、鮮明さ属性では、画像内の位置に応じた、または画像内の位置またはレンズの焦点距離または色などの外因的パラメータに応じた鮮明さ変数を考慮することができる。
【０１１２】
図3は、第1の型および第2の型の鮮明さ属性が異なり、第1および第2の処理演算t1およびt2が鮮明さ属性を修正する本発明の例示的な実施形態を示している。第1の型は、その鮮明さ属性として、カメラC1でオリジナル画像を撮影することによって得られる鮮明さに対応する「カメラC1鮮明さ」を有する。第2の型の鮮明さ属性は、「BxU鮮明さ≦1.5」である。これらの画像は、すべてのピクセルが同じ色Gを有する色属性「色G」を持つ画像である。
【０１１３】
ノイズ除去済み画像Jの少なくとも一部に適用される処理t1は、例えば、鮮明化処理演算に対応しうる。このような処理演算の目的は、フィルターを使用してデジタル画像を視覚的により鮮明にすることである。大まかに言うと、これは、隣接するピクセルの間の光強度の変動を際立たせるものである。したがって、これは、強度の変動の同じ作動がノイズ自体に適用されるため、ノイズの多い画像に適用された場合にノイズを構造化する効果を有する隣接処理である。
【０１１４】
このような鮮明化処理は、ノイズ除去済み画像Jに適用されうるが、オリジナル画像Iは、単一チャネルを含む画像であるか、または複数のチャネルを含む画像であった。画像Iは、特定の回数の前処理演算の結果であってもよい。
【０１１５】
ジオメトリ属性は、例えば、基準投影に関して平面上に移動する場合に従うべき基準に対応し、この移動は、取り込み装置がレンズを含む結果、シーンから画像を取得するために適用される処理演算を通じて実行される。ジオメトリ属性は、他の値に関係する基準を使って定義することもできる。
【０１１６】
例えば、ジオメトリ属性は、画像の少なくとも1つの領域内の移動、および焦点距離などの少なくとも1つの外因的パラメータについて従うべき基準によって定義されうる。したがって、「画像内の至るところでジオメトリd2/60000≦mov≦d2/40000」または「画像内の至るところでジオメトリd2/20000≦mov≦d2/100000」は、dが画像の中心までのピクセル単位の距離を表し、movが基準投影に関する移動を表すジオメトリ属性の例である。
【０１１７】
図4に例示されている実施形態では、オリジナルオブジェクトまたは画像、ノイズ除去済みオブジェクトおよびノイズオブジェクトは、オリジナル画像が撮影されるときにレンズによって導入される倍率色収差および歪みに関係する変形に対応する「RAW BayerカメラC1ジオメトリ」をジオメトリ属性として有するオブジェクトに対応するBayer-RAW画像である。変形は、画像内の位置、および焦点距離または焦点合わせなどのパラメータに依存しうることに留意されたい。一変更実施形態では、オリジナル画像、ノイズ除去済み画像、およびノイズ画像は、他のジオメトリ属性を持つ他の型のオブジェクトに対応するピクセルの他の編成(例えば、白色、赤色、緑色、および青色のピクセルを含む全整色)を有するRAW画像である。一変更実施形態では、オリジナル画像、ノイズ除去済み画像、およびノイズ画像は、他のジオメトリ属性を持つ他の型のオブジェクトに対応するRGBまたはYUV420またはYUV422画像である。同様に、変換済みオブジェクトおよび変換済みノイズオブジェクトは、さまざまな型がありえ、またさまざまなジオメトリ属性、例えば、「歪みに関して補正されたraw BayerカメラC1」または「スケールの変更が1.1センタリングされたraw BayerカメラC1ジオメトリ」または「mov<1ピクセルであるraw Bayerジオメトリ」を有する。
【０１１８】
図4は、第1の型および第2の型のジオメトリ属性が異なり、第1および第2の処理演算t1およびt2がジオメトリ属性を修正する本発明の例示的な実施形態を示している。第1の型は、そのジオメトリ属性として、カメラC1でオリジナル画像を撮影することによって得られるジオメトリに対応する「カメラC1ジオメトリ」を有する。第2の型は、そのジオメトリ属性として、「移動<1.0ジオメトリ」を有する。これらの画像は、色属性「Bayer raw色」を持つ画像である。プロセッサt1は、例えば、サブピクセル補間によるピクセル非整数個分の移動を引き起こす。プロセッサt2は、例えば、ピクセル偶数個分の移動を行わせるか、またはプロセッサt2は、例えば、ピクセル整数個分の移動を行わせる。
【０１１９】
一変形例では、第1の処理t1および第2の処理t2は、複数の属性、例えば色および次いで少なくとも1つの色における鮮明さまたは例えばジオメトリおよび次いで色および次いで少なくとも1つの色における鮮明さの修正を含む。これは、ノイズ除去処理演算を1回だけ実行するという利点を有し、このため、処理演算t1およびt2を好ましくは色属性「Bayer raw色」を有する画像に対し実行することが可能であり、データの量は「RGB色」色属性を持つ画像に対する量のわずか1/3となるため計算量が低減される。
【０１２０】
他の例によれば、処理t1は、ノイズ除去済み画像Jの少なくとも一部の変形を含む。この変形は、例えば、スケールの変更(例えば、ズーム)、画像の直線に合わせて直線性を復元する歪み補正、回転、視差修正、モアレ現象(高い空間周波数が存在するときに生じ、アンチエイリアシングフィルターのパラメータ化によって補正される画像内の色付き干渉縞の出現)の補正、または透視補正を含みうる。
【０１２１】
このような処理は、ノイズの多い画像に適用された場合にノイズを構造化する効果を有する隣接処理をなす。これにより、実際、スケールの変化または非整数ピクセル分のピクセルの相対的移動があるため影響を受けていないいくつかのピクセルに対し値を補間することになる。
【０１２２】
他の例によれば、処理t1は、この現象を補正することを目的としている倍率色収差補正を含むが、この現象により、波長のすべてがカメラのレンズによって同じように屈折するわけではない。カラー画像のエッジでは、実際、それぞれの色に対応するチャネルが完全に分離しているようにすることが可能である。そこで、処理t1は、異なる変形を画像のチャネルに適用するという原則を持つことができる。
【０１２３】
他の例によれば、処理t1は、ノイズ除去済み画像Jを構成するサブピクセル画像調整を含み、そのため、中間値を補間することが必要になる。このような処理は、ノイズ除去済み画像Jの再サンプリングとみなせる。
【０１２４】
さらに他の例によれば、ノイズ除去済み画像Jに適用される処理t1は、マルチスケール処理であるとしてよい。この場合、ノイズ除去済み画像Jは、オリジナル画像Iのサブサンプリングの結果として得られ、したがって、これは異なる解像度での画像jの集合とみなせる。例えば、ノイズ除去済み画像Jは、オリジナル画像Iと比べてそれぞれピクセルの数が半分しかない2つの画像jを含むことが可能である。同様にして、それぞれ対応する画像jと同じサイズであるノイズ画像cの集合を得ることが可能である。この例は、上述の方法の再帰的な実装とみなせる。
【０１２５】
他の例によれば、ノイズ除去済み画像Jに適用される処理t1は、ノイズの多いオリジナル画像Iに適用された場合にアーチファクトを生じる圧縮/展開法を備えることができる。適切であれば、必要に応じて異なる圧縮/展開法をノイズ画像に適用することができる。この場合、補正された画像の属性は、補正された画像および補正されたノイズ画像の型が同じになるように例えば他の周波数に対する圧縮/展開の影響の記述を含みうる。
【０１２６】
他の例では、ノイズ除去済み画像Jに適用される処理t1は、ノイズの多い画像に適用された場合にノイズを増幅する効果を有する処理を含みうる。
【０１２７】
処理t1は、例えば、オリジナル画像Iの送り元であるセンサーの感度に依存する増幅を含むことができる。これは、センサーの大半が、波長に応じた感度変数を有するからである。したがって、これらは、多くの場合、青色の放射光に対する感度より赤色および緑色の放射光に対する感度の方が高い。
【０１２８】
例えば、RAW型のオリジナル画像Iの場合、青色チャネルに対応する値は、したがって、赤色および緑色チャネルに対応する値に比べて強い増幅を受けることができる。
【０１２９】
したがって、このような増幅t1の前に実行されるノイズ除去dは、ノイズの類似の増幅を防ぐ。
【０１３０】
他の例によれば、処理t1は、この画像のコントラストの増大を含みうる。序文で述べられているように、コントラストの増大は、大まかに言うと、画像の暗いピクセルをより暗くすることと、画像の明るいピクセルをより明るくすることとからなる。ノイズの多い画像に適用された場合には、同様にして、画像に含まれているノイズを増幅する効果を有する。
【０１３１】
コントラストの増大は、考えられる他の処理演算と同様に、1つまたは複数の単一次元もしくは多次元のルックアップテーブル(LUT)の使用に基づくことができる。これらのテーブルには、所定の値を使用した1つまたは複数の関数の適用結果が格納される。これらは、処理実行中に必要な計算量を制限する。
【０１３２】
さらに他の例によれば、処理t1は、ノイズ除去済み画像Jの少なくとも一部でホワイトバランスを使用することを含みうる。このような処理演算は、スペクトル的に中間色であるオブジェクトを白色にする効果を有する。したがって、オブジェクト上に送られるオリジナル光スペクトルの性質が何であれ、例えば、タングステン照明であるため黄赤色が支配色であるスペクトルの事例であれば、変換済み画像Kは、このオブジェクトを、後者がオリジナルスペクトルと同じ形のスペクトルを返す場合に白色で表示する。
【０１３３】
このようなホワイトバランスは、例えば、スペクトル的に中間色であるオブジェクトに対応する処理された画像の部分の値(R,G,B)を互いに同一または近いものにすることによって達成することができる。そうする際に、これらの値のうちのいくつか、例えば、青色チャネルに対応する値を増幅する。したがって、ノイズの類似の増幅は、ノイズの多い画像にホワイトバランスが適用された場合に生じる。
【０１３４】
他の例によれば、ノイズ除去済み画像Jの少なくとも一部に適用される処理t1は、シェーディングへの補正を含みうる。この処理は、センサーの照明の不均一さを補正することを目的としており、これは周辺のピクセルが一般的に中心のピクセルに比べて少ない光を受け取ることを意味している。これを行うために、それぞれのピクセルの1つまたは複数の値に、このピクセル内で適用される減衰係数の逆数を掛ける。
【０１３５】
他の例によれば、ノイズ除去済み画像Jの少なくとも一部に適用される処理t1は、彩度または「自然な彩度(vibrance)」を含みうる。この処理は、画像をポストカードに近い見かけにするために色を増幅する。
【０１３６】
他の例によれば、ノイズ除去済み画像Jの少なくとも一部に適用される処理t1は、色変換(例えば、セピア色への)を含みうる。
【０１３７】
ノイズ除去済みオブジェクトJが複数の画像jの組合せからなる他の例によれば、処理t1は、これらの画像jの全部または一部に適用することができる。これは、例えば、HDR(「高ダイナミックレンジ」)技術が使用される場合であり、これにより、異なる撮影パラメータ(例えば、ポーズ時間、絞りの開口量など)を使用して同じシーンの複数の画像を取得し、そうして、センサーのダイナミックレンジ、つまり、コーディング容量を人工的に高めることが可能である。さらに、オリジナル画像Iのノイズ除去から結果として得られる複数のノイズ画像から単一のノイズ画像を見つけるために類似の組合せが必要になることがある。
【０１３８】
いくつかの処理演算t1は、ノイズの構造化と増幅の両方を実行することができる。
【０１３９】
例えば、ノイズ除去済み画像Jを、例えば「レトロ調」効果を持つ銀塩写真のように見せるためのフィルムグレインのシミュレーションについて言及できる。
【０１４０】
本発明が、二次元デジタル画像以外のオブジェクトに適用される場合、これらのオブジェクトの性質に適合させた処理演算t1を使用するとよい。
【０１４１】
例えば、オリジナルオブジェクトがフィルムから抽出された一連の画像である場合、ノイズ除去済みオブジェクトJは、2つの空間次元と1つの時間次元を持つ画像とみなせる。次いで、処理t1は、シーンフィルム内に存在しない複数のブロックにわけて画像を定める画像圧縮とすることができる。変換済みノイズ画像の追加は、ブロック効果をマスクし、フィルムをなおいっそう好ましいものにする傾向を有する。
【０１４２】
前述の処理演算の詳細について、または使用可能な処理演算の他の例については、特に、欧州特許第02751241.7号、欧州特許第02743349.9号、欧州特許第02747504.5号、欧州特許第02748934.3号、欧州特許第02743348.1号、欧州特許第02748933.5号、欧州特許第02747503.7号、欧州特許第02747506.0号、欧州特許第02745485.9号、PCT/仏国特許出願第2004/050455号を参照することができる。
【０１４３】
異なる例が上で説明されたノイズ除去済み画像Jに適用される処理t1に加えて、処理t2がノイズ画像Bに適用される。処理t2の一例は、デジタル画像のデマトリックス処理に関して図2を参照しつつすでに説明されている。上で開示されている本発明の一般原理に従って、互いに、および/またはノイズ除去済み画像Jに適用される処理t1に関して、思い付くいかなる方法でも組み合わせることができる他の限定しない例が以下で説明されている。
【０１４４】
白色処理t2は、使用されるときに、ノイズのサイズ、したがってデジタルグレインのサイズを保存するノイズ画像Bへの修正を有利に含みうる。
【０１４５】
特に、画像B内のノイズの強度は、ノイズ除去dの作用によりノイズが抽出されているため、オリジナル画像I内の有用な情報を同じ方法で減衰させるリスクを負うことなく、減衰できる。
【０１４６】
ノイズ画像Bのそれぞれのピクセルに適用される減衰の程度は、外因的パラメータに依存しうる。このパラメータは、ユーザーによって固定されうる。後者は、例えば、ノイズ画像Bのそれぞれのピクセルに関連付けられている1つまたは複数の値を10%だけ減衰することを選択できる。
【０１４７】
減衰は、ノイズ画像Bのピクセルに応じて変化することもありうる。例えば、暗色調、中間色調、および明色調であるオリジナル画像Iのピクセルまたはノイズ除去済み画像Jのピクセルに対応するノイズ画像Bのピクセルについてそれぞれ30%、40%、および50%のノイズの減衰を適用することが決定される可能性がある。一変形例では、またはそれに加えて、減衰は、オリジナル画像Iまたはノイズ除去済み画像J内の対応するピクセルの色の関数としてノイズ画像Bのピクセルに応じて変化しうる。
【０１４８】
この方式では、ノイズ画像Bのピクセルがオリジナル画像Iのピクセルまたはノイズ除去済み画像Jのピクセルに対応するということは、これら2つのピクセルがそれぞれ属す画像内で同じ位置を有する場合に、考えられうる。一変形例では、オリジナル画像Iまたはノイズ除去済み画像Jの複数のピクセルが、ノイズ画像Bのピクセルに対応する、例えば、ピクセルB、さらにはその隣接要素と同じ位置にあるIまたはJのピクセルに対応する可能性がある。次いで、これらのピクセル間のマッチングは、位置基準に従って行うことができる。さらに他の変形例によれば、コンテキストからマッチングを行うことが可能であり、例えば、IまたはJおよびBのピクセルは、同じオブジェクトに属す場合、これらが同じきめに関係する場合、これらが同じ色の範囲を有する場合などに対応する可能性がある。
【０１４９】
他の例によれば、使用される白色処理t2は、その色を修正するためにノイズへの修正を含みうる。
【０１５０】
したがって、注目するオリジナル画像Iが、それぞれのピクセル中で3つの値(R,G,B)が利用可能であるカラー画像である場合、Iと同じ型であるノイズ画像Bは、ピクセルの少なくとも一部において値(R,G,B)が画像I、J、またはKの対応するピクセルの場合と同じ、値R/GとB/Gの比を有するように修正されうる。
【０１５１】
この場合も、ノイズ画像Cのそれぞれのピクセルに関連付けられている値は、したがって、ノイズ画像B、および画像I、J、またはK内の対応するピクセルに関連付けられている値に依存する。これらのピクセル間のマッチングは、上で示されているように、さまざまな方法で定義されうる。
【０１５２】
このような処理により、画像I、J、またはKと実質的に同じ色を持つ変換済みノイズ画像Cを得ることが可能になる。そこでこれにより、画像K内へのノイズの最終再導入の後に、最終画像F内の不適切なカラースポットを発生することが回避されており、ノイズの視覚認知が低減される。
【０１５３】
一変形例では、ノイズ画像Bの色の非彩色化が使用されうる。これを行うために、ノイズ画像Bのそれぞれのピクセルに関連付けられている値(R,G,B)を等しくするか、または近い値にすることができる。そのため、このような処理では、ノイズ画像Cのそれぞれのピクセルに、ノイズ画像Bの対応するピクセルに関連付けられている値(R,G,B)のうちの少なくとも1つの値に依存する3つの値(R,G,B)を関連付ける。この場合には、ノイズ画像Bとは異なり、変換済みノイズ画像Cはもはやカラーではない。
【０１５４】
ノイズオブジェクトBが、画像以外のデジタルオブジェクトに対応する場合、このオブジェクトの型に適合させた処理演算t2を使用することができる。
【０１５５】
一実施形態では、前記第1の型および前記第2の型は、互いに異なる、色、ジオメトリ、および鮮明さのうちの少なくとも1つの属性を有するオブジェクトに対応し、第1の処理t1および第2の処理t2は、ノイズ除去済みオブジェクトJおよびノイズオブジェクトに関して前記属性を修正する効果をそれぞれ有する。
【０１５６】
すべての場合において、白色であり、処理t1と同じようにしてオブジェクトの型を修正する処理t2が選択される。
【０１５７】
例えば、処理t1が、歪み、倍率色収差、スケールの変更、投影、または同様の操作などの与えられた幾何学的変形を施すことによって、適用されるノイズ除去済み画像のジオメトリ属性を修正する場合、選択された処理t2は、同一の、または類似の仕方で、適用されるノイズ画像のジオメトリ属性を修正する。
【０１５８】
RAWデジタル画像のジオメトリの修正の図4に示されている例を取りあげる。そこで、デジタル画像Iは、RAW画像であり、その結果得られる画像FもRAW画像である。
【０１５９】
変換済みRAW画像Kを得るために、ノイズ除去済みRAW画像Jに処理t1が適用される。処理t1は、画像J内の必ずしも完全ではない位置(ジオメトリの変化に対応する)およびこの位置の近くにある画像Jのピクセルの値の補間に応じてそれぞれのピクセルKの値を決定することからなる。処理t1は、例えば、画像Kの処理済みピクセルの色に対応する画像Jのピクセル値の双三次補間を使用して補間することができる。(Bayer型のRAW画像の場合、それぞれのピクセルは1つの色のみに対する値を含む。)しかし、補間は、異なる色に対応するピクセルの値をただ単に有利となるように伴うことができる。補間は、情報の喪失を最もよく回避し、画像Kの見栄えを最もよく保存する修正をジオメトリに加えるように選択される。1つまたは複数の色を伴う双三次補間よりも複雑な方法を選択することができる。
【０１６０】
処理t1は、オリジナル画像Iに適用された場合にこの画像に含まれるノイズを構造化する効果を有するような処理である。これは、実際、序文で定義されているような隣接処理(補間)を含む。処理t1を、オリジナル画像Iにではなくノイズ除去済み画像Jに適用するのは、オリジナル画像内に含まれるノイズの構造化をまさに回避することを目的としていることに留意されたい。変換済み画像Kのピクセルは、必ずしもノイズ除去済み画像Jと同じ型ではないが、それは画像のジオメトリが処理t1によって修正されたからであることにも留意されたい。
【０１６１】
処理t2は、ノイズ画像Bのジオメトリの修正を画像C内にもたらし、ノイズの構造化を最もよく防ぐようにする。例えば、処理t2は、画像C内の必ずしも完全ではない位置(t1によって引き起こされるのと同じ、ジオメトリの変化に対応する)に従って、またこの位置の最も近くにある、画像Bのピクセルの値を取って、Cのそれぞれのピクセルの値を決定することができる。こうして定義された処理t2は、それがノイズ画像Bの擬似白色の性質を保存するので白色処理である。そのため、一変更実施形態において、t2について、処理t1に比べて小さい近接性を伴う、画像Cの擬似白色の性質を保持する補間を選択することが可能である。
【０１６２】
それに加えて、こうして得られた変換済みノイズ画像Cは、変換済み画像Kと同じ型である。次いで、画像Cは、画像K内に最終的に導入され、こうして、ジオメトリが補正され擬似白色ノイズを有する最終RAW画像Fを得ることが可能である。
【０１６３】
したがって、方法のこのような一変形例では、ノイズの構造化を回避しつつRAW画像のジオメトリを修正することが可能である。
【０１６４】
Bayer型のRAW画像に適用する図4の例の有利な一変形例では、処理t2は、それぞれのピクセルの色の性質を考慮せずに、画像Bのピクセルの値から画像Cのピクセルの値を選択または補間する。つまり、補間ステップは、画像BおよびCが同一のチャネルの画像であったかのように機能する。次いで、処理t2は、最初に異なる色に対応するピクセルの値を選択または補間することができる。したがって、ジオメトリの変化により、例えば「青色」ピクセルの画像Bの値は、例えば「緑色」ピクセルの画像Cで見つけることができる。この変形例の利点は、初期RAW画像の色のチャネルのそれぞれに比べて大きな分解能で移動させることが可能になることである。これは、単一チャネルと考えられる画像Bが、これら4つの色平面のそれぞれに比べて2倍高く分解されるからである。そのため、処理t2では、4つのチャネルを個別に考えて得られるのより小さなサイズを持つグレインを得ることが可能になる。処理t2は、ノイズの色を変化させうるが、これは、ノイズを構造化しないため問題にならず、有利なことにデマトリックス処理ステップですでに説明されているようにノイズを「灰色」にすることが可能である。
【０１６５】
同様に、図3に示されている例のように、処理t1が、例えば鮮明化を施すことによって、適用されるノイズ除去済み画像の鮮明さ属性を修正する場合、選択された処理t2は、同一の、または類似の仕方で、適用されるノイズ画像の鮮明さ属性を修正する。次いで、処理t2は、ノイズ画像Bのスカラー量の単純乗算とすることができる。スカラーは、処理t1によってもたらされる鮮明化レベルに依存する。例えば、t1を、畳み込みを使って鮮明化として選択することができる。次いで、t2を定義する乗算スカラー量を、畳み込みの係数の二乗和の平方根(ノルムL2)によって定義することができる。スカラー量による乗算は、画像Bの擬似白色の性質を保存する。それに加えて、これは、ノイズ画像Bの擬似白色の性質に関係する鮮明さ属性の修正に対応する。したがって、方法のこのような一変形例では、ノイズの構造化を回避しつつデジタル画像の鮮明さを修正することが可能である。
【０１６６】
一変形例では、t2は同一であり、ノイズ画像Bおよび修正済みノイズ画像Cは同一である。これにより、例えば、ノイズ画像Bが第1の型であるが、特に鮮明さ属性に関して第2の型の基準も満たす場合に計算を簡素化することが可能になる。
【０１６７】
当然のことながら、上で述べたもの以外の処理演算t1および/またはt2は、当業者には明らかなように、本発明の文脈において実施されうる。これらの処理演算は、それぞれ適用されるデジタルオブジェクトの型に応じて適合させることもできる。
【０１６８】
すべての場合において、変換済みオブジェクトは、画像取り出しシステム(例えば、画面、プロジェクター、テレビ受像機、仮想現実メガネ、プリンタなど)によって格納され、および/または処理され、および/または取り出されることを意図されうる。
【０１６９】
本発明は、説明されたばかりの方法を実装するためのユニットを備えるシステムも提案する。このシステムは、有利には、この方法を実装するためのソフトウェアおよび/またはハードウェア手段を含む電子コンポーネントを備える。これは、場合によっては、センサーおよび/または撮像装置、および/または画像取り出し手段を備えることができる。
【０１７０】
このシステムは、単純なデバイスからなるものとすることができる。これは、例えば、上述のステップをすべてが、例えば撮影装置または場合によってはオリジナル画像Iを取得することができるカメラなどの撮影システムを備える携帯電話に内蔵する技術を使って実行される場合である。
【０１７１】
それとは別に、このシステムは、異なるデバイス間に分散させることもできる。例えば、これらの処理演算のうちのいくつかを第1のデバイス内に実装し、他の処理演算を第2のデバイス内に実装することもできる。
【０１７２】
有利には、この方法の全部または一部は、コンピュータ手段にロードされ、実行されるコンピュータプログラムを使って実行されうる。そこで、コンピュータ上にロードされたデジタル画像処理ソフトウェアは、例えば、オリジナルオブジェクトから、上述の原理に従って最終オブジェクトを形成することができる。
【符号の説明】
【０１７３】
I  オリジナルデジタル画像
d  ノイズ除去
J  ノイズ除去済み画像
t1  処理
K  変換済み画像
B  ノイズ画像
t2  処理
C  変換済みノイズ画像
F  最終画像
C1  カメラ
【図１】
2010536081.tif 000003
【図２】
2010536081.tif 000004
【図３】
2010536081.tif 000005
【図４】
2010536081.tif 000006
【国際調査報告】
2010536081.tif 000007
2010536081.tif 000008
2010536081.tif 000009
2010536081.tif 000010
2010536081.tif 000011
2010536081.tif 000012