(57)【要約】  例えば粒状ノイズを欠くように圧縮されたビデオ信号に対する、決定論的な粒状ノイズ追加のための方法。本電子画像処理の方法は、入力画像ＰＩＣの垂直方向に配置された第１の水平方向のラインＬ１における第１の水平方向の画素位置ｈ１に対応する第１のランダム的値Ｒ１を決定するステップと、垂直方向に配置された第２の水平方向のラインＬ２における第２の水平方向の画素位置ｈ２について結果の値Ｒを導出するステップと、を有し、前記結果の値は、前記第１のランダム的値と、前記第２の水平方向のラインに配置された前記第２の水平方向の画素位置に対応する第２のランダム的値Ｒ２とに依存し、水平方向に隣接する画素位置についてのランダム的値が、シードを用いて初期化された単一のランダム発生器の連続的な出力により決定され、前記第１のランダム的値は、前記第１の水平方向のラインにおける最初の水平方向の画素位置ｆ１について第１のシードＳ１を用いて初期化された第１のランダム発生器ｎ１を用いて決定され、前記第２のランダム的値は、前記第１のランダム発生器と並行して動作し且つ前記第２の水平方向のラインにおける最初の水平方向の画素位置ｆ２について第２のシードＳ２を用いて初期化された第２のランダム発生器ｎ２を用いて決定され、第２のシードＳ２は、左から右及び上から下へのジグザグスキャン経路ＺＺにおける全ての水平方向の位置に連続的に適用され、前記第１のシードＳ１を用いて前記第１の水平方向のラインにおける最初の水平方向の画素位置ｆ１から始めて初期化された後に、前記第２の水平方向のラインにおける最初の水平方向の画素位置ｆ２について前記第１のランダム発生器ｎ１を適用することにより得られるランダム的値と略等しい。利点は、決定論的なフィルム粒状ノイズ追加のための、より小さなメモリ要件である。
2008523680.tif 000002
【特許請求の範囲】
【請求項１】
入力画像の垂直方向に配置された第１の水平方向のラインにおける第１の水平方向の画素位置に対応する第１のランダム的値を決定するステップと、
垂直方向に配置された第２の水平方向のラインにおける第２の水平方向の画素位置について結果の値を導出するステップと、
を有し、前記結果の値は、前記第１のランダム的値と、前記第２の水平方向のラインにおける前記第２の水平方向の画素位置に対応する第２のランダム的値とに依存し、水平方向に隣接する画素位置についてのランダム的値が、シードを用いて初期化された単一のランダム発生器の連続的な出力により決定され、
前記第１のランダム的値は、前記第１の水平方向のラインにおける最初の水平方向の画素位置について第１のシードを用いて初期化された第１のランダム発生器を用いて決定され、前記第２のランダム的値は、前記第１のランダム発生器と並行して動作し且つ前記第２の水平方向のラインにおける最初の水平方向の画素位置について第２のシードを用いて初期化された第２のランダム発生器を用いて決定される、電子画像処理の方法。
【請求項２】
前記第２のランダム発生器は、左から右及び上から下へのジグザグスキャン経路における全ての水平方向の位置に連続的に適用され、前記第１のシードを用いて前記第１の水平方向のラインにおける最初の水平方向の画素位置から始めて初期化された後に、前記第２の水平方向のラインにおける最初の水平方向の画素位置について前記第１のランダム発生器を適用することにより得られるランダム的値と略等しい前記第２のシードを用いて初期化される、請求項１に記載の電子画像処理の方法。
【請求項３】
前記結果の値を導出するステップは、前記第２の水平方向のラインにおける第２の水平方向の画素位置についてのランダム的な合成粒状ノイズ値を生成するステップの一部であり、前記ランダム的な合成粒状ノイズ値を生成するステップは更に、前記第２の水平方向のラインにおける前記第２の水平方向の画素位置における入力画像の画素値に前記合成粒状ノイズ値を加算して粒状ノイズのある出力画像を得るステップを更に有する、請求項１又は２に記載の電子画像処理の方法。
【請求項４】
前記合成粒状ノイズ値は、前記第１の水平方向のラインにおける第１の水平方向の画素位置と前記第２の水平方向のラインにおける第２の水平方向の画素位置とにおける入力画像の値に依存する、請求項３に記載の電子画像処理の方法。
【請求項５】
前記合成粒状ノイズ値は、前記入力画像の解像度に比べて減少させられた解像度で生成され、第２の合成粒状ノイズ値が、前記合成粒状ノイズ値を前記入力画像の画素値に加算する前に補間によって、前記入力画像の解像度で生成される、請求項３又は４に記載の電子画像処理の方法。
【請求項６】
電子画像処理装置であって、
入力画像の垂直方向に配置された第１の水平方向のラインにおける第１の水平方向の画素位置に対応する第１のランダム的値を決定するように構成された第１のランダム発生器と、
垂直方向に配置された第２の水平方向のラインにおける第２の水平方向の画素位置に対応する第２のランダム的値を決定するように構成された第２のランダム発生器と、を有し、前記第１のランダム発生器と第２のランダム発生器とは、それぞれの単一のランダム発生器及び電子画像処理装置の連続する出力により、水平方向に隣接する画素位置についてランダム的値を決定するように構成され、前記電子画像処理装置は、前記第１の水平方向のラインにおける最初の水平方向の画素位置について第１のシードを用いて前記第１のランダム発生器を初期化し、前記第２の水平方向のラインにおける最初の水平方向の画素位置について第２のシードを用いて前記第２のランダム発生器を初期化するように構成され、前記電子画像処理装置は更に、
垂直方向に配置された前記第２の水平方向のラインにおける第２の水平方向の画素位置について結果の値を導出するように構成された導出手段を有し、前記結果の値は、前記第１のランダム的値と前記第２のランダム的値とに依存し、前記電子画像処理装置は更に、
前記第１のランダム的値及び前記第２のランダム的値を略並行して決定するように前記第１のランダム発生器及び前記第２のランダム発生器を制御するよう構成可能な制御手段を有する、電子画像処理装置。
【請求項７】
前記第２のランダム発生器は、左から右及び上から下へのジグザグスキャン経路における全ての水平方向の位置に連続的に適用され、前記第１のシードを用いて前記第１の水平方向のラインにおける最初の水平方向の画素位置から始めて初期化された後に、前記第２の水平方向のラインにおける最初の水平方向の画素位置について前記第１のランダム発生器を適用することにより得られるランダム的値と略等しい前記第２のシードを決定するように構成可能なシード算出器を有する、請求項６に記載の電子画像処理装置。
【請求項８】
合成粒状ノイズを生成するために利用可能な請求項６又は７に記載の電子画像処理装置を有する、合成粒状ノイズ追加のための電子画像処理装置であって、前記第２の水平方向のラインにおける前記第２の水平方向の画素位置における入力画像の画素値に合成粒状ノイズ値を加算して粒状ノイズのある出力画像を得るように構成された加算器を更に有する電子画像処理装置。
【請求項９】
画像圧縮規格に従って圧縮された画像を圧縮されていない画像表現へと伸張するように構成された画像伸張ユニットを有し、前記画像伸張ユニットは、請求項６若しくは７に記載の電子画像処理装置又は請求項８に記載の合成粒状ノイズ追加のための電子画像処理装置に結合された画像伸張装置。
【請求項１０】
前記導出手段は、隣接する画素に対応する決定されたランダム的値の重み付けされた合計として前記結果の値を導出するためのＦＩＲフィルタを有する、請求項６又は７に記載の電子画像処理装置。
【請求項１１】
前記導出手段は、隣接する画素に対応する決定されたランダム的値の関数として前記結果の値を導出するためのＩＩＲフィルタを有する、請求項６又は７に記載の電子画像処理装置。
【請求項１２】
前記導出手段は、隣接する画素に対応する決定されたランダム的値の非線形関数として前記結果の値を導出するための非線形関数評価手段を有する、請求項６又は７に記載の電子画像処理装置。
【請求項１３】
請求項６若しくは７に記載の電子画像処理装置又は請求項９に記載の画像伸張機器を有する、テレビジョン信号受信機器。
【請求項１４】
画像を捕捉するように構成されたカメラと、前記画像を処理するように構成された請求項８に記載の合成粒状ノイズ追加のための電子画像処理装置とを有する、テレビジョン信号捕捉システム。
【請求項１５】
プロセッサが請求項１に記載の方法を実行できるようにするプロセッサ読み取り可能なコードを有するコンピュータプログラムであって、前記プロセッサ読み取り可能なコードは、
垂直方向に配置された第１の水平方向のラインにおける第１の水平方向の画素位置に対応する第１のランダム的値を、前記第１の水平方向のラインにおける最初の水平方向の画素位置について第１のシードを用いて初期化された第１のランダム発生器ユニットを用いて決定するためのコードと、
垂直方向に配置された第２の水平方向のラインにおける第２の水平方向の画素位置に対応する第２のランダム的値を、前記第２の水平方向のラインにおける最初の水平方向の画素位置について第２のシードを用いて初期化された第２のランダム発生器ユニットを用いて決定するためのコードと、
を有し、前記第１のランダム発生器ユニットと前記第２のランダム発生器ユニットとは、それぞれの単一のランダム発生器の連続する出力により、水平方向に隣接する画素位置についてランダム的値を決定するようにコード化され、前記プロセッサ読み取り可能なコードは更に、
垂直方向に配置された前記第２の水平方向のラインにおける第２の水平方向の画素位置について結果の値を導出するためのコードを有し、前記結果の値は、前記第１のランダム的値と前記第２の水平方向のラインにおける第２の水平方向の画素位置に対応する前記第２のランダム的値とに依存し、前記プロセッサ読み取り可能なコードは更に、
前記第１のランダム的値と並行して前記第２のランダム的値を決定するための制御コードを有する、コンピュータプログラム。
【請求項１６】
プロセッサが請求項２に記載の方法を実行できるようにするプロセッサ読み取り可能なコードを有するコンピュータプログラムであって、前記プロセッサ読み取り可能なコードは、
垂直方向に配置された第１の水平方向のラインにおける第１の水平方向の画素位置に対応する第１のランダム的値を、前記第１の水平方向のラインにおける最初の水平方向の画素位置について第１のシードを用いて初期化された第１のランダム発生器ユニットを用いて決定するためのコードと、
垂直方向に配置された第２の水平方向のラインにおける第２の水平方向の画素位置に対応する第２のランダム的値を、前記第２の水平方向のラインにおける最初の水平方向の画素位置について第２のシードを用いて初期化された第２のランダム発生器ユニットを用いて決定するためのコードと、
を有し、前記第１のランダム発生器ユニットと前記第２のランダム発生器ユニットとは、それぞれの単一のランダム発生器の連続する出力により、水平方向に隣接する画素位置についてランダム的値を決定するようにコード化され、前記プロセッサ読み取り可能なコードは更に、
垂直方向に配置された前記第２の水平方向のラインにおける第２の水平方向の画素位置について結果の値を導出するためのコードを有し、前記結果の値は、前記第１のランダム的値と第２のランダム的値とに依存し、前記プロセッサ読み取り可能なコードは更に、
前記第１のランダム的値と並行して前記第２のランダム的値を決定するための制御コードと、
左から右及び上から下へのジグザグスキャン経路における全ての水平方向の位置に連続的に適用され、前記第１のシードを用いて前記第１の水平方向のラインにおける最初の水平方向の画素位置から始めて初期化された後に、前記第２の水平方向のラインにおける最初の水平方向の画素位置について前記第１のランダム発生器を適用することにより得られるランダム的値と略等しい前記第２のシードを決定するためのシード決定コードと、
を有する、コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ランダム的に生成された値を利用する電子画像処理の方法、特に合成粒状ノイズ生成方法に関する。
【０００２】
本発明はまた、ランダム的に生成された値を利用する電子画像処理のための機器、合成粒状ノイズ追加のための電子画像処理装置、画像伸張装置、テレビジョン信号受信機器、及び斯かる電子画像処理装置を有するテレビジョン信号捕捉システムに関する。
【０００３】
本発明はまた、プロセッサが本方法の機能を実行することを可能とする、本方法を記述するコードを有するコンピュータプログラムに関する。
【背景技術】
【０００４】
動作のためにランダム的な値を必要とする幾つかの画像処理方法がある。特に、合成粒状ノイズ（grain）生成は、斯かる画像処理方法である。合成粒状ノイズは例えば、セルロイド（登録商標）のフィルムに捕捉された画像に見えるように、ＣＣＤカメラによって捕捉された画像に追加される。
【０００５】
また、現代の画像及びビデオ圧縮（例えばＡＶＣ（advanced video coding）規格）においては、フィルムマテリアルの圧縮の効率は、粒状ノイズの存在によって減少される。フィルム粒状ノイズは（時間的に）相関しないため、正確に圧縮するためには多くのビットを必要とする。それ故、エンコードの前に粒状ノイズを除去し、デコーダ側で人工的に粒状ノイズを合成することが提案されてきた。このことは、ＦＧＭ（Film Grain Management）としてＨ．２６４の忠実度の拡張（fidelity range extension）において規格化されている。
【０００６】
とりわけ、大きな粒状ノイズに対して自己回帰モデルよりも効率が良い、周波数フィルタリングモデルが提案されている。
【０００７】
とりわけ、粒状ノイズが決定論的な態様で生成されることが望ましい。このことは、ランダムに見えるが、該粒状ノイズが各受信／レンダリング装置において同一に見える少なくとも１つのシード（seed）により生成されたランダム的なパターンであることを意味する。このことは、Hollywoodの映画スタジオのようなコンテンツ提供者が望むことである。コンテンツ提供者は、製造現場において、該コンテンツ提供者の基準（例えば粗過ぎないこと、背景における人々またはテキストのような木目細かい画像コンテンツを妨害しないこと等）に照らして粒状ノイズが許容可能であるかを監視し、該コンテンツ提供者が認可したシードを利用するように関係者に強いて、保証されたレンダリング品質を与え得る。
【０００８】
例えば事前公開されていない欧州特許出願EP04101141.2は、斯かる粒状ノイズ合成システムを記載しており、詳細な実施例（利用され得るランダム発生器）が参照されるが、当業者には組み合わせが容易に為され得ることは明らかであるため、本出願においては繰り返されない。
【発明の開示】
【発明が解決しようとする課題】
【０００９】
周波数フィルタリングモデルを用いたＦＧＭの直接的なハードウェア実装は、非常に複雑であることが欠点である。このことは、ハードウェア実装がチップ上に広いエリアを必要とすることを意味し、高いコストに帰着する。離散コサイン変換（ＤＣＴ）の利用を回避するため、粒状ノイズの予め生成されたブロックが利用される実装を利用することもできる。しかしながら、例えば４０ｋＢｙｔｅのＳＲＡＭにこれらのブロックを保存することはまた、チップにおける大きな表面（完全なＨ．２６４デコーダの約１／５に相当する約１ｍｍ２）を必要とする。  
【００１０】
本発明の目的は、メモリリソースを比較的必要としない、ランダム的に生成される値を利用した電子画像処理の方法を提供することにある。
【課題を解決するための手段】
【００１１】
本目的は、
入力画像（ＰＩＣ）の垂直方向に配置された第１の水平方向のライン（Ｌ１）における第１の水平方向の画素位置（ｈ１）に対応する第１のランダム的値（Ｒ１）を決定するステップと、
垂直方向に配置された第２の水平方向のライン（Ｌ２）における第２の水平方向の画素位置（ｈ２）について結果の値（Ｒ）を導出するステップと、
を有し、前記結果の値は、前記第１のランダム的値と、前記第２の水平方向のラインにおける前記第２の水平方向の画素位置に対応する第２のランダム的値（Ｒ２）とに依存し、水平方向に隣接する画素位置についてのランダム的値が、シードを用いて初期化された単一のランダム発生器の連続的な出力により決定され、
前記第１のランダム的値は、前記第１の水平方向のラインにおける最初の水平方向の画素位置（ｆ１）について第１のシード（Ｓ１）を用いて初期化された第１のランダム発生器（ｎ１）を用いて決定され、前記第２のランダム的値は、前記第１のランダム発生器と並行して動作し且つ前記第２の水平方向のラインにおける最初の水平方向の画素位置（ｆ２）について第２のシード（Ｓ２）を用いて初期化された第２のランダム発生器（ｎ２）を用いて決定される方法によって達成される。
【００１２】
決定論的な粒状ノイズ合成を実装するための直接的な方法は、第１の画像ラインＬＦについての単一のシードを送信し、次いで左から右、上から下のジグザグスキャンで、連続する画素について全てのランダム的な値を生成することである。
【００１３】
しかしながら、ラインＬ２における水平位置ｈ２における粒状ノイズは、例えば同一の水平位置ｈ２に対して、２つの垂直方向上に生成されたランダム的値に依存しても良い。このことは、特定の時点において、（ｈ２，Ｌ２）についての最終的な粒状ノイズ値が決定された場合、以前に必要とされたランダム的値が必要とされ、即ちラインメモリに２つの付加的なサンプルのラインを保存することが必要とされる。粒状ノイズの正常な相関長を持つため、例えば８個以上の垂直方向の近隣が必要となる。
【００１４】
単に幾つかのランダム生成器を並行して利用すること（任意のシードを用いて）は不可能である。なぜならその場合、（各異なる受信／レンダリング機器に対して）粒状ノイズが決定論的な又はコンテンツ提供者が認可したものではなく、ランダム的なものとなるからである。
【００１５】
本発明を用いると、特定の垂直方向に隣接するランダム的値が位置（ｈ２，Ｌ２）における画素について必要とされるときに、ランダム発生器が並行して動作することができ、このことはラインメモリを回避する。勿論、コンテンツ提供者が許容可能な粒状ノイズの見かけを持つためには、シードはどんなものでも良いわけではなく、認証される必要がある。
【００１６】
例えば画像が高さＨを持つ場合には、Ｈ個のシードが画像信号と共に送信されても良い。
【００１７】
本発明の実施例においては、
入力画像（ＰＩＣ）の垂直方向に配置された第１の水平方向のライン（Ｌ１）における第１の水平方向の画素位置（ｈ１）に対応する第１のランダム的値（Ｒ１）を決定するステップと、
垂直方向に配置された第２の水平方向のライン（Ｌ２）における第２の水平方向の画素位置（ｈ２）について結果の値（Ｒ）を導出するステップと、
を有し、前記結果の値は、前記第１のランダム的値と、前記第２の水平方向のラインにおける前記第２の水平方向の画素位置に対応する第２のランダム的値（Ｒ２）とに依存し、水平方向に隣接する画素位置についてのランダム的値が、シードを用いて初期化された単一のランダム発生器の連続的な出力により決定され、
前記第１のランダム的値は、前記第１の水平方向のラインにおける最初の水平方向の画素位置（ｆ１）について第１のシード（Ｓ１）を用いて初期化された第１のランダム発生器（ｎ１）を用いて決定され、前記第２のランダム的値は、前記第１のランダム発生器と並行して動作し且つ前記第２の水平方向のラインにおける最初の水平方向の画素位置（ｆ２）について第２のシード（Ｓ２）を用いて初期化された第２のランダム発生器（ｎ２）を用いて決定され、前記第２のシード（Ｓ２）は、左から右及び上から下へのジグザグスキャン経路（ＺＺ）における全ての水平方向の位置に連続的に適用され、前記第１のシード（Ｓ１）を用いて前記第１の水平方向のラインにおける最初の水平方向の画素位置（ｆ１）から始めて初期化された後に、前記第２の水平方向のラインにおける最初の水平方向の画素位置（ｆ２）について前記第１のランダム発生器（ｎ１）を適用することにより得られるランダム的値と略等しい。
【００１８】
受信器がジグザグスキャンと必要とされるラインメモリとを用いる単一のマスタシード手法を利用するか又は受信器が本発明により動作するかといった実装上の問題に、コンテンツ供給者が悩まされる必要がないことが好ましい。例えばコンテンツ供給者は、どの粒状ノイズレンダリング方法が利用されるかにかかわらず、単に該コンテンツ供給者のマスタシードＳＭを送信する。
【００１９】
本発明によれば、必要とされるＮ個のシードは、Ｎ個のランダム発生器が並行して利用される前に、受信側で評価される。単一のシードのランダム発生は、各ラインを連続して通過するため、次のランダム的値を生成するために利用される（即ち当該ラインについてのシードとして解釈され得る）、ラインの先頭（最初の点）におけるランダム的値はそれ故単に、最初の点／開始点（最初のラインＬＦにおける最初の画素）から現在のラインの最初の点が到達されるまで、繰り返してランダム発生器を動作させることにより得られる。このことは、全てのラインについてＨ個の全てのシードを決定するために迅速に為され得、次いで実際の画像処理が開始することができる。
【００２０】
例えば位置ｈ２についての結果の値（Ｒ）を計算する必要がある場合、ランダム発生器はこのとき略並行して動作し、粒状ノイズは以前のライン及び現在のライン（議論を簡単にするため水平方向の近隣は利用しない）の２つに基づいて決定される。このとき好適な構成は、当該ｈ２位置のための値を出力する３つのランダム発生器、即ち（ｈ２，Ｌ０）のための第１のもの、（ｈ２，Ｌ１）のための第２のもの及び（ｈ２，Ｌ２）のための第３のものを持つ。このとき、単純なＦＩＲフィルタが、これら３つのランダム的値の重み付けられた加算のために利用されても良い。
【００２１】
典型的な画像処理方法は合成粒状ノイズ生成であり、粒状ノイズは、例えばブロック変換圧縮された画像におけるＤＣ項のような、ランダム的値が生成されている位置において入力画像に内在する画素値に依存しても良い。
【００２２】
入力画像は圧縮されていなくても良く（例えば単に０と２５５との間の画素値のジグザグスキャンされたセット）、又は圧縮された表現（例えばＭＰＥＧ−２、ＡＶＣ、ＪＰＥＧ等）を伸張した後に得られるものであっても良い。本方法はこのとき、例えば専用のＩＣの一部である画像圧縮装置において、またはプロセッサ上で動作するソフトウェアモジュールにおいて、実行されても良い。
【００２３】
ＦＩＲフィルタのみによる生成は、殆どメモリを必要としないが、長いＦＩＲフィルタが必要とされ得るため、多くの計算を必要とする。
【００２４】
代替として、フィルタの一部がＦＩＲ（粒状ノイズの局所的／高周波相関を生成する）として実現され、一部がＩＩＲ（積分特性による長距離／低周波相関を実現する）として実現される、組み合わせによる実装が為されても良い。斯かる組み合わせにおいては、２つより多いラインメモリが利用されることが必要とはされず、例えば８よりも相当に少ない。
【００２５】
画像処理装置及び映像処理装置は有利にも、ネットワーク（例えば無線地上テレビジョン又は電話網）からテレビジョン信号を受信し、該信号を処理とりわけ粒状ノイズを追加するように構成された、テレビジョン信号受信機器に組み込まれる。該テレビジョン信号受信機器は、例えば前記信号を表示するためのディスプレイを有しても良いし、又はセットトップボックスのような別個のユニットであっても良い。該機器は、無線電話機のような携帯型の機器であっても良い。該機器はまた、受信されたテレビジョン信号をメモリに保存する前に該信号に粒状ノイズを追加する、例えば個人向けビデオレコーダのような、記憶機能を有しても良い。
【００２６】
該テレビジョン信号受信機器はまた、例えばディスク読み取り器であっても良く、この場合、テレビジョン信号が、粒状ノイズのないスムーズな画像及びシードのみを含むディスクにおける記憶領域から受信される。
【発明を実施するための最良の形態】
【００２７】
本発明による方法及び装置のこれらの及び他の態様は、単により一般的な概念を例示する限定的でない具体的な説明として働く、以下に説明される実装例及び実施例並びに添付図面を参照しながら説明され明らかとなるであろう。ここでダッシュは構成要素が任意であることを示すために利用され、ダッシュのない構成要素は必ずしも必須ではない。
【００２８】
図１は、入力画像ＰＩＣの幾何学的位置の関数としての、ランダム的結果値Ｒ生成の幾何学的設定を示す。
【００２９】
ランダム的値は、例えば内在する画像コンテント及びランダム的値に依存する芸術的効果を実装するための再カラーリング、遺伝的アルゴリズムベースの画像操作等のような、いずれの画像操作においても必要となり得る。当業者は、基本的なランダム的値発生部が他の画像処理機能にも容易に組み込み得るため、以下、システムの説明は粒状ノイズ合成という特定の用途に限定される。
【００３０】
結果の値は、画素位置（ｈ２，Ｌ２）（第２の十字記号）のために必要とされる。ランダム的処理が画素に対して局所的でない場合、典型的には水平方向と共に垂直方向の近隣について、隣接する画素について生成されるランダム的値が必要とされる。
【００３１】
周波数空間法に対する代替は、有限インパルス応答（ＦＩＲ）フィルタ及び／又は再帰形（ＩＩＲ）フィルタを利用して、時間ドメインで粒状ノイズを生成することである。このように生成された粒状ノイズは、ＤＣＴを用いて生成された粒状ノイズと略同じ統計的特性を持つ。このようにして、大きなメモリ及びＤＣＴの双方が必要とされなくなる。
【００３２】
視覚的に類似した結果を得るため、非常に高い次数ｑ（８〜１６）のＦＩＲフィルタが必要とされる。
【００３３】
先行技術の単一シード方法を用いて垂直方向に当該フィルタを適用することは、フィルタの次数に等しいラインメモリ、即ち例えば高精細マテリアルについてラインＬ１、Ｌ０、…についてのラインメモリを必要とし、
８（次数）＊１９２０（水平方向の解像度）＊２（画素毎のバイト）＝３２ｋＢｙｔｅ
を必要とする。
【００３４】
ＦＩＲ／ＩＩＲフィルタの入力は、擬似ランダム発生器を利用して生成された白色ノイズ（内在する及びことによると隣接する画素又はブロックの画素値に基づいて生成された、例えばＦｖ（１），Ｆｖ（２），…のような特定の振幅を持つ）である。該白色ノイズは、単一のランダム発生器を利用してシーケンシャルに生成される場合には、結果はラインメモリに保存される必要がある。一方本発明の方法においては、ｑ（ＦＩＲフィルタの次数）個のランダム発生器が並行して利用され、該フィルタにより必要とされる入力を生成する。全てのランダム発生器を適切なシードにより初期化することにより、該フィルタの出力は単一の擬似ランダム発生器により生成される乱数と同一とされる。
【００３５】
文献から知られているランダム発生器の例は、ＬＳＢ側からＭＳＢへのＥＸＯＲフィードバックを用いたｍ個のレジスタに基づく。長さｍは、ランダム値の繰り返しの長さを決定し、それ故大きいべきである。最後のｎ個のＬＳＢビットは、ｎビットのランダム値を形成する。ランダム発生器は、例えばシーケンスの先頭のような特定の瞬間において、レジスタを所謂シード数へとリセットすることにより、決定論的とされ得る。
【００３６】
図２は、（水平方向に／垂直方向に）分離したフィルタにより垂直及び水平方向の両方において、例えばＥＸＯＲ型擬似ランダムノイズ発生器２０３から入力される擬似ランダムノイズをフィルタリングするための先行技術のフィルタ２００を示す。ＦＩＲフィルタの次数ｑは、ここでは２ｋ＋１である。垂直方向にフィルタリングするために、ｎ個のビットに対して２ｋ個のラインメモリが必要とされる。垂直方向にフィルタリングされた結果は、垂直方向のＦＩＲフィルタ２１０における２ｋ＋１個のＦＩＲ乗算器（２６１、２６２、…）の加算器２０２による合計のｍビットの結果である。中間結果ＲＶは次いで、水平方向のフィルタ段２８０に供給される。水平方向のフィルタ段２８０は、２＊ｋ個のレジスタ（即ち２０１のようなブロックが遅延器である）とＦＩＲ乗算器及び合計とから形成される。コストは、２＊ｋ個のラインメモリ（２５１、２５２、２５３、…）のコストによって主に決定される。
【００３７】
上述したように、これらのメモリコストは、本発明の方法／装置を利用することにより回避される。
【００３８】
図３においては、図２のラインメモリによって生成されるような信号は、ここでは別個の擬似ランダム発生器３０１、３０３等により生成される。図２と正確に同じ値を生成するために、事前計算の間、２ｋ＋１個のシードが、連続するシードがラインメモリの長さｗの「シフト」を持つように計算される。このことは例えば、シードｓ（１）が、１９２０サンプル時間だけ後にシード（０）を用いて初期化されたランダム発生器の出力の値を持つことを意味する。
【００３９】
分解可能なＦＩＲフィルタリングの垂直部分は、垂直方向ＦＩＲフィルタ３１１によって実現される。垂直方向に隣接する決定されたランダム的値は、係数Ｆｖ（−ｋ＋１）等により乗算される。該係数は、例えばガウス分布又は指数関数的に減少するパターンに従う。かくして重み付けられたランダム的値は、加算器において加算される。該処理は、水平方向に隣接する画素について連続的に実行される。かくして得られた水平方向の位置ｈ−１についての値は遅延器２０１により遅延され、水平方向の位置ｈについての垂直方向にＦＩＲフィルタリングされたランダム的値が次いで決定される等する。
【００４０】
最後に、該隣接する垂直方向の結果の値は、水平方向ＦＩＲフィルタ３１３において重み付けされ及び加算され、最終的な結果の値（Ｒ）を得る。
【００４１】
ランダム発生器３０１、３０３、…の並行した実行は、制御手段３８０（例えばソフトウェアエンコードされた制御アルゴリズムを実行するプロセッサ又は同様の純粋にハードウェアにより実現された手段等）の制御下で為される。当業者は、例えばランダム発生を起動するクロック信号ＣＬＫを出力する手段を用いるような、斯かる制御を構築するための別の先行技術の方法を見出し得る。
【００４２】
低周波ノイズを生成するためＦＩＲフィルタリング手法を利用したＦＧＭにおける僅かな欠点は、ｋのために比較的大きな値（例えば８以上）が必要とされる点である。
【００４３】
図４は、ＦＩＲ（有限インパルス応答）フィルタ手法とＩＩＲ（無限インパルス応答）フィルタ手法との組み合わせを利用した、本発明の代替実施例を示す。
【００４４】
２つのラインメモリ（次数２の垂直方向ＩＩＲ）が好ましいが、１つのラインメモリでも十分である（より高い次数のラインメモリを使用しても良いが、このことはまた必要とされるメモリを増大させ、それ故トレードオフは粒状ノイズの品質が十分となるようなＩＩＲ部についての小さな次数となる）。
【００４５】
ここでＦＩＲ部のｋはかなり小さく（４以下）、一方で少しのラインメモリしか必要とされない。
【００４６】
垂直方向ＦＩＲフィルタ部は、図３の実施例におけるものと同様であるが、より少ないフィルタタップが利用されても良い。
【００４７】
該フィルタは、以下のように動作する。特定の水平方向の位置ｈ２において、結果の垂直方向にＦＩＲフィルタリングされた値ＲＶ２が得られる。該値ＲＶ２は、加算器４９９によって、以前に決定された値ＲＶ１及びＲＶ０と加算される。これら値は、（乗算器４８０及び４８１によって）フィルタ係数Ｆｖｒ（−１）及びＦｖ（−２）により、並びに（乗算器４８２によって）１／ΣＦｖｒにより、適切に重み付けされる。それにより、結果は［０，２５５］の間隔の外にオーバフローしない。相関があるが、限られたメモリしかないため、生成されたノイズは、例えば種々の内在するグレー値（本方法は明らかにカラー画像にも拡張され得る）のような、新たな状況に適応する。
【００４８】
該加算は（ここでは少なくとも３つの垂直方向の位置の寄与を持つ）、上部のラインメモリ４５１に保存される。全てのメモリは、次の水平方向の画像位置へと、垂直方向ＦＩＲフィルタ３１１と同期してシフトする。このようにして、Ｗ個の位置が処理された後、水平方向の位置ｈ２が再び処理の対象となり、即ち長期的に見ると該装置は垂直方向ＩＩＲフィルタ（垂直方向の過去分において画素の減少された寄与を持つ）を実装する。
【００４９】
同様にユニット４１３は水平方向ＩＩＲフィルタを実現するが、これは勿論任意であり、純粋なＦＩＲフィルタを水平方向に利用しても良い。
【００５０】
本実施例において、制御手段３８０のクロック信号ＣＬＫもまた、ランダム発生と同期して、ラインメモリにおけるサンプルのシフト（及び新たに決定された垂直方向にフィルタリングされたランダム的値の該メモリへの書き込み）を制御する。
【００５１】
図５は、画像伸張装置５００の例を示す。該装置は、例えばディスプレイ５６１に（有線で又は無線で）接続されたセットトップボックスのような、実施例におけるテレビジョン信号受信機器５６０に含まれても良い。
【００５２】
画像伸張ユニット５０２は、ネットワーク５５０から入力された圧縮された画像を、圧縮されていない画像信号ＰＩＣへと伸張するように構成される。画像伸張ユニット５０２は更に、例えばメモリユニット５７０に、前記圧縮された画像のＤＣ値を供給するように構成されても良い。メモリユニット５７０は例えば、これらＤＣ値を適切な重み付け因子Ｆｖ、Ｆｈ、Ｆｖｒ、…へと変換するためのルックアップテーブル評価ユニットを有しても良い。
【００５３】
シード及び粒状ノイズ生成パラメータ（即ち粒状ノイズの見かけを決定するフィルタリングの定数）は、典型的には所謂ＳＥＩ（Supplemental enhancement information）メッセージにエンコードされる。
【００５４】
該ＳＥＩ情報は、画像伸張ユニット５０２によって、シードディスペンサ（dispenser）５８０へと供給される。シードディスペンサ５８０は例えば、最初のラインＬＦの最初の画素について単一のマスタシードＳＭに基づいて初期シード値を事前に計算し、ランダム発生器により必要とされるときに該初期シード値を電子画像処理装置３１２に供給するように構成されたシード算出器として実施化されても良い。
【００５５】
ＳＥＩインタプリタがまた、適切なルックアップテーブルフィルタパラメータを決定するため、メモリユニット５７０に粒状ノイズ見かけ決定パラメータを送信する。
【００５６】
該ルックアップテーブルは、輝度強度及び粒状ノイズパラメータの、フィルタ係数Ｆｖ、Ｆｈ、Ｆｖｒ及びＦｈｒ並びにノイズ強度値Ｓ＿ＦＧＭに対する関係を含む。
【００５７】
乗算器５９９により、ノイズ強度値Ｓ＿ＦＧＭは、加算器５１０によりＰＩＣのビデオコンテントに加算される、フィルタリングされたノイズ出力の振幅を制御する。
【００５８】
各画素位置について粒状ノイズ値を生成する代わりに、より粗いスケールの粒状ノイズ画像が生成され（このことは水平方向及び垂直方向のいずれか又は両方において為されても良い）、次いで好ましくはゼロ次ホールドにより補間され（即ち以前の値のコピー）ても良い。斯かるゼロ次ホールドは、低速に変化する関数（即ち低周波粒状ノイズ）についての良い近似である。
【００５９】
このことは、８個のみのタップのフィルタを用いて、事実上の１６タップの相関長が得られるという利点を持つ。
【００６０】
即ち例えば、第２の又は第３の画素についてそれぞれ値が計算され、該値が例えば水平方向の隣接する画素にコピーされる。
【００６１】
垂直方向については、以下の選択肢がとられ得る：
−画像の幅の少なくとも一部について画像のグレー値を含むために更なるラインメモリが利用され、結果の粒状ノイズ値が該グレー値に例えば２ｘ２ブロックにおいて４回（即ち現在の画素と更なる粒状ノイズ値に保存されたものとの両方に）加算される。
−典型的なジグザグラインベースのものではない、例えばブロック又はランダムアクセスのメモリアクセスで、同様のことが可能である。
−現在好適な選択肢は（現在、例えば伸張器又は他の画像処理ＩＣにおいて少量のメモリしか利用可能でないため、即ち画素を処理しプロセッサの外部メモリに可能な限り迅速に該画素を供給することが望ましいため）、同一の（ゼロ次ホールドされた）粒状ノイズ値が２度計算され（及びプロセッサメモリにおける局所的な画素にのみ加算され）ることである。このことは、ラインの対の第２のものについて、シードをリセットすることにより為され得る。
【００６２】
当該サブサンプリングされた粒状ノイズ合成は、非相関の隣接する画素に導くため、各連続する画素について［１０１０１…］フィルタリングを実行することと同一ではないことに留意されたい。
【００６３】
図６は、テレビジョン信号捕捉システム６００を示す。本発明の構成要素は、本実施例においてカメラ６０１に組み込まれるが、勿論システム６００の他のどこに存在しても良い。画像は、画像導出ユニット６１１によって捕捉され処理（例えば白色点カリブレーション）される。該非常に単純化された例においては、圧縮は未だ施されていないことを仮定しているが、当業者は圧縮を本システムに組み込みことも可能である。本発明による合成粒状ノイズ追加のための電子画像処理装置（５０１）を用いて、好み（最初のラインＬＦの最初の位置についてのマスタシードＳＭ）に対応した粒状ノイズが追加される。カメラ操作者、写真撮影監督、後の芸術的要素生成者等が、ディスプレイ６０３において結果を見ることができる。ディスプレイ６０３は、カメラの一部を形成していても良いし又はシステム６００における他のどこかに接続されていても良く、ことによるとカメラ捕捉よりも後の時点において粒状ノイズが追加された結果を表示する。責任者が該結果に納得した場合、ビデオ信号が、前記捕捉された画像とマスタシードＳＭ（異なるショットに対して異なるシードがあっても良い）とに基づいて構築されても良い。該信号は、ネットワーク６２０に送信されても良いし、例えばｂｌｕ−ｒａｙディスクのようなメモリ６２１に保存されても良い。
【００６４】
本明細書において開示されたアルゴリズム的な構成要素は、実際には（全体が又は一部が）ハードウェアとして実現されても良いし（例えば特定用途向けＩＣの一部）、又は特別なディジタル信号プロセッサ又は汎用プロセッサ等で動作するソフトウェアとして実現されても良い。
【００６５】
コンピュータプログラムとは、コマンドをプロセッサへとロードする一連のロードステップ（中間言語及び最終的なプロセッサ言語への変換のような、中間の変換処理を含んでも良い）の後に、汎用又は特殊用途向けのプロセッサが本発明の特徴的な機能のいずれかを実行することを可能とするコマンドの集合の、いずれかの物理的な具現化として理解されるべきである。特に、コンピュータプログラムは、例えばディスク又はテープのような担体上のデータ、メモリ中に存在するデータ、ネットワーク接続（無線又は有線）によって伝送されるデータ、又は紙上のプログラムコードとして実現されても良い。プログラムコードの他に、該プログラムのために必要とされる特徴的なデータが、コンピュータプログラムとして実施化されても良い。
【００６６】
データ入力及び出力ステップのような本方法の動作のために必要とされるステップの幾つかは、コンピュータプログラムにおいて記述される代わりに、プロセッサの機能に既に存在していても良い。
【００６７】
上述の実施例は本発明を限定するものではなく説明するものであることは、留意されるべきである。請求項において組み合わせられるような本発明の要素の組み合わせの他に、これら要素の他の組み合わせが可能である。要素のいずれの組み合わせも、単一の専用の要素において実現され得る。
【００６８】
請求項において、括弧に挟まれたいずれの参照記号も、請求の範囲を限定することを意図したものではない。「有する（comprise）」なる語は、請求項に列記されたもの以外の要素又は態様の存在を除外するものではない。要素に先行する「１つの（a又はan）」なる語は、複数の斯かる要素の存在を除外するものではない。
【図面の簡単な説明】
【００６９】
【図１】本方法を説明するための画像を模式的に示す。
【図２】先行技術のＦＩＲ粒状ノイズ合成装置を模式的に示す。
【図３】本発明によるＦＩＲ粒状ノイズ合成装置の実施例を模式的に示す。
【図４】本発明によるＩＩＲフィルタ部を持つ粒状ノイズ合成装置の実施例を模式的に示す。
【図５】本発明による電子画像処理装置を有する画像伸張機器を模式的に示す。
【図６】本発明によるテレビジョン信号捕捉システムを模式的に示す。
【図１】
2008523680.tif 000003
【図２】
2008523680.tif 000004
【図３】
2008523680.tif 000005
【図４】
2008523680.tif 000006
【図５】
2008523680.tif 000007
【図６】
2008523680.tif 000008
【国際調査報告】
2008523680.tif 000009
2008523680.tif 000010
2008523680.tif 000011
2008523680.tif 000012