(57)【要約】【課題】フィルムグレイン・パターンを、２次元帯域通過フィルタを規定するカット周波数を推定することによって周波数領域においてモデリングすることができる。【解決手段】フィルムグレイン・パラメータを、復号器でフィルムグレインの再挿入が可能になる、ＳＥＩメッセージにおいて、ＩＴＵ−Ｔ  Ｈ．２６４｜ＭＰＥＧ−４  ＡＶＣ標準によって伝えることができる。【選択図】図１
2012227951.tif 000002
【特許請求の範囲】
【請求項１】
ディジタル画像内のフィルムグレインをモデリングする方法であって、
フィルムグレイン・サンプル群を周波数領域に変換する工程と、
該変換から生じる係数群各々を記憶する工程と、
変換係数を解析する工程と、
フィルタのカット周波数を推定する工程と
を備え、前記フィルタは、前記変換係数の分布をシミュレートすることができることを特徴とする方法。
【請求項２】
請求項１記載の方法であって、フィルムグレイン・サンプルは、フィルムグレインの形状及びサイズについての情報を保持する少なくとも１つの近傍画素群を備えることを特徴とする方法。
【請求項３】
請求項１記載の方法であって、少なくとも１つのカット周波数を補助情報として伝送する工程を更に備えることを特徴とする方法。
【請求項４】
請求項１記載の方法であって、前記カット周波数が、周波数領域において乱数雑音をフィルタリングすることによって推定されることを特徴とする方法。
【請求項５】
請求項１記載の方法であって、フィルムグレイン・サンプルは、ＮｘＮ個の画素のブロック単位で処理されることを特徴とする方法。
【請求項６】
請求項５記載の方法であって、前記変換係数によって形成されるパターンを解析する工程が更に、
ＮｘＮ個の画素ブロック各々の変換に続いて、記憶されているブロック全てからの前記変換係数の平均をとることによってＮｘＮ個の変換係数の平均ブロックを計算する工程と、
行及び列各々に沿って前記ＮｘＮ個の係数の平均ブロックの平均をとることによって、Ｎ個の成分の水平平均ベクトル及び垂直平均ベクトルを規定する工程と、
前記水平平均ベクトル及び前記垂直平均ベクトルを別個の曲線として表す工程と、
前記水平平均ベクトル及び前記垂直平均ベクトル各々によって表す前記曲線から水平カット周波数及び垂直カット周波数を設定する工程とを備えることを特徴とする方法。
【請求項７】
請求項６記載の方法であって、少なくとも１つの平均ベクトルを低域通過フィルタリングする工程を更に備えることを特徴とする方法。
【請求項８】
請求項５記載の方法であって、前記変換係数によって形成されるパターンを解析する工程が更に、
各画素ブロックの変換に続いて、記憶されているブロック全てからの前記変換係数の平均をとることによってＮｘＮ個の変換係数の平均ブロックを計算する工程と、
行及び列それぞれに沿って前記ＮｘＮ個の係数の平均ブロックの平均をとることによってＮ個の成分それぞれの水平平均ベクトル及び垂直平均ベクトルを規定する工程と、
単一の平均ベクトルに、前記水平平均ベクトル及び前記垂直平均ベクトルを平均化させる工程と、
前記単一の平均ベクトルを曲線として表す工程と、
前記単一の平均ベクトルによって表す前記曲線から水平カット周波数及び垂直カット周波数を設定する工程とを備えることを特徴とする方法。
【請求項９】
請求項６記載の方法であって、平均ベクトルを低域通過フィルタリングする工程を更に備えることを特徴とする方法。
【請求項１０】
請求項８記載の方法であって、低い水平カット周波数及び高い水平カット周波数、並びに、低い垂直カット周波数及び高い垂直カット周波数の、それぞれが、水平平均ベクトル及び垂直平均ベクトルそれぞれについて計算される平均値を有する前記水平平均ベクトル及び前記垂直平均ベクトルによって表される曲線における第１の交点及び第２の交点から設定されることを特徴とする方法。
【請求項１１】
ディジタル画像内のフィルムグレイン・パターンをモデリングする方法であって、
フィルムグレイン・サンプル群を受信する工程と、
フィルムグレインの形状及びサイズについての情報を保持する少なくとも１つの近接画素群から成る前記フィルムグレイン・サンプル群に対する、周波数領域への変換を行う工程と、
該変換から生じる係数群それぞれを記憶する工程であって、係数がパターンを形成する工程と、
変換係数によって形成される前記パターンを解析する工程と、
２次元帯域通過フィルタのカット周波数を推定する工程とを備え、前記２次元帯域通過フィルタは、周波数領域で乱数雑音をフィルタリングすることによって変換係数の前記パターンをシミュレートすることができることを特徴とする方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、周波数領域においてフィルムグレインのパターンをモデリングする手法に関する。
【背景技術】
【０００２】
映画フィルムは通常、写真フィルムの露光及び現像のプロセスから生じる、フィルムグレインとして表すことが多い、信号に依存する雑音を含む。そうした雑音は、写真乳剤の物理的な粒状度によって生じる特徴的な疑似乱数パターン又はテクスチャをもたらす。あるいは、信号に依存する雑音は、画像を後に編集した結果、生じ得る。グレインパターンは、ビデオ圧縮の目的でシミュレートすることができる。
【０００３】
ＩＴＵ−Ｔ  Ｈ．２６４｜ＭＰＥＧ−４  ＡＶＣビデオ圧縮標準では、その「Ｆｉｄｅｌｉｔｙ  Ｒａｎｇｅ  Ｅｘｔｅｎｓｉｏｎｓ  Ａｍｅｎｄｍｅｎｔ」においてフィルムグレインＳＥＩ（拡充付加情報）メッセージを含むことが受け入れられた。フィルムグレインＳＥＩメッセージは、受信器でフィルムグレインのシミュレーションを可能にする一連のパラメータを伝える。ＩＴＵ−Ｔ  Ｈ．２６４｜ＭＰＥＧ−４  ＡＶＣビデオ圧縮標準の場合、ＳＥＩメッセージにおけるパラメータは、自己回帰モデルと周波数フィルタリング・モデルとの２つの別々のモデルによって規定することができる。何れのモデルによっても、フィルムグレインのパターン（サイズ及び形状）と、強度及び色の相関とを、種々の強度レベルについて種々のパラメータ群によって特徴付けることが可能になる。特に、周波数フィルタリング・モデルは、周波数領域における２次元帯域通過フィルタを規定するカット周波数群を規定することによってフィルムグレインのパターンを特徴付ける。なお、ＩＴＵ−Ｔ  Ｈ．２６４｜ＭＰＥＧ−４  ＡＶＣは、カット周波数を伝送するのに必要な構文則を標準化するに過ぎないが、フィルムグレインを備えるビデオ系列についてそうしたものを計算する方法を備えるものでない。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
よって、ＩＴＵ−Ｔ  Ｈ．２６４｜ＭＰＥＧ−４  ＡＶＣ圧縮標準における周波数フィルタリング・モデルによって規定される、周波数領域におけるフィルムグレイン・パターンの自動モデリングを可能にする手法に対する必要性が存在する。この手法の結果は、自動的なフィルムグレイン・モデリング・アプリケーションとして用い得るものであり、フィルムグレインによって支援されるモデリング・プロセスの初期化工程としても用い得る。
【課題を解決するための手段】
【０００５】
簡潔には、好ましい実施例によって、周波数領域においてフィルムグレインのパターンをモデリングする（すなわち、特徴付ける）方法を備える。方法は、（１）プロセスへの入力として受信される同質フィルムグレイン・サンプル群を周波数領域に変換して、特定のパターンを有する変換係数群をもたらす工程と、（２）変換係数によって生成されるパターンを解析する工程と、（３）乱数雑音をフィルタリングすることによって変換係数のパターンを効果的にシミュレートすることができる、２次元周波数フィルタのカット周波数を推定する工程とを備える。この方法によって設定されるカット周波数は、復号器でフィルムグレインのシミュレーション及び再挿入が可能になる、ＩＴＵ−Ｔ  Ｈ．２６４｜ＭＰＥＧ−４  ＡＶＣ標準によるＳＥＩメッセージにおいて伝えることができる。
【図面の簡単な説明】
【０００６】
【図１】本願の原理による、フィルムグレインのパターンを特徴付ける方法の工程を示す流れ図である。
【図２】図１のフィルムグレイン特徴付け方法の変形を示す流れ図である。
【発明を実施するための形態】
【０００７】
［実施例］
図１は、同質フィルムグレイン・パターンを表す一連のフィルムグレイン・サンプルを受信し次第、周波数領域においてフィルムグレイン・パターンをモデリングする、本願の原理による方法の工程を流れ図形式で表す。以下に更に詳細に記載するように、本願の原理の方法は、グレインを構成する構造のサイズ及び形状を解析することによって入力サンプルのパターンをパラメータ化する。グレインはフィルム露光によって違ったふうに生じ得るので、同質フィルムグレイン・サンプルは通常、フィルム画像上で測定される同様な輝度値と関連付けられる。プロセスの入力でのフィルムグレイン・サンプルは、フィルムグレインのサイズ及び形状についての情報を保持する、何れかの近接画素群であり得る。図示した実施例では、単純にするように、フィルムグレイン・サンプルは、方形のＮｘＮ個の画素のブロックのＤＣＴに基づいた特定の変換実施形態によって方形のＮｘＮ個の画素のブロックに配置されるが、高速フーリエ変換などの他の変換も同様にうまく機能する。
【０００８】
本願の原理の方法は、Ｉｇｒａｉｎ［ｘ，ｙ，ｃ］にあるフィルムグレインのモデリングが、
Ｉ  ｇｒａｉｎ［ｘ，ｙ，ｃ］＝Ｉｗｉｔｈｏｕｔ  ｇｒａｉｎ［ｘ，ｙ，ｃ］＋Ｇ［ｘ，ｙ，ｃ］                              （１）
の関係によって行われることとし、そのとき、Ｇ［ｘ，ｙ，ｃ］は、色成分ｃの画素座標（ｘ，ｙ）でシミュレートされたグレインを表す。Ｇ［ｘ，ｙ，ｃ］は、
Ｇ［ｘ，ｙ，ｃ］＝ｐ＊  Ｑ［ｘ，ｙ，ｃ］＋  ｕ＊Ｇ［ｘ，ｙ，ｃ−１］                                  （２）
として計算され、そのとき、パラメータｐは、乱数雑音の標準偏差であり、パラメータｕは、種々の色成分間の相互色相関をモデリングする。特に、項Ｑ［ｃ］は、正規化されたガウス分布Ｎ（０，１）によって生成されたＮｘＭ個の乱数値のブロックｂをフィルタリングすることによって生成される２次元の乱数場を備える。特定の実施例では、ブロックｂの帯域通過フィルタリングは、以下の３つの工程によって周波数領域で行うことができる。
工程１：変換
Ｂ＝ＤＣＴ＿Ｎ×Ｍ（ｂ）
工程２：周波数フィルタリング
【数１】
2012227951.tif 000003
そのとき、ＬＯＷ＿ＨＦ及びＬＯＷ＿ＶＦは、低水平カット周波数と、低垂直カット周波数との各々であり、ＨＩＧＨ＿ＨＦ及びＨＩＧＨ＿ＶＦは、高水平カット周波数と、高垂直カット周波数との各々である。カット周波数は、フィルムグレイン画像が周波数領域においてマッピングされる場合に保持された係数とフィルタリングされた係数との境界を規定し、グレインのサイズを特徴付ける役目を担う。
工程３：逆変換
ｂ’＝ＩＤＣＴ＿Ｎ×Ｍ（Ｂ）
最後に、Ｑ［ｃ］は、フィルタリングされたブロックｂ’を合成画像に合成することによって形成される。ブロック遷移部の低域通過フィルタリングによって、考えられる「ブロック歪み」が削減されることになる。Ｍ及びＮは何れかの値をとり得るが、実際には、方形の、１６ｘ１６個の画素ブロック、８ｘ８個の画素ブロック又は４ｘ４個の画素ブロックが最もうまく機能する。なお、高速フーリエ変換（ＦＦＴ）などの他の変換が工程１及び３におけるＤＣＴプロセスを置き換え得る。
【０００９】
こうした原理によれば、フィルムグレイン・パターンをモデリングすることは、周波数領域における帯域通過フィルタを特徴付けるカット周波数ＬＯＷ＿ＨＦ、ＬＯＷ＿ＶＦ、ＨＩＧＨ＿ＨＦ及びＨＩＧＨ＿ＶＦを抽出することに同等である。
【００１０】
本願の原理の方法は、工程１０１が実行され次第始まり、工程１０１では、ＮｘＮ個の画素のブロック各々が、離散コサイン変換を受け、工程１０２中に、結果として生じる、ＮｘＮ個の係数のアレイが後に記憶される。工程１０３中には、記憶するための更に多くの係数を得るために、フィルムグレイン・サンプルを備える、より多くのブロックに対する必要性が存在するか否かを判定するうえでの検査が行われる。通常、入力で利用可能なフィルムグレイン・サンプル・ブロックは全て、変換を受ける。しかし、メモリ要件又は計算量負荷を削減するために、特定数のブロックが変換を受けた後、処理は停止し得る。十分な数の変換ブロックの記憶後に、工程１０４が行われ、工程１０４によって、記憶されているブロック全てからの係数の平均をとることによって平均ブロック（Ｂｍｅａｎ）が計算される。記憶されているブロックの数をＫとすれば、位置［ｘ，ｙ］での係数の平均をとるプロセスは、
【数２】
2012227951.tif 000004
として公式化することができる。次に、工程１０５及び工程１０６は通常、並列に行われる。工程１０５中に、水平平均ベクトルは、
【数３】
2012227951.tif 000005
の関係によって、Ｂｍｅａｎの各行のＮ個の周波数係数の平均をとることによって計算される。
【００１１】
特定の実施例では、
【数４】
2012227951.tif 000006
の関係によって、第１の行の平均に対するＤＣ係数の影響がないようにすることが可能である。工程１０６では、
【数５】
2012227951.tif 000007
の関係によってＢｍｅａｎの各列のＮ個の周波数係数の平均をとることによって垂直平均ベクトルが計算される。特定の実施例では、
【数６】
2012227951.tif 000008
の関係によって、第１の列の平均に対するＤＣ係数の影響がないようにすることが可能である。
【００１２】
周波数ベクトルから、水平カット周波数及び垂直カット周波数の選択を工程１０７と工程１０８との各々の間に行ってフィルムグレイン・サイズを推定する。図１において分かるように、工程１０７及び工程１０８は通常、並列で行う。工程１０７中の水平カット周波数の選択は、以下のように行う。まず、水平平均ベクトルにおける成分が、スプリアス・ピークがないようにするよう低域通過フィルタリングを受ける。図示した実施例では、水平平均ベクトルのそうした低域通過フィルタリングは、
【数７】
2012227951.tif 000009
の関係によって、平均ベクトルを、インパルス応答ｈ［ｎ］のフィルタとたたみ込むことによって行う。例えば、係数ｗ０、ｗ１及びｗ２を備える３タップの線形フィルタを、
【数８】
2012227951.tif 000010
の関係によって、各係数に施し得る。なお、平均ベクトルＢのエッジに対してフィルタリングを施すためには、ｎ＜０であり、かつ、ｎ＞Ｎ−１である場合のサンプルが規定されるように元の平均ベクトルをパッドすることが必要である。
【００１３】
次に、Ｂ’Ｈの平均値は、
【数９】
2012227951.tif 000011
の関係によってその成分の平均をとることによって計算される。その後、ベクトルＢ’Ｈ
は曲線として表し、平均値
【数１０】
2012227951.tif 000012
とのその交点が計算される。単一の交点が見出される場合、Ｂ’Ｈにおける最も近い成分の指数ｎが、水平高カット周波数の値として選ばれる。水平低カット周波数は０とみなす。２つの交点が見出される場合、最も近い成分の指数が交点毎に見出される。最低値は低水平カット周波数に相当することになる一方、最高値は高水平カット周波数に相当することになる。３つ以上の交点が見出される場合、空間相関は何ら検出されない。水平低カット周波数は０とみなし、水平高カット周波数はＮ−１とみなし、これは、元のグレインを模倣するうえで周波数フィルタリングが何ら必要でないということをフィルムグレイン・シミュレーション関数に示す。
【００１４】
水平カット周波数の選択について説明したものと同様な手順を、工程１０８中に行って、垂直周波数ベクトルＢｖを用いて垂直カット周波数を選択する。工程１０７及び工程１０８が完了すると、図１の方法は、グレインのサイズ及び伸長を特徴付ける４つのカット周波数（ＬＯＷ＿ＨＦ，ＨＩＧＨ＿ＨＦ，ＬＯＷ＿ＶＦ，ＨＩＧＨ＿ＶＦ）をもたらす。グレインの伸長は、ＬＯＷ＿ＨＦ≠ＬＯＷ＿ＶＦ及び／又はＨＩＧＨ＿ＨＦ≠ＨＩＧＨ＿ＶＦである場合に起こる。
【００１５】
図２は、グレインを円形状に制限することが可能な別のグレイン・モデリング方法を示す。このことは、水平カット周波数と垂直カット周波数が同じ状態に留まるということを示唆する。図２の方法は、図１の方法と共通である多くの工程を含む。したがって、同じ参照数字を図２及び図１に用いて、同じ工程を説明している。図２の工程１０９中に、垂直周波数ベクトル及び水平周波数ベクトル（ＢＨ及びＢＶ）の平均をとって、単一の周波数ベクトル（Ｂ）を生成するという点で図２の方法は図１のものとは異なる。更に、同じ手順を図２における工程１０７及び工程１０８の間に行って、図１の工程１０７及び工程１０８の間に行うように低カット周波数及び高カット周波数を推定する。
【００１６】
上記は、周波数領域においてフィルムグレイン・パターンをモデリングする手法を記載する。
【符号の説明】
【００１７】
１０１  工程
１０２  工程
１０３  工程
１０４  工程
１０５  工程
１０６  工程
１０７  工程
１０８  工程
【図１】
2012227951.tif 000013
【図２】
2012227951.tif 000014
【外国語明細書】
METHOD AND APPARATUS FOR MODELING FILM
GRAIN PATTERNS IN THE FREQUENCY DOMAIN CROSS-REFERENCE TO RELATED APPLICATIONS 
This application claims priority under 35
U. S. C. 119 (e) to U. S. Provisional Patent Application Serial No 60/498,945,
filed August 29,2003, the teachings of which are incorporated herein. 
TECHNICAL FIELD 
This invention relates to a technique for
modeling film grain patterns in the frequency domain. 
BACKGROUND ART 
Motion picture film typically contains
signal-dependent noise, often referred to as film grain, resulting from the
process of exposure and development of the photographic film. Such noise yields
a characteristic quasi-random pattern or texture, caused by the physical
granularity of the photographic emulsion. Alternatively, signal-dependent noise
can occur as result of subsequent editing of the images. The grain pattern can
be simulated for video compression purposes. 
The ITU-T H. 264 I MPEG-4 AVC video
compression standard has accepted in its Fidelity Range Extensions Amendment
the inclusion of a film grain SEI (Supplemental Enhancement Information)
message. The film grain SEI message conveys a series of parameters allowing
film grain simulation at the receiver. For the ITU-T H. 264 I MPEG-4 AVC
compression standard, parameters in the SEI message can be specified according
to two different models: the auto-regressive model and the frequency-filtering
model. Both models allow characterizing the film grain pattern (size and
shape), intensity and color correlation through different sets of parameters
for different intensity levels. In particular, the frequency- filtering model
characterizes the film grain pattern by specifying a set of cut frequencies
that define a 2D band-pass filter in the frequency domain. Note that ITU-T H.
264 I MPEG-4 AVC only standardizes the syntax necessary to transmit the cut
frequencies but does not provide a method for computing them for a video
sequence with film grain. 
Thus, there exists a need for a technique
allowing the automatic modeling of the film grain pattern in the frequency
domain as specified by the frequency-filtering model in ITU-T H. 264 I MPEG-4
AVC compression standard. Results for this technique could be used either for
automatic film grain modeling applications or as the initialization step for a
film grain assisted-modeling process. 
BRIEF SUMMARY OF THE INVENTION 
Briefly, in accordance with a preferred
embodiment, there is provided a method for modeling (i. e., characterizing)
film grain patterns in the frequency domain. The method comprises the steps of
(1) transforming an set of homogeneous film grain samples received as an input
to the process to the frequency domain, thereby yielding a set of transform
coefficients having a particular pattern; (2) analyzing the pattern created by
the transformed coefficients; and (3) estimating the cut frequencies of a 2D
frequency filter that can effectively simulate the pattern of transform
coefficients by filtering random noise. The cut frequencies established by this
method can be conveyed in an SEI message in accordance with the ITU-T H. 264 I
MPEG-4 AVC standard allowing film grain simulation and reinsertion at a
decoder. 
BRIEF DESCRIPTION OF THE DRAWINGS 
FIGURE 1 depicts in flow chart form the
steps of a method for characterizing film grain patterns in accordance with the
present principles; and 
FIGURE 2 depicts in flow chart form a
variation of film grain characterization method of FIG. 1. 
DETAILED DESCRIPTION 
FIGURE 1 depicts in flow chart form the
steps of a method in accordance with present principles for modeling a film
grain pattern in the frequency domain upon receipt of a series of film grain
samples representing a homogeneous film grain pattern. As discussed in greater
detail hereinafter, the method of the present principles parameterizes the
pattern of the input samples by analyzing the size and shape of the structures
forming the grain. Because grain can form differently depending on film
exposure, homogeneous film grain samples are typically those associated with
similar. luminance values measured on the film image. Film grain samples at the
input of the process could be any group (or groups) of neighboring pixels that
retains information about the film grain size and shape. In the illustrated
embodiment, we will assume for simplicity that the film grain samples are
arranged in square blocks of NxN pixels with a particular transform
implementation based on a DCT of squared blocks of NxN pixels, although other
transforms, such as a Fast Fourier Transform work equally as well. 
The method of the present principles
assumes that modeling of the film grain present in Igrain[x, y, c]
occurs in accordance with the relationship:
Igrain[x, y, c] = Iwithout
grain[x, y, c] + G[x, y, c] (1)
where G [x, y, c] represents the simulated
grain at pixel coordinates (x, y) for color component c. G [x, y, c] is
computed as: 
G[x, y, c] = p*Q[x, y, c] +u*G
[x, y, c-1] (2)
where the parameter p is the standard
deviation of the random noise and the parameter u models the cross-color
correlation among different color components. More particularly, the term Q[c]
comprises a two-dimensional random field generated by filtering blocks b of N x
M random values, which have been generated with a normalized Gaussian
distribution N (0,1). 
In a particular embodiment, the band-pass
filtering of blocks b can be performed in the frequency domain by the following
three steps: 
Step 1: Transform
B=DCT NxM(b)
Step 2: Frequency filtering
(Equation 1)
2012227951.tif 000015
where LOW_HF and LOW_VF are the low
Horizontal and Vertical cut frequencies, respectively, and HIGH_HF and HIGH_VF
are the high Horizontal and Vertical cut frequencies, respectively. The cut
frequencies define the boundaries between preserved and filtered coefficients
when a film grain image is mapped in the frequency domain and serve to
characterize the size of the grain. 
Step 3: Inverse Transform
b'=IDCT_NxM(B) 
Finally, Q[c] is formed by combining the
filtered blocks b' into a composite image. Low pass filtering of the block
transitions will reduce possible “blockiness.” Although M and N could take any
value, in practice squared blocks of 16x 16,8x8 or 4x4 pixels work best. 
Note also that other transforms, such as
the Fast Fourier Transform (FFT), could replace the DCT process in Steps 1 and
3. 
By these principles, modeling the film
grain patterns is equivalent to extracting the cut frequencies LOW_HF, LOW_VF,
HIGH_HF and HIGH_VF that characterize the band-pass filter in the frequency
domain. 
The method of the present principles
commences upon execution of step 101, in which each block of NxN pixels
undergoes a Discrete Cosine Transform, with subsequent storage of the resulting
arrays of NxN coefficients during step 102. During step 103, a check occurs to
decide whether a need exists for more blocks with film grain samples in order
to obtain more coefficients for storage. Ordinarily, all blocks of film grain
samples available at the input undergo a transform. However, to reduce memory
requirements or computational load, processing could stop after a certain
number of blocks have undergone a transform. 
Following storage of a sufficient number of
transformed blocks, step 104 occurs, whereupon a mean block (Bmean)
is computed by averaging the coefficients from all the stored blocks. 
Assuming K as the number of stored blocks,
the averaging process for the coefficient at position [x, y] can be formulated
as follows: 
(Equation 2)
2012227951.tif 000016
Next, steps 105 and 106 occur typically in
parallel. During step 105, a horizontal mean vector BH is computed
by averaging the N frequency coefficients of each row of Bmean in accordance
with the relationship: 
(Equation 3)
2012227951.tif 000017
In a particular embodiment, it is possible
to avoid the influence of the DC coefficient on the average of the first row
with the relationship: 
(Equation 4)
2012227951.tif 000018
During step 106, the vertical mean vector
is computed by averaging the N frequency coefficients of each column of Bmean
in accordance with the relationship: 
(Equation 5)
2012227951.tif 000019
In a particular embodiment, it is possible
to avoid the influence of the DC coefficient on the average of the first column
with the relationship: 
(Equation 6)
2012227951.tif 000020
From the frequency vectors, selection of
the horizontal and vertical cut frequencies occurs during steps 107 and 108,
respectively, to estimate the film grain size. As seen in FIG. 1, steps 107 and
108 typically occur in parallel. Horizontal cut-frequency selection during step
107 occurs in the following manner. First, the components in the horizontal
mean vector undergo low-pass filtering to avoid spurious peaks. In the
illustrated embodiment, such low pass filtering of the horizontal mean vector
occurs by convolving the mean vector with a filter of impulse response hnJ in accordance
with the relationship:
(Equation 7)
2012227951.tif 000021
For example, a 3-tap linear filter with
coefficients w0, wl, and w2 could be applied
to each coefficient in accordance with the relationship:
(Equation 8)
2012227951.tif 000022
Observe that in order to apply the
filtering on the edges of the mean vector B it is necessary to pad the original
mean vector so that the samples for n < 0 and n > N-1 are defined. 
Next, the mean value of B'H is
computed by averaging its components in accordance with the relationship: 
(Equation 9)
2012227951.tif 000023
Thereafter, the vector B'H is
represented as a curve, and its intersection points with the average value 
(Equation 10)
2012227951.tif 000024
are computed. If a single intersection
point is found, the index n of the closest component in B'H is
chosen as the value of the horizontal high cut frequency; the horizontal low
cut frequency is assumed to be 0. If two intersection points are found, the
indexes of the closest components are found for each one. The lowest value will
correspond to the low horizontal cut frequency whereas the highest value will
correspond to the high horizontal cut frequency. If more than two intersection
points are found, no spatial correlation is detected. The horizontal low cut
frequency is assumed to be 0, and the horizontal high cut frequency is assumed
to be N-l, indicating to the film grain simulation function that no frequency
filtering is required to imitate the original grain. 
The same procedure described for selecting
the horizontal cut frequency occurs during step 108 to select the vertical cut
frequency using the vertical frequency vector Bv. At the completion
of steps 107 and 108, the method of FIG. 1 yields four cut frequencies (LOW_HF,
HIGH_HF, LOW_VF, HIGH_VF) that characterize both the size and the elongation of
the grain. Elongated grain occurs when LOW_HF ≠ LOW_VF and/or HIGH_HF ≠ HIGH_VF.
FIGURE 2 illustrates an alternative grain
modeling method, where it is possible to constrain the grain to circular
shapes. This implies that the horizontal and vertical cut frequencies remain
the same. The method of FIG. 2 contains many steps in common with the method of
FIG. 1. Therefore, like reference numerals have been used in FIG. 2 as in FIG.
1 to describe like steps. The method of FIG. 2 differs from that of FIG. 1 in
that, the vertical and horizontal frequency vectors (BH and BV)
are averaged during step 109 of FIG. 2 to create single frequency vector (B).
Then, the same procedure is performed during steps 107 and 108 in FIG. 2 to
estimate low and high cut frequencies as is performed during steps 107 and 108
of 
FIG. 1. 
The foregoing describes a technique for
modeling a film grain pattern in the frequency domain.
1.     A
method for modeling film grain in a digital image, comprising the steps of:
transforming
a set of film grain samples, to the frequency domain;  
storing
each set of coefficients resulting from such transform; 
analyzing
the transformed coefficients; and 
estimating
the cut frequencies of a filter that can simulate a distribution of the
transformed coefficients.
2.     The
method according to claim 1 wherein the film grain samples comprise at least
one group of neighboring pixels that retains information about film grain shape
and size. 
3.     The
method according to claim 1 further comprising the step of transmitting at
least one cut frequency as supplemental information. 
4.     The
method according to claim 1 wherein the cut frequencies are estimated by
filtering random noise in a frequency domain. 
5.     The
method according to claim 1 wherein the film grain samples are processed in
blocks of N x N pixels. 
6.     The
method according to claim 5 wherein the step of analyzing the pattern created
by the transform coefficients further comprises the steps of:
computing
a mean block of N x N transform coefficients by averaging the transform
coefficients from all the stored blocks following a transformation of each N x
N pixel block; 
defining
horizontal and vertical mean vectors of N components each by averaging the mean
block of N x N coefficients along rows and columns, respectively; 
representing
the horizontal and vertical mean vectors as separate curves; and
establishing
horizontal and vertical cut frequencies from the curves represented by the
horizontal and vertical mean vectors, respectively.  
7.     The
method according to claim 6 further comprising the step of low pass filtering
at least one mean vector. 
8.     The
method according to claim 5 wherein the step of analyzing the pattern created
by the transform coefficients further comprises the steps of:
computing
a mean block of N x N transform coefficients by averaging the transform
coefficients from all the stored blocks following a transformation of each
pixel block;  
defining
horizontal and vertical mean vectors of N components each by averaging the mean
block of N x N transform coefficients along rows and columns, respectively; 
averaging
the horizontal and vertical mean vectors into a single mean vector;        representing
the single mean vectors as a curve; and
establishing
horizontal and vertical cut frequencies from the curve represented by the
single mean vector.  
9.     The
method according to claim 6 further comprising the step of low pass filtering
the mean vector. 
10.    The
method according to claim 8 wherein each of a low and a high horizontal and
vertical cut frequencies is established from a first and second intersection
points in the curve represented by the horizontal and vertical mean vectors
with average values computed for horizontal and vertical mean vectors,
respectively. 
11.    A
method for modeling film grain patterns in a digital image, comprising the
steps of:
receiving
a set of film grain samples; 
performing
a transform on the set of film grain samples, comprised of at least one group
of neighboring pixels that retains information about film grain shape and size,
to the frequency domain; 
storing
each set of coefficients resulting from such transform, the coefficients
forming a pattern; 
analyzing
the pattern created by the transform coefficients; and 
estimating
the cut frequencies of a 2D band-pass filter that can simulate the pattern of
transform coefficients by filtering random noise in a frequency domain. 
1.   Abstract
Film grain patterns can be modeled in the
frequency domain by estimating the cut frequencies that define a 2D band-pass
filter. The film grain parameters can be conveyed in accordance with the ITU-T
H.264 | MPEG-4 AVC standard in an SEI message allowing film grain reinsertion
at a decoder.
2.   Representative drawing
Fig 1
【図１】
2012227951.tif 000025
【図２】
2012227951.tif 000026