(57)【特許請求の範囲】
【請求項１】
ディジタル画像内のフィルムグレインをモデリングする方法であって、
ＮｘＭ個の乱数値のブロックの離散コサイン変換を行うことにより、フィルムグレイン・サンプル群を周波数領域に変換する工程と、
該変換から生じる係数群各々を記憶する工程と、
変換係数を、
(a)記憶されたブロックからの係数の平均をとって水平平均ベクトル及び垂直平均ベクトルを計算し、
(b)前記水平平均ベクトル及び前記垂直平均ベクトルを別個の曲線として表すことによって解析する工程と、
前記水平平均ベクトル及び前記垂直平均ベクトルそれぞれによって表される前記曲線からフィルタのカット周波数を推定する工程と
を備え、前記フィルタは、前記変換係数の分布をシミュレートすることができることを特徴とする方法。
【請求項２】
請求項１記載の方法であって、フィルムグレイン・サンプルは、フィルムグレインの形状及びサイズについての情報を保持する少なくとも１つの近傍画素群を備えることを特徴とする方法。
【請求項３】
請求項１記載の方法であって、少なくとも１つのカット周波数を補助情報として伝送する工程を更に備えることを特徴とする方法。
【請求項４】
請求項１記載の方法であって、少なくとも１つの平均ベクトルを低域通過フィルタリングする工程を更に備えることを特徴とする方法。
【請求項５】
ディジタル画像内のフィルムグレイン・パターンをモデリングする方法であって、
フィルムグレイン・サンプル群を受信する工程と、
フィルムグレインの形状及びサイズについての情報を保持する少なくとも１つの近接画素群から成る前記フィルムグレイン・サンプル群に対する、周波数領域への離散コサイン変換を行う工程と、
該変換から生じる係数群それぞれを記憶する工程であって、係数がパターンを形成する工程と、
変換係数によって形成される前記パターンを、
(a)記憶されたブロックからの前記係数の平均をとって水平平均ベクトル及び垂直平均ベクトルを計算し、
(b)前記水平平均ベクトル及び前記垂直平均ベクトルを別個の曲線として表すことによって解析する工程と、
前記水平平均ベクトル及び前記垂直平均ベクトルそれぞれによって表される前記曲線から、２次元帯域通過フィルタのカット周波数を推定する工程とを備え、前記２次元帯域通過フィルタは、周波数領域で乱数雑音をフィルタリングすることによって変換係数の前記パターンをシミュレートすることができることを特徴とする方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、周波数領域においてフィルムグレインのパターンをモデリングする手法に関する。
【背景技術】
【０００２】
映画フィルムは通常、写真フィルムの露光及び現像のプロセスから生じる、フィルムグレインとして表すことが多い、信号に依存する雑音を含む。そうした雑音は、写真乳剤の物理的な粒状度によって生じる特徴的な疑似乱数パターン又はテクスチャをもたらす。あるいは、信号に依存する雑音は、画像を後に編集した結果、生じ得る。グレインパターンは、ビデオ圧縮の目的でシミュレートすることができる。
【０００３】
ＩＴＵ−Ｔ  Ｈ．２６４｜ＭＰＥＧ−４  ＡＶＣビデオ圧縮標準では、その「Ｆｉｄｅｌｉｔｙ  Ｒａｎｇｅ  Ｅｘｔｅｎｓｉｏｎｓ  Ａｍｅｎｄｍｅｎｔ」においてフィルムグレインＳＥＩ（拡充付加情報）メッセージを含むことが受け入れられた。フィルムグレインＳＥＩメッセージは、受信器でフィルムグレインのシミュレーションを可能にする一連のパラメータを伝える。ＩＴＵ−Ｔ  Ｈ．２６４｜ＭＰＥＧ−４  ＡＶＣビデオ圧縮標準の場合、ＳＥＩメッセージにおけるパラメータは、自己回帰モデルと周波数フィルタリング・モデルとの２つの別々のモデルによって規定することができる。何れのモデルによっても、フィルムグレインのパターン（サイズ及び形状）と、強度及び色の相関とを、種々の強度レベルについて種々のパラメータ群によって特徴付けることが可能になる。特に、周波数フィルタリング・モデルは、周波数領域における２次元帯域通過フィルタを規定するカット周波数群を規定することによってフィルムグレインのパターンを特徴付ける。なお、ＩＴＵ−Ｔ  Ｈ．２６４｜ＭＰＥＧ−４  ＡＶＣは、カット周波数を伝送するのに必要な構文則を標準化するに過ぎないが、フィルムグレインを備えるビデオ系列についてそうしたものを計算する方法を備えるものでない。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
よって、ＩＴＵ−Ｔ  Ｈ．２６４｜ＭＰＥＧ−４  ＡＶＣ圧縮標準における周波数フィルタリング・モデルによって規定される、周波数領域におけるフィルムグレイン・パターンの自動モデリングを可能にする手法に対する必要性が存在する。この手法の結果は、自動的なフィルムグレイン・モデリング・アプリケーションとして用い得るものであり、フィルムグレインによって支援されるモデリング・プロセスの初期化工程としても用い得る。
【課題を解決するための手段】
【０００５】
簡潔には、好ましい実施例によって、周波数領域においてフィルムグレインのパターンをモデリングする（すなわち、特徴付ける）方法を備える。方法は、（１）プロセスへの入力として受信される同質フィルムグレイン・サンプル群を周波数領域に変換して、特定のパターンを有する変換係数群をもたらす工程と、（２）変換係数によって生成されるパターンを解析する工程と、（３）乱数雑音をフィルタリングすることによって変換係数のパターンを効果的にシミュレートすることができる、２次元周波数フィルタのカット周波数を推定する工程とを備える。この方法によって設定されるカット周波数は、復号器でフィルムグレインのシミュレーション及び再挿入が可能になる、ＩＴＵ−Ｔ  Ｈ．２６４｜ＭＰＥＧ−４  ＡＶＣ標準によるＳＥＩメッセージにおいて伝えることができる。
【図面の簡単な説明】
【０００６】
【図１】本願の原理による、フィルムグレインのパターンを特徴付ける方法の工程を示す流れ図である。
【図２】図１のフィルムグレイン特徴付け方法の変形を示す流れ図である。
【発明を実施するための形態】
【０００７】
［実施例］
図１は、同質フィルムグレイン・パターンを表す一連のフィルムグレイン・サンプルを受信し次第、周波数領域においてフィルムグレイン・パターンをモデリングする、本願の原理による方法の工程を流れ図形式で表す。以下に更に詳細に記載するように、本願の原理の方法は、グレインを構成する構造のサイズ及び形状を解析することによって入力サンプルのパターンをパラメータ化する。グレインはフィルム露光によって違ったふうに生じ得るので、同質フィルムグレイン・サンプルは通常、フィルム画像上で測定される同様な輝度値と関連付けられる。プロセスの入力でのフィルムグレイン・サンプルは、フィルムグレインのサイズ及び形状についての情報を保持する、何れかの近接画素群であり得る。図示した実施例では、単純にするように、フィルムグレイン・サンプルは、方形のＮｘＮ個の画素のブロックのＤＣＴに基づいた特定の変換実施形態によって方形のＮｘＮ個の画素のブロックに配置されるが、高速フーリエ変換などの他の変換も同様にうまく機能する。
【０００８】
本願の原理の方法は、Ｉｇｒａｉｎ［ｘ，ｙ，ｃ］にあるフィルムグレインのモデリングが、
Ｉ  ｇｒａｉｎ［ｘ，ｙ，ｃ］＝Ｉｗｉｔｈｏｕｔ  ｇｒａｉｎ［ｘ，ｙ，ｃ］＋Ｇ［ｘ，ｙ，ｃ］                              （１）
の関係によって行われることとし、そのとき、Ｇ［ｘ，ｙ，ｃ］は、色成分ｃの画素座標（ｘ，ｙ）でシミュレートされたグレインを表す。Ｇ［ｘ，ｙ，ｃ］は、
Ｇ［ｘ，ｙ，ｃ］＝ｐ＊  Ｑ［ｘ，ｙ，ｃ］＋  ｕ＊Ｇ［ｘ，ｙ，ｃ−１］                                  （２）
として計算され、そのとき、パラメータｐは、乱数雑音の標準偏差であり、パラメータｕは、種々の色成分間の相互色相関をモデリングする。特に、項Ｑ［ｃ］は、正規化されたガウス分布Ｎ（０，１）によって生成されたＮｘＭ個の乱数値のブロックｂをフィルタリングすることによって生成される２次元の乱数場を備える。特定の実施例では、ブロックｂの帯域通過フィルタリングは、以下の３つの工程によって周波数領域で行うことができる。
工程１：変換
Ｂ＝ＤＣＴ＿Ｎ×Ｍ（ｂ）
工程２：周波数フィルタリング
【数１】
0005394546.tif 000002
そのとき、ＬＯＷ＿ＨＦ及びＬＯＷ＿ＶＦは、低水平カット周波数と、低垂直カット周波数との各々であり、ＨＩＧＨ＿ＨＦ及びＨＩＧＨ＿ＶＦは、高水平カット周波数と、高垂直カット周波数との各々である。カット周波数は、フィルムグレイン画像が周波数領域においてマッピングされる場合に保持された係数とフィルタリングされた係数との境界を規定し、グレインのサイズを特徴付ける役目を担う。
工程３：逆変換
ｂ’＝ＩＤＣＴ＿Ｎ×Ｍ（Ｂ）
最後に、Ｑ［ｃ］は、フィルタリングされたブロックｂ’を合成画像に合成することによって形成される。ブロック遷移部の低域通過フィルタリングによって、考えられる「ブロック歪み」が削減されることになる。Ｍ及びＮは何れかの値をとり得るが、実際には、方形の、１６ｘ１６個の画素ブロック、８ｘ８個の画素ブロック又は４ｘ４個の画素ブロックが最もうまく機能する。なお、高速フーリエ変換（ＦＦＴ）などの他の変換が工程１及び３におけるＤＣＴプロセスを置き換え得る。
【０００９】
こうした原理によれば、フィルムグレイン・パターンをモデリングすることは、周波数領域における帯域通過フィルタを特徴付けるカット周波数ＬＯＷ＿ＨＦ、ＬＯＷ＿ＶＦ、ＨＩＧＨ＿ＨＦ及びＨＩＧＨ＿ＶＦを抽出することに同等である。
【００１０】
本願の原理の方法は、工程１０１が実行され次第始まり、工程１０１では、ＮｘＮ個の画素のブロック各々が、離散コサイン変換を受け、工程１０２中に、結果として生じる、ＮｘＮ個の係数のアレイが後に記憶される。工程１０３中には、記憶するための更に多くの係数を得るために、フィルムグレイン・サンプルを備える、より多くのブロックに対する必要性が存在するか否かを判定するうえでの検査が行われる。通常、入力で利用可能なフィルムグレイン・サンプル・ブロックは全て、変換を受ける。しかし、メモリ要件又は計算量負荷を削減するために、特定数のブロックが変換を受けた後、処理は停止し得る。十分な数の変換ブロックの記憶後に、工程１０４が行われ、工程１０４によって、記憶されているブロック全てからの係数の平均をとることによって平均ブロック（Ｂｍｅａｎ）が計算される。記憶されているブロックの数をＫとすれば、位置［ｘ，ｙ］での係数の平均をとるプロセスは、
【数２】
0005394546.tif 000003
として公式化することができる。次に、工程１０５及び工程１０６は通常、並列に行われる。工程１０５中に、水平平均ベクトルは、
【数３】
0005394546.tif 000004
の関係によって、Ｂｍｅａｎの各行のＮ個の周波数係数の平均をとることによって計算される。
【００１１】
特定の実施例では、
【数４】
0005394546.tif 000005
の関係によって、第１の行の平均に対するＤＣ係数の影響がないようにすることが可能である。工程１０６では、
【数５】
0005394546.tif 000006
の関係によってＢｍｅａｎの各列のＮ個の周波数係数の平均をとることによって垂直平均ベクトルが計算される。特定の実施例では、
【数６】
0005394546.tif 000007
の関係によって、第１の列の平均に対するＤＣ係数の影響がないようにすることが可能である。
【００１２】
周波数ベクトルから、水平カット周波数及び垂直カット周波数の選択を工程１０７と工程１０８との各々の間に行ってフィルムグレイン・サイズを推定する。図１において分かるように、工程１０７及び工程１０８は通常、並列で行う。工程１０７中の水平カット周波数の選択は、以下のように行う。まず、水平平均ベクトルにおける成分が、スプリアス・ピークがないようにするよう低域通過フィルタリングを受ける。図示した実施例では、水平平均ベクトルのそうした低域通過フィルタリングは、
【数７】
0005394546.tif 000008
の関係によって、平均ベクトルを、インパルス応答ｈ［ｎ］のフィルタとたたみ込むことによって行う。例えば、係数ｗ０、ｗ１及びｗ２を備える３タップの線形フィルタを、
【数８】
0005394546.tif 000009
の関係によって、各係数に施し得る。なお、平均ベクトルＢのエッジに対してフィルタリングを施すためには、ｎ＜０であり、かつ、ｎ＞Ｎ−１である場合のサンプルが規定されるように元の平均ベクトルをパッドすることが必要である。
【００１３】
次に、Ｂ’Ｈの平均値は、
【数９】
0005394546.tif 000010
の関係によってその成分の平均をとることによって計算される。その後、ベクトルＢ’Ｈ
は曲線として表し、平均値
【数１０】
0005394546.tif 000011
とのその交点が計算される。単一の交点が見出される場合、Ｂ’Ｈにおける最も近い成分の指数ｎが、水平高カット周波数の値として選ばれる。水平低カット周波数は０とみなす。２つの交点が見出される場合、最も近い成分の指数が交点毎に見出される。最低値は低水平カット周波数に相当することになる一方、最高値は高水平カット周波数に相当することになる。３つ以上の交点が見出される場合、空間相関は何ら検出されない。水平低カット周波数は０とみなし、水平高カット周波数はＮ−１とみなし、これは、元のグレインを模倣するうえで周波数フィルタリングが何ら必要でないということをフィルムグレイン・シミュレーション関数に示す。
【００１４】
水平カット周波数の選択について説明したものと同様な手順を、工程１０８中に行って、垂直周波数ベクトルＢｖを用いて垂直カット周波数を選択する。工程１０７及び工程１０８が完了すると、図１の方法は、グレインのサイズ及び伸長を特徴付ける４つのカット周波数（ＬＯＷ＿ＨＦ，ＨＩＧＨ＿ＨＦ，ＬＯＷ＿ＶＦ，ＨＩＧＨ＿ＶＦ）をもたらす。グレインの伸長は、ＬＯＷ＿ＨＦ≠ＬＯＷ＿ＶＦ及び／又はＨＩＧＨ＿ＨＦ≠ＨＩＧＨ＿ＶＦである場合に起こる。
【００１５】
図２は、グレインを円形状に制限することが可能な別のグレイン・モデリング方法を示す。このことは、水平カット周波数と垂直カット周波数が同じ状態に留まるということを示唆する。図２の方法は、図１の方法と共通である多くの工程を含む。したがって、同じ参照数字を図２及び図１に用いて、同じ工程を説明している。図２の工程１０９中に、垂直周波数ベクトル及び水平周波数ベクトル（ＢＨ及びＢＶ）の平均をとって、単一の周波数ベクトル（Ｂ）を生成するという点で図２の方法は図１のものとは異なる。更に、同じ手順を図２における工程１０７及び工程１０８の間に行って、図１の工程１０７及び工程１０８の間に行うように低カット周波数及び高カット周波数を推定する。
【００１６】
上記は、周波数領域においてフィルムグレイン・パターンをモデリングする手法を記載する。
【符号の説明】
【００１７】
１０１  工程
１０２  工程
１０３  工程
１０４  工程
１０５  工程
１０６  工程
１０７  工程
１０８  工程
【図１】
0005394546.tif 000012
【図２】
0005394546.tif 000013