(57)【要約】【課題】フィルム粒子を特徴付けるよう、フィルム粒子特徴付け器（２３）は、入力情報ストリーム（１２）と、フィルム粒子が除去された、フィルタリングされた情報ストリーム（２４）とを受信する。【解決手段】これらのストリームから、フィルム粒子特徴付け器（２３）は、粒子をシミュレートするモデルの識別情報と、識別されたモデルによって用いられる、相関パラメータと、強度に依存しないパラメータと、強度に依存するパラメータとを含むいくつかのパラメータの群のうちの少なくとも１つとを含むメッセージを出力する。符号器（２６，１３）は、後に送信するよう、フィルム粒子情報を符号化する。【選択図】図１
2012124952.tif 000002
【特許請求の範囲】
【請求項１】
フィルム粒子情報を備える方法であって、
符号化前に画像情報ストリームの特徴付けを行って、前記画像ストリーム内のフィルム粒子を示す情報を備える工程であって、
前記フィルム粒子情報は、フィルム粒子をどのようにしてシミュレートするかを規定するモデルを識別し、前記フィルム粒子情報内の考えられるパラメータの組のうちの少なくとも１つのパラメータは、前記モデルとともに使用される、前記画像ストリーム内の前記フィルム粒子の種々の属性を規定する工程と、
後に併せて伝送するために前記画像情報の符号化とは別個に前記フィルム粒子情報を符号化して、復号化において前記フィルム粒子情報を使用する復号化において前記画像ストリーム内のフィルム粒子のシミュレーションを可能にする工程とを備えることを特徴とする方法。
【請求項２】
請求項１記載の方法であって、
前記パラメータの組が、複数の相関パラメータ及び強度に依存しない複数のパラメータを含むことを特徴とする方法。
【請求項３】
請求項２記載の方法であって、
少なくとも１つの相関パラメータが、認識されるフィルム粒子パターンにおける空間的相関を規定することを特徴とする方法。
【請求項４】
請求項２記載の方法であって、
少なくとも１つの相関パラメータが、色層間の相関を規定することを特徴とする方法。
【請求項５】
請求項２記載の方法であって、
少なくとも１つの相関パラメータが、画像系列の先行処理から生じる時間的相関を規定することを特徴とする方法。
【請求項６】
請求項２記載の方法であって、
強度に依存しない少なくとも１つのパラメータが、前記フィルム粒子のアスペクト比を規定することを特徴とする方法。
【請求項７】
請求項１記載の方法であって、
少なくとも１つのパラメータが、前記フィルム粒子の無作為の成分の強度を規定することを特徴とする方法。
【請求項８】
請求項２記載の方法であって、
前記強度に依存しないパラメータのうちの少なくとも１つが、色空間と、前記シミュレートされたフィルム粒子を前記画像とブレンディングするのに用いるブレンディング・モード処理とを規定することを特徴とする方法。
【請求項９】
請求項１記載の方法であって、
画像を表す情報の送信に対してバンド外で送信される前記フィルム粒子情報を送信する工程を更に備えることを特徴とする方法。
【請求項１０】
請求項１記載の方法であって、
画像を表す情報の送信に対してバンド内で送信される前記フィルム粒子情報を送信する工程を更に備えることを特徴とする方法。
【請求項１１】
請求項２記載の方法であって、
前記パラメータの組が、空間的相関の２次自己回帰表現と、クロス色相関及びクロス時間的相関の１次回帰表現とによって計算されることを特徴とする方法。
【請求項１２】
請求項３記載の方法であって、
前記粒子の前記空間的相関を表す前記少なくとも１つのパラメータが、空間的畳み込みモデルによって定められることを特徴とする方法。
【請求項１３】
請求項３記載の方法であって、
前記粒子の前記空間的相関を表す前記少なくとも１つのパラメータが、フーリエ領域におけるフィルタのカット周波数から得られることを特徴とする方法。
【請求項１４】
請求項１記載の方法であって、
前記符号化工程は、ＩＴＵ−Ｔ  Ｈ．２６４ビデオ符号化標準によって前記フィルム粒子情報を符号化する工程を備えることを特徴とする方法。
【請求項１５】
フィルム粒子を備える装置であって、
符号化前に画像情報ストリームの特徴付けを行って、前記画像ストリーム内のフィルム粒子の情報を備える第１の手段であって、前記情報は、フィルム粒子をどのようにしてシミュレートするかを規定するモデルを識別し、前記フィルム粒子情報内の考えられるパラメータの組のうちの少なくとも１つのパラメータは、前記識別されたモデルとともに使用される、前記画像ストリーム内の前記フィルム粒子の種々の属性を規定する第１の手段と、
後に併せて伝送するために前記画像情報の符号化とは別個に前記フィルム粒子情報を符号化して、復号化において前記フィルム粒子情報を使用する復号化において前記画像ストリーム内のフィルム粒子のシミュレーションを可能にする第２の手段とを備えることを特徴とする装置。
【請求項１６】
請求項１５記載の装置であって、
前記パラメータの組が、複数の相関パラメータ、及び強度に依存しない複数のパラメータを含むことを特徴とする装置。
【請求項１７】
請求項１６記載の装置であって、
少なくとも１つの相関パラメータが、認識されるフィルム粒子パターンにおける空間的相関を規定することを特徴とする装置。
【請求項１８】
請求項１６記載の装置であって、
少なくとも１つの相関パラメータが、色層間の相関を規定することを特徴とする装置。
【請求項１９】
請求項１６記載の装置であって、
少なくとも１つの相関パラメータが、画像系列の先行処理から生じる時間的相関を規定することを特徴とする装置。
【請求項２０】
請求項１６記載の装置であって、
強度に依存しない少なくとも１つのパラメータが、前記フィルム粒子のアスペクト比を規定することを特徴とする装置。
【請求項２１】
請求項１５記載の装置であって、
少なくとも１つのパラメータが、前記フィルム粒子の無作為の成分の強度を規定することを特徴とする装置。
【請求項２２】
請求項１６記載の装置であって、
前記強度に依存しないパラメータのうちの少なくとも１つが、色空間と、前記シミュレートされたフィルム粒子を前記画像とマージするのに用いるブレンディング・モード処理とを規定することを特徴とする装置。
【請求項２３】
請求項１６記載の装置であって、
前記第１の手段が、前記パラメータの組を、空間的相関の２次自己回帰表現と、クロス色相関及びクロス時間的相関の１次回帰表現とによって計算することを特徴とする装置。
【請求項２４】
請求項１７記載の装置であって、
前記粒子の空間的相関を表す前記少なくとも１つのパラメータが、空間的畳み込みモデルによって定められることを特徴とする装置。
【請求項２５】
請求項１７記載の装置であって、
前記粒子の空間的相関を表す前記少なくとも１つのパラメータが、フーリエ領域におけるフィルタのカット周波数から得られることを特徴とする装置。
【請求項２６】
請求項１５記載の装置であって、
第２の手段は、ＩＴＵ−Ｔ  Ｈ．２６４ビデオ符号化標準によって前記フィルム粒子情報を符号化することを特徴とする装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、フィルム粒子をシミュレートする手法に関する。
【背景技術】
【０００２】
動画フィルムは、フィルム基材上の薄層においてコーティングされた、乳剤において分散したハロゲン化銀結晶を備える。この結晶の露光及び現像によって、ディスクリートな、とても小さい銀粒子から成る写真画像が形成される。現像後に銀が化学的に除去されるカラーネガでは、銀結晶が形成される場所上でとても小さいダイブロッブが生じる。この小さな染めしみは通常、カラー・フィルムにおいて「粒子」と呼ばれる。粒子は、元の乳剤上の銀結晶の無作為の形成のために結果として生じる画像上に無作為に分散したように見える。一様に露光された領域内では、結晶には露光後に形成されるものもある一方、他のものは形成されない。
【０００３】
粒子は大きさ及び形状において異なる。フィルム速度が高いほど、形成される銀塊及び生成されるダイブロッブは、大きくなり、無作為のパターンにおいて集まる傾向が強まる。粒子パターンは通常、「粒状性」として知られている。裸眼では、０．０００２ｍｍから約０．００２ｍｍまで及ぶ個々の粒子を区別することができない。実際に、眼によって、ブロッブとして表す粒子群が解像される。観測者はこのブロッブ群をフィルム粒子として識別する。画像の分解能が大きくなるにつれ、フィルム粒子の認知力は高くなる。フィルム粒子は映画の画像上や高品位画像上で明らかに目立つようになる一方、フィルム粒子はＳＤＴＶにおいて重要性を徐々に失い、より小さな形式では感知できないようになる。
【０００４】
動画フィルムは通常、写真フィルムの露光及び現像の物理的な処理又は後の画像編集から生じる、画像に依存した雑音を含む。写真フィルムは、写真乳剤の物理的な粒状性から生じる、特徴的な擬似乱数のパターンすなわちテクスチャを持っている。あるいは、同様なパターンをコンピュータ生成画像にわたってシミュレートしてそれを写真フィルムとブレンディングすることができる。いずれの場合も、この、画像に依存した雑音は粒子として表す。非常に多くの場合、中くらいの粒子テクスチャは、動画における所望の特徴を表す。一部の場合には、フィルム粒子は、２次元ピクチャの正常な知覚を容易にする視覚キューを備える。多くの場合、フィルムグレードを単一のフィルム内で変えて、時間基準、視点等についての種々の手がかりを備える。映画産業において粒子テクスチャを制御するうえで多くの他の技術的な用途及び芸術系な用途が存在する。したがって、画像処理及び配信の連鎖を通して画像の粒状の外観を維持することは、映画産業における要件となっている。
【０００５】
市場で入手可能なプロダクトのいくつかは、多くの場合、コンピュータ生成オブジェクトを自然のシーンにブレンディングする、フィルム粒子をシミュレートする機能を有する。粒子シミュレーションを実施する最初のディジタル・フィルム・アプリケーションのうちの１つである、イーストマン・コダック社（ニューヨーク州ロチェスタ）によるシネオン（登録商標）は、多くの粒子タイプについて非常に現実的な成果をもたらす。しかし、シネオン（登録商標）は、高粒子サイズ設定の場合にアプリケーションがもたらす、目立つ斜め縞が理由で多くの高速フィルムの場合に良好な性能をもたらさない。更に、シネオン（登録商標）・アプリケーションは、例えば、画像が複製されるかディジタル処理される場合などの、先行処理に画像がかけられる場合に十分な忠実度で粒子をシミュレートできない。
【０００６】
フィルム粒子をシミュレートする別の商用プロダクトとして、アドビ（登録商標）アフターエフェクツ（登録商標）のプラグインとして用いられる、ビジュアル・インフィニティ社によるグレインサージェリー（商標）がある。グレインサージェリー（商標）のプロダクトは、乱数群をフィルタリングすることによって合成粒子を生成するように思われる。この手法は計算量が多いことに短所を来している。
【発明の概要】
【発明が解決しようとする課題】
【０００７】
これらの従来の手法は何れも、圧縮ビデオ復元においてフィルム粒子を復元するという課題を解決するものでない。フィルム粒子は、ビデオ系列における冗長度を利用する従来の空間的手法及び時間的手法を用いた圧縮を通常受けることができない高周波擬似乱数現象を構成する。ＭＰＥＧ−２圧縮手法やＩＴＵ−Ｔ／ＩＳＯ  Ｈ．２６４圧縮手法を用いてフィルムに端を発する画像を処理しようとすると通常、圧縮度が受け入れられないほど低くなってしまうか、粒子テクスチャが完全になくなってしまう。
【０００８】
よって、１つ又は複数のパラメータ群によってフィルム粒子特性を表す手法に対する必要性が存在する。
【課題を解決するための手段】
【０００９】
簡潔に言えば、本願の原理の好ましい実施例によって、フィルム粒子をシミュレートする手法を備える。この方法は、画像情報システム内のフィルム粒子を示す情報を備えるよう、例えば、フィルム画像を含むビデオ・ストリームなどの画像情報ストリームにおいて特徴付けることによって開始する。フィルム粒子情報は、画像ストリームにおけるフィルム粒子の種々の属性を規定する、考えられるパラメータ群のうちの少なくとも１つのパラメータを含む。フィルム粒子情報は更に、後に送信するよう符号化される。
【図面の簡単な説明】
【００１０】
【図１】本願の原理によってフィルム粒子をシミュレートする、本願の原理によるシステムの第１の実施例を示す構成図である。
【図２】本願の原理によってフィルム粒子をシミュレートする、本願の原理によるシステムの第２の実施例を示す構成図である。
【図３】本願の原理によってフィルム粒子をシミュレートする、本願の原理によるシステムの第３の実施例を示す構成図である。
【発明を実施するための形態】
【００１１】
〔実施例〕
図１は、本願の原理によってフィルム粒子シミュレーションを行う、本願の原理によるシステム１０の第１の実施例の構成略図を表す。システム１０は、入力ビデオ・ストリーム１２からフィルム粒子を除去してビデオ符号器１３で受信されるフィルタリングされたビデオ・ストリーム２４をもたらす役目を担うフィルム粒子除去器２２を含む。フィルム粒子除去は、雑音信号が画像信号と相関があるように見える、雑音フィルタリングの特定のケースを構成する。よって、フィルム粒子除去器２２は伝統的な画像フィルタの形態をとり得るが、そうしたフィルタは最適な性能を必ずしも備えるものでない。ビデオ符号器１３は、フィルタリングされたビデオ・ストリーム２４を符号化して、ビデオ復号器１５で受信される符号化ビデオ・ストリーム１４をもたらし、ビデオ復号器１５は、符号化ストリームを復号化して復号化ビデオ・ストリーム１６をもたらす。ビデオ符号器１３及びビデオ復号器１５は、当該技術分野において周知である同じビデオ符号化手法を利用する。例えば、ビデオ符号化手法は、ＩＴＵ−Ｔ  Ｈ．２６４ビデオ符号化標準、又は別のタイプのブロック・ベースの符号化を備え得る。ＭＰＥＧ−２標準やＩＴＵ−Ｔ  Ｈ．２６４標準を利用する符号器及び復号器は周知である。
【００１２】
システム１０は、入力ビデオ・ストリーム１２と、フィルタリングされたビデオ・ストリーム２４とを受信するフィルム粒子特徴付け器２３も含む。これらのビデオ・ストリームから、フィルム粒子特徴付け器２３は、粒子をシミュレートするモデルの識別情報と、識別されたモデルによって用いられる、相関パラメータと、強度に依存しないパラメータと、強度に依存するパラメータとを含むいくつかのパラメータ群のうちの少なくとも１つとを含む、以降粒子メッセージとして表すメッセージを出力する。以下に詳細に記載するように、フィルム粒子メッセージにおけるパラメータによって、識別されたモデルを用いた、元画像に依存する雑音のシミュレーションが可能になる。パラメータが何もない場合、デフォールト値がその欠落パラメータに割り当てられる。（実際に、モデルが何ら識別されない場合、フィルム粒子のデフォールト・モデルを呈する。）一実施例では、フィルム粒子特徴付け器２３は、パラメータが、写真フィルムの露光及び現像の物理的な処理に基づいたモデルによって生成されるか、後の画像編集中に追加される処理によって生成される。
【００１３】
粒子メッセージの生成後、フィルム粒子特徴付け情報符号器２６は、フィルム粒子特徴付け情報復号器２８にバンド内又はバンド外で送信するよう、ビデオ符号器１３によってビデオ復号器１５に送信される符号化ビデオ・ストリーム１４からの上記メッセージを符号化する。ビデオ符号器１３もフィルム粒子特徴付け情報符号器２６も同じ符号化手法を用いる。よって、例えば、符号器２６が、符号化するうえでＩＴＵ−Ｔ  Ｈ．２６４ビデオ符号化標準を利用する場合、符号化フィルム粒子特徴付け情報ストリーム２７は、ＩＴＵ−Ｔ  Ｈ．２６４ビデオ符号化標準に規定されるフィルム粒子補足拡張情報（ＳＥＩ）メッセージの形式をとり得る。
【００１４】
フィルム粒子特徴付け情報復号器２８は、フィルム粒子復元プロセッサ３０に入力するよう、符号化フィルム粒子メッセージ２７を復号化して、復号化フィルム粒子特徴付け情報ストリーム２９をもたらす。以下に更に詳細に説明するように、プロセッサ３０は、メッセージ内のパラメータを用いて粒子メッセージにおいて識別されたモデルによってフィルム粒子をシミュレートすることになる。モデルの識別がない場合には、プロセッサ３０はデフォールト・モードを呈することになる。同様に、特定のパラメータの特定値がない場合には、プロセッサ３０はそのパラメータのデフォールト値を呈することになる。
【００１５】
好ましい実施例では、図１の粒子メッセージ２５は通常、空間的相関、アスペクト比、色相関及び時間的相関を規定する１つ又は複数の相関パラメータを含むことになる。これらのパラメータの各々は以下に記載する。
【００１６】
空間的相関
例示的実施例では、空間領域における、フィルム粒子の、画像に依存した相関は、少なくとも、空間的相関の一パラメータによってモデル化することができる。測定される空間的相関はブロッブのサイズを定める。空間的相関についての２次自己回帰モデル及び畳み込みモデルを以下に説明する。
【００１７】
アスペクト比
理想的には、フィルム粒子は、Ｘ方向とのＹ方向との特性が同一である等方性を有するように見えるものである。しかし、実際は、一方向に伸びているように見え得るものであり、それは多くの場合、異方倍率光学系や非正方形検出器の幾何学的形状などの、フィルム記録に関する係数から生じる。その理由で、フィルム粒子をモデル化する場合には、アスペクト比係数を表す、強度に依存しないパラメータが、空間的相関の尺度を補完することになる。粒子ブロッブのアスペクト比は、少なくとも１つのパラメータによって規定される。
【００１８】
色相関
本願の原理によれば、カラー画像におけるフィルム粒子の層依存性は、色相関を用いて表される。測定色相関は粒子の、認識された色濃淡を定める。色相関が弱いことは、種々の色層において生成される粒子ブロッブが無作為に、お互いに重なるということを示唆する。よって、観察者は粒子をカラーとして認識することになる。色相関が高いことは、１つの色成分上の粒子ブロッブが他の色成分によって変わってくるということを示唆する。この場合には、観察者は粒子をモノクロとして認識することになる。
【００１９】
時間的相関
系列における粒子の時間的相関は、少なくとも１つのパラメータによって表される。粒子自体はフレーム間の時間的相関を何ら表すことができないが、時間的相関を表すパラメータを導入することによって、フィルムの編集がもたらす他の観察作用をシミュレートするのに役立ち得る。
【００２０】
雑音の強度
フィルム粒子のフィルム画像との依存を表す前述のパラメータとともに、フィルム粒子を発生させるランダム・プロセスから生じる雑音の強度を表す必要性が存在する。雑音の強度は、色成分毎に変わり得るものであり、フィルム画像によって変わってくることになる。粒子の強度は、雑音が画像において認識されるレベルを判定する。粒子強度レベルが小さいことによって、元の画像におけるわずかな変動がもたらされ、ほとんど目立たないように見える。強度レベルが高いことは、画像においてスーパーインポーズされるピークとして明らかに目に見えるようになる。
【００２１】
他のパラメータ
上記パラメータに加えて、粒子メッセージは、フィルム粒子を加える色空間と、粒子をビデオ信号とブレンディングするのに用いるブレンディング・モードとを識別するパラメータも含み得る。なお、別のパラメータ群を、色成分毎に送信することができ、フィルム画像の種々の強度レベル毎に送信することができる。例えば、フィルム粒子が画像の局所強度によって変わってくるものであり、種々の色成分が、フィルムストックのタイプに応じて別々の粒子を有し得る。
【００２２】
図１のフィルム粒子特徴付け器２３は、画像の強度レベルによって種々のパラメータ群を生成することができる。所望の場合、フィルム粒子復号器２８は、パラメータ群を種々の強度レベルに補間して、フィルム粒子特性の平滑的な遷移を導き出すことができる。
【００２３】
パラメータ群を解釈するために、フィルム粒子復号器２８は、パラメータを生成するモデルの規定を有していなければならない。そうしたモデルを規定することができる方法を理解するために、以下の数学的な関係が有用であることが分かることになる。まず、画像位置（ｘ，ｙ）、色チャネルｃ及びフレーム番号ｔでの復号化画像画素値は、Ｉ（ｘ，ｙ．ｃ，ｔ）によって表す。便宜上、画素値は１の最大値を有するようスケーリングされる。更に、ＲＧＢ画像表現（ｃ＝１、２又は３）を前提とするが、このモデルはモノクロ画像に向けることができ、明らかな修正によって、ＹＵＶ表現に向けることができる。
【００２４】
加算粒子モデルでは、粒子シミュレーションは各画素値をＪ（ｘ，ｙ，ｃ，ｔ）に変更し、そのとき、Ｊ（ｘ，ｙ，ｃ，ｔ）は、
（１）  Ｊ（ｘ，ｙ，ｃ，ｔ）＝Ｉ（ｘ，ｙ，ｃ，ｔ）＋Ｇ（ｘ，ｙ，ｃ，ｔ，Ｌ（ｘ，ｙ，ｔ））
の関係によって表され、そのとき、Ｌ（ｘ，ｙ，ｔ）は画像における局所強度の尺度であり、Ｇ（ｘ，ｙ，ｃ，ｔ，Ｌ（ｘ，ｙ，ｔ））は粒子値を規定する。１つの考えられる実施形態は、Ｌをルミナンス、又は色チャネル全てにわたる強度Ｉ（ｘ，ｙ，ｃ，ｔ）の加重和として規定するというものである。
【００２５】
式（１）によって表す加算モデルは対数強度スケールが用いられる場合に適切である。線形スケールの場合、式（１）のモデルは、
（１ａ）  Ｊ（ｘ，ｙ，ｃ，ｔ）＝Ｉ（ｘ，ｙ，ｃ，ｔ）＊（１＋Ｇ（ｘ，ｙ，ｃ，ｔ，Ｌ（ｘ，ｙ，ｔ）））
の乗算モードによって置き換えることができる。加算粒子モデルが実施されるか乗算粒子モデルが実施されるかは、復号化画像の形式によって変わってくることになる。一般的に、粒子は、最大画素値の小さな割合を備えるものである。
【００２６】
次に、本発明によってパラメータ群を抽出する種々の種類のモデルの例の一部を説明する。
【００２７】
Ｉ．フィルム粒子パターンの自己回帰シミュレーション
例示的実施例では、２次自己回帰手法を用いて空間的相関をモデル化することができ、１次回帰手法を用いてクロス色相関及びクロス時間的相関をモデル化することができる。相関係数は全て、復号化画像の強度によって変わってくる。水平方向の空間的相関係数と垂直方向の空間的相関係数は、一定のアスペクト比係数によって関連している。そのような状況下で、
（２）  Ｇ（ｘ，ｙ，ｃ，ｔ，Ｌ）＝ｐ（ｃ，Ｌ）＊Ｎ＋
ｑ（ｃ，Ｌ）＊（Ｇ（ｘ−１，ｙ，ｃ，ｔ，Ｌ）＋Ａ＊Ｇ（ｘ，ｙ−１，ｃ，ｔ，Ｌ））＋
ｒ（ｃ，Ｌ）＊Ａ＊（Ｇ（ｘ−１，ｙ−１，ｃ，ｔ，Ｌ）＋Ｇ（ｘ＋１，ｙ−１，ｃ，ｔ，Ｌ））＋
ｓ（ｃ，Ｌ）＊（Ｇ（ｘ−２，ｙ，ｃ，ｔ，Ｌ）＋Ａ＊Ａ＊Ｇ（ｘ，ｙ−２，ｃ，ｔ，Ｌ））＋ｕ（ｃ，Ｌ）＊Ｇ（ｘ，ｙ，ｃ−１，ｔ，Ｌ）＋
ｖ（ｃ，Ｌ）＊Ｇ（ｘ，ｙ，ｃ，ｔ−１，Ｌ）
の式が、シミュレートされた粒子値をもたらすことになり、そのとき、Ｎは正規化ガウス分布を備える乱数値であり、Ａは一定の画素アスペクト比であり、ｐ、ｑ、ｒ、ｓ、ｕ及びｖは相関パラメータである。パラメータｕは第１の色チャネルの場合、常にゼロであり、粒子値Ｇは、何れかの指数が範囲外である場合にゼロとみなされる。
【００２８】
式（２）の構造から分かり得るように、特定の色チャネルにおける特定の画素の粒子値が先行算出粒子値を用いて再帰的に算出される。特に、フレームはフレーム番号の昇順（すなわち、ｔの昇順）で算出される。各フレーム内で、色チャネル処理が、色チャネル番号の昇順（すなわち、ｃの昇順）で行われる。各色チャネル内で、ｘ及びｙの昇順に、画素が水平方向にラスタ化され、次に垂直方向にラスタ化される。この順序に従う場合、式（２）によって必要な粒子値は全て、予め自動的に算出される。
【００２９】
特定の状況下では、垂直方向のラスタ化はより実用的であることが分かっている、すなわち、画素処理はまず列から行われる。そうした場合には、式（２）は、先行算出値のみを用いるというわずかな修正を必要とすることになる。
【００３０】
（２ａ）  Ｇ（ｘ，ｙ，ｃ，ｔ，Ｌ）＝ｐ（ｃ，Ｌ）＊Ｎ＋
ｑ（ｃ，Ｌ）＊（Ｇ（ｘ−１，ｙ，ｃ，ｔ，Ｌ）＋Ａ＊Ｇ（ｘ，ｙ−１，ｃ，ｔ，Ｌ））＋
ｒ（ｃ，Ｌ）＊Ａ＊（Ｇ（ｘ−１，ｙ−１，ｃ，ｔ，Ｌ）＋Ｇ（ｘ−１，ｙ＋１，ｃ，ｔ，Ｌ））＋
ｓ（ｃ，Ｌ）＊（Ｇ（ｘ−２，ｙ，ｃ，ｔ，Ｌ）＋Ａ＊Ａ＊Ｇ（ｘ，ｙ−２，ｃ，ｔ，Ｌ））＋
ｕ（ｃ，Ｌ）＊Ｇ（ｘ，ｙ，ｃ−１，ｔ，Ｌ）＋
ｖ（ｃ，Ｌ）＊Ｇ（ｘ，ｙ，ｃ，ｔ−１，Ｌ）
式（２）又は式（２ａ）を実施することは、特定の最小の復号器機能を必要とする。第１に、フィルム粒子情報復号器２８は、全ての算出をリアルタイムで行わなければならない。第２に、フィルム粒子情報復号器２８は、いくつかの先行算出粒子値をメモリに保持する必要がある。特に、時間的相関（すなわち、式（２）及び式（２ａ）における最終項）を実施するよう、フィルム粒子情報復号器２８は、先行フレーム全てについて粒子値を保持する必要がある。この観点から、式（２）のモデルによって、ある程度の忠実度の低下を伴って要件を徐々に低減させることが可能になるということが重要である。
【００３１】
システムの忠実度がわずかに低いと、式（２）における最終の（時間的な）項を無視し得る。そうすることによって、先行フレームからの粒子値を保持するよう更なるフレーム・バッファを有する必要性がなくなることになる。更なる費用節減が、ｓ（ｃ，Ｌ）によって変わってくる、式（２）におけるこの項を無視することによってもたらされることになる。そうすることによって、前の前の行をメモリに記憶する必要性がなくなり、算出数が削減される。ｒ（Ｃ，Ｌ）などを備える項によって表される斜め相関を無視することによって、更なる計算量削減が達成されることになる。最低品質粒子シミュレータは、白色雑音項のみ用いるものである。
【００３２】
項が、低減されたシステムにおいて無視される都度、式（２）によって実施されるモデルのフルスケール実施形態における場合と同様に、実質的な１次相関が同じ状態に留まり、もっと重要なこととして、自己相関（雑音電力）が同じ状態に留まるように残りのパラメータをフィルム粒子情報復号器２８が調節する場合に便益が生まれる。同じ調節が、先行粒子値の全てが利用可能でない
式（２）において実施されるモデルの柔軟性は、第１の色チャネルを除く全てについてパラメータｐ，ｑ，ｒ及びｓをゼロに設定し、ｃ＞１の場合に、色相関ｕ（ｃ，Ｌ）を１に設定することによって更に明らかになる。そうした状況下では、粒子は完全にモノクロになる。このパラメータ値群は、色空間の先行ＹＵＶ４：２：０変換によって色変動が洗い流されるケースを表し得る。
【００３３】
３色群の場合、式（２）のモデルは、ルミナンス・レベル毎の１７個のパラメータの群と、ルミナンスに依存しないアスペクト比とによって粒子パターンを表す。ルミナンス依存パラメータは、いくつかの固定ルミナンス・レベルについて符号化することができる。復号器は、中間ルミナンス・レベルについてパラメータ値を補間することになる。
【００３４】
粒子パラメータは、厳密に式（２）の形式で表さなくてもよい。例えば、何れかの、パラメータの１対１の変換を用い得る。更に、種々の参照強度レベル群を、別々のパラメータについて用い得るものであり、種々の補間手法を用い得る、などである。
【００３５】
２．  フィルム粒子パターンをシミュレートするよう空間領域において畳み込みを行う工程
別の例示的な実施例では、フィルム粒子パターンを、
（３）  ｈ＝（ｈ０，ｈ１，ｈ２，ｈ３，…，ｈｎ）
の形式で規定する線形の、時間不変ディジタル・フィルタｈによって乱数群ｘを畳み込むことによってシミュレートすることができる。
【００３６】
これは、フィルム粒子ｙ（ｎ）をシミュレートするフィルタ出力が、入力ｘ（ｎ）と、フィルタのインパルス応答ｈ（ｎ）との畳み込みであるということを表す。すなわち、
【００３７】
【数１】
2012124952.tif 000003
である。
【００３８】
式（４）は一次元におけるシミュレーションをもたらすが、２次元のパターンを、１次元における垂直方向の畳み込みと水平方向の畳み込みとを連結することによって得ることができる。そうした状況下では、フィルタの係数をアスペクト比係数とともに送信するものである。
【００３９】
機能が限定的なフィルム粒子情報復号器２８は畳み込みカーネルの空間的なサイズを制限することができ、それによって、メモリ及び処理能力の要件が緩和されることになる。
【００４０】
３．  フィルム粒子パターンをシミュレートするよう変換領域においてフィルタリングを行う工程
前述したように、フィルタｈのインパルス応答と、乱数群ｘとを畳み込むことによってフィルム粒子パターンを特徴付けることができる。これと同じ処理は、インパルス応答Ｈのフーリエ変換と乱数群Ｘのフーリエ変換とによる周波数領域における乗算によっても表すことができる。
【００４１】
（５）  Ｙ（ｕ）＝Ｘ（ｕ）・Ｈ（ｕ）
画像のフーリエ変換が、例えば、フィルタリング処理又は圧縮処理の一部として利用可能な場合に計算が速くなるため、周波数領域におけるフィルタリングは効果をもたらす。
【００４２】
以下のパラメータ群は、本願の原理によって画像依存粒子を表すうえで申し分のない結果をもたらした。これらのパラメータは、粒子をシミュレートする自己回帰手法を前提とする。他の手法のパラメータは類似した表によって表されることになる。
【００４３】
色空間：対数ＲＧＢ
ブレンディング・モード：加算
アスペクト比：１
強度レベルの数：３
Ｒ成分のパラメータ：
【００４４】
【表１】
2012124952.tif 000004
Ｇ成分のパラメータ：
【００４５】
【表２】
2012124952.tif 000005
Ｂ成分のパラメータ：
【００４６】
【表３】
2012124952.tif 000006
この表に示していない相関パラメータは０に設定される。色空間と、ブレンディング・モードと、アスペクト比と、種々のパラメータが規定される強度レベルの数を規定した後、各色成分上のフィルム粒子が符号化される。なお、ある程度のレベル（強度）情報に加えてイタリック字のデータしか送信しなくてよい。
【００４７】
図２は、本願の原理によってフィルム粒子をシミュレートするシステムの第２の実施例１０’を表す。システム１０’は図１のシステム１０と同じ構成要素の多くを共有し、同じ参照数字は同じ構成要素を表す。実際に、図２のシステム１０’は、図１のフィルム粒子特徴付け情報符号器２６及びフィルム粒子特徴付け情報復号器２８がないことのみが異なる。図２のシステム１０’は、ビデオ符号器１３とビデオ復号器１５とを用いて、フィルム粒子特徴付け器２３のフィルム粒子特徴付け情報２５の出力の符号化と復号化との各々を行う。図２のシステム１０’は、送信フィルム粒子特徴付け情報を並列拡張情報としてサポートするビデオ符号化標準を用いることを必要とする。
【００４８】
図３は、本願の原理によってフィルム粒子をシミュレートするシステムの第３の実施例１０’’を表す。システム１０’’は図２のシステム１０’と同じ構成要素の多くを共有し、同じ参照数字は同じ構成要素を表す。実際に、図３のシステム１０’’は、図２のフィルム粒子除去器２２がないことのみが異なる。図３のシステム１０’’は、ビデオ符号器１３で利用可能な再構築画像を用いて、フィルム粒子の除去の結果をシミュレートする。図３のシステム１０’’は、図１のシステム１０及び図２のシステム１０’と比べて２つの効果をもたらす。図３のシステム１０’’は、第１に、フィルム粒子除去に関する計算量を削減し、第２に、フィルム粒子特性を、ビデオ符号器１３によって抑制されるフィルム粒子量に適合させる。図３のフィルム粒子特徴付け器が、フィルム粒子を備える入力ビデオ１２も、ビデオ符号器１３から生じる再構築ビデオ２４も処理すると、観察フィルム粒子を特徴付けるタスクを達成することができる。
【００４９】
上記では、ビデオ信号におけるフィルム粒子をシミュレートする手法を説明している。フィルム粒子シミュレーション手法をビデオ信号の符号化及び復号化に関して説明したが、この手法は、例えば、例えば映画フィルムのポストプロダクションなどの他の目的に同様に適用可能である。この点で、元の画像が、圧縮ビデオ信号以外の形式での画像情報として存在し得るものであり、フィルム粒子情報が、ＳＥＩメッセージなどのメッセージ以外の形式で存在し得る。例えば、画像情報は、当該技術分野において存在する種々の別々の形式のうちの１つにおいて存在し得る。
【符号の説明】
【００５０】
１２  入力情報ストリーム
１３  符号器
２３  フィルム粒子特徴付け器
２４  フィルタリングされた情報ストリーム
２６  符号器
【図１】
2012124952.tif 000007
【図２】
2012124952.tif 000008
【図３】
2012124952.tif 000009
【外国語明細書】
METHOD  AND  APPARATUS  FOR  REPRESENTING  IMAGE  GRANULARITY  BY  ONE  OR  MORE  PARAMETERS
CROSS-REFERENCE  TO  RELATED  APPLICATIONS 
This application claims priority under 35 U. S. C. 119(e) to U. S. Provisional
Patent Application Serial No 60/470,712, filed May 15, 2003, the teachings of
which are incorporated herein. 
TECHNICAL  FIELD 
This invention relates to a technique for simulating film grain. 
BACKGROUND  OF  THE  INVENTION 
Motion picture films comprise silver-halide crystals dispersed in an emulsion,
which is coated in thin layers on a film base. The exposure and development of
these crystals form the photographic image consisting of discrete tiny
particles of silver. In color negatives, where the silver is chemically removed
after development, tiny blobs of dye occur on the sites where the silver
crystals form. These smalls specks of dye are commonly called 'grain' in color
film. Grain appears randomly distributed on the resulting image because of the
random formation of silver crystals on the original emulsion. Within a
uniformly exposed area, some crystals develop after exposure while others do
not. 
Grain varies in size and shape. The faster the film, the larger the clumps of
silver formed and blobs of dye generated, and the more they tend to group
together in random patterns. The grain pattern is typically known as 'granularity'.
The naked eye cannot distinguish individual grains, which vary from 0.0002 mm
to about 0.002 mm. Instead, the eye resolves groups of grains, referred to as
blobs. A viewer identifies these groups of blobs as film grain. As the image
resolution becomes larger, the perception of the film grain becomes higher.
Film grain becomes clearly noticeable on cinema and high-definition images,
whereas film grain progressively loses importance in SDTV and becomes
imperceptible in smaller formats. 
Motion picture film typically contains image-dependent noise resulting either
from the physical process of exposure and development of the photographic film
or from the subsequent editing of the images. The photographic film possesses a
characteristic quasi-random pattern, or texture, resulting from physical
granularity of the photographic emulsion. Alternatively, a similar pattern can
be simulated over computed-generated images in order to blend them with
photographic film. In both cases, this image-dependent noise is referred to as
grain. Quite often, moderate grain texture presents a desirable feature in
motion pictures. In some instances, the film grain provides visual cues that
facilitate the correct perception of two-dimensional pictures. Film grade is
often varied within a single film to provide various clues as to time
reference, point of view, etc. Many other technical and artistic uses exist for
controlling grain texture in the motion picture industry. Therefore, preserving
the grainy appearance of images throughout image processing and delivery chain
has become a requirement in the motion picture industry. 
Several commercially available products have the capability of simulating film
grain, often for blending a computer-generated object into natural scene.
Cineon(R) from Eastman Kodak Co, Rochester
New York, one of the first digital
film applications to implement grain simulation, produces very realistic
results for many grain types. However, the Cineon(R) application does not yield
good performance for many high speed films because of the noticeable diagonal
stripes the application produces for high grain size settings. Further, the
Cineon(R) application fails to simulate grain with adequate fidelity when
images are subject to previous processing, for example, such as when the images
are copied or digitally processed. 
Another
commercial product that simulates film grain is Grain SurgeryTM from
Visual Infinity Inc. , which is used as a plug-in of Adobe (R) After Effects (R).
The Grain SurgeryTM product appears to generate synthetic grain by
filtering a set of random numbers. This approach suffers from disadvantage of a
high computational complexity. 
None of these past schemes solves the problem of restoring film grain in
compressed video restoration. Film grain constitutes a high frequency
quasi-random phenomenon that typically cannot undergo compression using
conventional spatial and temporal methods that take advantage of redundancies
in the video sequences. Attempts to process film-originated images using MPEG-2
or ITU-T/ISO H. 264 compression techniques usually result in either an
unacceptably low degree of compression or complete loss of the grain texture. 
Thus, there exists a need for a technique for representing the film grain
characteristics through one or more of a set of parameters. 
SUMMARY
OF THE INVENTION 
Briefly, in accordance with a preferred embodiment of the present principles,
there is provided a technique for simulating film grain. The method commences
by characterizing in image information stream, such as for example, a video
stream containing a film image, to provide information indicative of the film
grain within the image information stream. The film grain information includes
at least one parameter among a set of possible parameters specifying different
attributes of the film grain in the image stream. The film grain information is
then encoded for subsequent transmission. 
BRIEF  DESCRIPTION  OF  THE  DRAWINGS 
FIGURE 1 illustrates a block diagram of a first embodiment of a system in
accordance with the present principles for simulating film grain in accordance
with the present principles;
FIGURE 2 illustrates a block diagram of a second embodiment of a system in
accordance with the present principles for simulating film grain in accordance
with the present principles; and
FIGURE 3 illustrates a block diagram of a third embodiment of a system in
accordance with the present principles for simulating film grain in accordance
with the present principles. 
DETAILED  DESCRIPTION 
FIGURE 1 depicts a block schematic diagram of a first embodiment of a system 10
in accordance with the present principles for performing film grain simulation
in accordance with the present principles. The system 10 includes a Film Grain
Remover 22 that serves to remove the film grain from an input video stream 12
to yield a filtered video stream 24 received at a Video Encoder 13. Film grain
removal constitutes a particular case of noise filtering where the noise signal
appears correlated with the image signal. Thus, the Film Grain Remover 22 can
take the form of a classical image filter, although such a filter will not
necessarily provide optimal performance. The Video Encoder 13 encodes the
filtered video stream 24 to yield a coded video stream 14 for receipt at a
Video Decoder 15 that decodes the coded stream to yield a decoded video stream
16. The Video Encoder 13 and the Video Decoder 15 utilize the same video coding
scheme as are well known in the art. For example, the video coding scheme could
comprise the ITU-T H. 264 video-coding standard, or another type of block-based
coding. Encoders and decoders that utilize the MPEG-2 and the ITU-T H. 264
standard are well known. 
The system 10 also includes a Film Grain Characterizer 23 that receives the
input video stream 12 and the filtered video stream 24. From these video
streams, the Film Grain Characterizer 23 outputs a message, hereinafter
referred to as a grain message, that contains an identity of a model for
simulating grain, as well at least one of a set of several parameters,
including correlation parameters, intensity-independent parameters and
intensity-dependent parameters used by the identified model. As discussed in
detail below, the parameters in the film grain message enable simulation of the
original image-dependent noise using the identified model. In the absence of
any of the parameters, a default value is assigned to that missing parameter.
(Indeed, if no model is identified, a default model for film grain is assumed.
In one embodiment, the Film grain characterizer 23 generates the parameters in
accordance with a model based on the physical process of exposure and
development of the photographic film or upon processes added during the
subsequent editing of the images. 
Following generation of the grain message, a Film Grain characterization
information Encoder 26 encodes the message for transmission to a Film Grain
characterization information Decoder 28 in-band or out-of band from, the
encoded video stream 14 transmitted by the Video Encoder 13 to a the Video
Decoder 15. Both the Video Encoder 13 and the Film Grain characterization
information Encoder 26 use the same encoding scheme. Thus, for example, when
the Encoder 26 utilizes the ITU-T H. 264 video-coding standard for encoding,
the coded film grain characterization information stream 27 can take the form
of the film grain Supplemental Enhancement Information (SEI) message as defined
in the ITU-T H. 264 video coding standard. 
The Film Grain characterization information Decoder 28 decodes the coded film
grain message 27 to yield a decoded film grain characterization information
stream 29 for input to a Film Grain Restoration Processor 30. As described in
detail hereinafter, the Processor 30 will simulate the film grain with a model
identified in the grain message using parameters in message.
In
the absence of the identification of the model, the Processor 30 will assume a
default mode. Likewise, in the absence of a specified value of a given
parameter, the Processor 30 will assume a default value for that parameter. 
In a preferred embodiment, the grain message 25 of FIG. 1 will typically
include one or more correlation parameters specifying Spatial Correlation,
Aspect Ratio, Color Correlation, and Temporal Correlation. Each of these
parameters is discussed below
Spatial
correlation 
In an exemplary embodiment, the image-dependent correlation of the film grain
in the spatial domain can be modeled with at least one parameter, Spatial
Correlation. The measured spatial correlation determines the size of the blobs.
A second order auto regression model and a convolution model for the Spatial
Correlation are described hereinafter. 
Aspect
Ratio 
Ideally, film grain should appear isotropic, with identical characteristics
both in X and Y direction. However, in practice, the film grain actually can
appear stretched in one direction, often resulting from factors related to film
recording, such as the use anamorphic optics or nonsquare detector geometry.
For that reason, when modeling film grain, an intensity-independent parameter
representing the aspect ratio factor will complement the spatial correlation
measure. The aspect ratio of the grain blobs is specified with at least one
parameter. 
Color
Correlation 
In accordance with the present principles, the layer-dependency of the film
grain in color images is represented using color correlation. The measured
color correlation determines the perceived tint of the grain. A weak color
correlation implies that grain blobs created in the different color layers
randomly overlay each other. Consequently, a viewer will perceive the grain as
colored. A high color correlation implies that the grain blobs on one color
component depend on other color components. In this case, a viewer will
perceive the grain as monochromatic. 
Temporal
correlation 
The temporal correlation of the grain in sequences is represented by at least
one parameter. Grain by itself cannot exhibit any temporal correlation between
frames, but the introduction of a parameter representing temporal correlation
can help to simulate other observed effects caused by the editing of the film. 
Noise
intensity 
In conjunction with the previously discussed parameters representing the
dependency of the film grain with the film image, a need exists to represent
the intensity of the noise arising from the random processes that originate the
film grain. Noise intensity can vary for each color component and will depend
on the film image. The intensity of the grain determines the level in which
noise is perceived in the image. Small grain intensity levels introduce small
variations in the original image and hardly appear noticeable. High intensity
levels become clearly visible as peaks superimposed in the image. 
Other
Parameters
In addition to the parameters discussed above, the grain message can also
include parameters that identify the color space in which to add the film
grain, and the blending mode used to blend the grain with the video signal.
Note that a different set of parameters could be transmitted for each color
component and for different intensity levels of the film image. It is well
known for example that film grain depends on the local intensity of the image,
and that different color components can have different grain depending on the
type of film stock. 
The film grain characterizer 23 of FIG. 1 can generate different sets of
parameters in accordance with the intensity levels of the image. If desired,
the Film grain decoder 28 can interpolate the set of parameters to various
intensity levels in order to derive a smooth transition of the film grain
characteristics. 
In order to interpret the set of parameters, the Film grain decoder 28 must
have a specification of the model that generates the parameters. To understand
how such a model can be specified, the following mathematical relationships
will prove useful. First, the decoded image pixel value at image position (x,
y), color channel c, and frame number t is represented by I (x, y, c, t). For
convenience, assume that pixel values are scaled to have maximum value of one. Further,
assume an RGB image representation (c = 1, 2, or 3), although this model can be
directly to monochromatic images and, with obvious modifications, to YUV
representation. 
With an additive grain model, grain simulation changes each pixel value to J
(x, y, c, t) where J (x, y, c, t) is given by the relationship:
(1) J (x, y, c, t) =
I (x, y, c, t) + G (x, y, c, t, L (x, y, t)),
where
L (x, y, t) is a measure of local intensity in the image and G (x, y, c, t, L
(x, y, t) ) defines the grain value. One possible implementation is to define L
as luminance, or a weighted sum of intensities I (x, y, c, t) over all color
channels. 
The additive model given by equation (1) is appropriate when a logarithmic
intensity scale is used. For linear scale, the model of equation (1) can be
replaced by the following multiplicative mode:
(la) J (x, y, c, t)
= I (x, y, c, t) * (1 + G (x, y, c, t, L (x, y, t))). 
Whether
an additive or a multiplicative grain model is implemented will depend on the
format of the decoded image. In general, grain should comprise small fraction
of maximum pixel value. 
The following describes some examples of different kind of models for
extracting a set of parameters in accordance with the present invention. 
1. Autoregressive simulation of film grain pattern 
In an exemplary embodiment, a second order auto regression scheme can be used
to model spatial correlation and a first order regression scheme can be used to
model cross-color and temporal correlations. All correlation factors depend on
intensity of the decoded image. Horizontal and vertical spatial correlation
factors are related by a constant aspect ratio factor. Under such conditions,
the following formula will yield simulated grain values,
(2)    G
(x, y, c, t, L) =p (c, L) *N+ q (c, L) * (G (x-l, y, c, t, L) + A * G (x, y-1,
c, t, L) ) + r (c, L) * A * (G (x-1, y-1, c, t, L) + G (x+l, y-1, c, t, L) ) +
s (c, L) * (G (x-2, y, c, t, L) + A * A * G (x, y-2, c, t, L) ) +u (c, L) * G
(x, y, c-1, t, L) + v (c, L) *G (x, y, c, t-l, L)
where
N is a random value with normalized Gaussian distribution, A is a constant
pixel aspect ratio, p, q, r, s, u, and v are correlation parameters. Parameter
u is always zero for the first color channel, and the grain value G assumed to
be zero whenever any index is out of range. 
As can be seen from the structure of equation (2), grain values for a given
pixel in a given color channel are calculated recursively using previously
calculated grain values. Specifically, frames are calculated in order of
increasing frame number (i. e. , increasing t). Within each frame, color
channels processing occurs in order of increasing color channel number (i. e. ,
increasing c).
Within
each color channel, pixels are rasterized horizontally and then vertically in
order of increasing x and y. When this order is followed, all grain values
required by equation (2) are automatically calculated in advance. 
Under certain circumstances, vertical rasterization proves more practical, i.
e. pixels processing occurs by columns first. In such cases, equation (2) will
require a slight modification to use only previously calculated values:
(2a) G (x, y, c, t,
L) = p (c, L) *N +
q (c, L)
* (G (x-l, y, c, t, L) + A * G (x, y-1, c, t, L) ) +
r (c, L)
* A * (G (x-l, y-l, c, t, L) + G (x-1, y+1, c, t, L) ) +
s (c, L)
* (G (x-2, y, c, t, L) + A * A * G (x, y-2, c, t, L) ) +
u (c, L)
*G (x, y, c-l, t, L) +
v (c,
L) * G (x, y, c, t-1, L). 
Implementing
equation (2) or equation (2a) ) requires certain minimum decoder capabilities. 
First,
the Film Grain Information decoder 28 must perform all calculations real time.
Second, the Film Grain Information decoder 28 needs to keep a number of
previously calculated grain values in memory. Specifically, to implement
temporal correlation (i. e. , last term in equations (2) and (2a) ), the Film
Grain Information decoder 28 needs to keep grain values for a full previous
frame. From this perspective, it is important that the model of equation (2)
allow gradual scaling down requirements with some degradation of fidelity. 
A system with slightly lower fidelity could ignore the last (temporal) term in
equation (2). Doing so would eliminate the need to have an additional frame
buffer to keep grain values from previous frame. Further cost savings would
result by neglecting those terms in equation (2) that depend on s (c, L). Doing
so eliminates need to store a second previous row in memory and reduces number
of calculations. Neglecting diagonal correlations described by terms with r (c,
L), and so on will achieve a further reduction of complexity. The lowest
quality grain simulator will use only white noise term. 
Whenever a term is neglected in a scaled-down system, a benefit occurs if the
Film Grain Information decoder 28 adjusts the remaining parameters so that the
effective first-order correlation and even more importantly, the
autocorrelation (noise power) remain the same as they would in a full-scale
implementation of the model embodied by equation (2). The same adjustment
should occur for the first rows and columns of each frame in the absence of the
availability of all of the previous grain values. 
The flexibility of the model embodied in equation (2) will become further
apparent by setting parameters p, q, r, and s to zero for all but first color
channel, and by setting the color correlations u (c, L) for c > 1 to 1.
Under such conditions, the grain becomes completely monochromatic. This set of
parameters values can describe the case for color variations washed out by
previous YUV 4: 2: 0 transformation of the color space. 
For a set of three colors, the model of equation (2) describes the grain
pattern in terms of a group of seventeen parameters for each luminance level,
plus an aspect ratio that does not depend on luminance. Luminance-dependent
parameters can be encoded for several fixed luminance levels. The decoder will
interpolate parameters values for intermediate luminance levels. 
Grain parameters do not have to be represented exactly in the form of equation
(2). For example, any one-to-one transform of the parameters could be used. In
addition, different set of reference intensity levels could be used for
different parameters and different interpolation schemes could be used, etc.
2. Convolution in the spatial domain to simulate the film grain pattern 
In another exemplary embodiment, the film grain pattern can be simulated by
convolving a set of random numbers x by a linear, time-invariant,
digital-filter h defined in the form:
(3)
h= (ho, hi, h2, h3,... hn) 
This states that the filter output simulating film grain y (n) is the
convolution of the input x (n) with the filter impulse response h (n) : 
(4) 
2012124952.tif 000010
Although equation (4) yields a simulation in one dimension, a two-dimensional
pattern could be obtained by concatenating the vertical and horizontal convolutions
in one dimension. 
Under
such circumstances, the coefficients of the filter should be transmitted in
addition to the aspect ratio factor. 
A Film Grain Information decoder 28 with limited capabilities can limit the
spatial size of the convolution kernel, which will result in decreased memory
and processing power requirements. 
3. Filtering in a transformed domain to simulate the film grain pattern 
As discussed previously, convolving the impulse response of a filter h with a
set of random numbers x can characterize the film grain pattern. This same
operation can also be described by multiplication in the frequency domain by
the Fourier Transform of the impulse response H and the Fourier Transform of
the set of random numbers X:
(5) Y (u) = X (u)H (u) 
Filtering in the frequency domain affords an advantage because it is
computationally faster if a Fourier transform of the image is available for
example as part of filtering or compression process." 
The following set of parameters yielded satisfactory results to represent
image-dependent grain according in accordance with the present principles.
These parameters assume an autoregressive method of simulating grain.
Parameters for other methods would be represented by similar tables. 
Color
space: logarithmic RGB
Blending
mode: additive
Aspect
ratio: 1
Number
of intensity levels: 3
Parameters
for the R component:
2012124952.tif 000011
Parameters
for the G component:
2012124952.tif 000012
Parameters
for the B component:
2012124952.tif 000013
Correlation
parameters not shown in this table are set to 0. 
After
specifying the color space, the blending mode, the aspect ratio and the number
of intensity levels for which different parameters are defined, the film grain
on each color component is encoded. Note that only the data in italics in
addition to some level (intensity) information has to be transmitted. 
FIGURE 2 depicts a second embodiment 10' of a system for simulating film grain
in accordance with the present principles. The system 10' shares many of the
same elements as the system 10 of FIG. 1 and like reference numbers describe
like elements. Indeed, the system 10' of FIG. 2 differs only in the absence of
the Film Grain characterization information Encoder 26 and Film Grain
characterization information Decoder 28 of FIG. 1. The system 10' of FIG. 2
uses the Video Encoder 13 and Video Decoder 15 to encode and decode
respectively the film grain characterization information 25 output of the Film
Grain Characterizer 23. The system 10' of FIG. 2 requires the use of a video
coding standard that supports the transmission film grain characterization
information as parallel enhancement information. 
FIGURE 3 depicts a third embodiment 10" of a system for simulating film
grain in accordance with the present principles. The system 10" shares
many of the same elements as the system 10' of FIG. 2 and like reference
numbers describe like elements. Indeed, the system 10" of FIG. 3 differs
only in the absence of the Film Grain Remover 22 of FIG. 2. The system 10"
of FIG. 3 uses the reconstructed images available at the Video Encoder 13 to
simulate the result of removing film grain. The system 10" of FIG. 3
affords two advantages as compared to the systems 10 of FIG. 1 and 10' of FIG
2. First, the system 10" of FIG. 3 reduces the computational complexity
related to film grain removal, and secondly, it adapts the film grain
characterization to the amount of film grain suppressed by the Video Encoder
13. Once the Film Grain Characterizer of FIG. 3 disposes of both the input video
12 with film grain, and a reconstructed video 24 resulting from Video Encoder
13, it can accomplish the task of characterizing the observed film grain. 
The foregoing describes a technique for simulating film grain in a video
signal. While the film grain simulation technique has been described in
connection with the encoding and decoding of a video signal, the technique has
equal applicability for other purposes, such as for example post-production of
motion picture films for example. In this regard, the original image could
exist as image information in a form other than a compressed video signal, and
the film grain information could exist in a form other than as a message, such
as an SEI message. For example, the image information could exist in one of a
variety of different formats that exist in the art.
1. A method for providing film grain information comprising the steps of:
characterizing an image information stream to provide information indicative of
film grain within the image stream, the film grain information identifying a
model specifying how to simulate film grain and at least one parameter among a
set of possible parameters specifying different attributes of the film grain in
the image stream for use with said model;
encoding the film grain information separately from encoding the image
information for subsequent transmission together to enable simulation of film
grain in the image stream upon decoding using the film grain upon decoding. 
2. The method according to claim 1 wherein the set of parameters includes a
plurality of correlation parameters and a plurality of intensity-independent
parameters. 
3. The method according to claim 2 wherein at least one correlation parameter
defines a spatial correlation in a perceived pattern of film grain. 
4. The method according to claim 2 wherein at least one
correlation parameter defines a correlation between color layers. 
5. The method according to claim 2 wherein at least one correlation parameter
defines a temporal correlation resulting from previous processing the image
sequence. 
6. The method according to claim 2 wherein at least one intensity-independent
parameters defines an aspect ratio of the film grain. 
7. The method according to claim 1 wherein at least one parameter defines
intensity of a random component of the film grain. 
8. The method according to claim 2 wherein at least one of the
intensity-independent parameters defines a color space and blending mode
operation used to merge the simulated film grain with the image. 
9. The method according to claim 1 further comprising the step of transmitting
the film grain information transmitted out-of band with respected to
transmission of image representative information. 
10. The method according to claim 1 further comprising the step of transmitting
the film grain information transmitted in band with respected to transmission
of image representative information. 
11. The method in accordance with claim 2 where the set of parameters are
computed in accordance with a second order auto regression representation of
the spatial correlation and a first order regression representation of the
cross-color and temporal correlations. 
12. The method according to claim 3 wherein the at least one parameter
describing the spatial correlation of the grain is established in accordance
with a spatial convolution model. 
13. The method according to claim 3 wherein the at least one parameter
describing the spatial correlation of the grain is obtained from cut
frequencies of a filter in the Fourier domain. 
14 The method according to claim 1 wherein the encoding step comprises encoding
the film grain information according to the ITU-T H. 264 video coding standard.
15. Apparatus for providing film grain, comprising:
first means for characterizing an image information stream prior to encoding to
provide information of film grain within the image stream, the information identifying
a model specifying how to simulate film grain, and at least one parameter among
a set of possible parameters in the film grain information specifying different
attributes of the film grain in the image stream, for use with said identified
model;
second
means encoding the film grain information separately from encoding the image
information for subsequent transmission together to enable simulation of film
grain in the image stream upon decoding using the film grain information upon
decoding.
16. The apparatus according to claim 15 wherein the set of parameters includes
a plurality of correlation parameters and a plurality of intensity-independent
parameters. 
17. The apparatus according to claim 16 wherein at least one correlation
parameter defines a spatial correlation in a perceived pattern of film grain. 
18. The apparatus according to claim 16 wherein at least one correlation
parameter defines a correlation between color layers. 
19. The apparatus according to claim 16 wherein at least one correlation
parameter defines a temporal correlation resulting from previous processing the
image sequence. 
20. The apparatus according to claim 16 wherein at least one intensity-independent
parameters defines an aspect ratio of the film grain. 
21. The apparatus according to claim 15 wherein at least one parameter defines
intensity of a random component of the film grain. 
22. The apparatus according to claim 16 wherein at least one of the intensity-
independent parameters defines a color space and blending mode operation used
to merge the simulated film grain with the image. 
23. The apparatus in accordance with claim 16 wherein the first mean computes
the set of parameters in accordance with a second order auto regression
representation of the spatial correlation and a first order regression
representation of the cross-color and temporal correlations. 
24. The apparatus according to claim 17 wherein the at least one parameter
describing the spatial correlation of the grain is established in accordance
with a spatial convolution model. 
25. The method according to claim 17 wherein the at least one parameter
describing the spatial correlation of the grain is obtained from cut
frequencies of a filter in the Fourier domain. 
26. The apparatus according to claim 15 wherein second means encodes the film
grain information according to the ITU-T H. 264 video coding standard.
1.   Abstract
To characterize film grain, a Film Grain Characterizer (23) receives an
incoming information stream (12) and a filtered information stream (24) from
which the film grain has been removed. From these streams, the Film Grain Characterizer
(23) outputs a message that contains an identity of a model for simulating
grain, as well at least one of a set of several parameters, including
correlation parameters, intensity-independent parameters and
intensity-dependent parameters used by the identified model. An encoder (26,
13) encodes the film grain information for subsequent transmission.
2.   Representative
drawing
Fig 1
【図１】
2012124952.tif 000014
【図２】
2012124952.tif 000015
【図３】
2012124952.tif 000016