(57)【要約】ビデオ画像中のフィルム粒子のシミュレーションは、まず、ある所望の粒子パターンに関連付けられた一組のカット周波数fHL、fVL、fHH、fVHについての変換済み係数のブロック（すなわちマトリクス・アレイ）を生成することによって生起する。（カット周波数fHL、fVL、fHH、fVHは、所望のフィルム粒子パターンを特徴付けるフィルタの二次元でのカットオフ周波数を表す。）前記変換済み係数のブロックは、逆変換を受けて、ビット精確なフィルム粒子サンプルを生じる。該ビット精確なサンプルは、信号中のフィルム粒子をシミュレートするためにビデオ信号と合成することを可能にするために、スケーリングを受ける。
2008521340.tif 000002
【特許請求の範囲】
【請求項１】
フィルム粒子をシミュレートする方法であって：
所望のフィルム粒子パターンに関連付けられた帯域通過領域に応じて変換済み係数のブロックを生成する段階と；
生成された変換済み係数のブロックについて逆変換を確立してフィルム粒子サンプルを生じる段階、
とを有する方法。
【請求項２】
ブロック変換済み係数の前記ブロックの生成が：
（ａ）座標(x,y)における各係数について、xおよびyが一組のカット周波数fHL、fVL、fHH、fVHによって定義される帯域通過内にあれば、ランダムな値である値を、そうでなければ0を取得する段階と；
（ｂ）座標(x,y)での係数の値を前記取得された値に設定する段階と；
（ｃ）前記ブロック中の全係数について値が設定されるまで前記段階（ａ）および（ｂ）を繰り返す段階、
とによって行われる、請求項１記載の方法。
【請求項３】
(0,0)におけるブロック係数を値0に設定する段階をさらに有する、請求項２記載の方法。
【請求項４】
xおよびyが一組のカット周波数fHL、fVL、fHH、fVHによって定義される帯域通過内にある限り取得された前記ランダム値のそれぞれが、ガウスランダム分布に従う、請求項２記載の方法。
【請求項５】
前記ランダム値のそれぞれが、事前に計算されたランダム値の探索表の項目にアクセスすることによって取得される、請求項２記載の方法。
【請求項６】
前記フィルム粒子サンプルをスケーリングする段階をさらに含む、請求項１記載の方法。
【請求項７】
所望のフィルム粒子パターンをシミュレートするために使われる変換済み係数のブロックを生成する方法であって：
（ａ）座標(x,y)における各係数について、xおよびyがカット周波数fHL、fVL、fHH、fVHによって定義される帯域通過領域内にあれば、ランダムな値である値を、そうでなければ0を取得する段階と；
（ｂ）座標(x,y)での係数の値を前記取得された値に設定する段階と；
（ｃ）前記ブロック中の全係数について値が設定されるまで前記段階（ａ）および（ｂ）を繰り返す段階、
とを有する方法。
【請求項８】
(0,0)におけるブロック係数を値0に設定する段階をさらに有する、請求項７記載の方法。
【請求項９】
xおよびyがカット周波数fHL、fVL、fHH、fVHによって定義される帯域通過領域内にある限り取得された前記ランダム値のそれぞれが、ガウスランダム分布に従う、請求項７記載の方法。
【請求項１０】
前記ランダム値のそれぞれが、事前に計算されたランダム値の探索表の項目にアクセスすることによって取得される、請求項７記載の方法。
【請求項１１】
前記変換済み係数のブロックに対する逆変換を確立する段階をさらに含む、請求項７記載の方法。
【請求項１２】
前記変換済み係数のブロックの前記逆変換をスケーリングして、フィルム粒子サンプルのパターンを生じる段階をさらに含む、請求項１１記載の方法。
【請求項１３】
あらゆる可能なフィルム粒子パターンを生成するために単一の変換済み係数のブロックを使ってフィルム粒子パターンのデータベースを初期化する段階をさらに有する、請求項１２記載の方法。
【請求項１４】
あらゆる可能なフィルム粒子パターンを生成するために複数の変換済み係数のブロックを使ってフィルム粒子パターンのデータベースを初期化する段階をさらに有する、請求項１２記載の方法。
【請求項１５】
フィルム粒子をシミュレートする装置であって、（１）所望のフィルム粒子パターンに関連付けられた帯域通過領域に応じて変換済み係数のブロックを生成し；（２）生成された変換済み係数のブロックについて逆変換を確立し；（３）逆変換された係数のブロックをスケーリングしてフィルム粒子のシミュレートされたパターンを生成するための、プログラムされたプロセッサまたは論理回路の一つを有する装置。
【請求項１６】
前記プログラムされたプロセッサまたは論理回路の一つがブロック変換済み係数の前記ブロックを生成することを、（ａ）座標(x,y)における各係数について、xおよびyがカット周波数fHL、fVL、fHH、fVHによって定義される帯域通過内にあれば、ランダムな値である値を、そうでなければ0を取得し；（ｂ）座標(x,y)での係数の値を前記取得された値に設定し；（ｃ）前記ブロック中の全係数について値が設定されるまで前記（ａ）および（ｂ）を繰り返すことによって行う、請求項１５記載の装置。
【請求項１７】
前記プログラムされたプロセッサまたは論理回路の一つがブロック変換済み係数の前記ブロックを生成することを、(0,0)におけるブロック係数を値0に設定することによって行う、請求項１５記載の装置。
【請求項１８】
前記プログラムされたプロセッサまたは論理回路の一つがブロック変換済み係数の前記ブロックを生成することを、x>=fHLまたはy>=fVLかつx<=fHHかつy<=fVHである限り取得された前記ランダム値のそれぞれが、ガウスランダム分布に従うように行う、請求項１５記載の装置。
【請求項１９】
前記プログラムされたプロセッサまたは論理回路の一つが前記ランダム値のそれぞれを取得するのを、事前に計算されたランダム値の探索表の項目にアクセスすることによって行う、請求項１５記載の装置。
【請求項２０】
フィルム粒子をシミュレートする装置であって：
所望のフィルム粒子パターンに関連付けられた帯域通過領域に応じて変換済み係数のブロックを生成する手段と；
生成された変換済み係数のブロックについて逆変換を確立する手段と；
変換済み係数のブロックをスケーリングしてフィルム粒子のシミュレートされたパターンを生成する手段、
とを有する装置。
【発明の詳細な説明】
【技術分野】
【０００１】
〈関連出願への相互参照〉
本出願は米国特許法第１１９条（ｅ）のもとで、2004年11月23日に出願された米国仮特許出願第60/630,640号の優先権を主張するものであり、該文献の教示はここに組み込まれる。
〈技術分野〉
本発明は画像におけるフィルム粒子をシミュレートするための技法に関係する。
【背景技術】
【０００２】
動画のフィルムはハロゲン化銀の結晶を乳剤中に分散させたものをフィルムベース上に薄い層としてコーティングしたものである。それらの結晶の露光と現像が、ばらばらな銀の微小粒子からなる写真像を形成する。カラーネガでは、銀は現像後、化学的な除去を受け、銀結晶が形成される場所には色素の小さなしみが生じる。これらの色素の小さな斑点は普通、カラーフィルムにおける「粒子（grain）」と呼ばれる。もとの乳剤上で銀の結晶がランダムに形成されるため、結果として得られる像の上で粒子はランダムに分布しているように見える。一様に露光された領域内でも、露光後に現像される結晶もあれば、現像されない結晶もある。
【０００３】
粒子は大きさと形がさまざまである。フィルムが高速なほど、形成される銀のかたまりおよび生成される色素のしみは大きく、それらはより、ランダムなパターンでまとまる傾向をもつ。粒子パターンは典型的には「粒状性（granularity）」として知られる。個々の粒子は0.0002mmから約0.002mmとさまざまであり、裸眼で見分けることはできないが、その代わり、目は粒子のグループを解像する。これは小滴（blob）と称される。観察者はそれらの小滴の集まりをフィルムの粒子として識別する。像の解像度が大きくなるほど、フィルムの粒子の知覚は高くなる。フィルムの粒子は映画および高精細度画像では明瞭に認識できる一方、標準精細度テレビでは漸次重要性を失い、それより小さなフォーマットでは知覚できなくなる。
【０００４】
動画フィルムは典型的には、写真フィルムの露光および現像という物理的プロセスから、あるいは画像のその後の編集から帰結する画像依存のノイズを含んでいる。写真フィルムは、写真乳剤の物理的な粒状性から帰結する、特徴的な準ランダムなパターンすなわちきめ（texture）を有する。あるいはまた、計算により生成した画像を写真フィルムに合成するために同様のパターンをシミュレートすることもできる。いずれの場合でも、この画像依存ノイズは粒子と呼ばれる。しばしば、ほどほどの粒子のきめが動画における望ましい特徴を呈する。いくつかの事例では、フィルム粒子は二次元映像の正しい知覚を容易にする視覚的手がかりを与える。フィルム粒子はしばしば、時間基準、視点などについてのさまざまな手がかりを与えるために単一のフィルム内で変化をつけられる。動画産業では粒子のきめを制御するための他の多くの技術的および芸術的使用が存在している。したがって、画像処理および配送チェーンを通じて、画像の、粒子のある見かけを保存することは、動画産業における要件となっている。
【０００５】
商業的に入手可能ないくつかの製品は、フィルム粒子をシミュレートする機能をもつ。これはしばしばコンピュータ生成されたオブジェクトを自然の場面に合成するためである。米国ニューヨーク州ロチェスターのイーストマン・コダック社からのCineon（登録商標）は、粒子シミュレーションを実装した最初のデジタルフィルムアプリケーションの一つであるが、多くの粒子タイプについて非常にリアルな結果を生じる。しかし、Cineon（登録商標）アプリケーションは、多くの高速フィルムについては良好なパフォーマンスを与えない。これは、高い粒子サイズ設定については該アプリケーションは認識できる斜めの縞を生じてしまうからである。さらに、Cineon（登録商標）アプリケーションは、たとえば画像がコピーまたはデジタル処理されるなど、画像が前処理にかけられるときには十分な忠実度をもった粒子をシミュレートできない。
【０００６】
フィルム粒子をシミュレートするもう一つの商業製品はビジュアル・インフィニティ社からのGrain  Surgery（商標）である。これはAdobe（登録商標）After  Effects（登録商標）のプラグインとして使用される。Grain  Surgery（商標）製品は、乱数の組をフィルタ処理することによって人工的な粒子を生成するように見える。このアプローチは計算量が多いという欠点がある。
【発明の開示】
【発明が解決しようとする課題】
【０００７】
これらの過去の方式はいずれも、圧縮されたビデオにおいてフィルム粒子を復元する問題は解決しない。フィルム粒子は高周波数の準ランダムな現象をなし、それは典型的には、ビデオシーケンスにおける冗長性を利用する通常の空間的および時間的方法を使った圧縮にはかけられない。フィルム由来の画像をMPEG-2またはITU-T/ISO  H.264圧縮技法を使って処理する試みは、通常、受け容れられないほど低い圧縮率か、粒子のきめの完全な消失につながる。
【０００８】
こうして、フィルム粒子をシミュレートする技法、特に比較的低計算量の技法の必要性が存在する。
【課題を解決するための手段】
【０００９】
ひとことで言うと、本原理に基づく、フィルム粒子をシミュレートする方法が提供される。該方法は、ある所望の粒子パターンに関連付けられた帯域通過領域に応じた変換済み係数（transformed  coefficient）のブロック（すなわちマトリクス・アレイ）を生成することによって開始される。（帯域通過領域は、前記所望のフィルム粒子パターンを特徴付けるフィルタの（二次元での）カットオフ周波数を表す一組のカット周波数fHL、fVL、fHH、fVHによって定義される。）前記変換済み係数のブロックは、逆変換を受けて、ビット精確なフィルム粒子サンプルを生じる。望むなら、該ビット精確なサンプルは、信号中のフィルム粒子をシミュレートするためにビデオ信号と合成することを可能にするために、スケーリングを受ける。
【００１０】
実際上は、変換済み係数のブロックの生成は次のように行われる。xとyをそれぞれ行と列を指定する整数として、ブロック中の座標(x,y)における各係数について、x座標およびy座標のそれぞれがカット周波数fHLとfHH、fVLとfVHの帯域通過内にあれば、ランダムな値（r）が取得される。座標(x,y)での係数の値はそのランダムな値rになる。このプロセスはブロック中の全項目について繰り返される。
【００１１】
本原理のフィルム粒子シミュレーション技法は、直接変換の計算を回避することにより、フィルム粒子シミュレーションのための従来技術の変換に基づくアプローチに比べて低下した計算量（complexity）を可能にする。本技法は、フィルム粒子パターンの代わりに変換済み係数の小さなセットを記憶することにより、データベースに基づくアプローチのメモリ要求を低減させもする。本方法は、なかでも、衛星放送のほか、ＨＤ  ＤＶＤシステム、ＢＤ  ＲＯＭシステムへの適用可能性をもつ。
【発明を実施するための最良の形態】
【００１２】
フィルム粒子パターンを特徴付ける一組のカット周波数を使ってフィルム粒子をシミュレートするための本原理の技術を最もよく理解するため、フィルム粒子シミュレーションの手短な概観が役立つだろう。図１は送信機１０のブロック概略図を描いている。送信機１０は入力ビデオ信号を受け取り、その出力に圧縮されたビデオストリームを生成する。さらに、送信機１０は、サンプル中に存在するフィルム粒子（もし存在すれば）を示す情報をも生成する。実際上、送信機１０は、ケーブルテレビシステムまたは圧縮されたビデオを一つもしくは複数の下流の受信機１１に配信する他のそのようなシステムの、ヘッドエンド・アレイの一部をなすことができる。図１では受信機は一つだけ示されている。送信機１０は、DVDのような媒体を呈示するエンコーダの形をとることもできる。受信機１１は、符号化されたビデオストリームを復号し、前記のフィルム粒子情報および復号されたビデオに基づいてフィルム粒子をシミュレートする。これらはいずれも、送信機１０から、あるいはDVDなどの場合には媒体そのものから直接、受け取られる。こうして受信機１１は、シミュレートされたフィルム粒子をもつ出力ビデオストリームを生じる。受信機１１は、セットトップボックスまたは圧縮されたビデオを復号してそのビデオ中にフィルム粒子をシミュレートするはたらきをする他のそのような機構の形をとることもできる。
【００１３】
フィルム粒子の全体的な管理は、送信機１０（すなわちエンコーダ）が入力ビデオにおけるフィルム粒子に関する情報を提供することを必要とする。換言すれば、送信機１０がフィルム粒子を「モデル化する」。さらに、受信機１１（すなわちデコーダ）は、送信機１０から受信されたフィルム粒子情報に従ってフィルム粒子をシミュレートする。送信機１０は、ビデオ符号化プロセスの間、フィルム粒子を保持することに困難があるときに、受信機１１がビデオ信号中のフィルム粒子をシミュレートできるようにすることによって、圧縮されたビデオの品質を高めるのである。
【００１４】
図１の図示された実施形態では、送信機１０はビデオエンコーダ１２を含んでいる。ビデオエンコーダ１２はITU-T  Rec.H.264|ISO/IEC14496-10ビデオ圧縮規格のようなよく知られたビデオ圧縮技法のいずれかを使ってビデオストリームをエンコードする。任意的に、エンコードの前に入力ビデオストリームにおける一切のフィルム粒子を除去するために、エンコーダ１２の上流にフィルム粒子除去器１４が存在していてもよい。これは図１では破線で描かれているフィルタなどの形である。入力ビデオがフィルム粒子を含まない限りでは、フィルム粒子除去器１４の必要性は存在しない。
【００１５】
フィルム粒子モデル化器１６は、入力ビデオストリームおよびフィルム粒子除去器１４（存在しているとき）の出力信号を受容する。そのような入力情報を使って、該フィルム粒子モデル化器１６は入力ビデオ信号中のフィルム粒子を確立する。最も単純な形では、フィルム粒子モデル化器１６は、種々のフィルム材のためのフィルム粒子モデルを含む探索表を有することができる。入力ビデオ信号における情報は、ビデオ信号への変換前にもともと画像を記録するのに使われた特定のフィルム材を指定し、それによりフィルム粒子モデル化器１６がそのようなフィルム材についての適切なフィルム粒子モデルを選択することを許容する。あるいはまた、フィルム粒子モデル化器１６は、入力ビデオをサンプリングして存在するフィルム粒子パターンを決定するための一つまたは複数のアルゴリズムを実行するプロセッサまたは専用論理回路を有することもできる。
【００１６】
受信機１１は典型的にはビデオデコーダ１８を含む。ビデオデコーダ１８は送信機１０から受信される圧縮されたビデオストリームを復号するはたらきをする。デコーダ１８の構造は、送信機１０内のエンコーダ１２によって実行される圧縮の種別に依存する。よって、たとえば、送信機１０内で出ていくビデオを圧縮するのにITU-T  Rec.H.264|ISO/IEC14496-10ビデオ圧縮規格を用いるエンコーダ１２を使えば、H.264準拠のデコーダ１８の必要性が命じられる。受信機１１内では、フィルム粒子シミュレータ２０がフィルム粒子モデル化器１６からフィルム粒子情報を受け取る。フィルム粒子シミュレータ２０はプログラムされたプロセッサまたはフィルム粒子をシミュレートする機能をもつ専用論理回路の形をとることができる。シミュレートされたフィルム粒子は組み合わせ器２２を介して復号されたビデオストリームと組み合わされる。
【００１７】
フィルム粒子シミュレーションは、もとのフィルム内容の見え方をシミュレートするフィルム粒子サンプルを人工的に生成することをねらいとする。前述のように、フィルム粒子のモデル化は図１の送信器１０で行われるのに対し、フィルム粒子シミュレーションは受信機１１で行われる。具体的には、フィルム粒子シミュレーションは、送信機１０からの入力ビデオストリームの復号とともに、しかし復号されたビデオデコーダの出力より上流で、受信機１１において行われる。受信機１１において行われる復号プロセスが、フィルム粒子が加えられた画像は使用しないことを注意しておく。むしろ、フィルム粒子シミュレーションは、復号された画像においてシミュレートされたフィルム粒子を表示のために人工生成するための後処理方法をなす。その理由で、ITU-T  Rec.H.264|ISO/IEC14496-10ビデオ圧縮規格は、フィルム粒子シミュレーション・プロセスについては何の規定も含んでいない。しかし、フィルム粒子シミュレーションは入力ビデオ信号における粒子パターンに関する情報を必要とする。そのような情報は典型的には、ITU-T  Rec.H.264|ISO/IEC14496-10ビデオ圧縮規格を使うときは該圧縮規格の補正１（忠実度範囲拡張［Fidelity  Range  Extensions］）によって規定される補足向上情報（SEI:  Supplemental  Enhancement  Information）メッセージでの送信をされる。
【００１８】
本原理によれば、フィルム粒子をシミュレートする低計算量の方法が提供される。該方法は、フィルム粒子をシミュレートするために使われる変換が線形であることを前提とする。図１のフィルム粒子シミュレータ２０によって実施される本原理の方法は、次の３つのステップを含むプロセスにおいてフィルム粒子のブロックを生成する：（１）ある所望の粒子パターンについてのカット周波数に従って変換済み係数のブロックを生成する、（ｂ）逆変換を計算する、（ｃ）結果として得られる値をスケーリングする。以下で、各プロセスについてより完全な記載をする。
【００１９】
〈変換済み係数のブロックの生成〉
変換済み係数のブロックを生成するプロセスは、所望のフィルム粒子パターンを特徴付ける一組のカット周波数を入力として受け、一組の正規乱数を与える。ある好ましい実施形態では、正規乱数は、規格化されたガウスランダム分布に従い（平均0、分散1をもつ独立かつ同一分布のガウスランダム変数サンプル）、一方、カット周波数は、ITU-T  Rec.H.264|ISO/IEC14496-10規格[1]によって定義されるフィルム粒子特性SEIメッセージにおいて伝送される。
【００２０】
示される実施形態では、周波数領域でのブロック画像B（たとえばN×Nの大きさの変換済み係数のブロック）の生成は、図２にフローチャートの形で示した仕方で行われる。プロセスは開始ステップ１００で開始され、この間に初期化が行われる。ステップ１００に続いて、ステップ１０２が行われて、N×Nブロックのすべての係数を走査するループを開始する。走査は、ランニング変数の対(x,y)を[0,N−1]×[0,N−1]の整数変域のあらゆる可能な値に設定することによって行われる。変数xおよびyはそれぞれ、このプロセスによって生成される変換済み係数のブロック（すなわち、マトリクス・アレイ）中の項目のx座標およびy座標を表す。ステップ１０４の間に、xおよびyの値が、カット周波数fHLとfHH、fVLとfVHのによって定義される帯域通過内にあるかどうかの検査が行われる。もしそうなら、ステップ１０６が行われて乱数が生成され、ステップ１０８の間に前記乱数が、ブロック中で、それぞれランニング変数xおよびyの現在値に一致するx座標およびy座標における係数に割り当てられる。ステップ１０４は、xおよびyの値が、カット周波数によって定義される帯域通過内にあるかどうかの検査の好ましい実施形態を例示しているが、他の基準も可能である。
【００２１】
xおよびyの現在の値が同時に、SEIメッセージ中で伝送された所望のフィルム粒子パターンのカット周波数fHLとfHH、fVLとfVHによって定義される帯域通過内にあるのでない場合、ステップ１１０において、ブロック中でxおよびyの現在の値に関連付けられる係数は0に設定される。ステップ１０８またはステップ１１０のいずれかのあとでもステップ１１２が行われ、ランニング変数xおよびyは、xおよびy≦Nである限りインクリメントされ、実行はステップ１０４へと分岐する。そうでない場合には、ステップ１１２の間にループは終了し、本方法は終了ステップ１１４で終了する。
【００２２】
図２に描かれた変換済み係数のブロックを生成する方法は、コンピュータプログラムのforループで次のような仕方で記載できる：
for(y=0;y<N;y++)
for(x=0;x<N;x++)
if(  (x<fHL  &&  y<fVL)  ||  x>fHH  ||  y>fVH  )
B[x][y]=0
else
B[x][y]=r
B[0][0]=0
fHLおよびfVLはそれぞれ所望のフィルム粒子パターンの水平方向の（horizontal）下（low）カット周波数および垂直方向の（vertical）下カット周波数をなし、fHHおよびfVHはそれぞれ水平方向の上（high）カット周波数および垂直方向の上カット周波数をなす。rが正規乱数をなす。実際上、ガウス乱数rは、二つの独立した一様分布したランダム値から、次式で指定されるボックス・マラー（Box-Muller）変換を使って生成されることができる：
r＝√（−2ln(x1)）・sin(2πx2)
ここで、ln(.)は自然対数、sin(.)は正弦関数、πはアルキメデス定数およびx1およびx2は(0,1)の範囲（0は含まれない）にある。
【００２３】
図３は、変換済み係数のブロックを生成するための代わりの好ましい方法を描いている。図３のフローチャートの方法は、図２の方法と同じステップのほとんどすべてを含み、したがって同様なステップを記述するためには、図３でも、図２と同様の参照符号が現れている。図３の方法は、次の点で異なっている。図２のステップ１０６で乱数を数学的計算を通じて取得する代わりに、図３の変換済み係数のブロックを生成する方法は、乱数を、以前に計算されたガウス乱数の探索表１１０から取得する。それ以外では、二つの方法は同じ諸ステップを実施する。
【００２４】
任意的に、図２および図３のブロック変換済み係数生成方法は、位置0,0（すなわちDC係数）における係数を強制的に0にする。逆変換後に信号が0の平均値をもつことを保証するためである。DC係数について0からの逸脱が大きいと、結果として得られるフィルム粒子ブロックの平均値に大きな逸脱が引き起こされる。結果として、フィルム粒子を復号された画像と合成する際、ブロックはその平均値において目に見える変動を示すことがある（すなわちブロックが暗くなったり明るくなったりすることがある）。
【００２５】
fHLとfVLの両方が0に等しい場合、周波数領域におけるブロック画像Bの生成は次のように行われることができる：
for(y=0;y<N;y++)
for(x=0;x<N;x++)
if(  x>fHH  ||  y>fVH  )
B[x][y]=0
else
B[x][y]=r
B[0][0]=0
ブロック画像のメモリ割り当てに際しての値0の初期化を達成する機能も想定すると、先の方法は次の表現に単純化できる：
for(y=0;y<N;y++)
for(x=0;x<N;x++)
if(  x<=fHH  &&  y<=fVH  )
B[x][y]=r
図２および図３で記載されたプロセスは(fHH−fHL＋1)×(fVH−fVL＋1)個の正規乱数を利用し、それにより正規乱数のブロックの順方向の変換の計算に典型的に伴うフィルタ処理ステップを回避する。
【００２６】
〈逆変換の計算〉
変換済み係数のブロックの生成に続いて、逆変換の計算が、典型的には次の一般式に従  って行われる：
b＝a・(CT×B×C)
ここで、aは変換済み係数のブロックの生成から生じる強度変動を補償するスケーリング因子をなす。典型的には、スケーリング因子aは1の値をもつ。
【００２７】
DCT変換を使う際、変換行列Cの計算は次のようにして行われる：
【数１】
2008521340.tif 000003
この場合、a＝1／｛‖C‖・‖CT‖｝である。
【００２８】
〈逆変換の結果生じる値のスケーリング〉
変換済み係数のブロックの生成および外部ロックの逆変換の計算に続いて、本原理のフィルム粒子シミュレーション・プロセスは典型的には、フィルム粒子パターンを適切なフィルム粒子強度にスケーリングするステップを含む。ただし、そのようなスケーリングは必ずしも行われなくてもよい。ビデオ符号化の用途については、フィルム粒子強度についての情報は典型的には、ITU-T  Rec.H.264|ISO/IEC14496-10規格で規定されているSEIメッセージ中で伝送される。
【００２９】
スケーリングプロセスは典型的には次の仕方で行われる：
for(y=0;y<N;y++)
for(x=0;x<N;x++)
b[x][y]*=scaling_factor
このアプローチは、従来技術の諸方法と比べたとき、計算量とメモリ要求との間のトレードオフを呈する。一方では、本原理のスケーリング方法は、直接変換および周波数領域におけるフィルタ処理の計算を回避することによって、変換に基づくアプローチの計算量を軽減させる。他方、本原理のスケーリング方法は、完全なフィルム粒子パターンの代わりに変換済み係数の小さなセットだけを記憶することによって、データベースに基づくアプローチのメモリ要求を軽減する。
【実施例】
【００３０】
本原理の方法は、フィルム粒子パターンのデータベースを初期化するはたらきをすることができる。特に、変換済み係数のブロックを生成するステップおよび該ブロックの逆変換を計算するステップは、図４でフローチャートの形で示されるフィルム粒子パターンのデータベースを初期化するためのはたらきをすることができる。図４の方法は、開始ステップ２００の実行で始まり、そこで初期化が行われる。その後、図２の方法または図３の方法のいずれかを使ったガウスランダム値のブロックの生成で、ステップ２０２が行われる。図３のブロック変換生成方法を用いるときは、各乱数項目は、先に論じたようにガウス乱数探索表１０７にアクセスすることによって取得される。ステップ２０２に続いて、ガウスランダム値のブロックは、ステップ２０４で、典型的には逆離散コサイン変換（IDCT）ならびに適切なスケーリングを介して逆変換を受ける。ステップ２０６では、フィルム粒子パターンはデータベース２０７に格納される。その後、プロセスはステップ２０８で終了する。図４のプロセスは、システムの初期化またはリセットに際してデータベース２０７を生成することを許容し、従来式メモリ（通例、SRAMメモリ）への格納を可能にする。
【００３１】
以上は、低計算量という利点をもたらす、画像中のフィルム粒子をシミュレートするための技法を記載する。
【図面の簡単な説明】
【００３２】
【図１】本原理の技法を実施するために有用な、フィルム粒子処理チェーンにおける送信機および受信機の組み合わせのブロック概略図である。
【図２】本原理に基づくフィルム粒子をシミュレートするための変換済み係数のセットを生成するための第一の方法のステップをフローチャートの形で描いた図である。
【図３】本原理に基づくフィルム粒子をシミュレートするための変換済み係数のセットを生成するための第二の方法のステップをフローチャートの形で描いた図である。
【図４】本原理に基づくフィルム粒子パターンのデータベースを生成するための方法のステップをフローチャートの形で描いた図である。
【図１】
2008521340.tif 000004
【図２】
2008521340.tif 000005
【図３】
2008521340.tif 000006
【図４】
2008521340.tif 000007
【手続補正書】
【提出日】平成18年3月13日(2006.3.13)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
フィルム粒子をシミュレートする方法であって：
所望のフィルム粒子パターンに関連付けられた帯域通過領域に応じて係数を生成する段階と；
生成された係数について逆変換を確立してフィルム粒子サンプルを生じる段階、
とを有する方法。
【請求項２】
前記係数の生成が：
（ａ）座標(x,y)における各係数について、xおよびyが一組のカット周波数fHL、fVL、fHH、fVHによって定義される帯域通過内にあれば、ランダムな値である値を、そうでなければ0を取得する段階と；
（ｂ）座標(x,y)での係数の値を前記取得された値に設定する段階と；
（ｃ）ブロック中の全係数について値が設定されるまで前記段階（ａ）および（ｂ）を繰り返す段階、
とによって行われる、請求項１記載の方法。
【請求項３】
(0,0)における係数を値0に設定する段階をさらに有する、請求項２記載の方法。
【請求項４】
xおよびyが一組のカット周波数fHL、fVL、fHH、fVHによって定義される帯域通過内にある限り取得された前記ランダム値のそれぞれが、ガウスランダム分布に従う、請求項２記載の方法。
【請求項５】
前記ランダム値のそれぞれが、事前に計算されたランダム値の探索表の項目にアクセスすることによって取得される、請求項２記載の方法。
【請求項６】
前記フィルム粒子サンプルをスケーリングする段階をさらに含む、請求項１記載の方法。
【請求項７】
所望のフィルム粒子パターンをシミュレートするために使われる係数を生成する方法であって：
（ａ）座標(x,y)における各係数について、xおよびyがカット周波数fHL、fVL、fHH、fVHによって定義される帯域通過領域内にあれば、ランダムな値である値を、そうでなければ0を取得する段階と；
（ｂ）座標(x,y)での係数の値を前記取得された値に設定する段階と；
（ｃ）ブロック中の全係数について値が設定されるまで前記段階（ａ）および（ｂ）を繰り返す段階、
とを有する方法。
【請求項８】
(0,0)における係数を値0に設定する段階をさらに有する、請求項７記載の方法。
【請求項９】
xおよびyがカット周波数fHL、fVL、fHH、fVHによって定義される帯域通過領域内にある限り取得された前記ランダム値のそれぞれが、ガウスランダム分布に従う、請求項７記載の方法。
【請求項１０】
前記ランダム値のそれぞれが、事前に計算されたランダム値の探索表の項目にアクセスすることによって取得される、請求項７記載の方法。
【請求項１１】
前記係数に対する逆変換を確立する段階をさらに含む、請求項７記載の方法。
【請求項１２】
前記係数の前記逆変換をスケーリングして、フィルム粒子サンプルのパターンを生じる段階をさらに含む、請求項１１記載の方法。
【請求項１３】
あらゆる可能なフィルム粒子パターンを生成するために単一の係数ブロックを使ってフィルム粒子パターンのデータベースを初期化する段階をさらに有する、請求項１２記載の方法。
【請求項１４】
あらゆる可能なフィルム粒子パターンを生成するために複数の係数ブロックを使ってフィルム粒子パターンのデータベースを初期化する段階をさらに有する、請求項１２記載の方法。
【請求項１５】
フィルム粒子をシミュレートする装置であって、（１）所望のフィルム粒子パターンに関連付けられた帯域通過領域に応じて係数を生成し；（２）生成された係数について逆変換を確立し；（３）逆変換された係数をスケーリングしてフィルム粒子のシミュレートされたパターンを生成するための、プログラムされたプロセッサまたは論理回路の一つを有する装置。
【請求項１６】
前記プログラムされたプロセッサまたは論理回路の一つが前記係数を生成することを、（ａ）座標(x,y)における各係数について、xおよびyがカット周波数fHL、fVL、fHH、fVHによって定義される帯域通過内にあれば、ランダムな値である値を、そうでなければ0を取得し；（ｂ）座標(x,y)での係数の値を前記取得された値に設定し；（ｃ）全係数について値が設定されるまで前記（ａ）および（ｂ）を繰り返すことによって行う、請求項１５記載の装置。
【請求項１７】
前記プログラムされたプロセッサまたは論理回路の一つが前記係数を生成することを、(0,0)におけるブロック係数を値0に設定することによって行う、請求項１５記載の装置。
【請求項１８】
前記プログラムされたプロセッサまたは論理回路の一つが前記係数を生成することを、x>=fHLまたはy>=fVLかつx<=fHHかつy<=fVHである限り取得された前記ランダム値のそれぞれが、ガウスランダム分布に従うように行う、請求項１５記載の装置。
【請求項１９】
前記プログラムされたプロセッサまたは論理回路の一つが前記ランダム値のそれぞれを取得するのを、事前に計算されたランダム値の探索表の項目にアクセスすることによって行う、請求項１５記載の装置。
【請求項２０】
フィルム粒子をシミュレートする装置であって：
所望のフィルム粒子パターンに関連付けられた帯域通過領域に応じて係数を生成する手段と；
生成された係数について逆変換を確立する手段と；
逆変換された係数をスケーリングしてフィルム粒子のシミュレートされたパターンを生成する手段、
とを有する装置。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
〈関連出願への相互参照〉
本出願は米国特許法第１１９条（ｅ）のもとで、2004年11月23日に出願された米国仮特許出願第60/630,640号の優先権を主張するものであり、該文献の教示はここに組み込まれる。
〈技術分野〉
本発明は画像におけるフィルム粒子をシミュレートするための技法に関係する。
【背景技術】
【０００２】
動画のフィルムはハロゲン化銀の結晶を乳剤中に分散させたものをフィルムベース上に薄い層としてコーティングしたものである。それらの結晶の露光と現像が、ばらばらな銀の微小粒子からなる写真像を形成する。カラーネガでは、銀は現像後、化学的な除去を受け、銀結晶が形成される場所には色素の小さなしみが生じる。これらの色素の小さな斑点は普通、カラーフィルムにおける「粒子（grain）」と呼ばれる。もとの乳剤上で銀の結晶がランダムに形成されるため、結果として得られる像の上で粒子はランダムに分布しているように見える。一様に露光された領域内でも、露光後に現像される結晶もあれば、現像されない結晶もある。
【０００３】
粒子は大きさと形がさまざまである。フィルムが高速なほど、形成される銀のかたまりおよび生成される色素のしみは大きく、それらはより、ランダムなパターンでまとまる傾向をもつ。粒子パターンは典型的には「粒状性（granularity）」として知られる。個々の粒子は0.0002mmから約0.002mmとさまざまであり、裸眼で見分けることはできないが、その代わり、目は粒子のグループを解像する。これは小滴（blob）と称される。観察者はそれらの小滴の集まりをフィルムの粒子として識別する。像の解像度が大きくなるほど、フィルムの粒子の知覚は高くなる。フィルムの粒子は映画および高精細度画像では明瞭に認識できる一方、標準精細度テレビでは漸次重要性を失い、それより小さなフォーマットでは知覚できなくなる。
【０００４】
動画フィルムは典型的には、写真フィルムの露光および現像という物理的プロセスから、あるいは画像のその後の編集から帰結する画像依存のノイズを含んでいる。写真フィルムは、写真乳剤の物理的な粒状性から帰結する、特徴的な準ランダムなパターンすなわちきめ（texture）を有する。あるいはまた、計算により生成した画像を写真フィルムに合成するために同様のパターンをシミュレートすることもできる。いずれの場合でも、この画像依存ノイズは粒子と呼ばれる。しばしば、ほどほどの粒子のきめが動画における望ましい特徴を呈する。いくつかの事例では、フィルム粒子は二次元映像の正しい知覚を容易にする視覚的手がかりを与える。フィルム粒子はしばしば、時間基準、視点などについてのさまざまな手がかりを与えるために単一のフィルム内で変化をつけられる。動画産業では粒子のきめを制御するための他の多くの技術的および芸術的使用が存在している。したがって、画像処理および配送チェーンを通じて、画像の、粒子のある見かけを保存することは、動画産業における要件となっている。
【０００５】
商業的に入手可能ないくつかの製品は、フィルム粒子をシミュレートする機能をもつ。これはしばしばコンピュータ生成されたオブジェクトを自然の場面に合成するためである。米国ニューヨーク州ロチェスターのイーストマン・コダック社からのCineon（登録商標）は、粒子シミュレーションを実装した最初のデジタルフィルムアプリケーションの一つであるが、多くの粒子タイプについて非常にリアルな結果を生じる。しかし、Cineon（登録商標）アプリケーションは、多くの高速フィルムについては良好なパフォーマンスを与えない。これは、高い粒子サイズ設定については該アプリケーションは認識できる斜めの縞を生じてしまうからである。さらに、Cineon（登録商標）アプリケーションは、たとえば画像がコピーまたはデジタル処理されるなど、画像が前処理にかけられるときには十分な忠実度をもった粒子をシミュレートできない。
【０００６】
フィルム粒子をシミュレートするもう一つの商業製品はビジュアル・インフィニティ社からのGrain  Surgery（商標）である。これはAdobe（登録商標）After  Effects（登録商標）のプラグインとして使用される。Grain  Surgery（商標）製品は、乱数の組をフィルタ処理することによって人工的な粒子を生成するように見える。このアプローチは計算量が多いという欠点がある。
【発明の開示】
【発明が解決しようとする課題】
【０００７】
これらの過去の方式はいずれも、圧縮されたビデオにおいてフィルム粒子を復元する問題は解決しない。フィルム粒子は高周波数の準ランダムな現象をなし、それは典型的には、ビデオシーケンスにおける冗長性を利用する通常の空間的および時間的方法を使った圧縮にはかけられない。フィルム由来の画像をMPEG-2またはITU-T/ISO  H.264圧縮技法を使って処理する試みは、通常、受け容れられないほど低い圧縮率か、粒子のきめの完全な消失につながる。
【０００８】
2004年11月4日にトムソン・ライセンシング・Ｓ・Ａの名で公開された国際特許出願WO/095829は、フィルム粒子をシミュレートする技法を記載している。その記載では、エンコードされた画像におけるフィルム粒子のシミュレーションは、フィルム粒子を抽出し、そのフィルム粒子をビデオストリームにおけるエンコードのために特徴付け、それによりデコードに際してフィルム粒子復元を可能にすることによって行われる。典型的には、フィルム粒子はフィルムの種別に基づいて、あるいは特定のモデルを使うことによって特徴付けられる。実際上は、フィルム粒子の詳細がビデオ符号化ストリームに対する平行情報として、典型的にはITU-T  H.264ビデオ符号化規格を使う場合はフィルム粒子補足向上情報（SEI）メッセージとして伝送される。このアプローチは有用な技法をなすものの、処理に関わる計算量は必ずしも低くない。
【０００９】
こうして、フィルム粒子をシミュレートする技法、特に比較的低計算量の技法の必要性が存在する。
【課題を解決するための手段】
【００１０】
ひとことで言うと、本原理に基づく、フィルム粒子をシミュレートする方法が提供される。該方法は、ある所望の粒子パターンに関連付けられた帯域通過領域に応じた変換済み係数（transformed  coefficient）のブロック（すなわちマトリクス・アレイ）を生成することによって開始される。（帯域通過領域は、前記所望のフィルム粒子パターンを特徴付けるフィルタの（二次元での）カットオフ周波数を表す一組のカット周波数fHL、fVL、fHH、fVHによって定義される。）前記変換済み係数のブロックは、逆変換を受けて、ビット精確なフィルム粒子サンプルを生じる。望むなら、該ビット精確なサンプルは、信号中のフィルム粒子をシミュレートするためにビデオ信号と合成することを可能にするために、スケーリングを受ける。
【００１１】
実際上は、変換済み係数のブロックの生成は次のように行われる。xとyをそれぞれ行と列を指定する整数として、ブロック中の座標(x,y)における各係数について、x座標およびy座標のそれぞれがカット周波数fHLとfHH、fVLとfVHの帯域通過内にあれば、ランダムな値（r）が取得される。座標(x,y)での係数の値はそのランダムな値rになる。このプロセスはブロック中の全項目について繰り返される。
【００１２】
本原理のフィルム粒子シミュレーション技法は、直接変換の計算を回避することにより、フィルム粒子シミュレーションのための従来技術の変換に基づくアプローチに比べて低下した計算量（complexity）を可能にする。本技法は、フィルム粒子パターンの代わりに変換済み係数の小さなセットを記憶することにより、データベースに基づくアプローチのメモリ要求を低減させもする。本方法は、なかでも、衛星放送のほか、ＨＤ  ＤＶＤシステム、ＢＤ  ＲＯＭシステムへの適用可能性をもつ。
【発明を実施するための最良の形態】
【００１３】
フィルム粒子パターンを特徴付ける一組のカット周波数を使ってフィルム粒子をシミュレートするための本原理の技術を最もよく理解するため、フィルム粒子シミュレーションの手短な概観が役立つだろう。図１は送信機１０のブロック概略図を描いている。送信機１０は入力ビデオ信号を受け取り、その出力に圧縮されたビデオストリームを生成する。さらに、送信機１０は、サンプル中に存在するフィルム粒子（もし存在すれば）を示す情報をも生成する。実際上、送信機１０は、ケーブルテレビシステムまたは圧縮されたビデオを一つもしくは複数の下流の受信機１１に配信する他のそのようなシステムの、ヘッドエンド・アレイの一部をなすことができる。図１では受信機は一つだけ示されている。送信機１０は、DVDのような媒体を呈示するエンコーダの形をとることもできる。受信機１１は、符号化されたビデオストリームを復号し、前記のフィルム粒子情報および復号されたビデオに基づいてフィルム粒子をシミュレートする。これらはいずれも、送信機１０から、あるいはDVDなどの場合には媒体そのものから直接、受け取られる。こうして受信機１１は、シミュレートされたフィルム粒子をもつ出力ビデオストリームを生じる。受信機１１は、セットトップボックスまたは圧縮されたビデオを復号してそのビデオ中にフィルム粒子をシミュレートするはたらきをする他のそのような機構の形をとることもできる。
【００１４】
フィルム粒子の全体的な管理は、送信機１０（すなわちエンコーダ）が入力ビデオにおけるフィルム粒子に関する情報を提供することを必要とする。換言すれば、送信機１０がフィルム粒子を「モデル化する」。さらに、受信機１１（すなわちデコーダ）は、送信機１０から受信されたフィルム粒子情報に従ってフィルム粒子をシミュレートする。送信機１０は、ビデオ符号化プロセスの間、フィルム粒子を保持することに困難があるときに、受信機１１がビデオ信号中のフィルム粒子をシミュレートできるようにすることによって、圧縮されたビデオの品質を高めるのである。
【００１５】
図１の図示された実施形態では、送信機１０はビデオエンコーダ１２を含んでいる。ビデオエンコーダ１２はITU-T  Rec.H.264|ISO/IEC14496-10ビデオ圧縮規格のようなよく知られたビデオ圧縮技法のいずれかを使ってビデオストリームをエンコードする。任意的に、エンコードの前に入力ビデオストリームにおける一切のフィルム粒子を除去するために、エンコーダ１２の上流にフィルム粒子除去器１４が存在していてもよい。これは図１では破線で描かれているフィルタなどの形である。入力ビデオがフィルム粒子を含まない限りでは、フィルム粒子除去器１４の必要性は存在しない。
【００１６】
フィルム粒子モデル化器１６は、入力ビデオストリームおよびフィルム粒子除去器１４（存在しているとき）の出力信号を受容する。そのような入力情報を使って、該フィルム粒子モデル化器１６は入力ビデオ信号中のフィルム粒子を確立する。最も単純な形では、フィルム粒子モデル化器１６は、種々のフィルム材のためのフィルム粒子モデルを含む探索表を有することができる。入力ビデオ信号における情報は、ビデオ信号への変換前にもともと画像を記録するのに使われた特定のフィルム材を指定し、それによりフィルム粒子モデル化器１６がそのようなフィルム材についての適切なフィルム粒子モデルを選択することを許容する。あるいはまた、フィルム粒子モデル化器１６は、入力ビデオをサンプリングして存在するフィルム粒子パターンを決定するための一つまたは複数のアルゴリズムを実行するプロセッサまたは専用論理回路を有することもできる。
【００１７】
受信機１１は典型的にはビデオデコーダ１８を含む。ビデオデコーダ１８は送信機１０から受信される圧縮されたビデオストリームを復号するはたらきをする。デコーダ１８の構造は、送信機１０内のエンコーダ１２によって実行される圧縮の種別に依存する。よって、たとえば、送信機１０内で出ていくビデオを圧縮するのにITU-T  Rec.H.264|ISO/IEC14496-10ビデオ圧縮規格を用いるエンコーダ１２を使えば、H.264準拠のデコーダ１８の必要性が命じられる。受信機１１内では、フィルム粒子シミュレータ２０がフィルム粒子モデル化器１６からフィルム粒子情報を受け取る。フィルム粒子シミュレータ２０はプログラムされたプロセッサまたはフィルム粒子をシミュレートする機能をもつ専用論理回路の形をとることができる。シミュレートされたフィルム粒子は組み合わせ器２２を介して復号されたビデオストリームと組み合わされる。
【００１８】
フィルム粒子シミュレーションは、もとのフィルム内容の見え方をシミュレートするフィルム粒子サンプルを人工的に生成することをねらいとする。前述のように、フィルム粒子のモデル化は図１の送信器１０で行われるのに対し、フィルム粒子シミュレーションは受信機１１で行われる。具体的には、フィルム粒子シミュレーションは、送信機１０からの入力ビデオストリームの復号とともに、しかし復号されたビデオデコーダの出力より上流で、受信機１１において行われる。受信機１１において行われる復号プロセスが、フィルム粒子が加えられた画像は使用しないことを注意しておく。むしろ、フィルム粒子シミュレーションは、復号された画像においてシミュレートされたフィルム粒子を表示のために人工生成するための後処理方法をなす。その理由で、ITU-T  Rec.H.264|ISO/IEC14496-10ビデオ圧縮規格は、フィルム粒子シミュレーション・プロセスについては何の規定も含んでいない。しかし、フィルム粒子シミュレーションは入力ビデオ信号における粒子パターンに関する情報を必要とする。そのような情報は典型的には、ITU-T  Rec.H.264|ISO/IEC14496-10ビデオ圧縮規格を使うときは該圧縮規格の補正１（忠実度範囲拡張［Fidelity  Range  Extensions］）によって規定される補足向上情報（SEI:  Supplemental  Enhancement  Information）メッセージでの送信をされる。
【００１９】
本原理によれば、フィルム粒子をシミュレートする低計算量の方法が提供される。該方法は、フィルム粒子をシミュレートするために使われる変換が線形であることを前提とする。図１のフィルム粒子シミュレータ２０によって実施される本原理の方法は、次の３つのステップを含むプロセスにおいてフィルム粒子のブロックを生成する：（１）ある所望の粒子パターンについてのカット周波数に従って変換済み係数のブロックを生成する、（ｂ）逆変換を計算する、（ｃ）結果として得られる値をスケーリングする。以下で、各プロセスについてより完全な記載をする。
【００２０】
〈変換済み係数のブロックの生成〉
変換済み係数のブロックを生成するプロセスは、所望のフィルム粒子パターンを特徴付ける一組のカット周波数を入力として受け、一組の正規乱数を与える。ある好ましい実施形態では、正規乱数は、規格化されたガウスランダム分布に従い（平均0、分散1をもつ独立かつ同一分布のガウスランダム変数サンプル）、一方、カット周波数は、ITU-T  Rec.H.264|ISO/IEC14496-10規格[1]によって定義されるフィルム粒子特性SEIメッセージにおいて伝送される。
【００２１】
示される実施形態では、周波数領域でのブロック画像B（たとえばN×Nの大きさの変換済み係数のブロック）の生成は、図２にフローチャートの形で示した仕方で行われる。プロセスは開始ステップ１００で開始され、この間に初期化が行われる。ステップ１００に続いて、ステップ１０２が行われて、N×Nブロックのすべての係数を走査するループを開始する。走査は、ランニング変数の対(x,y)を[0,N−1]×[0,N−1]の整数変域のあらゆる可能な値に設定することによって行われる。変数xおよびyはそれぞれ、このプロセスによって生成される変換済み係数のブロック（すなわち、マトリクス・アレイ）中の項目のx座標およびy座標を表す。ステップ１０４の間に、xおよびyの値が、カット周波数fHLとfHH、fVLとfVHのによって定義される帯域通過内にあるかどうかの検査が行われる。もしそうなら、ステップ１０６が行われて乱数が生成され、ステップ１０８の間に前記乱数が、ブロック中で、それぞれランニング変数xおよびyの現在値に一致するx座標およびy座標における係数に割り当てられる。ステップ１０４は、xおよびyの値が、カット周波数によって定義される帯域通過内にあるかどうかの検査の好ましい実施形態を例示しているが、他の基準も可能である。
【００２２】
xおよびyの現在の値が同時に、SEIメッセージ中で伝送された所望のフィルム粒子パターンのカット周波数fHLとfHH、fVLとfVHによって定義される帯域通過内にあるのでない場合、ステップ１１０において、ブロック中でxおよびyの現在の値に関連付けられる係数は0に設定される。ステップ１０８またはステップ１１０のいずれかのあとでもステップ１１２が行われ、ランニング変数xおよびyは、xおよびy≦Nである限りインクリメントされ、実行はステップ１０４へと分岐する。そうでない場合には、ステップ１１２の間にループは終了し、本方法は終了ステップ１１４で終了する。
【００２３】
図２に描かれた変換済み係数のブロックを生成する方法は、コンピュータプログラムのforループで次のような仕方で記載できる：
for(y=0;y<N;y++)
for(x=0;x<N;x++)
if(  (x<fHL  &&  y<fVL)  ||  x>fHH  ||  y>fVH  )
B[x][y]=0
else
B[x][y]=r
B[0][0]=0
fHLおよびfVLはそれぞれ所望のフィルム粒子パターンの水平方向の（horizontal）下（low）カット周波数および垂直方向の（vertical）下カット周波数をなし、fHHおよびfVHはそれぞれ水平方向の上（high）カット周波数および垂直方向の上カット周波数をなす。rが正規乱数をなす。実際上、ガウス乱数rは、二つの独立した一様分布したランダム値から、次式で指定されるボックス・マラー（Box-Muller）変換を使って生成されることができる：
r＝√（−2ln(x1)）・sin(2πx2)
ここで、ln(.)は自然対数、sin(.)は正弦関数、πはアルキメデス定数およびx1およびx2は(0,1)の範囲（0は含まれない）にある。
【００２４】
図３は、変換済み係数のブロックを生成するための代わりの好ましい方法を描いている。図３のフローチャートの方法は、図２の方法と同じステップのほとんどすべてを含み、したがって同様なステップを記述するためには、図３でも、図２と同様の参照符号が現れている。図３の方法は、次の点で異なっている。図２のステップ１０６で乱数を数学的計算を通じて取得する代わりに、図３の変換済み係数のブロックを生成する方法は、乱数を、以前に計算されたガウス乱数の探索表１１０から取得する。それ以外では、二つの方法は同じ諸ステップを実施する。
【００２５】
任意的に、図２および図３のブロック変換済み係数生成方法は、位置0,0（すなわちDC係数）における係数を強制的に0にする。逆変換後に信号が0の平均値をもつことを保証するためである。DC係数について0からの逸脱が大きいと、結果として得られるフィルム粒子ブロックの平均値に大きな逸脱が引き起こされる。結果として、フィルム粒子を復号された画像と合成する際、ブロックはその平均値において目に見える変動を示すことがある（すなわちブロックが暗くなったり明るくなったりすることがある）。
【００２６】
fHLとfVLの両方が0に等しい場合、周波数領域におけるブロック画像Bの生成は次のように行われることができる：
for(y=0;y<N;y++)
for(x=0;x<N;x++)
if(  x>fHH  ||  y>fVH  )
B[x][y]=0
else
B[x][y]=r
B[0][0]=0
ブロック画像のメモリ割り当てに際しての値0の初期化を達成する機能も想定すると、先の方法は次の表現に単純化できる：
for(y=0;y<N;y++)
for(x=0;x<N;x++)
if(  x<=fHH  &&  y<=fVH  )
B[x][y]=r
図２および図３で記載されたプロセスは(fHH−fHL＋1)×(fVH−fVL＋1)個の正規乱数を利用し、それにより正規乱数のブロックの順方向の変換の計算に典型的に伴うフィルタ処理ステップを回避する。
【００２７】
〈逆変換の計算〉
変換済み係数のブロックの生成に続いて、逆変換の計算が、典型的には次の一般式に従  って行われる：
b＝a・(CT×B×C)
ここで、aは変換済み係数のブロックの生成から生じる強度変動を補償するスケーリング因子をなす。典型的には、スケーリング因子aは1の値をもつ。
【００２８】
DCT変換を使う際、変換行列Cの計算は次のようにして行われる：
【数１】
2008521340.tif 000008
この場合、a＝1／｛‖C‖・‖CT‖｝である。
【００２９】
〈逆変換の結果生じる値のスケーリング〉
変換済み係数のブロックの生成および外部ロックの逆変換の計算に続いて、本原理のフィルム粒子シミュレーション・プロセスは典型的には、フィルム粒子パターンを適切なフィルム粒子強度にスケーリングするステップを含む。ただし、そのようなスケーリングは必ずしも行われなくてもよい。ビデオ符号化の用途については、フィルム粒子強度についての情報は典型的には、ITU-T  Rec.H.264|ISO/IEC14496-10規格で規定されているSEIメッセージ中で伝送される。
【００３０】
スケーリングプロセスは典型的には次の仕方で行われる：
for(y=0;y<N;y++)
for(x=0;x<N;x++)
b[x][y]*=scaling_factor
このアプローチは、従来技術の諸方法と比べたとき、計算量とメモリ要求との間のトレードオフを呈する。一方では、本原理のスケーリング方法は、直接変換および周波数領域におけるフィルタ処理の計算を回避することによって、変換に基づくアプローチの計算量を軽減させる。他方、本原理のスケーリング方法は、完全なフィルム粒子パターンの代わりに変換済み係数の小さなセットだけを記憶することによって、データベースに基づくアプローチのメモリ要求を軽減する。
【実施例】
【００３１】
本原理の方法は、フィルム粒子パターンのデータベースを初期化するはたらきをすることができる。特に、変換済み係数のブロックを生成するステップおよび該ブロックの逆変換を計算するステップは、図４でフローチャートの形で示されるフィルム粒子パターンのデータベースを初期化するためのはたらきをすることができる。図４の方法は、開始ステップ２００の実行で始まり、そこで初期化が行われる。その後、図２の方法または図３の方法のいずれかを使ったガウスランダム値のブロックの生成で、ステップ２０２が行われる。図３のブロック変換生成方法を用いるときは、各乱数項目は、先に論じたようにガウス乱数探索表１０７にアクセスすることによって取得される。ステップ２０２に続いて、ガウスランダム値のブロックは、ステップ２０４で、典型的には逆離散コサイン変換（IDCT）ならびに適切なスケーリングを介して逆変換を受ける。ステップ２０６では、フィルム粒子パターンはデータベース２０７に格納される。その後、プロセスはステップ２０８で終了する。図４のプロセスは、システムの初期化またはリセットに際してデータベース２０７を生成することを許容し、従来式メモリ（通例、SRAMメモリ）への格納を可能にする。
【００３２】
以上は、低計算量という利点をもたらす、画像中のフィルム粒子をシミュレートするための技法を記載する。
【図面の簡単な説明】
【００３３】
【図１】本原理の技法を実施するために有用な、フィルム粒子処理チェーンにおける送信機および受信機の組み合わせのブロック概略図である。
【図２】本原理に基づくフィルム粒子をシミュレートするための変換済み係数のセットを生成するための第一の方法のステップをフローチャートの形で描いた図である。
【図３】本原理に基づくフィルム粒子をシミュレートするための変換済み係数のセットを生成するための第二の方法のステップをフローチャートの形で描いた図である。
【図４】本原理に基づくフィルム粒子パターンのデータベースを生成するための方法のステップをフローチャートの形で描いた図である。
【国際調査報告】
2008521340.tif 000009
2008521340.tif 000010
2008521340.tif 000011