(57)【特許請求の範囲】
【請求項１】
複数のフィルムグレインパターンを格納する方法であって、
前記複数のフィルムグレインパターンの少なくとも第１部分を内部メモリに格納するステップと、
前記複数のフィルムグレインパターンの少なくとも第２部分を外部メモリに格納するステップと、
を有し、
前記複数のフィルムグレインパターンのそれぞれのフィルムグレインパターンのルマコンポーネントとクロマコンポーネントとは、前記内部メモリと前記外部メモリとに別々に格納される方法。
【請求項２】
前記内部メモリは、ビデオデコーダに配置される、請求項１記載の方法。
【請求項３】
前記内部メモリは、ビデオデコーダ集積回路チップに配置される、請求項１記載の方法。
【請求項４】
フィルムグレインシミュレーション処理に使用するため、符号化された画像とフィルムグレイン特性情報を有する補完情報メッセージとを少なくとも受け付ける手段と、
複数のフィルムグレインパターンの少なくとも第１部分を格納する内部記憶手段と、
前記複数のフィルムグレインパターンの少なくも第２部分を格納する外部記憶手段と、
を有する装置であって、
前記複数のフィルムグレインパターンのそれぞれのフィルムグレインパターンのルマコンポーネントとクロマコンポーネントとは、前記内部記憶手段と前記外部記憶手段とに別々に格納される装置。
【請求項５】
前記受け付ける手段は、デコーダから構成される、請求項４記載の装置。
【請求項６】
前記内部記憶手段は、内部キャッシュから構成される、請求項４記載の装置。
【発明の詳細な説明】
【発明の詳細な説明】
【０００１】
［関連出願の相互参照］
本出願は、参照することによりそのすべてがここに含まれる、２００４年１１月２２日に出願された米国特許仮出願第６０／６３０，０４９号の優先権を主張する。
［発明の分野］
本発明は、一般にフィルムグレインシミュレーション（ｆｉｌｍ  ｇｒａｉｎ  ｓｉｍｕｌａｔｉｏｎ）に関し、より詳細には、効率的で低コストなフィルムグレインシミュレーションを実現するための方法及びシステムに関する。
［発明の背景］
フィルムグレインは、現像過程中に動画画像に形成される。フィルムグレインは、ＨＤ画像において顕著であり、画像処理全体及び配信チェーンを通じて保持すべきより望ましい特有の映画特性となっている。にもかかわらず、フィルムグレイン保持は、時間予測に関する圧縮ゲインが利用可能でないため、現在のエンコーダにとって困難なものである。グレインのランダム性のため、視覚的に可逆な符号化は、極めて高いビットレートでしか実現されない。非可逆なエンコーダは、典型的には、ノイズやファインテクスチャに係る高い周波数をフィルタリングする際、フィルムグレインを抑制する傾向がある。
【０００２】
最近作成されたＨ．２６４｜ＭＰＥＧ−４  ＡＶＣビデオ圧縮規格では、特にそれのＦｉｄｅｌｉｔｙ  Ｒａｎｇｅ  Ｅｘｔｅｎｓｉｏｎｓ（ＦＲＥｘｔ）  Ａｍｅｎｄｍｅｎｔ  １（ＪＶＴ−Ｋ０５１，ＩＴＵ−Ｔ  Ｒｅｃｏｍｍｅｎｄａｔｉｏｎ  Ｈ．２６４  Ｉ  ＩＳＯ／ＩＥＣ  １４４９６−１０  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｓｔａｎｄａｒｄ  ｗｉｔｈ  Ａｍｅｎｄｍｅｎｔ  １，Ｒｅｄｍｏｎｄ，ＵＳＡ，Ｊｕｎｅ  ２００４）では、フィルムグレインＳＥＩ（Ｓｕｐｐｌｅｍｅｎｔａｌ  Ｅｎｈａｎｃｅｍｅｎｔ  Ｉｎｆｏｒｍａｔｉｏｎ）メッセージが規定された。このようなメッセージは、サイズや強度などの属性に関するフィルムグレイン特性を記載し、ビデオエンコーダが復号化された画像上のフィルムグレインの様相をシミュレートすることを可能にする。Ｈ．２６４｜ＭＰＥＧ−４  ＡＶＣ規格は、何れのパラメータがフィルムグレインＳＥＩメッセージにあるか、それの解釈方法、及びＳＥＩメッセージをバイナリフォーマットに符号化するのに使用されるシンタックスを規定している。しかしながら、当該規格は、フィルムグレインＳＥＩメッセージを受信すると、フィルムグレインをシミュレートするための正確な手順を規定するものでない。
【０００３】
フィルムグレインシミュレーションは、古いフィルムストックの復元中と共に、コンピュータ生成された題材に関するフィルムグレインをシミュレートするため、制作後に利用される比較的新しい技術である。このタイプのアプリケーションについて、Ｅａｓｔｍａｎ  Ｋｏｄａｋ  Ｃｏ，Ｒｏｃｈｅｓｔｅｒ，ＮＹのＣｉｎｅｏｎ（登録商標）、Ｖｉｓｕａｌ  ＩｎｆｉｎｉｔｙのＧｒａｉｎ  ＳｕｒｇｅｒｙＴＭなどの商用ソフトウェアが市販されている。これらのツールは、ユーザインタラクションを要求し、実現することが複雑であり、リアルタイムビデオ符号化アプリケーションにとっては適していない。さらに、これらのツールの何れも、Ｈ．２６４／ＡＶＣビデオ符号化規格によって規定されるようなフィルムグレインＳＥＩメッセージを解釈することはできない。
［発明の概要］
本発明は、フィルムグレインシミュレーションのフィルムグレインキャッシュ分割のための方法、装置及びシステムを提供する。
【０００４】
本発明の一実施例では、フィルムグレインパターンを格納する方法は、前記フィルムグレインパターンの少なくとも第１部分を内部メモリに格納するステップと、前記フィルムグレインパターンの少なくとも第２部分を外部メモリに格納するステップとを有する。
【０００５】
本発明の他の実施例では、フィルムグレインシミュレーションのための装置は、フィルムグレインシミュレーション処理に使用するため、符号化された画像とフィルムグレイン特性情報を有する補完情報メッセージとを少なくとも受け付ける手段と、フィルムグレインパターンの少なくとも第１部分を格納する内部記憶手段と、前記フィルムグレインシミュレーションパターンの少なくも第２部分を格納する外部記憶手段とを有する。
【０００６】
本発明の他の実施例では、フィルムグレインをシミュレートするシステムは、フィルムグレインシミュレーション処理に使用するため、符号化された画像とフィルムグレイン特性情報を有する補完情報メッセージとを少なくとも受け付けるデコーダと、フィルムグレインパターンの少なくとも第１部分を格納する内部記憶手段と、前記フィルムグレインシミュレーションパターンの少なくも第２部分を格納する外部記憶手段とを有する。
［発明の詳細な説明］
本発明は、効果的には、フィルムグレインシミュレーションのフィルムグレインキャッシュ分割のための方法、装置及びシステムを提供する。本発明は、消費者用ＨＤ  ＤＶＤプレーヤーのＩＣ設計などに適用するためのビデオデコーダサブシステムに関して主に記載されるが、本発明の特定の実施例は本発明の範囲を限定するものとして扱われるべきでない。本発明のコンセプトは、メディアプレーヤー／レシーバ装置、デコーダ、セットトップボックス、テレビ装置などの何れかのフィルムグレインシミュレーション処理に効果的に適用可能であるということは、当業者により認識され、本発明の教示により理解されるであろう。
【０００７】
図１は、本発明の一実施例によるフィルムグレインシミュレーション機能を有するビデオデコーダサブシステムのハイレベルブロック図を示す。図１のビデオデコーダサブシステムは、例示的には、ビデオデコーダ（例示的にはＨ．２６４デコーダ）１０６と、ビデオディスプレイ・グラフィックスエンジン及びフィルムグレインシミュレータ１０８と、ホストインタフェース１１０と、インタフェースコントローラ（例示的にはＲＡＭインタフェースコントローラ）１１２と、リモートフィルムグレインデータベース１０４のフィルムグレインパターンの少なくとも小さなサブセットを格納するためフィルムグレインキャッシュとして実現されるメモリ（例示的には外部のＲＡＭメモリ）１１４とから構成される。図１のビデオディスプレイ・グラフィックスエンジン及びフィルムグレインシミュレータ１０８はさらに、例示的には、内部のフィルムグレインキャッシュ１０９として例示的に示される内部的な記憶能力を有する。図１では、内部のフィルムグレインキャッシュ１０９はビデオディスプレイ・グラフィックスエンジン及びフィルムグレインシミュレータ１０８に配置されるとして示されているが、本発明の他の実施例では、本発明の内部のフィルムグレインキャッシュは、ビデオデコーダ１０６又は図１のビデオデコーダサブシステム１００の他のコンポーネントの内部に配置されてもよい。
【０００８】
図１はさらに、フィルムグレインデータベースを有する永久的なストレージプログラムメモリ（例示的にはリモート永久ストレージメモリ）１０４と、ホストＣＰＵ１０２とを示す。図１のビデオデコーダサブシステムでは、ホストＣＰＵ１０２とリモートフィルムグレインデータベース１０４とは、別々のコンポーネントから構成されるものとして示されているが、本発明の他の実施例では、リモートフィルムグレインデータベース１０４は、ＣＰＵ１０２の永久メモリに配置可能である。さらに、図１のビデオデコーダサブシステム１００では、ビデオデコーダ１０６と、ビデオディスプレイ・グラフィックスエンジン１０８と、ホストインタフェース１００と、インタフェースコントローラ１１２とが、別々のコンポーネントから構成されるものとして示されるが、本発明の他の実施例では、ビデオデコーダ１０６と、ビデオディスプレイ・グラフィックスエンジン１０８と、ホストインタフェース１００と、インタフェースコントローラ１１２とは、単一のコンポーネントから構成することが可能であり、単一の統合されたシステム・オン・チップ（ＳｏＣ）に統合することが可能である。このような実施例では、図１のビデオデコーダサブシステム１００は、内部のオンチップフィルムグレインキャッシュ１０９と外部のフィルムグレインキャッシュ１１４とから構成される。
【０００９】
さらに、図１のビデオデコーダサブシステム１００では、フィルムグレインパターンを格納する手段は、外部のＲＡＭメモリ１１４（キャッシュ）と、内部のキャッシュメモリ１０９と、リモートフィルムグレインデータベース１０４として示され、本発明の他の実施例では、実質的に任意のアクセス可能な記憶手段は、フィルムグレインパターンの一部とフィルムグレインパターンの合計数を維持するよう実現されてもよい。このような手段は、ストレージディスク、磁気記憶媒体、光記憶媒体又は実質的に任意の記憶手段を有するものであってもよい。さらに、１以上の記憶手段が各記憶装置について実現されてもよい。さらに、図１のフィルムグレインデータベース１０４は、外部ＲＡＭメモリ１１４とバイブキャッシュメモリ１０９から遠隔配置されるように示されているが、フィルムグレインパターン記憶手段は、互いに近接又は遠距離に配置されてもよい。
【００１０】
図１のビデオデコーダサブシステム１００などのフィルムグレインシミュレーションシステムでは、リモートフィルムグレインデータベース１０４は、典型的には相対的に大きなものとなる。本発明の一実施例では、Ｈ．２６４ビデオデコーダ１０６と、ビデオディスプレイ・グラフィックスエンジン１０８と、ホストインタフェース１１０と、インタフェースコントローラ１１２と、外部ＲＡＭメモリ１１４とは、ＨＤ  ＤＶＤプレーヤーのコンポーネントを有する。リモートフィルムグレインデータベース１０４からのフィルムグレインパターンは、ＨＤ  ＤＶＤプレーヤーなどのサンプルレートによりアクセスされる必要がある。本発明による図１のビデオデコーダサブシステム１００では、リモートフィルムグレインデータベース１０４の僅かな部分のみが、ＳＥＩフィルムグレイン期間中に試用され、コンプレクシティを低減するためのキャッシュ処理技術を開発するのに役立つ。
【００１１】
より詳細には、図１のフィルムグレインシミュレーション処理は、双方が参照することによりそのすべてがここに含まれる、Ａｍｅｎｄｍｅｎｔ  １（Ｆｉｄｅｌｉｔｙ  Ｒａｎｇｅ  Ｅｘｔｅｎｓｉｏｎｓ）により規定されるようなＩｎｔｅｒｎａｔｉｏｎａｌ  Ｓｔａｎｄａｒｄ  ＩＹＵ−Ｔ  Ｒｅｃ．Ｈ．２６４｜ＩＳＯ／ＩＥＣ  １４４９６−１０のビットストリームにより伝送されるフィルムグレインＳＥＩメッセージの復号化を要する。本発明の一実施例では、フィルムグレインＳＥＩメッセージは、Ｉ（Ｉｎｔｒａ−ｃｏｄｅｄ）ピクチャに先行して送信され、１つのフィルムグレインＳＥＩメッセージのみがあるＩピクチャに先行しない。
【００１２】
本発明の一実施例では、規格の仕様書によると、フィルムグレインパターンのリモートフィルムグレインデータベース１０４は、各々が６４×６４のフィルムグレイン画像を表現する４，０９６個のフィルムグレインサンプルの１６９個のパターンから構成される。例えば、図２は、図１のフィルムグレインデータベースの典型的な構成のハイレベルブロック図を示す。図３は、ｘ軸のｉ＿ｏｆｆｓｅｔとｙ軸にｊ＿ｏｆｆｓｅｔとを有する６４×６４のサンプルフィルムグレインパターンを示す。図２はさらに、各種タイプの１６９個のフィルムグレインパターンを示す。
【００１３】
フィルムグレインデータベース１０４では、各フィルムグレインパターンは、規格仕様書の周波数フィルタリングモデルによるカット周波数の異なるペアを用いて合成される。ＳＥＩメッセージにより送信されるカット周波数は、フィルムグレインシミュレーション処理中のフィルムグレインパターンのリモートフィルムグレインデータベース１０４にアクセスするのに利用される。フィルムグレインデータベース１０４は、ＲＯＭ、Ｆｌａｓｈ又は図１のビデオデコーダサブシステム１００のフィルムグレインデータベース１０４などの他の永久記憶装置に格納され、典型的には、変更されない。フィルムグレインデータベース１０４は、様々なフィルムグレイン形状及びサイズによるランダムなフィルムグレインパターンを含む。しかしながら、特定のビデオコンテンツシーケンスでは、実際には、当該データベースの一部のみがフィルムグレインを効果的にシミュレートするのに必要とされる。仕様書は、フィルムグレインパターンの個数を任意のＳＥＩメッセージ期間の小さなサブセットに限定する。従って、本発明は、ＳＥＩメッセージの受信により更新される外部ＲＡＭメモリ１１４と内部キャッシュメモリ１０９などの小さなフィルムグレインキャッシュを実現する。
【００１４】
典型的には、リモートフィルムグレインデータベース１０４は、ホストＣＰＵ１０２の永久ストレージ又はホストＣＰＵ１０２内に格納される。しかしながら、フィルムグレインデータベース１０４への高速アクセスを必要とするのは、ビデオデコーダ１０６とビデオディスプレイ・グラフィックスエンジン１０８である。また、本発明によると、外部メモリ１１４と内部キャッシュ１０９とは、フィルムグレインパターンの少なくとも一部への高速アクセスのため設けられる。すなわち、既存のＳＥＩメッセージ期間により必要とされる又は最も実現されるフィルムグレインパターンの少なくとも一部のみが、後述されるように、外部メモリ１１４と内部キャッシュ１０９に転送及び格納される。
【００１５】
より詳細には、本発明によると、図１のビデオデコーダサブシステム１００などのフィルムグレインシミュレーションシステムの全体的な設計コストを最小化する手段は、デコーダＩＣ１０９の内部のキャッシュと残りの外部メモリ１１４との間にフィルムグレインパターンのストレージを分割することである。例えば、合計で１０個のフィルムグレインパターンが格納される実現形態では、内部キャッシュ１０９がＮ個のフィルムグレインパターンを格納する場合、外部メモリ１１４は、残りの（１０−Ｎ）個のフィルムグレインパターンを格納する。本発明による内部キャッシュ１０９と外部メモリ１１４との間にフィルムグレインパターンのストレージを分割することは、内部メモリのサイズ要求を低減させ、これにより、フィルムグレインパターンを格納する外部メモリしか有しない手段に対して、典型的にまた平均的により少ないメモリ帯域幅と、より小さなチップエリアをもたらす。本発明の各種実施例では、本発明によるフィルムグレインシミュレーションに要求されるメモリ帯域幅（ＢＷ）は、格納されているすべてのフィルムグレインパターンが特定のフィルムコンテンツに使用されるとは限らないため、ゼロに低減することも可能である。
【００１６】
本発明の実施例では、異なるキャッシュ分割が、必要なフィルムグレインパターンを格納するのに利用可能である。すなわち、本発明によると、任意の分割が可能である。内部キャッシュ１０９に格納されるフィルムグレインパターンが多くなるに従って、ワーストケースの外部メモリＢＷが要求される確率は小さくなる。さらに、所与のコンテンツシミュレーション中に、必ずしもすべてのフィルムグレインキャッシュが必要とされるとは限らないため、多くのケースにおいて、メモリＢＷは大きく低減される。
【００１７】
例えば、１０個のフィルムグレインパターンが格納される本発明の一実施例では、半分の５個のフィルムグレインパターンが、図１のビデオデコーダサブシステム１００の内部キャッシュ１０９などの内部キャッシュに格納される場合、内部メモリのサイズは、１０個のフィルムグレインパターンを格納するのに要求される合計メモリの１／２となる、本発明のこのような実施例では、大部分のコンテンツのメモリ帯域幅は、３６Ｍｂｙｔｅｓ／ｓｅｃ以下に低減され、いくつかのケースでは、より小さなものとなる。
【００１８】
上述した例において、１０個のうちの１つのフィルムグレインパターンしか内部キャッシュに格納されない場合（Ｎ＝１など）、本発明のこのような実施例では、ごく僅かな内部キャッシュしか必要とされない。本発明のこのような実施例は、１つのみのフィルムグレインパターンを格納するのに要求される内部キャッシュを提供するためのごく僅かな追加的チップエリアしか要求しない。このような実施例では、最も頻繁に実現されるフィルムグレインパターンが内部キャッシュに配置することができるため、メモリＢＷは大きく低減されることとなる。
【００１９】
本発明の他の実施例では、ルマ及びクロマコンポーネントを別々に格納するため、内部キャッシュと外部メモリが実現される。すなわち、ルマは内部キャッシュに配置可能であり、クロマは外部メモリに配置可能である。本発明の当該実施例では、フィルムグレインシミュレーションのワーストケースのメモリＢＷは３６Ｍｂｙｔｅｓ／ｓｅｃであり（クロマのみ）、内部キャッシュのサイズはキャッシュのルマ部分しか保持する必要はないということが保証される。しかしながら、本発明のこのような実施例は、フィルムグレインシミュレーション仕様が、内部キャッシュと外部メモリを構成するため、ルマキャッシュサイズとクロマキャッシュサイズとの間の分割の定義を含むことを必要とする。
【００２０】
クロマの１つのコンポーネントのみが外部メモリに格納される本発明のルマ／クロマ分割の実施例では、メモリＢＷは１８Ｍｂｙｔｅｓ／ｓｅｃに低下する。このような実施例は、より大きいが、最大のものよりは小さな内部キャッシュを要求する。
【００２１】
本発明の他の実施例では、フィルムグレインシミュレーション処理のＳＥＩメッセージは、格納されているフィルムグレインパターンの優先順位を示す追加情報を有する。この優先順位は、例えば、デコーダＩＣの内部キャッシュに最も頻繁に要求されるフィルムグレインパターンを格納するため、図１のビデオデコーダサブシステムによって利用され、これにより、内部キャッシュの利用を最適化し、外部メモリＢＷを最小化する。フィルムグレインシミュレーション処理では、これは、以下の式（１）により特徴付けされる新たなＳＥＩシンタックス要素により実現することが可能である。
【００２２】
“ｆｇ＿ｐａｔｔｅｒｎ＿ｐｒｉｏｒｉｔｙ”は、優先順位によりカット周波数の［ｈ，ｖ］ペアを規定する。［ｈ，ｖ］＝（ｃｏｍｐ＿ｍｏｄｅｌ＿ｖａｌｕｅ［ｊ］［ｉ］［１］，ｃｏｍｐ＿ｍｏｄｅｌ＿ｖａｌｕｅ［ｊ］［ｉ］［２］）      （１）
本発明の他の実施例では、フィルムグレインパターンの優先順位は、標準的なフィルムグレインＳＥＩメッセージから求められる。すなわち、ＳＥＩメッセージが各々が自らのフィルムグレインパラメータによる強度インターバルのリストを有するため、これらの強度インターバルは、それの優先度に従ってリストすることが可能である（増加する強度インターバル限界によりリストされる代わりに）。この変更はＨ．２６４｜ＭＰＥＧ  ＡＶＣ規格に準拠していることに留意すべきである。このとき、各カラーコンポーネントについて、最初のＮ個のフィルムグレインパターンが内部キャッシュに格納される。なぜなら、これら最初のＮ個のフィルムグレインパターンは、最も実現されるフィルムグレインパターンであるためである。さらに、カラーコンポーネント間の優先付けをするため、ルールが生成可能である。例えば、最初のＮ／２個までのＹフィルムグレインパターン、最初のＮ／４個までのＵフィルムグレインパターン、及び最初のＮ／４個までのＶフィルムグレインパターンが内部キャッシュに配置され、残りのフィルムグレインパターンは、外部メモリに格納される。
【００２３】
フィルムグレインシミュレーションのフィルムグレインキャッシュ分割のための方法、装置及びシステムの各種実施例が説明されたが（例示的なものであって、限定的なものでない）、上記教示に基づき当業者により変更及び改良が可能であるということに留意されたい。従って、説明された本発明の特定の実施例において、添付した請求項により規定される本発明の範囲及び趣旨の範囲内の変更が可能であるということが、当業者により理解されるべきである。上記記載は本発明の各種実施例に関するものであるが、本発明の他の及びさらなる実施例が、それの基本的範囲から逸脱することなく創出されるかもしれない。また、本発明の適切な範囲は、以下の請求項に従って決定される。
【図面の簡単な説明】
【００２４】
【図１】図１は、本発明の一実施例によるフィルムグレインシミュレーション機能を有するビデオデコーダサブシステムのハイレベルブロック図を示す。
【図２】図２は、図１のフィルムグレインデータベースの典型的な構成のハイレベルブロック図を示す。
【図１】
0005474300.tif 000002
【図２】
0005474300.tif 000003