(57)【要約】  動画のポストプロダクションでの創造的プロセスを容易にするのにスケーラブルイメージ圧縮が利用される。具体的には、クライアント要求に応答して（ステップ１１６、１１８）プロキシ１２６を動的にレンダリングする（ステップ１２２、１２４、１２８）ことによって動画のデジタル中間（ＤＩ）処理が可能となる。ＤＩアプリケーションは、編集者、カラーリスト、およびその他の創造的な人々の後処理の効率および作業製品の品質を高めるように設計される。ＤＩアプリケーションはまた、フィルム、デジタルシネマ、ＤＶＤ、およびその他のビデオ応用例向けの製品を効率的にフォーマットする方法を提供する。
2008530856.tif 000002
【特許請求の範囲】
【請求項１】
デジタル中間（ＤＩ）処理の方法であって、
ａ）デジタルイメージのシーケンスに関するスケーラブル圧縮コードストリームを提供するステップであって、前記コードストリームが、圧縮データのパケットへのランダムアクセスを提供し、複数の解像度および／または複数の品質レベルでイメージの空間領域を抽出するステップと、
ｂ）低い解像度および／または低い品質レベルの空間領域内のシーケンス中のいくつかのイメージを求めるクライアント要求に応答して、圧縮コードストリームから適切なパケットを抽出するステップと、
ｃ）前記パケットからのデータを解凍し、プロキシイメージを再構築し、動的にレンダリングするステップと、
ｄ）前記プロキシイメージを後処理し、前記プロキシイメージに対して実施されるオペレーションの決定リストを作成するステップと
を含む方法。
【請求項２】
決定リストが、複数の展示フォーマットについて作成され、それぞれの展示フォーマットに対応するブランチを有する決定木内のノードとして格納される請求項１に記載の方法。
【請求項３】
前記決定リストが作成された後、処理した前記プロキシイメージを廃棄するステップをさらに含む請求項１に記載の方法。
【請求項４】
前記プロキシイメージをレンダリングするのに必要なパケットのみが、前記圧縮コードストリームから抽出される請求項１に記載の方法。
【請求項５】
クライアント要求に応答して、クライアントのレンダリング能力に適合する低い解像度および／または低い品質を選択するステップをさらに含む請求項１に記載の方法。
【請求項６】
ステップｂからｄが、１つまたは複数のプロキシイメージに関する複数の後処理機能について反復され、前記決定リストが、各反復で、またはすべての後処理機能が完了した後に、前記デジタルイメージに適用される請求項１に記載の方法。
【請求項７】
前記決定リストが、非圧縮デジタルイメージに適用される請求項６に記載の方法。
【請求項８】
前記決定リストが、前記圧縮コードストリームに適用される請求項６に記載の方法。
【請求項９】
それぞれの前記決定リストが各反復で前記圧縮コードストリームに適用され、次いですべての後処理機能が完了した後、すべての前記決定リストが非圧縮デジタルイメージに適用される請求項６に記載の方法。
【請求項１０】
前記プロキシイメージをレンダリングするのに使用されるパケットと、プロキシイメージでレンダリングされない解像度および／または品質レベルに関する追加のパケットとを含むパケットを抽出することによって、前記決定リストが前記圧縮コードストリームに適用される請求項８または９に記載の方法。
【請求項１１】
前記スケーラブル圧縮コードストリームがＪＰＥＧコードストリームである請求項１に記載の方法。
【請求項１２】
デジタルイメージのリモート後処理のためのシステムであって、
デジタルイメージのシーケンスに関するスケーラブル圧縮コードストリームを格納するように構成された中央サーバであって、クライアント要求に応答して、圧縮データのパケットを抽出および送信し、指定の解像度および／または指定の品質レベルで１つまたは複数のイメージの空間領域を抽出するように構成された中央サーバと、
前記クライアント要求を発行し、プロキシイメージを再構築して動的にレンダリングするためにパケットからのデータを受信および解凍し、前記プロキシイメージに対して実施されるオペレーションの決定リストを作成しするためにプロキシイメージを後処理し、かつ、前記決定リストを前記中央サーバに送り戻すように構成された少なくとも１つのリモートクライアントワークステーションと、
を備えるシステム。
【請求項１３】
複数のイメージを含む少なくとも１つのシーンを求める初期クライアント要求に応答して、前記サーバが、低い解像度および／または低い品質レベルで前記シーンに関するパケットを送信するように構成され、前記リモートクライアントワークステーションが、前記シーンをローカルに格納し、後続のクライアント要求に対して、前記パケットがローカルに抽出されるよりもさらに低い解像度および／またはさらに低い品質レベルで空間領域を抽出するように構成される請求項１２に記載のシステム。
【請求項１４】
前記サーバが、前記圧縮コードストリームから前記プロキシイメージをレンダリングするのに必要なパケットのみを抽出する請求項１３に記載のシステム。
【請求項１５】
デジタル中間（ＤＩ）処理の方法であって、
ａ）デジタルイメージのシーケンスに関するスケーラブル圧縮コードストリームを提供するステップであって、複数の解像度および／または複数の品質レベルでイメージの空間領域を抽出するために、前記コードストリームが、圧縮データのパケットへのランダムアクセスを提供するステップと、
ｂ）１つまたは複数のデジタルイメージに関するプロキシに関して実施される後処理オペレーションの決定リストを提供するステップと、
ｃ）前記プロキシイメージをレンダリングするのに使用されるパケットと、前記プロキシでレンダリングされない解像度および／または品質レベルに関する追加のパケットとを含むパケットを抽出するステップと、
ｄ）前記パケットをイメージデータとして解凍するステップと、
ｅ）前記決定リストによって指定される前記イメージデータに対して前記オペレーションを実施するステップと、
ｆ）修正後データを修正後パケットに再圧縮するステップと、
ｇ）修正後パケットと未修正パケットの両方を含む圧縮コードストリームを再書込みするステップと
を含む方法。
【請求項１６】
前記圧縮コードストリームが、
修正後圧縮データの部分を、前記コードストリームの圧縮データの対応する元の部分と同じ長さにするとともに、
前記圧縮コードストリームの元の部分を前記修正後圧縮データの対応する部分で上書きする
ことによって再書込みされる請求項１５に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画およびビデオの作成で使用されるワークフローに関し、より詳細には、動画のポストプロダクションでのデジタル中間処理で直面する作業に関する。
【背景技術】
【０００２】
デジタル中間（ＤＩ）処理
少数ではあるがますます多くの動画がデジタルカメラおよび／またはデジタルプロジェクタを使用して記録および／または展示されている一方、大部分の動画はフィルムを使用して記録および展示される。フィルムを使用して動画を記録および展示することができるとしても、多数のますます多くの動画が、ポストプロダクションでデジタル処理技法を使用している。この処理はデジタル中間（ＤＩ）処理と呼ばれる。後処理の例は、編集（どのイメージをどの順序で含めるかを決定すること）、色補正、特殊効果、パンおよびスキャン、字幕、ショット分離、再フレーミング、シーン分類、アーチファクト除去、解像度向上、ノイズ低減、シャープニング、および検証を含む。ＤＩ処理の後、イメージがフィルムに記録し直され、動画のマスタリングおよび配布に関係する様々なプリントが作成される。
【０００３】
ＤＩプロセスは、後処理のために各イメージの低解像度の「プロキシ」を作成する。このことは、デジタルイメージを固定の解像度にダウンサンプリングすることによって行われる。次いで、各ダウンサンプリングバージョンが固定の品質レベルで圧縮され、圧縮プロキシが格納される。解像度および品質レベルの選択は、処理能力、記憶容量、ディスプレイ能力、および様々な編集機能の要件の間での兼ね合いを表す。ポストプロセッサ（編集者、カラーリストなど）が一定のシーンまたはカットを要求するとき、対応する圧縮イメージが解凍され、プロキシのシーケンスが表示される。プロキシは、元のイメージのデジタルバージョンから作成されるが、それとは完全に異なる別個のデジタルイメージである。元のイメージのデジタルバージョンの格納に加えて、圧縮プロキシの格納が必要である。後処理は、各プロキシに対して実施されたオペレーションのリストを含む１つまたは複数の決定リストを生成する。プロキシに対する編集、色補正などが完了すると、元のイメージのデジタルバージョンに対して同一のオペレーションが実施されるように決定リストがデジタルイメージに適用される。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
米国特許第５５７７１９１号は、デジタルビデオデータが圧縮され、イントラフレームのみであり、格納されるデジタルビデオ編集および出版システムを説明している。圧縮データの選択されたフレームが解凍され、編集され、再圧縮される。編集および圧縮されたビデオシーケンスが解凍され、次いで、イントラフレーム圧縮とインターフレーム圧縮の両方を使用して再圧縮される。このデジタルマスタファイルを作成する際に使用されるイントラフレーム圧縮のパラメータは、解凍イメージが対象の出版媒体に対応する選択された解像度および品質となるように設定される。この手法は、イントラフレーム圧縮を当初のみ使用し、イントラフレームおよびインターフレーム圧縮の優れた圧縮能力を使用することにより、個々のフレームを解凍および編集する能力を組み合わせる。この手法は編集のためのプロキシを使用しない。したがって、対象の出版媒体が非常に高い解像度である場合、編集プロセスが非常に煩雑となる可能性がある。
【０００５】
ＪＰＥＧ２０００は、新しい国際的イメージ圧縮規格（ＩＳＯ／ＩＥＣ  １５４４４）であり、スチル画像に対する最先端の圧縮性能と、具体的には台頭しつつあるイメージング応用例の伝送要件および格納要件に対処するように設計されたいくつかの機能とを提供する。具体的には、ＪＰＥＧ２０００は、大きなデジタルイメージの配布中に伝送すべきデータ量を低減するためにスケーラビリティおよび圧縮コードストリームへのランダムアクセスを提供するためのいくつかの機構を提供する。具体的には、低解像度バージョン、削減された空間領域、および低減された品質イメージ、あるいはそれらの組合せをコードストリームから抽出することができる。この目的で、イメージデータが圧縮され、コードストリーム中のパケット内に格納される。
【０００６】
ＪＰＥＧ２０００の機能は、医学的画像の格納および配布のためなど、大きなイメージの伝送を容易にするように開発された。さらに、ＪＰＥＧ２０００は、大オーバヘッドイメージならびに地図を配布するのに使用されている。こうしたイメージおよび地図は、ユーザの望む解像度で様々な空間領域を明らかにするように対話的に閲覧することができる。米国議会図書館は、ユーザがインターネットを介して保管画像をブラウズすることが可能となるようにＪＰＥＧ２０００を使用することを考慮中である。重要なことに、ＪＰＥＧ２０００は、デジタル動画の配布のために選択された。この選択は主に、単一のファイルが高解像度ならびに中解像度のプロジェクタの必要を満たすことができるという事実に基づいていた。具体的には、ファイル全体が高解像度プロジェクタに適している。あるいは、中解像度プロジェクタで使用するために（映画館で）中解像度画像を抽出することもできる。
【課題を解決するための手段】
【０００７】
本発明は、スケーラブルイメージ圧縮を利用して、動画のポストプロダクションでの創造的プロセスを容易にすることである。具体的には、本発明は、クライアント要求に応答してプロキシを動的にレンダリングすることによって動画のデジタル中間（ＤＩ）処理を可能にする。ＤＩアプリケーションは、編集者、カラーリスト、およびその他の創造的な人々に、その人々が処理するプロキシビデオクリップの領域、解像度、および品質レベルを選択する機能を提供することにより、後処理の効率と、作業製品の品質を高めるように設計される。ＤＩアプリケーションはまた、決定リストを圧縮コードストリームのフル（非プロキシ）バージョンまたは非圧縮イメージに効率的に適用し、フィルム、デジタルシネマ、ＤＶＤ、およびその他のビデオ応用例向けの編集済み製品をフォーマットする方法を提供する。
【０００８】
動画からのデジタルイメージが、ＪＰＥＧ２０００などのスケーラブル圧縮アルゴリズムを使用して非常に高い品質、恐らくは無損失で圧縮され、圧縮コードストリームとして格納される。非圧縮デジタルイメージおよび／または圧縮コードストリームが保存される。ポストプロセッサは、そのＰＣまたはワークステーションから、一定の数のフレーム、フレーム内の特定の空間領域、ならびに所望の低い解像度および／または所望の低い品質レベルを求める要求を作成する。
【０００９】
それに応答して、ＤＩアプリケーションは、ポストプロセッサのワークステーション上で、要求された空間領域、解像度、および品質でプロキシイメージをレンダリングするのに必要なパケットを抽出および解凍する。これにより、編集者、カラーリスト、特殊効果アーティストなどが、その人々の特定の変化する必要および個人的嗜好および動画の変化する内容に合わせて、閲覧するプロキシを調整することが可能となる。さらに、その人々は、様々な領域、解像度、または品質レベルを閲覧するように要求を変更することができ、さらには、同じイメージまたはイメージのシーケンスの２つ以上の異なるビューを同時に要求することができる。圧縮された格納イメージ自体から必要に応じてプロキシが動的に生成される。固定のプロキシは作成されず、格納されない。
【００１０】
後処理は、動的プロキシに対して実施されたオペレーションのすべて（編集、色補正、特殊効果、タイトルなど）を含む決定リストを生成する。各後処理機能について、またはすべての後処理機能が完了した後に、決定リストをデジタルイメージに適用することができる。圧縮コードストリームまたは非圧縮デジタルイメージに決定リストを適用することができる。プロキシイメージをレンダリングするのに使用されるパケットと、プロキシイメージでレンダリングされない解像度および／または品質レベルのための追加のパケットとを含むパケットを抽出し、パケットを解凍し、決定リストごとに後処理オペレーションを実施し、データを再圧縮し、格納されるコードストリームの適切な位置にパケットを挿入し直することにより、リストをコードストリームに適用することができる。あるいは、特定の機能の完了時に各決定リストを圧縮コードストリームに適用することもでき、次いですべての後処理機能が完了した後、決定リストのすべてを非圧縮デジタルイメージに適用してデジタルマスタをレンダリングすることができる。
【００１１】
添付の図面と共に行われる好ましい実施形態の以下の詳細な説明から、本発明の上記およびその他の特徴および利点が当業者には明らかとなるであろう。
【発明を実施するための最良の形態】
【００１２】
本発明は、クライアント要求に応答してプロキシを動的にレンダリングすることによってデジタル中間（ＤＩ）処理を提供する。
ＪＰＥＧ２０００などのスケーラブルコーデックの特徴を利用して、本発明による高解像度／高品質圧縮イメージを使用するＤＩ処理を実施することができる。本発明をＪＰＥＧ２０００に関して説明するが、同様のスケーリング特性を有する任意のイメージ表現を使用できることは明らかである。例えば、ＭＰＥＧ（Ｍｏｔｉｏｎ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔ  Ｇｒｏｕｐ）内で、ＳＶＣ（スケーラブルビデオコーディング）と呼ばれるプロジェクトに関する作業が開始した。同様に、（フィルムキャプチャを想定して）本発明をＤＩ処理に関して説明するが、ビデオカメラ、デジタルシネマカメラ、またはその他の電子キャプチャおよび／または記録装置が使用されるときに本発明が適用可能であることは明らかである。この場合、ＪＰＥＧ２０００を使用してデジタルデータをカメラ上で圧縮することができ、または（やはりＪＰＥＧ２０００を使用して）キャプチャ後に圧縮することができる。そのような圧縮は非常に高い品質（恐らくは無損失）でよい。最後に、ＤＩプロセスをクライアントサーバネットワークの状況で説明するが、他の構成も可能であることを理解されたい。例えば、格納ステップ、処理ステップ、作成ステップ、および配布ステップのすべてを、単一コンピュータ上で動作する単一ソフトウェアアプリケーションで実施することができる。
【００１３】
フィルムに関連する非常に高い２ｋおよび４ｋの解像度では、ＪＰＥＧ２０００の圧縮性能は、他の従来の最新のビデオコーダの圧縮性能に匹敵し、またはそれを上回る。デジタルシネマ展示などの最高解像度のデジタル応用例では、ＤＩプロセスを実施し、かつ動画を配布するためにＪＰＥＧ２０００を使用することができる。ＤＶＤ、ビデオテープ、ＴＶなどの低解像度デジタル応用例では、配布のために使用される別のビデオコーダ（ＭＰＥＧ、ＷＭ−９）と共にＤＩプロセスを実施するためにＪＰＥＧ２０００を使用することができる。
【００１４】
図１および２に示すように、ＤＩアプリケーション９０が、ＪＰＥＧ２０００のスケーラビリティおよびランダムアクセス特徴を利用することによって高解像度／高品質圧縮イメージに対するＤＩ処理を実施するようにクライアントサーバアーキテクチャ９２内に実装される。ポストハウスは通常、イメージ９６のシーケンスからなる元の記録されたデータ（フィルム９４）を備える（ステップ９８）。スキャナ１００は、各イメージ９６をスキャンし（ステップ１０２）、デジタルイメージ１０４を作成する。サーバ１０６は、ＪＰＥＧ２０００（または類似のスケーラブルコーダ）を使用して非常に高い品質、恐らくは無損失で、デジタルイメージのシーケンスを圧縮し（ステップ１０８）、大容量記憶装置１１４に圧縮コードストリーム１１０（図３参照）を格納する（ステップ１１２）。通常は、安全に保持するために元の非圧縮および／または圧縮デジタルイメージが保存される。
【００１５】
クライアントワークステーション１１５で作業する「ポストプロセッサ」が、フィルムの所望のフレームを選択し、解像度、空間領域、品質レベル、および／または色成分を選び（ステップ１１６）、要求を発行する（ステップ１１８）。デフォルトの初期要求は、すべての所望のフレームを全空間範囲、低い解像度、中程度の品質、およびすべての色成分で取り出すことでよい。ポストプロセッサは、同一のコードストリームから複数の同時かつ異なる要求を作成することができる。例えば、ポストプロセッサは、イメージ全体の低解像度バージョンをイメージの特定の領域の高解像度バージョンと同時に閲覧したいことがある。ポストプロセッサは、レンダリングされたイメージのうちの１つ、いくつか、またはすべてに対して同時に、または順に作業することがある。さらに、ある場合には、複数のポストプロセッサ（編集者、カラーリスト、特殊効果の人々など）が異なる要求を同時に作成する可能性がある。
【００１６】
クライアントワークステーション１１５をサーバ１０６と一緒に、例えばポストハウス内に配置することができ、または例えばポストプロセッサ自身のスタジオまたは家にリモートに配置することができる。どちらの場合も、サーバは、通信チャネル１１９、例えばＥｔｈｅｒｎｅｔ（登録商標）、ｆｉｒｅｗｉｒｅ、インターネットなどを介して多くのデータを送信しなければならない。リモートクライアントの場合、通信チャネルを「帯域幅制限」することができ、例えば要求されたプロキシを対話的作業環境で動的にレンダリングするようにデータを送信するには遅過ぎるようにすることができる。１つの手法は、圧縮コードストリーム全体をリモートクライアントのワークステーションにオフラインでダウンロードし、次いで既に述べたのと同様に続行することである。しかし、この手法は多くの時間がかかり、クライアントが全フィルムのために十分なストレージを有することを必要とし、ポストハウスの制御からコードストリーム全体を解放することになる。あるいは、ポストプロセッサは、１つまたは複数のシーン、場合によっては実施される後処理ステップを指定する初期クライアント要求をサーバに送る。サーバは、そのシーンに関するパケットを低い解像度および／または品質レベルで抽出し、それを、帯域幅制限されたチャネルを介してリモートクライアントワークステーションに送信する。低い解像度および／または品質レベルを、非常に高い品質イメージをなお提供するが、ビットが少ないレベルに固定することができ、あるいはチャネル容量、実施すべき後処理ステップの要件、および／または特定のクライアントワークステーションの能力の先験的知識に基づいて求めることができる。クライアントはパケットを受信し、それをローカルに格納する。その後で、さらに低い解像度および／または品質レベルで特定の空間領域を求めるすべてのクライアント要求がローカルに処理され、プロキシが動的にレンダリングされる。完了した後、決定リストがサーバに送り戻される。
【００１７】
ポストプロセッサが、様々な領域、解像度、および品質レベルを要求するように設定されたＪＰＥＧ２０００の特徴によって与えられる高い柔軟性を有するので、要求が編集ツールと非互換となる可能性があり、またはより多くの情報が提供される可能性があるという意味で最適以下となる可能性がある。例えば、ポストプロセッサのディスプレイが４ｋイメージディスプレイをサポートしない可能性があり、またはワークステーションが個々のイメージについてイメージの全空間範囲を高解像度および高品質で、特にビデオフレームレートでレンダリングすることができない可能性がある。ポストプロセッサは通常、その作業を実施するためにイメージをビデオとスチルフレームの両方として見る。パラメータのうちの１つまたは複数を調節することによってシステム能力に準拠するように要求を作成することができる（ステップ１２０）。あるいは、サブサンプリング、クロッピングなどによってワークステーションで非準拠要求を処理し、準拠するようにすることもできる。
【００１８】
要求に応答して、ＤＩアプリケーションは、所望の空間領域を指定の低い解像度、品質、または成分でレンダリングすることを必要とされるパケットをコードストリーム１１０から抽出し（ステップ１２２）、パケットからのデータを解凍し（ステップ１２４）、それを、ワークステーション１１５上で低減されたプロキシイメージ１２６のシーケンスにレンダリングする（ステップ１２８）。計算を最小限に抑えるために、好ましい実施形態では、アプリケーションは、プロキシをレンダリングするのに必要とされるパケットのみを抽出する。初期要求時に、解凍されたパケットからイメージが直接的にレンダリングされる。同じイメージに対する後続の要求では、追加のパケットが抽出され、既存のパケットに追加され、次いで解凍されて、追加の解像度、品質、空間範囲、または色成分を有するイメージが得られる。
【００１９】
デジタルイメージ２００に関するコードストリーム１１０からパケットを抽出するプロセスの一例が図３に示されている。ＪＰＥＧ２０００圧縮２０２が、低い解像度イメージ２０４、低減された空間領域イメージ２０６、ならびに低減された空間領域および低い解像度イメージ２０８がそれから抽出され、解凍（２１０）されるコードストリーム１１０を生成する。
【００２０】
低減されたデジタルイメージ１２６が、ポストプロセッサワークステーション１１５上でスチルまたはビデオシーケンスとして表示される。ポストプロセッサは、後処理パッケージを使用してフレームを選択およびリオーダし、ワイプ、スワイプ、ディゾルブ、フェードを実施し、色補正、パンおよびスキャン、特殊効果を挿入し、ショット分離、再フレーミング、シーン分類、アーチファクト除去、解像度向上、ノイズ低減、シャープニング、および検証などを実施する（ステップ１３２）。多くの場合、こうした機能は、異なる人々によって異なるマシン上で異なる場所で実施される。さらに、こうした機能の一部は、最小のユーザ対話またはユーザ対話なしでコンピュータで実施することができる。こうした別々の作業のそれぞれは、それぞれの低減されたデジタルイメージに対して実施されるオペレーションを記録する決定リストを生成する（ステップ１３４）。こうした機能を実施する際に、ポストプロセッサは、フレームの異なる部分にパンし、より高い解像度にズームインし、フレーム全体にズームアウトし、無損失を含む様々な品質レベルを観察し、恐らくは白黒で閲覧したいことがある（ステップ１３６）。マウス、スタイラスなどによって提供される標準ワークステーション機能を再形成のためのインターフェース（ステップ１１６）および別の編集者の要求の発信（ステップ１１８）として使用することができる。この柔軟性は、ポストプロセッサの効率および作業製品の品質を著しく高める。
【００２１】
本発明がＤＩプロセスにもたらす柔軟性を示すために、元のイメージがサイズ４０９６×２１６０（４ｋ）であり、非常に高い品質で（または無損失で）圧縮されると仮定する。どのイメージをどの順序で含めるべきであるかを決定するとき、低解像度バージョン（２０４８×１０８０など）だけを解凍および表示することができる。同様に、低い品質を使用することもできる。決定の編集は、低い解像度／品質に基づいて行われる。望まれるなら、編集者は、「ズームイン」して特定の空間領域をより高い解像度で閲覧することができる。それぞれの場合に、編集者が閲覧する画像が高解像度／高品質圧縮コードストリームから解凍される。このプロセスは、どのイメージをどの順序で保持するかの決定リストを生成する。
【００２２】
別の例として、色補正を考慮する。イメージの低解像度／品質バージョンをリアルタイムで表示することができる。次いで、カラーリストが低解像度／品質バージョンに対して働く。カラー決定が行われると、それが決定リストに書き込まれる。カラーリストは、特定の空間領域をより良く見るためにズームインすることができる。この場合、カラーリストは、ズームインされたピクセルに対して補正を実施することができる。こうしたピクセルはフル解像度でよく、またはフル解像度と、色補正を実施するのに名目上使用されている低い解像度との「間の」解像度でよい。類似の技法を使用して、空間領域内の補正をスポットチェックすることができる。低解像度で色補正を実施した後、カラーリストは、（より高い解像度または）フル解像度で結果を見るためにズームインすることができる。フル解像度にズームインする能力により、カラーリストが固定解像度プロキシの能力を超える「赤目」などの細部に関する補正を行うことが可能となる。すべての色補正決定が終了すると、それが、フル（低減されていない）圧縮コードストリームへの後続の適用のために決定リストに格納される。
【００２３】
さらに別の例として、元のフィルムが最終的に望まれるよりも広い視野をキャプチャし、フィルムがさらに高い解像度、例えば５ｋでスキャンされた場合、編集者は、このイメージ内でパンおよびスキャンし、４ｋデジタルイメージを「フレーミング」することができる。これは、再撮影することなくＤＩプロセス中にフィルムを修正するためのかなりの柔軟性を編集者、ディレクタなどに与え、時間とお金の両方を節約する。もちろん、これは、デジタルカメラが例えば５ｋでより広い視野イメージをキャプチャするのに使用される場合にも当てはまる。
【００２４】
ＤＩアプリケーションは、（低減されていない）格納コードストリームまたは元の非圧縮イメージに決定リストを適用し、後処理オペレーションを組み込む（ステップ１３８）。後者の場合、次いでこうした処理イメージが圧縮され、コードストリームに挿入され、同様のイメージに取って代わる。図４に示すように、リストをコードストリームに適用するために、ＤＩアプリケーションは、関連パケットをコードストリームから抽出する（ステップ１４０）。関連パケットは、プロキシをレンダリングするために抽出されたパケットのサブセット（プロキシパケットの一部は修正されないことがある）に加えて、レンダリングされるプロキシがフル（または所望の出力）解像度および／または品質未満であった場合の追加のパケット（プロキシをレンダリングするときには抽出されない）を含む。ＤＩアプリケーションは、（必要なら）抽出されたパケットを解凍し（ステップ１４２）、決定リストごとにオペレーションを実施し（ステップ１４４）、（必要なら）データを再圧縮して修正後パケットを形成する（ステップ１４６）。ほとんどの場合、何らかの解凍／再圧縮が必要となるが、例えばフレーム選択およびリオーダリングの編集機能はそれを必要としない。
【００２５】
ＤＩアプリケーションは、修正後パケットを含むコードストリームを適切な位置に書き込む（ステップ１４８）。現在のところ好ましい実施形態では、修正後パケットのみが修正後コードストリーム中で置き換えられる。修正後コードストリーム中の多くのパケットは未修正のままでよい。補正された空間領域のみを修正することは、小さい空間領域のみを修正すべきときであってもすべてのピクセルが解凍／再圧縮される場合に既存のシステムで経験することのある「ノイズビルドアップ」を回避する。これは、不要な計算も回避し、したがってプロセスを加速する。しかし、後処理後の領域全体、さらにはイメージ全体に対する全解凍および再圧縮が望ましい場合、それを実施することもできる。
【００２６】
ＤＩプロセスが各後処理ステージについて反復される。最後の決定リストが適用されると、圧縮コードストリームが、圧縮フォーマット、適切にはＪＰＥＧ２０００で「デジタルマスタ」１５０として直接出力され、または決定リストのすべてが元の非圧縮イメージに適用され、圧縮され、次いでデジタルマスタとして出力される。図５に示すように、デジタルマスタ１５０が解凍され（ステップ１５４）、フィルム１５５に書き出される（ステップ１５６）。コードストリームからビットをダンピングし、または異なるＪＰＥＧ２０００パラメータ値を有するコードストリームにビットをトランスコーディングすることによってデジタルマスタを「低減する」こともでき（ステップ１５８）、適切なデジタル媒体、例えばデジタル展示用のハードディスク、磁気磁気テープ、またはＤＶＤ１５９上に格納されたデジタル配布マスタが提供される（ステップ１６０）。
【００２７】
コンテンツをオーサリングおよび配布する代替実施形態では、格納されたコードストリームが各後処理作業の後に更新されない。図６ａおよび６ｂに示すように、元のコードストリーム１１２が維持され、決定リストが、異なる展示フォーマットに関するブランチ１７３に沿って作成されるとき、決定木１７２内のノード１７１として格納される（ステップ１７０）。例えば、フィルム、ＨＤ  ＤＶＤ、および放送ＴＶ用の各カットは異なることがある。フィルムおよびＴＶ上のデジタル展示に関する色補正も異なる。トレードオフ（ｔｒａｄｅｏｆｆ）は、ツリー内のブランチ１７３に沿う後処理作業を、実施すべき「現」後処理作業について、多くの場合はリアルタイムで、レンダリングされたプロキシに適用しなければならないことである（ステップ１７４）。レンダリングされたプロキシと空間的に重なる後処理作業のみを適用しなければならないことに留意されたい。別の実施形態では、共通後処理作業（共通ノード１７６）がコードストリームに適用される（ステップ１７６）。非共通ノードを含む分離したブランチ１７３が格納され（ステップ１７０）、必要に応じてレンダリングされたプロキシに適用される。
【００２８】
図７に示すように、圧縮コードストリームとは別々に、異なる媒体に関する決定リストの一部またはすべてを格納することは、複数のデジタル配布マスタの作成の際にかなりの柔軟性を提供する。この場合、デジタルマスタは、圧縮コードストリームおよび決定木１８０からなり、元のコードストリームおよびツリー全体、または共通ノードを有するコードストリームが、固有ブランチと共に既に適用されている。所与の展示フォーマットについて、ツリー内の所与のブランチに沿うノードに対応する決定リストがコードストリームに順次適用される。第１ノードが選択され（ステップ１８２）、パケットが配布フォーマットに基づいて抽出される（ステップ１８４）。影響を受ける空間領域からのビットが解凍され（ステップ１８６）、選択されたノードに関する決定リストが適用され、オペレーションが実施される（ステップ１８７）。その後で、処理されたビットが再圧縮され、コードストリームに挿入し直され、例えば再書込みされる（ステップ１８８）。このプロセスが反復され、媒体特有のＪＰＥＧ２０００デジタルマスタが作成される（ステップ１９０）。あるいは、すべての決定リストによって影響を受ける領域を抽出し、すべての決定リストを解凍および適用し、ＪＰＥＧ２０００または目標の出力コーデックを使用して再圧縮することも可能である。イメージ全体に関する全解凍および再圧縮が望まれる場合、それを実施することができる。デジタルマスタを上述のように低減して、ＪＰＥＧ２０００デジタル配布マスタを作成することができ、または解凍（ステップ１９２）し、ＭＰＥＧやＷＭ−９などの異なるコーデックで再圧縮することができる（ステップ１９４）。あるいは、圧縮コードストリームおよび決定リスト１８０から開始して、すべてのデータを解凍することができ、適切な決定リストを適用し、その後に続いてＪＰＥＧ２０００または異なるコーデックで再圧縮する。別の実施形態では、特定のツリー内の決定リスト（ステップ１８２）を元の非圧縮イメージに適用し（ステップ１８９）、圧縮して（ステップ１８８）、デジタルマスタを形成することができる。
【００２９】
上述のように、ある実施形態では、後処理後のピクセルデータが圧縮され、パケットとして形成され、ＪＰＥＧ２０００コードストリームに書き戻される。一般に、関連パケットの長さは、後処理の前と異なることになる。したがって、（ａ）コードストリームのすべてまたはほぼすべてを再書込みし、または（ｂ）修正後データの部分を、格納されたデータの対応する元の部分と同じ長さを有するように強制することによって後処理後コードストリームを生成することができる。（ｂ）の場合、コードストリームの修正後部分を単に上書きすることによって後処理後コードストリームを作成することができる。
【００３０】
（ａ）の場合、後処理される外部のパケットを修正する必要はない。非後処理後パケットを単に新しく編集されたコードストリームにコピーすることができる。コードストリームを再書込みするプロセスを図８に示す。この図では、各未修正パケットが未編集圧縮コードストリームから修正後圧縮コードストリームにコピーされ、適切ならば修正後パケットが置き換えられる。具体的には、圧縮コードストリームの始まりで開始して（ステップ３００）、各パケットが順にアクセスされ（ステップ３０２）、その関連性を判定するためにテストされる（ステップ３０４）。パケットが後処理に関連しない（パケットが未修正である）場合、それが（新しい）修正後コードストリームに直接コピーされる（ステップ３０６）。パケットが関連する場合、未修正パケットが廃棄され、パケットの修正後バージョンが修正後コードストリームに挿入される（ステップ３０８）。
【００３１】
図９に示す第２のケース（ｂ）では、コードストリームのかなりの再書込みを回避することによって入力／出力要件を低減することができる。これは、処理速度をさらに加速することができる。図１０に示すように、未修正圧縮コードストリームがアクセスされる（ステップ３１０）。修正すべきコードストリームの第１部分について長さが求められる（ステップ３１２）。コードストリームの対応する修正後部分がこの同じ長さを有するように強制される（ステップ３１４）。次いで、未修正部分が修正後部分で上書きされる（ステップ３１６）。このプロセスが、プロセスが完了するまで（ステップ３２０）、修正を必要とするコードストリームの各部分について反復される（ステップ３１８）。
【００３２】
コードストリームの修正後部分が単一パケットに限定される場合、修正後パケットは、修正後パケットが置き換わる未修正パケットと同じ長さを有さなければならない。一方、コードストリームの修正後部分が複数の連続するパケットに影響を及ぼす場合、必要なのは修正後パケットの全長が未修正パケットの全長と等しくなることだけである。具体的には、個々の修正後パケット長は、未修正部分とは異なる可能性がある。この状況を図１０に示す。
【００３３】
本発明のいくつかの例示的実施形態を図示し、説明したが、多数の変形形態および代替実施形態が当業者には思い浮かぶであろう。そのような変形形態および代替実施形態が企図され、添付の特許請求の範囲で定義される本発明の精神および範囲から逸脱することなくそれを作成することができる。
【図面の簡単な説明】
【００３４】
【図１】本発明によるＤＩ処理に関するクライアントサーバネットワークのブロック図である。
【図２】本発明によるフィルムおよびデジタルシネマ展示のためのＪＰＥＧ２０００を使用するＤＩプロセスの流れ図である。
【図３】異なる解像度、品質、空間領域、および／または成分のビデオをレンダリングするためのＪＰＥＧ２０００コードストリームからのパケットの抽出を示す図である。
【図４】決定リストを圧縮コードストリームに適用するステップの流れ図である。
【図５】フィルムおよびデジタル展示マスタにデジタルマスタを書き込むことについての図である。
【図６ａ】ＤＩプロセスの図である。
【図６ｂ】ＤＩプロセスの図である。
【図７】決定リストの一部またはすべてが格納されるデジタルマスタの作成の図である。
【図８】可変長データで後処理後コードストリームを再書込みすることについての流れ図である。
【図９】固定長データで後処理後コードストリームを再書込みすることについての流れ図である。
【図１０】後処理後データの長さを圧縮コードストリームの長さに固定することについての図である。
【図１】
2008530856.tif 000003
【図２】
2008530856.tif 000004
【図３】
2008530856.tif 000005
【図４】
2008530856.tif 000006
【図５】
2008530856.tif 000007
【図６ａ】
2008530856.tif 000008
【図６ｂ】
2008530856.tif 000009
【図７】
2008530856.tif 000010
【図８】
2008530856.tif 000011
【図９】
2008530856.tif 000012
【図１０】
2008530856.tif 000013
【国際調査報告】
2008530856.tif 000014