(57)【要約】  本発明による特定の実施形態によれば、圧縮済みの１回目のオーディオ及び符号化済みの１回目のビデオを含むコンテンツのセグメント内に代替のデジタルオーディオ及びビデオコンテンツを提供する方法は、代替のオーディオトラックの代替オーディオのセグメント間にブランクオーディオを挿入するステップと、代替のビデオトラックの代替ビデオのセグメント間にブラックビデオを挿入するステップと、上記代替のオーディオトラックを親タイムラインに同期させるステップと、上記代替のビデオトラックを親タイムラインに同期させるステップと、上記代替のオーディオトラックを圧縮するステップと、上記代替のビデオトラックを圧縮するステップと、上記圧縮済みの代替オーディオトラックからブランクオーディオをトリミングするステップと、上記圧縮済み代替のビデオトラックからブラックビデオをトリミングするステップと、上記トリミングした圧縮済みの代替オーディオを同期させて、該トリミングした圧縮済みの代替オーディオを１回目の圧縮済みオーディオと時間的に正しく配置するステップと、上記トリミングした圧縮済みの代替ビデオを同期させて、該トリミングした圧縮済みの代替ビデオを１回目の圧縮済みビデオと時間的に正しく配置するステップと、上記トリミングした圧縮済みの代替オーディオとトリミングした圧縮済みの代替ビデオとを、１回目の圧縮済みオーディオと１回目の圧縮済みビデオとに多重化させるステップとを含む。【選択図】図４
2009525685.tif 000002
【特許請求の範囲】
【請求項１】
圧縮済みの１回目のオーディオ及び符号化済みの１回目のビデオを含むコンテンツのセグメント内に代替のデジタルオーディオ及びビデオコンテンツを提供する方法であって、
代替のオーディオトラックの代替オーディオのセグメント間にブランクオーディオを挿入するステップと、
代替のビデオトラックの代替ビデオのセグメント間にブラックビデオを挿入するステップと、
前記代替のオーディオトラックを親タイムラインに同期させるステップと、
前記代替のビデオトラックを前記親タイムラインに同期させるステップと、
前記代替のオーディオトラックを圧縮するステップと、
前記代替のビデオトラックを符号化するステップと、
前記圧縮済みの代替オーディオトラックから前記ブランクオーディオをトリミングするステップと、
前記符号化済みの代替ビデオトラックから前記ブラックビデオをトリミングするステップと、
前記トリミングした圧縮済みの代替オーディオを同期させて、該トリミングした圧縮済みの代替オーディオを前記１回目の圧縮済みオーディオと時間的に正しく配置するステップと、
前記トリミングした符号化済みの代替ビデオを同期させて、該トリミングした符号化済みの代替ビデオを前記１回目の符号化済みビデオと時間的に正しく配置するステップと、
前記トリミングした圧縮済みの代替オーディオと前記トリミングした符号化済みの代替ビデオとを、前記１回目の圧縮済みオーディオと前記１回目の符号化済みビデオとに多重化させるステップと、
を含むことを特徴とする方法。
【請求項２】
前記１回目のオーディオと前記代替のオーディオとは、１つのオーディオコンプレッサを用いて圧縮される、
ことを特徴とする請求項１に記載の方法。
【請求項３】
前記オーディオコンプレッサは、ＡＣ−３、ＡＡＣ、ＤＴＳ、又はＭＰＥＧ−１のうちの１つに準拠する、
ことを特徴とする請求項２に記載の方法。
【請求項４】
前記１回目のオーディオと前記代替のオーディオとは、第１のオーディオコンプレッサと第２のオーディオコンプレッサとを用いて圧縮される、
ことを特徴とする請求項１に記載の方法。
【請求項５】
前記オーディオコンプレッサは、ＡＣ−３、ＡＡＣ、ＤＴＳ、又はＭＰＥＧ−１のうちの１つに準拠する、
ことを特徴とする請求項４に記載の方法。
【請求項６】
前記１回目のビデオと前記代替のビデオとは、第１のビデオエンコーダと第２のビデオエンコーダとを用いて符号化される、
ことを特徴とする請求項１に記載の方法。
【請求項７】
前記ビデオエンコーダは、ＭＰＥＧ−２、ＡＶＣ、ＶＣ−１、又はＭＰＥＧ−４のうちの１つに準拠する、
ことを特徴とする請求項６に記載の方法。
【請求項８】
前記１回目のビデオと前記代替のビデオとは、１つのビデオエンコーダを用いて符号化される、
ことを特徴とする請求項１に記載の方法。
【請求項９】
前記ビデオエンコーダは、ＭＰＥＧ−２、ＡＶＣ、ＶＣ−１、又はＭＰＥＧ−４のうちの１つに準拠する、
ことを特徴とする請求項８に記載の方法。
【請求項１０】
パケット識別子（ＰＩＤ）リマッパが、前記１回目のオーディオと、前記代替のオーディオと、前記１回目のビデオと、前記代替のビデオとを、各々別個のＰＩＤ値にマッピングする、
ことを特徴とする請求項１に記載の方法。
【請求項１１】
プログラムされたプロセッサ上で実行される場合、請求項１に記載の処理を実行する命令を記憶する、
ことを特徴とするコンピュータ可読記憶媒体。
【請求項１２】
圧縮済みの１回目のオーディオ及び符号化済みの１回目のビデオを含むコンテンツのセグメント内に代替のデジタルオーディオ及びビデオコンテンツを提供するビデオエディタであって、
親タイムラインに同期される代替のオーディオトラックの代替オーディオのセグメント間にブランクオーディオを挿入するオーディオシーケンサと、
前記親タイムラインに同期される代替のビデオトラックの代替ビデオのセグメント間にブラックビデオを挿入するビデオシーケンサと、
前記代替のオーディオトラックを圧縮するコンプレッサと、
前記代替のビデオトラックを符号化し、圧縮するエンコーダと、
前記圧縮済みの代替オーディオトラックから前記ブランクオーディオをトリミングするための手段と、
前記符号化済みの代替ビデオトラックから前記ブラックビデオをトリミングするための手段と、
前記トリミングした圧縮済みの代替オーディオを同期させて、該トリミングした圧縮済みの代替オーディオを前記１回目の圧縮済みオーディオと時間的に正しく配置するための手段と、
前記トリミングした符号化済みの代替ビデオを同期させて、該トリミングした符号化済みの代替ビデオを前記１回目の符号化済みビデオと時間的に正しく配置するための手段と、
前記前記トリミングした圧縮済みの代替オーディオと前記トリミングした圧縮済みの代替ビデオとを、前記１回目のオーディオと前記１回目のビデオとに多重化させるマルチプレクサと、
を備えることを特徴とするビデオエディタ。
【請求項１３】
前記ビデオをトリミングするための前記手段と、前記オーディオをトリミングするための手段とは、オーディオ／ビデオプロセッサにおいて実行される、
ことを特徴とする請求項１２に記載のビデオエディタ。
【請求項１４】
前記ビデオを同期させるための前記手段と、前記オーディオを同期させるための前記手段とは、前記オーディオ／ビデオプロセッサにおいて実行される、
ことを特徴とする請求項１３に記載のビデオエディタ。
【請求項１５】
前記マルチプレクサは、前記オーディオ／ビデオプロセッサにおいて実行される、
ことを特徴とする請求項１３に記載のビデオエディタ。
【請求項１６】
前記第１のオーディオコンプレッサと第２のオーディオコンプレッサとは、ＡＣ−３、ＡＡＣ、ＤＴＳ、又はＭＰＥＧ−１のうちの１つに準拠する、
ことを特徴とする請求項１２に記載のビデオエディタ。
【請求項１７】
前記第１のビデオエンコーダと第２のビデオエンコーダとは、ＭＰＥＧ−２、ＡＶＣ、ＶＣ−１、又はＭＰＥＧ−４のうちの１つに準拠する、
ことを特徴とする請求項１２に記載のビデオエディタ。
【請求項１８】
前記１回目のオーディオと、前記代替のオーディオと、前記１回目のビデオと、前記代替のビデオとを、各々別個のＰＩＤ値にマッピングするパケット識別子（ＰＩＤ）リマッパをさらに含む、
ことを特徴とする請求項１２に記載のビデオエディタ。
【請求項１９】
１回目のオーディオ及び１回目のビデオを含むコンテンツのセグメント内に代替のデジタルオーディオ及びビデオコンテンツを提供するビデオエディタであって、
親タイムラインに同期される代替のオーディオトラックの代替オーディオのセグメント間にブランクオーディオを挿入するオーディオシーケンサと、
前記親タイムラインに同期される代替のビデオトラックの代替ビデオのセグメント間にブラックビデオを挿入するビデオシーケンサと、
前記１回目のオーディオと前記代替のオーディオトラックとを圧縮するためのコンプレッサ手段と、
前記１回目のビデオと前記代替のビデオトラックとを符号化し、圧縮するためのエンコーダ手段と、
前記圧縮済みの代替オーディオトラックから前記ブランクオーディオをトリミングするための手段と、
前記符号化及び圧縮済みの代替ビデオトラックから前記ブラックビデオをトリミングするための手段と、
前記トリミングした圧縮済みの代替オーディオを同期させて、該トリミングした圧縮済みの代替オーディオを前記１回目のオーディオと時間的に正しく配置するための手段と、
前記トリミングした符号化及び圧縮済みの代替ビデオを同期させて、該トリミングした符号化及び圧縮済みの代替ビデオを前記１回目のビデオと時間的に正しく配置するための手段と、
前記トリミングした圧縮済みの代替オーディオと前記トリミングした符号化及び圧縮済みの代替ビデオとを、前記圧縮済みの１回目のオーディオと前記符号化及び圧縮済みの１回目のビデオとに多重化させるマルチプレクサと、
を備えることを特徴とするビデオエディタ。
【請求項２０】
前記ビデオをトリミングするための前記手段と、前記オーディオをトリミングするための手段とは、オーディオ／ビデオプロセッサにおいて実行される、
ことを特徴とする請求項１９に記載のビデオエディタ。
【請求項２１】
前記ビデオを同期させるための前記手段と、前記オーディオを同期させるための前記手段とは、前記オーディオ／ビデオプロセッサにおいて実行される、
ことを特徴とする請求項１９に記載のビデオエディタ。
【請求項２２】
前記マルチプレクサは、オーディオ／ビデオプロセッサにおいて実行される、
ことを特徴とする請求項１９に記載のビデオエディタ。
【請求項２３】
前記第１のオーディオコンプレッサと第２のオーディオコンプレッサとは、ＡＣ−３、ＡＡＣ、ＤＴＳ、又はＭＰＥＧ−１のうちの１つに準拠する、
ことを特徴とする請求項１９に記載のビデオエディタ。
【請求項２４】
前記第１のビデオエンコーダと第２のビデオエンコーダとは、ＭＰＥＧ−２、ＡＶＣ、ＶＣ−１、又はＭＰＥＧ−４のうちの１つに準拠する、
ことを特徴とする請求項１９に記載のビデオエディタ。
【請求項２５】
前記１回目のオーディオと、前記代替のオーディオと、前記１回目のビデオと、前記代替のビデオとを、各々別個のＰＩＤ値にマッピングするパケット識別子（ＰＩＤ）リマッパをさらに含む、
請求項１９に記載のビデオエディタ。
【請求項２６】
前記コンプレッサ手段は、前記１回目のオーディオと代替のオーディオとを順番に符号化する１つのオーディオコンプレッサを含む、
ことを特徴とする請求項１９に記載のビデオエディタ。
【請求項２７】
前記コンプレッサ手段は、前記１回目のオーディオを符号化する１回目のコンプレッサと、前記代替のオーディオを圧縮する代替のコンプレッサとを含む、
ことを特徴とする請求項１９に記載のビデオエディタ。
【請求項２８】
前記符号化手段は、前記１回目のビデオと前記代替のビデオとを順番に符号化する１つのビデオエンコーダを含む、
ことを特徴とする請求項１９に記載のビデオエディタ。
【請求項２９】
前記符号化手段は、１回目のビデオエンコーダと第２のビデオエンコーダとを含む、
ことを特徴とする請求項１９に記載のビデオエディタ。
【請求項３０】
前記符号化手段は、前記１回目のビデオと代替のビデオとを順番に符号化する１つのビデオエンコーダを含む、
ことを特徴とする請求項１９に記載のビデオエディタ。
【請求項３１】
１回目のオーディオ及び１回目のビデオを含むコンテンツのセグメント内に代替のデジタルオーディオ及びビデオコンテンツを提供するビデオエディタであって、
親タイムラインに同期される代替のオーディオトラックの代替オーディオのセグメント間にブランクオーディオを挿入するオーディオシーケンサと、
前記親タイムラインに同期される代替のビデオトラックの代替ビデオのセグメント間にブラックビデオを挿入するビデオシーケンサと、
前記１回目のオーディオを圧縮するための１回目のオーディオコンプレッサと、前記代替のオーディオトラックを圧縮するための代替のオーディオコンプレッサとを備えたコンプレッサ手段と、
第１のビデオエンコーダと第２のビデオエンコーダとを備え、前記１回目のビデオと前記代替のビデオトラックとを符号化し、圧縮するためのエンコーダ手段と、
前記圧縮済みの代替オーディオトラックから前記ブランクオーディオをトリミングするための手段と、
前記符号化及び圧縮済みの代替ビデオトラックから前記ブラックビデオをトリミングするための手段と、
前記トリミングした圧縮済みの代替オーディオを同期させて、該トリミングした圧縮済みの代替オーディオを前記１回目のオーディオと時間的に正しく配置するための手段と、
前記トリミングした符号化及び圧縮済みの代替ビデオを同期させて、該トリミングした符号化及び圧縮済みの代替ビデオを前記符号化及び圧縮済みの１回目のビデオと時間的に正しく配置するための手段と、
前記トリミングした圧縮済みの代替オーディオと前記トリミングした符号化及び圧縮済みの代替ビデオとを、前記圧縮済みの１回目のオーディオと前記符号化及び圧縮済みの１回目のビデオとに多重化させるマルチプレクサと、
を備え、
前記ビデオをトリミングするための前記手段と、前記オーディオをトリミングするための手段とは、オーディオ／ビデオプロセッサにおいて実行され、前記ビデオを同期させるための前記手段と、前記オーディオを同期させるための前記手段とは、前記オーディオ／ビデオプロセッサにおいて実行され、前記マルチプレクサは、オーディオ／ビデオプロセッサにおいて実行され、さらに、
前記１回目のオーディオと、前記代替オーディオと、前記１回目のビデオと、前記代替ビデオとを、各々別個のＰＩＤ値にマッピングするパケット識別子（ＰＩＤ）リマッパを備える、
ことを特徴とするビデオエディタ。
【発明の詳細な説明】
【技術分野】
【０００１】
［関連出願との相互参照］
本出願は、コンテンツ置換のためのメカニズムに関する米国特許出願第１０／３１９，０６６号、第１０／６６７，６１４号、及び第１０／８２２，８９１号に関連するものであり、これらの出願は、引用により本明細書に組み入れられる。
【背景技術】
【０００２】
テレビ番組、映画、デジタル多用途ディスク（ＤＶＤ）などのオーディオビジュアルコンテンツは、特定の人々が好ましくないと感じる可能性のあるコンテンツを含む場合がある。それらのコンテンツは、上記特定の人々にとって個人的に好ましくないものである場合と、或いは子供達又は他人が閲覧するのに好ましくないと考える場合とのいずれかの場合がある。上記引用した特許出願は、好ましくないコンテンツの置換（又は他のいずれかの理由によるコンテンツの置換）のために使用することができるメカニズムに関するものである。
【０００３】
【特許文献１】米国特許出願第１０／３１９，０６６号
【特許文献２】米国特許出願第１０／６６７，６１４号
【特許文献３】米国特許出願第１０／８２２，８９１号
【発明の開示】
【課題を解決するための手段】
【０００４】
添付図面を参照しながら以下の詳細な説明を参照することにより、構成及び動作方法を示す特定の例示的な実施形態、並びに目的及び利点を最もよく理解することができる。
【発明を実施するための最良の形態】
【０００５】
本発明は、多くの異なる形の実施形態が可能であるが、図には特定の実施形態が示され、ここで詳細に説明されており、このような実施形態についての開示は、原理の一例として見なすべきであり、図示及び説明される特定の実施形態に本発明を限定することを意図するものではない。以下の説明では、同じ参照番号を使用して図面のいくつかの図において同様の、類似の又は一致する部分について説明する。
【０００６】
本明細書で用いられる「１つの（英文不定冠詞）」という用語は、１又は１よりも多い、と定義される。本明細書で用いられる「複数の」という用語は、２又は２よりも多い、と定義される。本明細書で用いられる「別の」という用語は、少なくとも第２の又はそれ以上の、と定義される。本明細書で用いられる「含む（ｉｎｃｌｕｄｉｎｇ）」及び／又は「有する（ｈａｖｉｎｇ）」という用語は、「からなる（ｃｏｍｐｒｉｓｉｎｇ）」（すなわち包括的な用語）と定義される。本明細書で用いられる「結合される」という用語は、必ずしも直接的接続、及び、必ずしも機械的接続を定義するものではないが、「接続される」と定義される。本明細書で用いられる「プログラム」又は「コンピュータプログラム」という用語又は類似の用語は、コンピュータシステム上での実行を意図する一連の命令であると定義される。「プログラム」又は「コンピュータ・プログラム」は、実行可能なアプリケーション、アプレット、サーブレット、ソースコード、オブジェクトコード、共用ライブラリ／ダイナミック・ロード・ライブラリ、及び／又は、コンピュータシステム上での実行を意図する他の一連の命令において、サブルーチン、関数、プロシージャ、オブジェクト方法、オブジェクトの実行を含むことができる。
【０００７】
本明細書で用いられる「プログラム」という用語はまた、第２の文脈（上記の定義を第１の文脈とする）で用いることもできる。第２の文脈では、この用語は「テレビ番組」の意味で用いられる。この文脈では、この用語は、オーディオ・ビデオ・コンテンツの任意のコヒーレントな連続を意味するために用いられ、このオーディオ・ビデオ・コンテンツは、そのコンテンツが、映画、スポーツイベント、複数の部分からなる連続番組の一番組、ニュース放送等のいずれであるかにかかわらず、単一のテレビ番組として解釈され、電子番組案内（ＥＰＧ）の形で伝えられる。
【０００８】
本明細書を通じて、「１つの実施形態」、「ある実施形態」、又は類似の用語についての言及は、実施形態に関連して記述される特定の機能、構造又は特性が、本発明の少なくとも１つの実施形態に含まれることを意味する。従って、本明細書を通じて至るところに出現するこのような語句は、必ずしも全てが同じ実施形態を言及するものではない。さらに、本発明を限定しない１又はそれ以上の実施形態に上記特定の機能、構造又は特性を任意の好適な態様で組み込むことができる。
【０００９】
本明細書で使用される「又は」という用語は、いずれか又は全てを意味すると解釈されるものとする。従って、「Ａ，Ｂ又はＣ」は、「Ａ、Ｂ、Ｃ、ＡとＢ、ＡとＣ、ＢとＣ、ＡとＢとＣ、のいずれか」を意味することになる。この定義に対する例外は、要素、関数、ステップ又は行為の組み合わせが、何らかの方法で本質的に相互に限定的なものとなる場合にのみ生じることになる。
【００１０】
映画又はテレビ番組の評価を変えるために代替コンテンツを提供する場合などに、代替物を提供する処理を行えるコンテンツを提供するためには、オーサリングツールが必要となる。現在のリニア及びノンリニア編集ツールは、この能力を備えていない。
【００１１】
本発明の特定の実施形態によるノンリニア編集システムを使用したコンテンツのオーサリング／編集中に、潜在的に好ましくないコンテンツの除去／修復などの動的な置換の用途に使用する代替コンテンツの管理を実施することができる。図１を参照すると、ノンリニア編集システムにおけるコンテンツの関係の例が示されている。このようなシステムでは、ビデオシーン１０、会話トラック１２及び１４は、１６などの音楽トラック、及びその他のオーディオトラック１８と共に、親タイムライン２０に関連づけられる。これらの情報は、「ノンリニア」方式で記憶される。当業では、記憶媒体としてテープ及びフィルムを使用する「リニア」記憶とは対照的に、ディスクドライブ技術などを使用するデジタル記憶を区別するために「ノンリニア」記憶という用語が用いられる。ノンリニア記憶を使用することにより、コンテンツの要素に到達するのにフィルム又はテープなどの長い「リニア」媒体をたどる必要なく、コンテンツの任意の要素にランダムにアクセスできるようになる。要素１０〜１８をディスクドライブすなわちノンリニア記憶媒体上の任意の場所に離散要素として記憶し、ノンリニア編集処理において処理、再編成、置換等を行うことができる。
【００１２】
ノンリニア編集システムは、テレビのコンテンツオーサリングの一般的な方法になってきており、映画についても次第に一般的になってきている。ノンリニア編集システムを使用して、（ビデオ、映画、又はテレビ番組などの）プロジェクトのために検討中の全ての未加工の映像／ビデオ、及びオーディオ録音を含むライブラリから取り出したオーディオ及びビデオシーケンス（シーン）の所望の部分を選択し、それらと（ビデオ、会話、音楽スコアなどの）隣接する両側の同じ種類のシーケンスとの時間関係を確立させるだけでなく、ビデオと１又はそれ以上の対応するオーディオトラックとの同期を確立させることができる。完成品が（複数のオーディオ要素の複合物を含む）単一の同期されたオーディオトラックを有する１本の連続したビデオシーケンスのように見えたとしても、コンテンツを構成する全ての構成要素は、編集システムにおいて処理されている間は全く別の分離した状態のままである。
【００１３】
図１は、ノンリニア編集システムにおけるコンテンツ及びそれらの時間関係を示す図である。従来の編集システムの場合、再生時にある「シーン」を分かりやすい方法で別のものと置換することができる複数組のコンテンツの同期を保証する準備が行われていない。ＳｏｎｙのＰａｓｓａｇｅ（商標）システムによる選択的な複数の暗号化システムは、パケット識別子（ＰＩＤ）のマッピングを利用して、異なる暗号化システムへ送られるコンテンツの多重搬送を実現する。上記に引用した特許出願は、同様のＰＩＤマッピングシステムを利用してコンテンツ置換機能を実現するものである。しかしながら今日まで、このようなシステムのためのコンテンツのオーサリング方法についての問題は取り扱われていない。
【００１４】
図２は、従来のノンリニア編集システムのノンリニア編集処理が一旦完了した後のコンテンツの処理フローを示す図である。ほとんどの専門向けのノンリニア編集システムに記憶されるコンテンツは、非圧縮のデジタル化ビデオ及びパルスコードを変調した（ＰＣＭ）オーディオサンプルである。図２では、このコンテンツを、コンテンツトラックの記憶２６及びコンテンツシーンの記憶３０として示している。一般に、この未加工の形でビデオシーケンスを編集し、オーディオサンプルを編集／合成（ミキシング）し、高画像及び高音声品質を維持する方がより簡単であると考えられる。オーディオ及びビデオコンテンツのシーケンス化を、３４及び３８にそれぞれ示している。
【００１５】
コンテンツの最終編集バージョンが完成すると、次にこれを集約して最終のビデオ及びオーディオシーケンスの形に変え、このオーディオを、デジタルミックスダウン４２の出力における最終のモノラル、ステレオ、又はサラウンド音声イメージにミキシングすることができる。デジタルミックスダウン４２として示すミックスダウン処理において、様々なオーディオトラック（会話、音楽、効果音等）がミックスダウンされる。次に、出来上がった「カット」を、例えば、以下に限定する意図は全く無いが、ビデオについては４６において（ＭＰＥＧ−２などの）ＭＰＥＧ圧縮を用いて、ビデオ及びオーディオコンテンツについては５０においてＡＣ−３オーディオ圧縮を用いてそれぞれ圧縮し、完成品を含むファイルサイズを縮小する。以下に限定されるわけではないが、例えば、オーディオについてはＡＡＣ、ＤＴＳ、ＭＰＥＧ−１等、ビデオについてはＡＶＣ、ＶＣ−１、ＭＰＥＧ−４等を含む他の任意の適当な圧縮及び符号化技術を用いることができる。本発明による実施形態はまた、既存の又は未開発のその他の符号化及び圧縮メカニズムとの使用も想定されている。一般的に、８０以上の係数による圧縮が達成される。この記憶容量の縮小により、デジタルビデオコンテンツの送信、放送、及び／又は記憶がより実用的になり、該コンテンツをＤＶＤなどの安価な媒体にうまく納めるか、或いはわずかな品質劣化しか伴わずに、８又はそれ以上の別のＡ／Ｖサービスと共に標準６ＭＨｚのＲＦスペクトルチャネルにおいて搬送できるようになる。５４において最終コンテンツを記憶することができ、ここから、ＤＶＤのマスタリング、衛星放送、ケーブル放送、又は地上放送を含む任意の数の目的に使用できるようになる。
【００１６】
代替のオーディオトラックを第２言語で作成するために、類似の処理を後に続けることができる。この場合、音楽スコア、効果音等を含む同じオーディオトラックが使用されるが、共通のビデオコンテンツの継続時間及び前後関係と一致するように編集した代替の会話トラックが、第１言語の会話トラックと置換される。１回目のオーディオトラックを作成するのに使用した処理と平行して、別個のミックスダウン及び符号化処理を行うことにより代替の合成オーディオトラックを作成することができる。複数言語をサポートするために、ビデオ及び１回目のオーディオトラックと同時に第２のオーディオトラックを搬送するか、或いは代替の言語専用のコンテンツのために、この第２のオーディオトラックを１回目のオーディオと置換することができる。
【００１７】
いかなる場合でも、最終的な「カット」には、媒体の種類に依存する（毎秒２４又は６０フレームなどの）一定の速度で流れる１本の連続したビデオ／映像トラックが存在することに留意されたい。映像トラックの実際のコンテンツがブラックスクリーンを含んでいたとしても、このトラックは常に存在する。全てのオーディオコンテンツは映像トラックに同期されて、唇の動きと声との適切な同期、及び効果音と音楽スコアとの適切な発生タイミングが維持される。映像トラックとは異なり、オーディオは、シーンの状況によって存在する場合もあれば、或いは存在しない場合もある。一旦最終カットが制作され、圧縮されると、そこにはビデオトラックと同様、連続するオーディオトラックが存在することになる。無音時間中、圧縮されたオーディオデータは依然として存在するが、データ値は無音時間を示す。従って、第２のオーディオトラックのビデオとの同期は定型処理となる。
【００１８】
ここで動的なコンテンツの置換をサポートするコンテンツオーサリング処理について考えてみる。動的なコンテンツの置換をシーン単位ベースでサポートするためには、（コンテンツ全体に流れる単純な代替のオーディオトラックとは対照的に）前述したオーサリング処理を実質的に修正して、第２のすなわち代替のビデオトラックと、シーンの置換に対応する追加のオーディオトラックとの同時編集を可能にする必要がある。図１に示すオリジナルトラックと親タイムラインとの関係と共に、代替のオーディオ及びビデオを含むこのようなコンテンツの例を図３に示す。図３では、代替のビデオトラック６２及び代替の会話トラック６４が、１回目のビデオトラック１０及び会話トラック１２に従属し、時間的に親タイムラインに同期している。しかしながら、これらは代替のシーン及び／又は会話を表すものであるため、この代替コンテンツは、オリジナルのタイムラインに継続的に従うという利点を有してはいない。
【００１９】
後処理の後、ビデオトラック１２及び６４の両方とも、後述する技術を用いて最終コンテンツの形で搬送される。本教示に従ってノンリニアエディタを拡張し、代替のビデオ及びオーディオのための追加トラックに対応させることができるが、このノンリニアエディタは、従来のリニア編集ツールのために確立された編集パラダイムを補完するものである。
【００２０】
従来の処理からの１つの脱却として、完成品又は「カット」を含むコンテンツの取り扱いが挙げられる。上述したように、最終カットは、集約され、ミキシングされ（オーディオ）、圧縮機器（エンコーダ）へストリーミングされる。従来のビデオエンコーダは、１本の連続したビデオストリームしか受け入れることができない。１回目のビデオストリームはこの基準を満たしている。代替のビデオストリームを、１回目のビデオと同時に送信又は再生される不連続な（断続的な）ビデオシーケンスとして特徴付けることにより、受信装置が、代替バージョンを１回目のものと置換するか否かを選択できるようになる。図３に示す例示的なコンテンツでは、例えば、シーン２及びシーン４には代替のシーンが提供されているが、シーン１及びシーン３には提供されていない。同様に、会話トラック１２と６４とを比較して分かるように、会話の一部にのみ代替の会話が提供されている。
【００２１】
図４は、本発明の特定の実施形態による動的なコンテンツ置換をサポートする、編集後のコンテンツフローの例を示す図である。従来のビデオエンコーダとの互換性を保つために、ノンリニア編集システムは、代替ビデオのシーケンス（代替シーン）間の時間を合成したブラックスクリーンで埋め、最終コンテンツを集約する目的で、エンコーダに受け入れられる連続したビデオストリームを作成する。同じエンコーダを用いて１回目の及び代替のビデオの符号化を行うことにより、２つの処理を順番に行うようにするか、或いは図示のように複数のビデオエンコーダを用いることにより、２つのビデオストリームを同時に符号化することができる。順番に処理を行う場合、編集システムがエンコーダと通信することにより、このエンコーダは、符号化後の再処理のために、結果として得られる両方の圧縮済みデータストリームに任意の適切なプロトコルを用いて同期情報を挿入し、２つのビデオストリームを適切な同期で合成できるようになる。
【００２２】
図４に示すように、代替のビデオ経路７２と代替のオーディオ経路７４とが図２に示す処理に追加されている。代替のビデオ経路７２には、７８においてブラックスクリーンが挿入される追加シーンの順序付けと、第２のビデオエンコーダ８０又はビデオエンコーダ４６の２順目の使用（この図ではこれらの両方をビデオエンコーダ８０によって概念的に示している）とが組み込まれる。代替のビデオについてのこの符号化処理中に、従来の方法でＰＩＤを利用して、関連するビデオパケットを識別する。同様に、代替のオーディオ経路７４は、８４におけるデジタルミックスダウン及び８６におけるオーディオ圧縮の前に、８２において必要に応じて代替の会話を他のオーディオトラックとミキシングしながら順序付けを行う。ビデオと同様に、各段階において別個のハードウェアを用いてオーディオを同時に処理してもよいし、或いは１回目のオーディオ処理の時と同じハードウェアを用いて順番に処理してもよい。代替のオーディオについてのこの符号化処理中に、従来の手法でＰＩＤを利用して、関連するオーディオパケットを識別する。８８において、２つのビデオストリームから同期情報が得られる。
【００２３】
本明細書でＡ／Ｖプロセッサ９０と呼ぶ装置を使用して、２つの圧縮済みオーディオ出力と、２つの圧縮済みビデオ出力と、同期情報とを処理し、この動作を図５に関連付けて示す。前述したように、処理済みのオーディオ及びビデオを出来上がったコンテンツとして記憶５４において記憶する。
【００２４】
共に同期マークが追加された２つの圧縮済みコンテンツの複合体、すなわちオリジナルの（１回目の）バージョンと置換に利用可能な部分のみを含む第２のストリームとが、Ａ／Ｖプロセッサの中に挿入される。このプロセッサ９０の動作を図５に示す。Ａ／Ｖプロセッサ９０は、９２における代替ストリームの「トリミング」、９４におけるコンテンツの同期、９６におけるＰＩＤのマッピング、及び９８におけるコンテンツの再多重化という４つの主要機能を実行する。特定の実施形態では、プログラムされたプロセッサ（又は連動する複数のプログラムされたプロセッサ）を用いてこれらの機能を実行することができる。
【００２５】
代替コンテンツは、この代替コンテンツのセグメント間にブランクビデオ（ブラックスクリーン）及び消音されたオーディオを含む。これは、コンテンツを圧縮する準備から得られる副産物である。Ａ／Ｖプロセッサ９０は、９２において全てのブラックスクリーンコンテンツ及び消音されたオーディオをトリミングし、これにより、上記出願に記載される選択的な複数の暗号化コンテンツに関連して説明した方法と同じ方法で、代替コンテンツを１回目のトランスポートストリームの中に多重化できるようになる。
【００２６】
次に９４において、プロセッサは、エンコーダが挿入した同期マークを使用して、代替コンテンツを１回目のトランスポートストリーム内に時間的に正しく配置できるようにすることにより、代替のオーディオ及び／又はビデオコンテンツを有する１回目のオーディオ及び／又はビデオコンテンツを前後関係に応じて隣接した位置に配置できるようになる。すなわち、データがパケットに記憶される場合、検索を容易にするために、１回目のオーディオ又はビデオと代替のオーディオ又はビデオとが、隣接したパケット又は近隣のパケットに好適に置かれることになる。この情報は、８８において２つのビデオストリームから得られた同期情報から取得される。
【００２７】
９６において、オーディオ及びビデオストリームのためのＰＩＤを再マッピングして、１回目の及び２回目のオーディオ、並びに１回目の及び２回目のビデオを独自に識別するＰＩＤを提供することができる。これにより、まとめて多重化することができる個々に識別可能なコンテンツのパケットが提供される。９８において、次にＡ／Ｖプロセッサ９０は、代替コンテンツを１回目のトランスポートストリーム又はプログラムストリームの中へ合体させ、結果として得られる合成コンテンツの放送中又は再生中に、適切に装備された再生装置が、１回目の／代替えのコンテンツの任意の組み合わせを動的に選択できるようにする信号化及びフォーマット化を行う。この合体処理の一部として、通常はプログラムクロックリファレンス（ＰＣＲ）及びデジタル再多重化処理において直面し、この処理に関連するその他のタスクをリマルチプレクサが補正する。
【００２８】
次に、プロセッサの均質な合成出力は通常のコンテンツ処理フローへ戻され、ここでＤＶＤ等のパッケージ媒体のマスター版に記憶されるか、或いはビデオオンデマンド（ＶＯＤ）、又は地上放送及び地上ケーブル、或いは直接放送衛星サービス（ＤＢＳ）のための衛星へのアップリンクのためのビデオスプーラなどの放送源への配信段階へと送られるかのいずれかが行われる。
【００２９】
本明細書に示す例示的な実施形態は、一組の代替コンテンツを提供するステップを示しているが、この処理は、説明した原理と同じ原理を用いて何組かの代替コンテンツを提供するように容易に拡張される。
【００３０】
従って、本発明による特定の実施形態によれば、圧縮済みの１回目のオーディオ及び符号化済みの１回目のビデオを含むコンテンツのセグメント内に代替のデジタルオーディオ及びビデオコンテンツを提供する方法は、代替のオーディオトラックの代替オーディオのセグメント間にブランクオーディオを挿入するステップと、代替のビデオトラックの代替ビデオのセグメント間にブラックビデオを挿入するステップと、上記代替のオーディオトラックを親タイムラインに同期させるステップと、上記代替のビデオトラックを親タイムラインに同期させるステップと、上記代替のオーディオトラックを圧縮するステップと、上記代替のビデオトラックを圧縮するステップと、上記圧縮済みの代替オーディオトラックからブランクオーディオをトリミングするステップと、上記圧縮済みの代替ビデオトラックからブラックビデオをトリミングするステップと、上記トリミングした圧縮済みの代替オーディオを同期させて、該トリミングした圧縮済みの代替オーディオを１回目の圧縮済みオーディオと時間的に正しく配置するステップと、上記トリミングした圧縮済みの代替ビデオを同期させて、該トリミングした圧縮済みの代替ビデオを１回目の圧縮済みビデオと時間的に正しく配置するステップと、上記トリミングした圧縮済みの代替オーディオとトリミングした圧縮済みの代替ビデオとを、１回目の圧縮済みオーディオと１回目の圧縮済みビデオとに多重化させるステップとを含む。
【００３１】
特定の実施形態では、（例として）ＡＣ−３、ＭＰＥＧ−１、ＡＡＣ、又はＤＴＳなどの１つのオーディオコンプレッサを用いて１回目のオーディオ及び代替のオーディオを順番に圧縮する。別の実施形態では、第１の及び第２のオーディオコンプレッサを用いて１回目のオーディオ及び代替のオーディオを圧縮する。特定の実施形態では、（例として）ＭＰＥＧ−２、ＡＶＣ、ＶＣ−１、又はＭＰＥＧ−４準拠のビデオエンコーダなどの第１のビデオエンコーダと第２のビデオエンコーダとを用いて１回目のビデオ及び代替のビデオを圧縮する。別の実施形態では、１つのビデオエンコーダを用いて１回目のビデオ及び代替のビデオを順番に符号化する。特定の実施形態によれば、ＰＩＤリマッパが、１回目のオーディオ、代替のオーディオ、１回目のビデオ、及び代替のビデオを各々、別々のＰＩＤ値にマッピングする。プログラムされたプロセッサ上で実行される場合、コンピュータ可読記憶媒体を用いて、これらの処理を実行する命令を記憶することができる。
【００３２】
別の実施形態では、圧縮済みの１回目のオーディオ及び符号化済みの１回目のビデオを含む一連のコンテンツに代替のデジタルオーディオ及びビデオコンテンツを提供するビデオエディタは、親タイムラインに同期される代替のオーディオトラック内の代替オーディオのセグメント間にブランクオーディオを挿入するオーディオシーケンサを有する。ビデオシーケンサは、親タイムラインに同期される代替のビデオトラック内の代替ビデオのセグメント間に、ブラックビデオを挿入する。コンプレッサは代替のオーディオトラックを圧縮し、エンコーダは代替のビデオトラックを符号化し、圧縮する。圧縮済みの代替のオーディオトラックからブランクオーディオをトリミングし、圧縮済みの代替のビデオトラックからブラックビデオをトリミングする。シンクロナイザを用いて、トリミングした圧縮済みの代替オーディオを同期させ、このトリミングした圧縮済みの代替オーディオを、圧縮済みの１回目のオーディオと時間的に正しく配置する。同様に、シンクロナイザを用いて、トリミングした圧縮済みの代替ビデオを同期させ、このトリミングした圧縮済みの代替ビデオを、符号化済みの圧縮済み代替ビデオと時間的に正しく配置する。マルチプレクサは、トリミングした圧縮済みの代替オーディオとトリミングした圧縮済みの代替ビデオとを、１回目のオーディオと１回目のビデオとに多重化する。
【００３３】
特定の実施形態による別のビデオエディタは、１回目のオーディオ及び１回目のビデオを含む一連のコンテンツに代替のデジタルオーディオ及びビデオコンテンツを提供し、親タイムラインに同期される代替のオーディオトラック内の代替オーディオのセグメント間にブランクオーディオを挿入するオーディオシーケンサを有する。ビデオシーケンサは、親タイムラインに同期される代替のビデオトラック内の代替ビデオのセグメント間に、ブラックビデオを挿入する。コンプレッサメカニズムは、１回目のオーディオ及び代替のオーディオトラックを圧縮する。エンコーダは、１回目のビデオ及び代替のビデオトラックを符号化し、圧縮する。圧縮済みの代替オーディオトラックからブランクオーディオをトリミングし、圧縮済みの代替ビデオトラックからブラックビデオをトリミングする。圧縮済みの代替オーディオを同期させることにより、トリミングした圧縮済みの代替オーディオを、１回目のオーディオと時間的に正しく配置できるようになる。トリミングした圧縮済みの代替ビデオを同期させて、このトリミングした圧縮済みの代替ビデオを、１回目のビデオと時間的に正しく配置する。マルチプレクサは、トリミングした圧縮済みの代替オーディオとトリミングした圧縮済みの代替ビデオとを、圧縮済みの１回目のオーディオと符号化及び圧縮済みの１回目のビデオとに多重化する。
【００３４】
上記教示に照らせば、当業者は別の実施形態を想起することもあるであろう。
【００３５】
当業者であれば、上記の教示について考慮する際に、上記の例示的な実施形態のうちの特定の実施形態は、プログラムされたプロセッサの使用に基づくものであるか、或いは基づくことができると認識できるであろう。しかしながら、特定用途向けハードウエア及び／又は専用プロセッサなどのハードウェアコンポーネントの同等物を使用して、別の実施形態を実現することも可能であるため、本発明はこのような例示的な実施形態のみに限定されるわけではない。同様に、汎用コンピュータ、マイクロプロセッサベースのコンピュータ、マイクロコントローラ、光コンピュータ、アナログコンピュータ、専用プロセッサ、特定用途向け回路及び／又は専用配線で接続された論理回路を使用して、同等の代替実施形態を構成することもできる。
【００３６】
同様に、上述の機能を実行する特定の回路と共に、本明細書における特定の実施形態について説明したが、１又はそれ以上のプログラムされたプロセッサ上で実行される同等のソフトウェア又はファームウェアの実施形態を使用して回路機能を実行する別の実施形態も想定される。汎用コンピュータ、マイクロプロセッサベースのコンピュータ、マイクロコントローラ、光学コンピュータ、アナログコンピュータ、専用プロセッサ、アプリケーション固有の回路、及び／又は専用の配線論理回路及びアナログ回路を使用して、別の同等の実施形態を構築することができる。特定用途のハードウェア及び／又は専用のプロセッサなどのハードウェア構成要素との同等物を使用して別の実施形態を実現することができる。
【００３７】
本明細書に記載の特定の実施形態は、処理フロー図で上記大まかに記載したプログラム命令を実行する、プログラムされたプロセッサを利用して実現することができ、このプログラム命令を任意の適当な電子記憶媒体又はコンピュータ可読記憶媒体に記憶することができ、及び／又はこのプログラム命令を任意の適当な電子通信媒体を介して送信することができる。しかしながら、当業者であれば、本教示について考慮する際に、上述の処理は、本発明の実施形態から逸脱することなく、任意の数の変形例の形で、及び多くの適当なプログラム言語で実現することができると理解できるであろう。例えば、多くの場合、本発明の特定の実施形態から逸脱することなく、実行される特定の動作の順序の変更、及び追加動作の追加、又は、処理のトリミングを行うことができる。本発明の特定の実施形態から逸脱することなく、エラー捕捉手段を追加及び／又は強化することができ、さらに、ユーザインタフェース及び情報表示において変形を加えることができる。このような変更は想定されており、同等物であると見なされる。
【００３８】
以上、特定の例示的な実施形態について説明してきたが、上述の説明に照らして多くの代替、修正、並べ替え及び変形が当業者にとって自明であることは明白である。
【図面の簡単な説明】
【００３９】
【図１】ノンリニア編集システムにおけるコンテンツ及びそれらの時間関係の例を示す図である。
【図２】編集処理が一旦完了した後のコンテンツの処理フローを示す図である。
【図３】本発明の特定の実施形態による方法で、代替のビデオ及びオーディオコンテンツの同期及び配信をサポートするように修正したノンリニア編集システムを示す図である。
【図４】本発明の特定の実施形態による、動的なコンテンツ置換をサポートする、編集後のコンテンツフローを示す図である。
【図５】本発明の特定の実施形態による方法でのＡ／Ｖプロセッサの動作を例示する図である。
【符号の説明】
【００４０】
２６  コンテンツトラックの記憶
３０  コンテンツシーンの記憶
３４  集約エディタ（シーンのシーケンス化）
３８  集約エディタ（シーンのシーケンス化）
４２  デジタルミックスダウン
４６  ビデオエンコーダ（ＭＰＥＧなど）
５０  オーディオコンプレッサ（ＡＣ−３など）
５４  最終コンテンツの記憶
７２  代替ビデオ
７４  代替オーディオ
７８  集約エディタ（シーンのシーケンス化）
８０  ビデオエンコーダ（ＭＰＥＧなど）
８２  集約エディタ（シーンのシーケンス化）
８４  デジタルミックスダウン
８６  オーディオコンプレッサ（ＡＣ−３など）
８８  同期情報を得る
９０  Ａ／Ｖプロセッサ
【図１】
2009525685.tif 000003
【図２】
2009525685.tif 000004
【図３】
2009525685.tif 000005
【図４】
2009525685.tif 000006
【図５】
2009525685.tif 000007
【国際調査報告】
2009525685.tif 000008