(57)【要約】      （修正有）【課題】メディア複合体を構成する複数のコンポーネントを、実用的で、適宜で(timely)、高精度な方法で同期再生する相互接続マルチメディア・システムを提供する。【解決手段】同期再生システムは、メディア・ストリーミング送信遅延に対処するために、所与のプレゼンテーション・タイムに対応するサンプルが、この所与のプレゼンテーション・タイムに対応するメディアの再生よりも前に、離れた位置から再生システムにおいて受信されるように、リモート・システムと適した遅延をネゴシエートする。【選択図】図１
2015057882.tif 000002
【特許請求の範囲】
【請求項１】
方法であって、
時間ベース・メディアを再生する第１システムと時間ベース・メディアを再生する第２システムとの間にデータ接続を作るステップと、
前記第２システムを同期メディア再生に指定するステップと、
前記第２システムにおいて、
前記データ接続を介して、前記第１システムから、第１時間ベース・メディア・トラックを表す第１複数のサンプルを含む時間ベース・メディアのストリームを受信するステップであって、前記第１システムにおける所定の再生開始時刻からの時間的オフセットとして定められるプレゼンテーション・タイムが、前記第１複数のメディア・サンプルの各サンプルにタイム・スタンプされる、ステップと、
前記第２システムのストレージから、第２複数のサンプルを含む第２時間ベース・メディア・トラックを引き出すステップであって、前記メディア編集システムにおける所定の再生開始時刻からの時間的オフセットとして定められるプレゼンテーション・タイムが、前記第２複数のサンプルの各サンプルにタイム・スタンプされる、ステップと、
同じプレゼンテーション・タイムを有するサンプルが同時に再生されるように、前記第１複数のサンプルおよび前記第２複数のサンプルを再生することによって、前記第１メディア・トラックを前記第２メディア・トラックと同期させて再生するステップと、
を含む、方法。
【請求項２】
請求項１記載の方法であって、更に、
前記データ接続を介したデータ送信遅延を推定するステップを含み、
少なくとも前記推定されたデータ送信遅延の間隔だけ、前記同期再生が、前記第１システムにおける再生に関して遅延される、方法。
【請求項３】
請求項２記載の方法において、前記第１システムのユーザが前記同期再生を開始し、前記第１再生システムが前記データ送信遅延を推定する、方法。  
【請求項４】
請求項２記載の方法において、前記第２システムのユーザが前記同期再生を開始し、前記第１システムが前記データ送信遅延を推定する、方法。
【請求項５】
請求項１記載の方法において、前記第１および第２システムの内少なくとも１つが、時間ベース・メディア編集能力を含む、方法。
【請求項６】
請求項１記載の方法において、前記再生するステップが、所与のプレゼンテーション・タイムに対応する前記第１システムからのサンプルが、前記所与のプレゼンテーション・タイムに対応するメディアの前記第２システムにおける再生よりも前に、前記第２システムにおいて受信され終えているように、遅延を伴って実行される、方法。
【請求項７】
請求項１記載の方法であって、更に、
前記第２システムにおいて、第２データ接続を介して、時間ベース・メディアを再生する第３システムから、第３時間ベース・メディア・トラックを表す第３複数のサンプルを受信するステップであって、前記第３システムにおける所定の再生開始時刻からの時間的オフセットとして定められるプレゼンテーション・タイムが、前記第３複数のメディア・サンプルの各サンプルにタイム・スタンプされる、ステップと、
前記第３複数のサンプルの内、前記第１および第２複数のサンプルのプレゼンテーション・タイムと同じプレゼンテーション・タイムを有するサンプルが同時に再生されるように、前記第３複数のサンプルを再生することによって、前記第１および第２時間ベース・メディア・トラックと同期させて、前記第３時間ベース・メディア・トラックを再生するステップと、
を含む、方法。
【請求項８】
請求項７記載の方法において、前記第２システムにおける再生が、所与のプレゼンテーション・タイムに対応する前記第１および第３システムからのサンプルが、前記所与のプレゼンテーション・タイムに対応するメディア・サンプルの前記第２システムにおける再生よりも前に、前記第２システムにおいて受信され終えているように、遅延を伴って実行される、方法。
【請求項９】
請求項７記載の方法であって、更に、
前記第１データ接続を介した第１データ送信遅延を推定するステップと、
前記第２データ接続を介した第２データ送信遅延を推定するステップと、
前記第１および第３システムからのメディア・サンプルが、前記第２システムにおいて再生のために要求されるよりも前に、前記第２システムにおいて受信されるように、前記第２システムにおいて再生を開始するよりも前に、前記第１および第３システムの各々において再生を開始するステップと、
を含む、方法。
【請求項１０】
請求項７記載の方法において、前記第２システムが、非線形ビデオ編集システムを含む、方法。
【請求項１１】
請求項７記載の方法において、前記第１および第３システムの内少なくとも１つが、非線形ビデオ編集システムを含む、方法。
【請求項１２】
請求項７記載の方法において、前記第１および第３システムの内少なくとも１つが、デジタル・オーディオ・ワークステーションを含む、方法。
【請求項１３】
請求項７記載の方法において、前記第２システムにおける同期再生が、前記第１システムのユーザによって開始される、方法。
【請求項１４】
請求項７記載の方法において、前記第１および第２データ送信遅延の推定が、前記第１システムによって実行される、方法。
【請求項１５】
請求項７記載の方法において、前記第２システムにおける同期再生が、第２システムのユーザによって開始され、前記第２システムが、前記第１および第２データ送信遅延の推定を実行する、方法。
【請求項１６】
システムであって、
コンピュータ読み取り可能命令を格納するメモリと、
前記メモリに接続されたプロセッサと、
を含み、前記プロセッサが、前記コンピュータ読み取り可能命令を実行すると、同期再生方法を前記システムに実行させ、前記方法が、
時間ベース・メディアを再生する第１システムと時間ベース・メディアを再生する第２システムとの間にデータ接続を作るステップと、
前記第２システムを同期メディア再生に指定するステップと、
前記第２システムにおいて、
前記データ接続を介して、前記第１システムから、第１時間ベース・メディア・トラックを表す第１複数のサンプルを含む時間ベース・メディアのストリームを受信するステップであって、前記第１システムにおける所定の再生開始時刻からの時間的オフセットとして定められるプレゼンテーション・タイムが、前記第１複数のメディア・サンプルの各サンプルにタイム・スタンプされる、ステップと、
前記第２システムのストレージから、第２複数のサンプルを含む第２時間ベース・メディア・トラックを引き出すステップであって、前記メディア編集システムにおける所定の再生開始時刻からの時間的オフセットとして定められるプレゼンテーション・タイムが、前記第２複数のサンプルの各サンプルにタイム・スタンプされる、ステップと、
同じプレゼンテーション・タイムを有するサンプルが同時に再生されるように、前記第１複数のサンプルおよび前記第２複数のサンプルを再生することによって、前記第１メディア・トラックを前記第２メディア・トラックと同期させて再生するステップと、
を含む、システム。
【発明の詳細な説明】
【従来技術】
【０００１】
[0001]  ビデオ複合体を構成する種々のコンポーネントは、異なる位置でキャプチャされ編集されることが多い。ビデオ制作では、例えば、ビデオ、音楽、音響効果、ダイアログ、およびコンピュータが生成する画像(imagery)の各々が、異なる場所で制作されることもある。種々のプログラム・コンポーネントを見直して評価するためには、目視のためにできるだけ多くのコンポーネントを一緒に組み立てる必要がある。更に、進行中の作業を頻繁に見直すことができることも重要である。現在の方法では、ハード・ドライブのような物理的記憶媒体の輸送、ファイルの転送、またはリモート・サーバに維持される共有記憶位置の使用を伴う。他の場合では、媒体がリモート位置から送信され、送信された媒体およびローカル媒体の再生は、離れて位置するコンポーネントの再生開始時刻を同期させる必要がある。殆どのプレーヤは、着信する媒体が受信させるに連れて、移転において生ずる固定遅延を考慮しつつ、着信媒体を再生する。推定遅延が、再生前にデータを転送するのに十分な程長くない場合、再生中に欠落が生ずる可能性がある。
【０００２】
[0002]  他の再生方法では、特殊目的デバイスを伴う。このデバイスは、例えば、米国特許第６，１３４，３７９号および第６，３９３１９８号に記載されるように、デバイスが再生を同期させることを可能にするために、クロック信号または他の特殊コードを発信する。これらの特許をここで引用したことにより、その内容は本願にも含まれるものとする。一旦開始されると、送信された媒体のリモート・ソースは自由に実行し(run)続け、再生が進むに連れて、同期が徐々に正確さを失っていき、最終的には完全に失われる虞がある。他の方法では、実世界のクロック信号または宅内基準クロック信号を受信することによってというようにして、関与するシステムの各々のシステム・クロックが同期される。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
[0003]  メディア複合体を構成する複数のコンポーネントを同期再生する、実用的で、適宜で(timely)、高精度な方法が求められている。
【課題を解決するための手段】
【０００４】
[0004]  一般的に、本明細書において説明する方法、システム、およびコンピュータ・プログラム製品は、メディア複合体の複数のコンポーネントの同期再生に考慮している。メディア複合体は、リモート・システムからストリーミングされる媒体、同期再生を実行するシステムにローカルに格納された媒体を含む。
【０００５】
[0005]  一般に、一形態では、時間ベース・メディアの同期再生方法は、時間ベース・メディアを再生する第１システムと時間ベース・メディアを再生する第２システムとの間にデータ接続を作るステップと、第２システムを同期メディア再生に指定するステップと、第２システムにおいて、データ接続を介して、第１システムから、第１時間ベース・メディア・トラックを表す第１複数のサンプルを含む時間ベース・メディアのストリームを受信するステップであって、第１複数のメディア・サンプルの各サンプルが、第１システムにおける所定の再生開始時刻からの時間的オフセットとして定められるプレゼンテーション・タイムがタイム・スタンプされる、ステップと、第２システムのストレージから、第２複数のサンプルを含む第２時間ベース・メディア・トラックを引き出すステップであって、第２複数のサンプルの各サンプルが、メディア編集システムにおける所定の再生開始時刻からの時間的オフセットとして定められるプレゼンテーション・タイムがタイム・スタンプされる、ステップと、同じプレゼンテーション・タイムを有するサンプルが同時に再生されるように、第１複数のサンプルおよび第２複数のサンプルを再生することによって、第１メディア・トラックを第２メディア・トラックと同期させて再生するステップとを含む。
【０００６】
[0006]  種々の実施形態は、以下の特徴の内１つ以上を含む。同期再生方法は、更に、データ接続を介したデータ送信遅延を推定するステップを含み、少なくとも推定されたデータ送信遅延の間隔だけ、同期再生が、第１システムにおける再生に関して遅延される。第１システムのユーザが同期再生を開始し、第１再生システムがデータ送信遅延を推定する。第２システムのユーザが同期再生を開始し、第１システムがデータ送信遅延を推定する。第１および第２システムの内少なくとも１つが、時間ベース・メディア編集能力を含む。再生するステップは、所与のプレゼンテーション・タイムに対応する第１システムからのサンプルが、所与のプレゼンテーション・タイムに対応するメディアの第２システムにおける再生よりも前に、第２システムにおいて受信され終えているように、遅延と共に実行される。同期再生は、更に、第２システムにおいて、第２データ接続を介して、時間ベース・メディアを再生する第３システムから、第３時間ベース・メディア・トラックを表す第３複数のサンプルを受信するステップであって、第３複数のメディア・サンプルの各サンプルが、第３システムにおける所定の再生開始時刻からの時間的オフセットとして定められるプレゼンテーション・タイムがタイム・スタンプされる、ステップと、第３複数のサンプルの内、第１および第２複数のサンプルのプレゼンテーション・タイムと同じプレゼンテーション・タイムを有するサンプルが同時に再生されるように、第３複数のサンプルを再生することによって、第１および第２時間ベース・メディア・トラックと同期させて、第３時間ベース・メディア・トラックを再生するステップとを含む。第２システムにおける再生が、所与のプレゼンテーション・タイムに対応する第１および第３システムからのサンプルが、所与のプレゼンテーション・タイムに対応するメディア・サンプルの第２システムにおける再生よりも前に、第２システムにおいて受信され終えているように、遅延と共に実行される。同期再生は、第１データ接続を介した第１データ送信遅延を推定するステップと、第２データ接続を介した第２データ送信遅延を推定するステップと、第１および第３システムからのメディア・サンプルが、第２システムにおいて再生のために要求されるよりも前に、第２システムにおいて受信されるように、第２システムにおいて再生を開始するよりも前に、第１および第３システムの各々において再生を開始するステップとを含む。第２システムは、非線形ビデオ編集システムを含む。第１および第３システムの内少なくとも１つは、ディジタル・オーディオ・ワークステーションまたは非線形ビデオ編集システムを含む。第２システムにおける同期再生は、第１システムのユーザによって開始される。第１および第２データ送信遅延の推定は、第１システムによって実行される。第２システムにおける同期再生は、第２システムのユーザによって開始され、第２システムは、第１および第２データ送信遅延の推定を実行する。
【０００７】
[0007]  一般に、第２の形態において、システムは、コンピュータ読み取り可能命令を格納するメモリと、メモリに接続されたプロセッサであって、プロセッサが、コンピュータ読み取り可能命令を実行すると、同期再生方法をシステムに実行させる。この方法は、時間ベース・メディアを再生する第１システムと時間ベース・メディアを再生する第２システムとの間にデータ接続を作るステップと、第２システムを同期メディア再生に指定するステップと、第２システムにおいて、データ接続を介して、第１システムから、第１時間ベース・メディア・トラックを表す第１複数のサンプルを含む時間ベース・メディアのストリームを受信するステップであって、第１複数のメディア・サンプルの各サンプルが、第１システムにおける所定の再生開始時刻からの時間的オフセットとして定められるプレゼンテーション・タイムがタイム・スタンプされる、ステップと、第２システムのストレージから、第２複数のサンプルを含む第２時間ベース・メディア・トラックを引き出すステップであって、第２複数のサンプルの各サンプルが、メディア編集システムにおける所定の再生開始時刻からの時間的オフセットとして定められるプレゼンテーション・タイムがタイム・スタンプされる、ステップと、同じプレゼンテーション・タイムを有するサンプルが同時に再生されるように、第１複数のサンプルおよび第２複数のサンプルを再生することによって、第１メディア・トラックを第２メディア・トラックと同期させて再生するステップとを含む。
【図面の簡単な説明】
【０００８】
【図１】図１は、ストリーミングされた媒体の同期再生を示す上位ブロック図である。
【図２】図２は、同期再生のために媒体をストリーミングするときに含まれるステップを示す流れ図である。
【発明を実施するための形態】
【０００９】
[0010]  かなり大きなサイズのメディア・プロジェクトはいずれも、種々の寄与するグループ間における協調を必要とする。例えば、ビデオがビデオ・チームによって第１位置において生成および格納され、音楽が作曲家によって第２位置において生成および格納され、音響効果が音響効果グループによって第３位置において生成および格納され、コンピュータ生成画像がコンピュータ・グラフィクス・チームによって第４位置において生成および格納されることもある。このようなプロジェクトのワークフローの主要な一面は、上級編集者およびディレクタによる頻繁な見直しおよび承認である。プロジェクトの種々のコンポーネントを一緒に見ることができると、進行中の作業の効果的な評価に大いに役立つ。また、制作チームに適時なフィードバックを提供するように、プロセスが迅速に着手されることも重要であり、スケジュール通りの進行およびプロジェクト・コスト管理が容易になる。
【００１０】
[0011]  先に説明したように、進行中のメディア・プロジェクトの種々のコンポーネントを組み立てるおよび視認する既存の方法は、トランスポート遅延によって生ずる遅いターンアラウンドのため、または再生の間精度高い同期を維持することの困難のために、満足できないことが多い。本明細書においては、メディアの再生を同期させる高精度な方法の一例について説明する。メディアは、離れて位置するマルチメディア・システムから発するメディア、および同期再生の現場にローカルなストレージまたはライブ・ソースから引き出されるメディアを含む。
【００１１】
[0012]  本明細書において使用する場合、マルチメディア・システムとは、時間ベースのディジタル・メディア、即ち、ビデオおよび／またはオーディオを再生するシステムを指す。加えて、これらのシステムは編集能力を有してもよい。ディジタル・オーディオ編集能力を含むシステムでは、マルチメディア・システムが、マサチューセッツ州、BurlingtonのAvid Technology, Inc.からのPRO TOOLS（登録商標）のような、ディジタル・オーディオ・ワークステーション（ＤＡＷ）を含むこともできる。本明細書において使用する場合、ＤＡＷは、パーソナル・コンピュータ、移動体デバイス、タッチ・パッド、またはＣＰＵ、メモリ、ディスプレイ、および入力デバイスを含む他のデバイスというような、コンピュータに実装されるオーディオ・アプリケーションを指す。ＤＡＷ機能は、１つよりも多いオーディオ・トラックを記録および再生し、チャネルを互いにミキシングする能力を含むが、これらに限定されるのではない。ＤＡＷが、ユーザ・インターフェースを仲介する制御面に接続された専用デバイスに実装されてもよい。また、ＤＡＷが非線形編集機能、オーディオ・クリップの時間的表現を提供するタイムラインを表示するユーザ・インターフェース、およびオーディオ信号にオーディオ処理を実行させる能力も含むことができる。このような処理は、ＤＡＷをホストする同じプラットフォームによって、またはディジタル信号プロセッサ（ＤＳＰ）がプロビジョニングされてもよいオーディオ処理エンジンというような他のシステムにおいて実行することができる。
【００１２】
[0013]  ディジタル・ビデオ編集機能を含むメディア・システムでは、マルチメディア・システムが、同じくAvid Technology, Inc.からのMEDIA COMPOSER（登録商標）のような、非線形ビデオ・エディタ（ＮＬＥ）を含むのでもよい。ＮＬＥ機能は、１つ以上のビデオ・トラックを記録および再生し、ビデオ複合体を表すタイムラインにビデオ・クリップを置き、タイムラインにおけるクリップおよび他のエレメントを編集する能力を含むが、これらに限定されるのではない。
【００１３】
[0014]  本明細書において使用する場合、「サンプル」という用語は、メディア・トラック、メディア文書、あるいはメディア・トラック、文書、フィル内において別個の時間的位置を有するメディア・ファイルの最少構成単位を指す。ビデオ・メディアでは、メディア・サンプルはビデオ・フレームに対応する。オーディオ・メディアでは、メディア・サンプルは、１つのオーディオ・サンプルとなる。本明細書において使用する場合、トラックとは、エディタがメディア編集システムのタイムラインに置くソース・メディアの種々のエレメントのためのコンテナの表現である。非線形ビデオ編集アプリケーションおよびディジタル・オーディオ・ワークステーションのコンテキストでは、トラックは、グラフィカル・ユーザ・インターフェースの一部を形成するソフトウェア表現となる。トラックは、メディア・ストリーム入力および／またはメディア・ストリーム出力を有することができる。
【００１４】
[0015]  同期方法は、種々の相互接続されたシステムにおいて複数の相互接続された再生エンジンに対して開始時刻を同期させて、１つのシステムにおいて受信された再生コマンドが、接続されたエンジンに、各システムのローカル・タイムラインによって定められる所与の時間位置において再生を開始させるようにすることを含む。このような開始時刻同期は、米国特許第８，２２４，１４７号に記載されており、この特許をここで引用したことにより、その内容全体が本願にも含まれるものとする。米国特許第８，２２４，１４７号は、Video Satellite（商標）マスタ−スレーブ・アーキテクチャについて記載する。Video Satelliteシステムでは、特殊目的同期ハードウェアを、ビデオ基準生成器から各再生エンジンにおいて受信される外部基準信号と共に使用して、同期がフレーム・エッジによって維持される。
【００１５】
[0016]  タイムライン同期再生は、着信メディアが再生に必要とされるまで、それをバッファできることに依存する。例えば、３つのメディア・ソースが同期して再生されようとして、１つのソースがローカルに発し、他の２つのストリームの各々が異なる離れた位置から発する場合、組み合わされたメディアは、最も遅れたストリームが、同期再生に指定されたシステムにおいて受信されるときでないと、再生することはできない。つまり、バッファされるデータ量は、所与のタイム・スタンプに対して最も早く受信されるサンプルと、そのタイム・スタンプに対して最後に受信される、即ち、最も遅れるサンプルとの間でストリーミングされるデータ量に少なくとも対応しなければならない。実際には、このような時間差は、２５０〜５００ミリ秒の範囲であり、４４．１ｋHzストリームでは、１１，０２５〜２２，０５０サンプルに対応する。
【００１６】
[0017]  どのステーションが実際に同期再生を実行するために指定されるかには関係なく、相互接続されたマルチメディア・システムの内任意のものにおいて、同期再生コマンドが入力されることを可能にするメカニズムを提供する。再生コマンドが受信されると、以上で言及した必要遅延を推定するために、接続されたシステム間において遅延ネゴシエート・プロセスが行われる。この遅延は、全ての位置からのストリーミング・メディアが、同期再生が要求されたときに、指定された再生システムにおいて受信されて準備が整うことを可能にする時点で、全てのシステムが再生を開始することを保証するために使用される。説明する実施形態では、メディアをストリーミングしているシステムが、メッセージが発信元システムから受信システムに伝わりそして戻ってくるまでに要する往復時間を判定するというように、様々な周知の方法の内１つ以上を使用して、受信システムへのメディア・パケットの配信に対する平均および最大レイテンシを測定する。１つの方法では、メディア・ストリームを送るシステムは、追加のタイム・スタンプをメディア・ストリーム・バッファに追加する。このタイム・スタンプは、ネットワーク・クロック、即ち、共有自走クロックを使用する。システムがメディア・ストリーム・バッファを受信すると、一方向送信または往復送信のいずれの後でも、ネットワーク・クロックを読み取り、現在の時刻と、メディア・ストリーム・バッファ内のネットワーク・クロック・タイムスタンプとの間の差を使用して、メディアの伝達時間を判定する。
【００１７】
[0018]  測定された遅延は、再生に指定されたシステムに伝えられる。１対の接続されたシステムでは（即ち、指定された再生システムに接続された１つのリモート・システム）、この遅延は、次に、同期再生の間指定された再生システムによって使用される。２つ以上のメディア再生システムが、同期再生に指定されたシステムに離れて接続された構成では、各リモート・システムと再生システムとの間の遅延が測定される。説明する実施形態では、再生コマンドが受信されたシステムが、遅延の各々を測定することを要求し、次いで指定された再生システムにおける、ストリーミング・メディアの適時な到達を確保するために、システム毎に再生開始時刻を決定する。
【００１８】
[0019]  ネットワークには、ストリーミングに利用可能な帯域幅が不規則に変化する場合もある。このような状況では、自動的に決定される遅延では、ストリーミングされるメディアが常に再生同期に間に合って到達することを確保するには十分に長くないこともある。このような状況では、メディアが到達するのが遅すぎると、再生において欠落が生ずる。この問題に取り組むために、ユーザは、実際のメディア・ストリーミング遅延において起こりそうな変動を超える最少遅延を定めることができる。
【００１９】
[0020]  同期再生がユーザ・コマンドによってメディア発信システムにおいて開始される場合、この発信システムが、それと再生システムとの間の遅延を決定し、この遅延を使用して、再生を開始すべきときを決定する。何らかの理由で追加のレイテンシが必要とならなければ、またはより大きなユーザ定義時点が指定されなければ、発信システムは、指定された再生システムよりも測定された遅延に対応する時間間隔だけ前に、再生を開始する。発信システムは、指定された再生システムに、同期再生を開始するときを知らせる信号を送る。
【００２０】
[0021]  同期再生が、ユーザ・コマンドによって、指定された再生（即ち、受信）システムにおいて開始される場合、指定された再生システムが、それとリモート・システムの各々との間の遅延を決定し、リモート・システム毎に再生開始時刻を計算し、測定された遅延に対応する時間間隔だけ先にストリーミングを開始するために、各リモート・システムにトリガ・メッセージを送る。つまり、測定された遅延が最も大きいリモート・システムが最初にストリーミングを開始し、次いで、２番目に遅延が大きいシステムが続く等というようにして、指定された再生システム自体は、同期再生を最後に開始する。
【００２１】
[0022]  ストリーミング・メディアの同期再生を、図１に示す上位ブロック図に例示する。３つのマルチメディア・システム１０２、１０４、および１０６が、ネットワーク１０８を介してデータ通信する。ネットワーク１０８は、ローカル・エリア・ネットワーク、またはインターネットのようなワイド・エリア・ネットワークでもよい。ローカルに格納されたメディアは、各マルチメディア・システム内において、それぞれ、タイムライン１１０、１１２、および１１４によって表される。マルチメディア・システム１０６は、メディアが組み立てられ再生されるシステムとして指定される。
【００２２】
[0023]  再生が開始されると、リモート・システム１０２および１０４は、指定再生システム１０６にサンプルをストリーミングする。図２は、ストリーミングに含まれるステップを示す流れ図である。同期再生のためにストリーミング・メディアを供給するために接続されるリモート再生システム（即ち、発信システム）は、オーディオ・ソース２０２を含む。オーディオ・ソース２０２は、オーディオ・データおよび／またはマイクロフォンのようなソースからの生データを格納することができる。コマンド２０４(OutputCallback)が、発信システムの再生エンジンによって発行される。これは、発信システムに、メディアがストリーミングされる元であるメディア・エンジンのタイムラインに関してサンプルの時間位置を定める時間データのタイム・スタンプを、ストリーミング・メディアの各サンプルに付けさせる（２０６）。このタイム・スタンプは、プレゼンテーション・タイムスタンプと呼ばれる。説明する実施形態では、メディア・データの要求が受けられると、要求されたメディアの再生開始位置からのオフセットが、再生が開始された位置についての情報と共に、送られるデータにプレゼンテーション・タイムスタンプを計算するために使用される。このタイム・スタンプは、６４ビット符号付き整数によって表されるマイクロ秒単位の値とすればよい。この値は、各メディア・パケットに、好ましくは、パケットのペイロード内に含まれる。送るために待ち行列に入れられる（２０８）前に、任意に前処理を受け、例えば、圧縮され（２１０）、次いで指定再生（受信）システムにワイド・エリア・ネットワーク２１４を介してストリーミングされる（２１２）。
【００２３】
[0024]  指定再生システムは、ストリーミング・データを受信し（２１６）、任意の要求される前処理、例えば、伸張を実行し（２１８）、再生のためにデータが要求されたときに、空のバッファを用意して、その中に受信したストリーミング・データをコピーする。受信されたデータは、メディア自体と、メディア・サンプル毎にプレゼンテーション・タイムスタンプを含む。ストリーミング・メディアは、オーディオ再生エンジンの待ち行列に入れられる（２２０）。InputCallbackコマンドが発生すると（２２２）、本システムは、要求されたタイム・スタンプを有するオーディオ・データに対するオーディオ・バッファの要求を扱う（２２４）。このとき、着信バッファ待ち行列を検索して、この待ち行列から要求されたバッファを求め、見つかった場合、それをバッファ待ち行列から除去し、それを適正な時点で再生エンジンに注入して、ローカルに発せられたメディアと同期して、受信したメディア・ストリームを再生する。再生エンジンは、InputCallbackが発生するレートを駆動する（drive)。これは、エンジンのバッファ・サイズに基づく一定レートである。サンプル精度の(sample-accurate)同期再生を行うには、同じプレゼンテーション・タイムスタンプ（各々、それぞれのソース・タイムラインに関して定められる）を有する全てのサンプルが同時に再生されるように、ストリーミングされたサンプルおよびローカル・サンプルを再生する。これによって、再生が、タイムラインによって定められる時間位置に関して同期され続け、送信遅延や利用可能な帯域幅変動の影響を受けないことが確保される。更に、例えば、離れてストリーミングされるメディアの再生を同期させるときにローカル・クロックが使用される場合のように、タイミング誤差が蓄積する余地(scope)がない。同期されたメディア・ストリームのオーディオ出力は、次いで、音響宛先２２６に送られる。音響宛先２２６は、増幅器およびスピーカのような生音響出力デバイス、または記録デバイスでもよい。
【００２４】
[0025]  図１は、プレゼンテーション時刻ｔ０において、即ち、指定再生システム１０６の再生ヘッド（またはスクラブ・バー(scrub bar)１１６が時刻＝ｔ０にあるときに行われる再生を示す。この時点において、システム１０６はローカル・サンプル１１８を再生し、更に接続されたマルチメディア・システム１０２および１０４からそれぞれ既に受信しバッファしてあるサンプル１２０および１２２を再生エンジンに注入する。システム１０２および１０４は、各々、そのソース・タイムラインに関してタイム・スタンプｔ０を有する。また、この図は、再生システム１０６がｔ０のタイム・スタンプに対応する３つのサンプルを同期して再生している間に、システム１０２がどのようにタイム・スタンプｔ１に対応するサンプル１２４をストリーミングしているのか、そしてシステム１０４がどのように時刻ｔ２に対応するサンプル１２６をストリーミングしているのかについても示す。時刻ｔ１およびｔ０の間の間隔、ならびに時刻ｔ２およびｔ０の間の間隔は、システム１０２および１０４の各々と再生システム１０６との間における既知の送信遅延に等しくなるようにまたは超過するように選択される。これらのサンプルは、システム１０６の再生ヘッドがプレゼンテーション時刻ｔ１およびｔ２に達するときにそれぞれ再生される。
【００２５】
[0026]  マルチメディア・システム１０６からの同期再生の出力は、記録または保管のために、ラウドスピーカ１２８および／またはストレージ１３０に導かれる。
【００２６】
[0027]  本明細書において説明した同期ストリーミングは、種々の制作設定において使用することもできる。タレント・キャプチャ(talent capture)の間、オーディオおよび／またはビデオがキャプチャされる１つの位置にタレントがいるのでもよい。主要記録スタジオは他の場所にあってもよく、ここに技術者、プロデューサ、およびディレクタがいて、ディジタル・オーディオ・ワークステーションのようなメディア編集システムを使用して同期再生が行われる。主要スタジオは、再生(backing)オーディオ・トラックおよび／またはビデオを、タレントの演技の基礎として使用するために、タレントに送る。すると、タレントは、これらのトラックを聞きながらおよび／または見ながら演技を行い、以上で説明した方法を使用して、その演技を主要スタジオにストリーミングし、主要スタジオにおいて、ローカルに格納されたメディアと同期してその演技が再生される。
【００２７】
[0028]  リモート・ミキシングという用途では、２つ以上のスタジオが、最終ミキシングが制作される主要スタジオから離れて位置する。リモート・スタジオからのソースは、主要スタジオにストリーミングされ、主要スタジオにおいて、ローカル・メディアおよび離れてストリーミングされたメディアが、本明細書において説明したように同期して再生され、ミキシングされる。典型的なミキシング／ダビング段階では、３つのソース・システム、即ち、音楽、エフェクト、およびダイアログがあり、これらはストリーミングされ同期して再生される。
【００２８】
[0029]  また、同期メディア・ストリーミングは、メディア制作ワークフローの見直しおよび承認フェーズの間も使用することができる。例えば、プロデューサまたはディレクタが、主要なミキシングまたはダビング・ステージから離れて位置する場合、現在の制作状態を見直す必要があったり、または恐らく編集された特定の一面を単に見直せばよい場合もある。ディレクタまたはプロデューサは、編集されたコンポーネントを受信し、以前に受信したコンポーネントおよび現行のコンポーネントとそれを同期させ、それを再生することができる。共通の状況において、仕上げられたビデオおよび元のサウンド・ソースは既にディレクタのシステムまたはプロデューサのシステムに存在し、ビデオと同期させて見直すために、最終的なオーディオ・ミキシングが彼らにストリーミングされる。
【００２９】
[0030]  本明細書において説明した同期ストリーミング・メディア再生を実行するシステムの種々のコンポーネントは、汎用コンピュータ・システムを使用するコンピュータ・プログラムとして実現することができる。このようなコンピュータ・システムは、通例、情報をユーザに表示する出力デバイスと、ユーザからの入力を受ける入力デバイスとの双方に接続された主要ユニットを含む。この主要ユニットは、通常、相互接続メカニズムを介してメモリ・システムに接続されたプロセッサを含む。入力デバイスおよび出力デバイスも、相互接続メカニズムを介してプロセッサおよびメモリ・システムに接続される。
【００３０】
[0031]  １つ以上の出力デバイスが、コンピュータ・システムに接続されてもよい。出力デバイスの例には、液晶ディスプレイ（ＬＣＤ）、プラズマ・ディスプレイ、視聴者用めがねを必要とするディスプレイおよびめがねが不要のディスプレイを含む種々の立体視ディスプレイ、陰極線管、ビデオ制作システムおよび他のビデオ出力デバイス、プリンタ、ネットワーク・インターフェース・デバイス、ケーブル・モデムを含む低または高帯域幅ネットワークを介して通信するデバイス、ならびにディスクまたはテープのような記憶デバイスが含まれるが、これらに限定されるのではない。１つ以上の入力デバイスが、コンピュータ入力に接続されてもよい。入力デバイスの例には、キーボード、キーパッド、トラック・ボール、マウス、ペンおよびタブレット、タッチスクリーン、カメラ、通信デバイス、ならびにデータ入力デバイスが含まれるが、これらに限定されるのではない。本発明は、コンピュータ・システムと組み合わせて使用される特定の入力または出力デバイスや、本明細書において説明したものに限定されるのではない。
【００３１】
[0032]  前述のコンピュータ・システムは、コンピュータ・プログラミング言語、スクリプティング言語、またはアセンブラ言語でも用いてプログラム可能な汎用コンピュータ・システムとすることができる。また、コンピュータ・システムは、特別にプログラムされた、特殊目的ハードウェアであってもよい。汎用コンピュータ・システムでは、プロセッサは通例市販のプロセッサである。また、汎用コンピュータは、通例、オペレーティング・システムを有し、このオペレーティング・システムが他のコンピュータ・プログラムの実行を制御し、スケジューリング、デバッギング、入力／出力制御、アカウンティング、コンパイル、ストレージ割り当て、データ管理およびメモリ管理、ならびに通信制御および関係するサービスを提供する。コンピュータ・システムは、ローカル・ネットワークおよび／またはインターネットのようなワイド・エリア・ネットワークに接続することができる。接続されたネットワークは、コンピュータ・システムにおよびコンピュータ・システムから、コンピュータにおける実行のためのプログラム命令、ビデオ・データ、静止画像データ、またはオーディオ・データというようなメディア・データ、メタデータ、メディア複合体についての見直しおよび承認情報、メディア注釈、ならびに他のデータを送ることができる。
【００３２】
[0033]  メモリ・システムは、通例、コンピュータ読み取り可能媒体を含む。この媒体は、揮発性または不揮発性、書き込み可能または書き込み不可能、および／または再書き込み可能または再書き込み不可能であってもよい。メモリ・システムは、通例では二進形態のデータを格納する。このようなデータは、マイクロプロセッサによって実行すべきアプリケーション・プログラム、あるいはディスクに格納されておりアプリケーション・プログラムによって処理する情報を定めることができる。本発明は、特定のメモリ・システムには限定されない。時間ベース・メディアは、磁気、光、またはソリッド・ステート・ドライブに格納され、これらから入力されてもよい。これらのドライブは、ローカルまたはネットワーク取り付けディスクのアレイを含むこともできる。
【００３３】
[0034]  本明細書において説明したようなシステムは、ソフトウェアまたはハードウェアまたはファームウェア、あるいはこれら３つの組み合わせで実現することができる。本システムの種々のエレメントは、個別でもまたは組み合わせても、１つ以上のコンピュータ・プログラム製品として実現することができ、コンピュータによる実行のために、コンピュータ・プログラム命令がコンピュータ読み取り可能媒体に格納されるか、あるいは接続されたローカル・エリア・ネットワークまたはワイド・エリア・ネットワークを介して、コンピュータ・システムに移される。プロセスの種々のステップは、このようなコンピュータ・プログラム命令を実行するコンピュータによって実行することができる。コンピュータ・システムは、マルチプロセッサ・コンピュータ・システムであってもよく、またはコンピュータ・ネットワークを通じて接続されている複数のコンピュータを含んでもよい。本明細書において説明したコンポーネントは、コンピュータ・プログラムの別個のモジュールであってもよく、または別個のコンピュータにおいて動作可能とすることができる、別個のコンピュータ・プログラムであってもよい。これらのコンポーネントによって生成されるデータは、メモリ・システムに格納し、搬送波信号のような種々の通信媒体によって、コンピュータ・システム間で送信することができる。
【００３４】
[0035]  以上、実施形態の一例について説明したが、以上のことは単なる例示であって限定ではなく、一例として紹介したに過ぎないことは、当業者には明白なはずである。複数の変更および他の実施形態も、当業者の範囲内に入り、本発明の範囲に該当すると考えられる。
【図１】
2015057882.tif 000003
【図２】
2015057882.tif 000004
【外国語明細書】
2015057882000001.pdf