(57)【要約】複数の独立したストリーミング・メディア・ソースによって通信ネットワーク、例えばインターネットの上を伝送される複数のメディア・ストリームを、時間軸で同期する方法。データ・パケットの第１及び第２のメディア・ストリームが、第１及び第２のメディア・ソースから受け取られる。２つのメディア・ストリームからのタイミング・データが解析され、タイミング・データを参照時間と比較することによって、第１及び第２の伝送遅延値が決定される。第１及び第２のメディア・ストリームを時間同期されたメディア・ストリームへ結合し、計算された伝送遅延値を補正するように調整することによって、同期されたメディア・ストリームが生成される。伝送変数、例えばストリーム長、伝送レート、及び送信時間を制御して、メディア・ソースで変動性遅延を管理するため、フィードバック信号がメディア・ソースへ送られる。第１及び第２のメディア・ストリームは、中間メディア・ストリームへデコードされる。中間メディア・ストリームは、ストリーム及びデータ・パケットの混合が可能になるように、互換可能にフォーマットされる。【選択図】図２
2004525545.tif 000002
【特許請求の範囲】
【請求項１】
通信ネットワーク上で送信されるストリーミング・メディアを時間軸で同期する同期システムであって、前記システムは、
通信ネットワークへリンクして第１及び第２のメディア・ストリームを受け取るように構成された入力インタフェースであって、第１及び第２のメディア・ストリームは、それぞれ第１及び第２のメディア・ソースから通信ネットワーク上を送信される複数のディジタル・データ・パケットを備える、前記入力インタフェースと、
第１のメディア・ストリームのデータ・パケットを記憶する第１のデータ・バッファと、
第２のメディア・ストリームのデータ・パケットを記憶する第２のデータ・バッファと、
第１及び第２のデータ・バッファへ通信可能にリンクされ、第１及び第２のメディア・ストリームのデータ・パケットを選択的に検索して第１及び第２の時間調整されたストリームを形成するコントローラであって、コントローラは、第１及び第２のメディア・ストリームに対して変動性伝送遅延を決定し、決定された変動性伝送遅延に基づいて選択的検索を実行する、前記コントローラと、
を備え、
コントローラは、さらに、第１及び第２の時間調整されたストリームを合成メディア・ストリームへ結合するよう構成される、システム。
【請求項２】
第１及び第２のメディア・ストリームがストリーミング・ビデオ部分を含む、請求項１に記載のシステム。
【請求項３】
第１のメディア・ストリームのストリーミング・ビデオ部分が第１の圧縮フォーマットに基づいて圧縮され、第２のメディア・ストリームが第２の圧縮フォーマットに基づいて圧縮され、第２の圧縮フォーマットは第１の圧縮フォーマットとは異なる、請求項２に記載のシステム。
【請求項４】
圧縮された第１及び第２のメディア・ストリームを、それぞれ第１のデコードされたストリーム及び第２のデコードされたストリームに処理して、第１のデータ・バッファ及び第２のデータ・バッファに記憶されるよう、入力インタフェースと第１及び第２のデータ・バッファとの間にデコーディング装置を更に含み、第１のデコードされたストリーム及び第２のデコードされたストリームは、互換性のあるフォーマッティングを有する、請求項３に記載のシステム。
【請求項５】
コントローラが、第１及び第２の時間調整されたストリームを結合することによって合成メディア・ストリームを形成し、第２の時間調整されたストリームが、開始時間に置かれた第１のデータ・パケットを有し、第１のデータ・パケットが、第１の時間調整されたストリームの、終了時間に置かれた最後のデータ・パケットに隣接するようにする、請求項１に記載のシステム。
【請求項６】
コントローラが、外部タイミング・リファレンスへ通信可能にリンクされて参照時間値を受け取り、コントローラは、参照時間値を使用して開始時間及び終了時間を決定するように構成される、請求項５に記載のシステム。
【請求項７】
コントローラが、第１のメディア・ストリームの長さを決定し、その長さを終了時間及び変動性ネットワーク遅延と比較し、第１のメディア・ストリームの編集の長さを計算し、第１のメディア・ストリームを圧縮または伸長して第１の時間調整されたストリームを形成し、それによって最後のデータ・パケットが終了時間と一致する、請求項５に記載のシステム。
【請求項８】
第１及び第２のメディア・ストリームから時間データを検索してコントローラへ送信するように構成された、入力インタフェースと通信するデータ解析装置を更に含み、コントローラは、時間データを使用して変動性伝送遅延を決定する、請求項１に記載のシステム。
【請求項９】
コントローラが、決定された変動性伝送遅延に基づいてメディア・サーバ・制御信号を生成し、通信ネットワーク上で第１及び第２のメディア・ソースへ前記信号を送信して第１及び第２のメディア・ストリームの伝送変数を制御するように構成される、請求項７に記載のシステム。
【請求項１０】
伝送変数が、伝送タイミング、伝送レート、及び伝送長を含む群から選択される、請求項９に記載のシステム。
【請求項１１】
合成メディア・ストリームが、第１及び第２の時間調整されたストリームのデータ・パケットから形成された画像内画像部分または並行部分を有するストリーミング・ビデオ部分を含む、請求項１に記載のシステム。
【請求項１２】
コントローラが、第１のメディア・ストリーム及び第２のメディア・ストリームを合成メディア・ストリームへ結合し、伝送時間に第１のメディア・ソースから送信された第１のメディア・ストリームの中のデータ・パケットが、その伝送時間に第２のメディア・ソースから送信された第２のメディア・ストリームの中の対応するデータ・パケットとマッチするようにする、請求項１に記載のシステム。
【請求項１３】
第１及び第２のメディア・ストリームの伝送レートを選択し、決定された変動性伝送遅延を補正することによって、結合がコントローラによって実行される、請求項１２に記載のシステム。
【請求項１４】
通信ネットワーク上でコントローラから合成メディア・ストリームを送信する出力インタフェースを更に含み、また通信ネットワークへリンクされて合成メディア・ストリームを受け取るエンドユーザ・ノードを含み、エンドユーザ・ノードはシンクロナイザを含み、シンクロナイザは、コントローラとエンドユーザ・ノードとの間の変動性伝送遅延を決定し、合成メディア・ストリームの時間軸補正を実行して変動性伝送遅延を調整する、請求項１に記載のシステム。
【請求項１５】
通信ネットワーク上で送信されるメディア・ストリームを同期する装置であって、前記装置は、
通信ネットワークへリンクされ、第１及び第２のメディア・ソースによって送信されたそれぞれの第１及び第２のメディア・ストリームを受け取るように構成された入力インタフェースであって、第１のメディア・ストリームは、第１の圧縮標準へエンコードされた複数のデータ・パケットを含み、第２のメディア・ストリームは、第１の圧縮標準とは異なった第２の圧縮標準へエンコードされた複数のデータ・パケットを含む、前記入力インタフェースと、
第１及び第２のメディア・ストリームを、それぞれ第１及び第２の中間メディア・ストリームへデコードするデコーダであって、第１及び第２の中間ストリームは互換可能にフォーマットされる、前記デコーダと、
第１及び第２の中間フォーマット・メディア・ストリームを、出力圧縮標準に従ってエンコードされた合成メディア・ストリームへ結合するストリーミング・メディア・プロセッサと、
を備える装置。
【請求項１６】
入力インタフェース及びストリーミング・メディア・プロセッサと通信するコントローラを更に含み、コントローラは、第１のメディア・ストリームのデータ・パケットの伝送時間及びそのデータ・パケットの入力インタフェースにおける受信時間、ならびに第２のメディア・ストリームのデータ・パケットの伝送時間及びそのデータ・パケットの入力インタフェースにおける受信時間に基づいて、第１及び第２のメディア・ストリームの変動性伝送遅延を決定するように構成される、請求項１５に記載の装置。
【請求項１７】
コントローラが、さらに、第１のメディア・ストリームの変動性伝送遅延に基づいて第１の中間フォーマット・メディア・ストリームを調整し、第２のメディア・ストリームの変動性伝送遅延に基づいて第２の中間フォーマット・メディア・ストリームを調整して、第１及び第２の時間調整されたストリームを生成するように構成される、請求項１６に記載の装置。
【請求項１８】
プロセッサが、第１及び第２の時間調整されたストリームを結合して合成メディア・ストリームを形成し、第１のメディア・ストリームのデータ・パケット及び第２のメディア・ストリームのデータ・パケットが並行して引き渡されるように置かれる、請求項１７に記載の装置。
【請求項１９】
受信時間が、外部タイミング・リファレンスから受け取った時間参照信号に基づいて決定される、請求項１７に記載の装置。
【請求項２０】
データ通信ネットワーク上で送信される２つ以上のメディア・ストリームを時間軸で同期する方法であって、前記方法は、
第１のメディア・ソースによって通信ネットワーク上で送信される複数のデータ・パケットを含む第１のメディア・ストリームを受け取るステップと、
第２のメディア・ソースによって通信ネットワーク上で送信される複数のデータ・パケットを含む第２のメディア・ストリームを受け取るステップと、
第１及び第２のメディア・ストリームを結合することによって、同期されたメディア・ストリームを生成するステップと、
を含む方法。
【請求項２１】
第１及び第２のメディア・ストリームからタイミング・データを検索するステップと、
タイミング・データを参照時間と比較して、第１及び第２の伝送遅延値を決定するステップと、
第１及び第２のメディア・ストリームを調整して、第１及び第２の伝送遅延値を補正するステップと、
を更に含む、請求項２０に記載の方法。
【請求項２２】
調整ステップが、第１及び第２の伝送遅延値に応答して、それぞれ第１及び第２の制御信号を生成するステップを含み、また第１及び第２の制御信号を第１及び第２のメディア・ソースへ送信して、第１及び第２のメディア・ストリームの送信を制御するステップを含む、請求項２１に記載の方法。
【請求項２３】
第１のメディア・ストリームのデータ・パケットを第１のデータ・バッファへ記憶し、第２のメディア・ストリームのデータ・パケットを第２のデータ・バッファへ記憶し、調整ステップが、第１のメディア・ストリームのデータ・パケットを第１のデータ・バッファから選択的に検索して第１の伝送遅延値を補正し、第２のメディア・ストリームのデータ・パケットを第２のバッファから選択的に検索して第２の伝送遅延値を補正するステップを含む、請求項２１に記載の方法。
【請求項２４】
調整ステップが、第１及び第２のメディア・ソースからの送信時間に基づいて、それぞれ第１及び第２のメディア・ストリームのデータ・パケットをマッチさせるステップを含み、それによって第１及び第２のメディア・ストリームが、同期されたメディア・ストリームの中で並行して提示される、請求項２１に記載の方法。
【請求項２５】
第１のメディア・ストリームが第１の圧縮標準へエンコードされ、第２のメディア・ストリームが第２の圧縮標準へエンコードされて、更に、第１のメディア・ストリームをデコードすることによって第１の中間データ・ストリームを形成し、第２のメディア・ストリームをデコードすることによって第２の中間データ・ストリームを形成するステップを含み、第１及び第２の中間データ・ストリームが互換可能にフォーマットされる、請求項２０に記載の方法。
【請求項２６】
第１の圧縮標準が第２の圧縮標準とは異なり、第１及び第２のメディア・ストリームは、単一のメディア・ストリームに結合されるようにデコードされる前には互換不可能である、請求項２５に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一般的には、通信ネットワーク、例えばインターネット上でディジタル・データを送信する分野に関し、さらに具体的には、異なったロケーションの複数のソースから受け取られているストリーミング・メディア、特にビデオベースのメディアを、１つまたは複数の時間同期されたメディア・ストリームへ処理、結合、及び混合する方法及びシステムに関する。時間同期されたメディア・ストリームは、通信ネットワーク上で伝送される間に経験する変動性伝送遅延を補正または調整される。
【背景技術】
【０００２】
ウェブキャスティングまたはインターネット・ブロードキャスティングは、ディジタル通信ネットワーク、例えばインターネットの急速に発展している有望な使用方法である。一般的に、ウェブキャスティングは、アナログ・テレビ及びラジオ放送のインターネット同等物であり、オーディオ、ビデオ、アニメーション、テキストなどのパケット（すなわち、ネットワーク・トランスポート・プロトコル、例えばインターネット・プロトコル（ＩＰ）に準拠したバイナリー形式でエンコードされたデータであって、タイミング、識別、及び他の情報を有するヘッダを完備している）を含むメディア・ストリーム（またはストリーミング・メディア）の送信を含む。一度、伝送が始まると、パケットは継続進行ベースで流出または送信され、エンドユーザまたは受信側は、全部のファイルをダウンロードする前に、データの使用（すなわち、聞くこと、見ること、及び他の使用）を開始することができる。これまで、帯域幅及び他の性能上の制約が、オーディオ及びそれより低い性能を必要とする他のメディアをウェブキャストするように限定したが、エンドユーザ・コンピュータ、インターネット接続、及びメディア・サーバのハードウェアにおける今日及び予想される進歩（例えば１００Ｋｂｐｓ以上の高速接続の利用可能性）は、ウェブキャスタがリアルタイムのビデオ・コンテンツを提供することを可能にしつつある。予想されるハードウェア及びインフラの進歩は、まもなく、インターネット及び他の通信ネットワーク上で、娯楽品質及びビデオベースのメディア・ストリームを、かなりの数のエンドユーザ（例えば、在宅コンピュータ及びインターネット・ユーザ）へ提供することを可能にするであろう。ますます増加している帯域幅によって、ウェブキャスタは、まもなく、従来のラジオ及びテレビ放送業者によって現在捕捉されている視聴者を獲得できる競争力をもつ可能性が大きい。
【０００３】
残念ながら、多数の問題及び難問が存在するため、ウェブキャストされるメディアが、成熟したテレビ・メディアの中で放送業者によって達成されつつあるペースの速いプログラミング特徴及び全体的品質レベルを、再現することを非常に困難にしている。例えば、公共通信ネットワーク、特にインターネットのように大きなネットワーク上を送信されるストリーミング・メディアは、通常、パケット衝突、ネットワーク上の輻輳、ルーティング機器の遅延、及び他のネットワーク信頼性問題のために変動性伝送レートを経験し、さらには、ストリーム内の個々のパケットについて変動性レートを経験する。これらの変動性または非決定論的遅延は、ウェブキャスタが複数の独立ストリームを調整して、２つのメディア・ストリームを分断する（すなわち、ショーまたはショーの一部分またはファイルの始めと終わりを表す「編集点」を識別する）とき、デッドエアまたは空間を回避することを困難にする。さらに、変動性遅延によって、エンドユーザまたは視聴者は、受信データの中に急跳画像を見るか、ジッタを聞く結果となり、これらが組み合わされると、関連したビデオ及びオーディオのストリームは適正に時間相関されないかも知れない。決定論的遅延、例えば、従来技術のテレビ放送におけるアップリンク及びダウンリンクの衛星フィードとは異なり、これらの変動性伝送レートは、変動性または非決定論的遅延を生じる。これらの遅延は、克服するのが困難であり、ウェブキャストのプログラミング、特に複数のソース及びライブのウェブキャスト・コンテンツを含むプログラミングを問題のあるものにする。
【０００４】
関連したストリームの間で同期を達成しようとする試みの中で、関連したオーディオ及びビデオにおけるデータ・ストリームの変動性遅延に対処する幾つかの努力がなされた（例えば、リップシンク）。他の幾つかの努力は、エンドユーザの比較的近くに置かれたサーバからストリーミング・メディアをサービスまたは提供して、ネットワーク遅延及び遅延変動を最小にすることによって、ライブ及び「テープ化」ブロードキャストの変動性遅延問題に対処してきた。残念ながら、そのようなサーバ負担システムは、非常に多数の専用メディア・サーバを必要とする。さらに、これらのアプローチのいずれも、ネットワーク内の複数のソースから送信されているライブ及び／またはテープ化ウェブキャストの時間軸同期の必要性に対処していない。
【０００５】
従来のテレビ放送業者は、長い間、しばしば遠隔の異なったロケーションからのアナログ伝送を、視聴者へ送信されることができる単一の伝送へ混合及び切り替える能力を有してきた。視聴者は、全ての画像及びサウンドが時間同期される分割画面及び／または画像内画像（すなわち、ＰＩＰ）を有する画面を使用して伝送を受け取る。これと同じタイプの複数独立データ・ストリーム時間同期、及び単一ストリームへの複数ストリーム処理が、ストリーミング・メディアのエンドユーザによって要求される。そのようなプログラミングを作成するツールは現在利用できない。ウェブキャスタは、一時に１つのソース（ライブまたはメモリに記憶された）からブロードキャストするだけであり、また一般的に、変動性遅延を含む（急跳を発生し、時間軸同期を欠いている）ことをブロードキャスト・メディア・ストリームに許してきた。
【０００６】
ウェブキャスタが直面する他の問題は、ウェブキャスティング市場、特にビデオ・キャスティング市場の中では、多数の非互換性エンコーディング及び圧縮フォーマット、ハードウェア、及びソフトウェアが開発されてきたことである（例えば、Ｍｉｃｒｏｓｏｆｔ、ＲｅａｌＮｅｔｗｏｒｋｓ、及びＶＤＯなどの会社によって開発された）。この事は重要である。なぜなら、全てのウェブキャスタが或るタイプの圧縮及び伸長（すなわち、コーデック）スキームを使用して、それらのストリーミング情報を、通信ネットワークを介して或る許容データ・レートで提供するからである。残念ながら、これらの様々なコーデック・スキームは、通常、互換性がなく（例えば、ＭｉｃｒｏｓｏｆｔのＮｅｔＳｈｏｗは、ＲｅａｌＮｅｔｗｏｒｋのＲｅａｌＭｅｄｉａ  Ａｕｄｉｏ／Ｖｉｄｅｏ標準とは互換性がない）、エンドユーザは、受け取りつつあるストリーミング・メディア圧縮スキームに特定された複数のメディア・プレーヤ（例えば、コーデック・ソフトウェア）をダウンロードして、ストリーミング・メディアを使用するように強制される。現在、ウェブキャスタが、異なったコーデック・スキームのもとでエンコードされたメディア・ストリームを処理、混合、及び時間同期して、結合された出力メディア・ストリームを生成することができる効果的なツールは存在しない。このように標準の非互換性は、ウェブキャスタがウェブキャスティング制作品を開発しているとき、利用できるストリーミング・メディアのソース（すなわち、ウェブキャスト・コンテンツ）を有効に利用するウェブキャスタの能力を制約する。
【０００７】
したがって、複数の独立したメディア・ソースから通信ネットワーク上を送信されたメディア・ストリームを、時間軸で同期する方法及びシステムの必要性が残る。好ましくは、そのような方法及びシステムは、２つ以上のソースからのメディア・ストリームを同期して、ストリーミング・ファイルの間にギャップを生じることなく順次的プログラミングを可能にする能力を有するであろう。さらに、同期方法及びシステムは、複数のメディア・ストリームの結合、混合、及び切り替えを可能にし、品質（すなわち、娯楽品質）が類似する出力データ・ストリーム及び従来のテレビと同じ視覚音響効果を生成し、例えば、テキスト、ビデオ、及びオーディオを混合し、分割画面及びＰＩＰ画面を提供することが好ましい。さらに、そのような時間軸同期方法及びシステムは、互換性のないフォーマッティング及びコーデック・スキームを利用するソースからのメディア・ストリームを処理する必要性に対処していることが好ましい。
【発明の概要】
【０００８】
通信ネットワーク上のディジタル・データに関する変動性伝送遅延の問題に対処するため、本発明は、一般的に、ストリーミング・メディア同期システムを利用するシステムを提供する。同期システムは、受け取った各々のメディア・ストリームによって経験された変動性遅延を管理する。同期システムは、この変動性遅延を補償するため、受け取られたメディア・ストリームを調整して、複数のメディア・ストリームを１つまたは複数の合成ストリームへ結合する。合成ストリームは、デッドエアまたは時間ギャップを生じることなく編集点（例えば、外部タイミング・リファレンスに基づいて時間の最初にある）で開始及び終了する多数のストリームの順次の列であってよい。代替的に、合成ストリームは複数のストリームの混合を含み、以前には独立していたストリームが、ＰＩＰ及び分割画面を含む多様なフォーマットで、並行して渡されるようなものであってよい。重要なことは、これらの相互に関連するようになったストリームが、メディア・ソースで確立された送信時間によって同期され、単純にそれらのパケットが同期システムで変動的に受け取られる時点によって同期されるのではないことである。この改善は、通信ネットワーク上でライブ・コンテンツをウェブキャストし、可能性として様々な地理的位置に置かれた複数のソースから送信されつつあるライブ・コンテンツを同期する場合に、特に有用である。
【０００９】
本発明の１つの好適な実施形態において、複数の独立したストリーミング・メディア・ソースによって通信ネットワーク上を送信された複数のメディア・ストリームを時間軸で同期する方法が提供される。同期方法は、第１及び第２のメディア・ソースから、データ・パケットの第１及び第２のメディア・ストリームを受け取ることを含む。受け取られたとき、２つのメディア・ストリームからのタイミング・データが解析され、解析されたタイミング・データを参照時間（例えば、外部ソース、例えば、衛星測位方式（ＧＰＳ）タイミング信号からのタイミング・リファレンス）と比較することによって、第１及び第２の伝送遅延値が決定される。計算された伝送遅延値のために行われつつある調整を有する第１及び第２のメディア・ストリームを結合することは、同期されたメディア・ストリームを生成する。この同期方法は、さらに、制御またはフィードバック信号を１つまたは複数のメディア・ソースへ送信して、伝送変数、例えばストリーム長、伝送レート、及び送信時間を制御し、受信端のみでなくメディア・ソースで変動性遅延を管理することを含んでよい。互換性のないコーデック・スキームに対応するため、方法は、第１及び第２のメディア・ストリームを第１及び第２の中間メディア・ストリームへデコードし、中間メディア・ストリームが互換可能にフォーマットされて、ストリーム及びデータ・パケットの混合が可能になるステップを含んでよい。
【００１０】
本発明の１つの態様によれば、通信ネットワーク上を送信されたストリーミング・メディアを時間軸で同期する同期システムが提供される。システムは、第１及び第２のメディア・ソースから第１及び第２のメディア・ストリームを受け取るため、通信ネットワークへリンクされた入力インタフェースを含む。第１及び第２のメディア・ストリームは、それぞれ複数のデータ・パケットを含む。メディア・ストリームのデータ・パケットを一時的に記憶するため、データ・バッファが設けられる。時間軸同期コントローラが、データ・バッファと通信し、各々のストリームのデータ・パケットを選択的に検索し、各々のストリームのためにコントローラによって計算された変動性伝送遅延に基づいてストリームを時間調整する。２つの時間調整されたストリームはストリーミング・メディア・プロセッサへ渡され、ストリーミング・メディア・プロセッサは、ストリームを、時間同期された合成メディア・ストリームへ結合する。１つの実施形態において、第１及び第２のメディア・ストリームは、２つの異なった非互換性圧縮標準に従って圧縮されたビデオ・パケットを含む。デコーディング装置が入力インタフェースとデータ・バッファとの間に設けられ、２つのストリームをデコードし、ストリームを、互換可能フォーマッティングを有する第１及び第２の中間メディア・ストリームへフォーマットする（すなわち、コーデック中性スキーム）。これは、さらなる処理及び混合を容易にする。１つの実施形態において、プロセッサは、第１及び第２のメディア・ストリームが時間ギャップ（すなわち、デッドエア）を生じないで順次に連結される合成ストリームを生成するように構成される。代替的に、プロセッサは、２つのストリームの中のデータ・パケットを並行して使用するため（例えば、ビデオベース・メディア・ストリームのＰＩＰ、分割画面など）、２つのストリームを合成ストリームへ結合または混合するように構成されることができる。
【００１１】
本発明の他の重要な態様によれば、通信ネットワーク上を送信され、互換性のない圧縮標準に従ってエンコードされたメディア・ストリームを同期する装置が提供される。装置は入力インタフェースを含む。入力インタフェースは、第１及び第２のメディア・ソースによって送信された第１及び第２のメディア・ストリームを受け取るため、通信ネットワークへリンクされる。メディア・ストリームは、互換性のない第１の圧縮標準及び第２の圧縮標準に従ってエンコードされた複数のデータ・パケットを含む。デコーダが設けられ、第１及び第２のメディア・ストリームがデコードされ、第２の中間メディア・ストリームのフォーマットと互換性のあるフォーマットを有する第１の中間メディア・ストリームが形成される。装置は、さらに、ストリーミング・メディア・プロセッサを含む。ストリーミング・メディア・プロセッサは、第１及び第２の中間メディア・ストリームを、出力圧縮標準（これは、第１または第２の圧縮標準であるか、異なった圧縮標準であってよい）に従ってエンコードされた合成メディア・ストリームへ結合する。好適な実施形態において、装置は、さらに、コントローラを含む。コントローラは、各々のストリーム内のデータ・パケットが装置で受け取られた時間と比較されたそれらデータ・パケットの伝送時間に基づいて、第１及び第２のメディア・ストリームの変動性伝送遅延を決定する。次に、コントローラは、変動性伝送時間に基づいて中間メディア・ストリームを調整し、第１及び第２の時間調整されたストリームを生成するように動作することができる。
【００１２】
本発明の他の特徴及び利点は、図面、及び本発明に従ったウェブキャスティング時間軸同期システム及び方法の特定の実施形態に関する以下の説明を検討することによって、十分に理解されるであろう。
【好適な実施例の詳細説明】
【００１３】
一般的に、本発明は、通信ネットワーク（例えば、インターネット）上を１つのノードから他のノードへ送信されるストリーミング・メディアのために、非決定論的及び変動性伝送遅延または伝送時間の問題を克服するように構成された時間軸同期システム及び方法を有するウェブキャスト・システムを提供する。パケット・ベースのネットワークにおいて、各々のメディア・ストリームは複数のパケットを含み、各々のパケットはソース・ノードと行き先ノードとの間で異なったネットワーク経路を移動することができる。データ伝送時間は、ネットワーク経路の中で変動し、ネットワーク・トラフィック及び変化する容量に起因する送信時間に依存して、典型的には、同じネットワーク経路上を送信される２つのデータ・ストリームについても変動する。この点に関して、本発明は、ユーザが、複数のメディア・ソースから発生する複数の独立したメディア・ストリーム（すなわち、オーディオ、ビデオ、テキスト、及び複数のデータ・パケットを含む他のメディア・ファイル）を一緒にプルし、時間補正された単一のメディア・ストリームへ結合することを可能にする。メディア・ソースは、ユーザのシステムの比較的近く、例えば同じビルの中に置かれるか、任意の地理的ロケーションに置かれてよく、この伝送距離（例えば、伝送経路長）の変動が、さらに、メディア伝送遅延の連続変動性に寄与する。
【００１４】
本発明は、継続進行ベースで伝送遅延を決定し、遅延したメディア・ストリームの時間軸調整を実行し、複数の時間調整されたメディア・ストリームを、１つまたは複数の時間同期された（すなわち、「シンクされた」）合成メディア・ストリームまたはウェブキャスト信号へ結合する。このメディア・ストリームの結合は、メディア・ストリームが、異なった非互換性圧縮または他のフォーマッティング・スキーム及び標準に従って最初に送信された場合でも、本発明によって可能である。合成メディア・ストリームは、デッドエアまたはデータ・パケットの間のギャップを制御するため編集点（すなわち、メディア・ファイルの終わりと始め）を注意深く制御されて時間調整されたメディア・ストリームの順次的組織を含んでよい。代替的に、合成メディア・ストリームは、２つ以上の時間調整されたメディア・ストリームを並行して提示し、分割画面及び画面内画面（すなわち、「ＰＩＰ」）の従来型テレビ放送効果を提供することによって、２つ以上の画面またはウィンドウを生成してよい。この動作モードにおいて、並行して提示されるメディア・ストリームの各々は、他のメディア・ストリームと同期されて遅延を克服し、それによって完全にシンクされた合成メディア・ストリームを提供する。即ち、各々のウィンドウまたは画面は、同じタイミング・リファレンスに基づいて時間同期される。
【００１５】
ここで図１を参照すると、一般的に多数のメディア・ソース１３０、１５０、１６０を含むウェブキャスト・システム１００が示される。メディア・ソース１３０、１５０、１６０は、通信ネットワーク１３８（例えば、ＬＡＮ、ＷＡＮなど）及びインターネット１４４を介して、ストリーミング・メディア同期システム１１０と通信する。これらのソース１３０、１５０、１６０から受け取られた入力またはウェブキャスト・コンテンツ１３２、１５２、１６２は、伝送変動を調整するように合成メディア・ストリーム１１４へ処理され、標準のラジオ及びテレビ・プログラミングで行われるように、さらなる使用、例えば視聴する目的でエンドユーザ・ノード１７０及び１８０（すなわち、パーソナル・コンピュータ、セットトップ・ボックスを有するか有しないインターネット装備テレビ、ワイヤレス・インターネット・リンク電子装置など）へ送信される。メディア・ソース１３０、１５０、１６０は、非常に単純な装置、例えば、インターネット１４４上でビデオ、オーディオ、またはテキスト・ファイルを送信するように構成されたパーソナル・コンピュータ・システムであるか、従来技術の放送で使用される遠隔または分局の岐ラジオまたはテレビ・スタジオに匹敵する複雑なウェブキャスティング・システムであってよいことを理解すべきである。
【００１６】
ローカル・メディア・ソース１３０は、ストリーミング・メディア同期システム１１０と同じビルまたは地理的近隣に存在するソースを表す。図示されるように、ローカル・メディア・ソース１３０は、ライブを展開し、及び／またはウェブキャスト・コンテンツ１３２をメモリの中に記憶しており、メディア・サーバ１３４（例えば、リンクされた通信ネットワーク１３８との通信プロトコルを管理及び動的に制御するように構成されたコンピュータまたはサーバ）を使用する。メディア・サーバ１３４は、データ転送レートを増加するため、ウェブキャスト・コンテンツ１３２を、特定の圧縮標準、例えばビデオ・ファイルのためのＮｅｔｓｈｏｗ、ＲｅａｌＶｉｄｅｏ、またはＭＰＥＧへフォーマットされた複数のデータ・パケットを含むストリーミング・メディア信号１３６へ構成する。ストリーミング・メディア信号１３６は、通信ネットワーク１３８の上を送信され、同期システム１１０はディジタル情報をストリーミング・メディア入力１４０として受け取る。ローカル・メディア・ソース１３０は、同期システム１１０と地理的に近いので、通信ネットワーク１３８内の変動性伝送遅延は比較的小さいが、依然として通信ネットワーク１３８のトラフィック及び帯域幅に従って変動する。
【００１７】
同様に、ストリーミング・メディア・ソース１５０及び１６０は、圧縮及びフォーマッティング標準ごとに、多数のデータ・パケットを含むファイルへフォーマットされるウェブキャスト・コンテンツ１５２及び１６２（例えば、ライブまたはリアルタイムのビデオ／オーディオ）を生成及び／または供給する。重要なこととして、３つのメディア・サーバ１３２、１５２、１６２によって利用された圧縮及びフォーマッティング標準は、異なった標準であるかも知れない。異なった標準は、非常に大きな確率で、互換性のないメディア・ストリーム（すなわち、単一のメディア・プレーヤによって処理することのできないデータ・パケット、及び／または単一のストリームへ結合することのできないデータ・パケット）を生じるであろう。圧縮されたデータは、ストリーミング・メディア信号１５６及び１６６として、インターネット１４４上を同期システム１１０へ送信される。好ましくは、メディア・サーバ１５４及び１６４は、タイミング（例えば、或るデータ・パケットの送信時間）及び他の制御情報（例えば、ストリーム内の様々なファイルのサイズとタイプ、元のソース及びプログラム、利用された圧縮標準及びプロトコルなど）を、ストリーミング・メディア信号１５６及び１６６の中へ挿入して、受信ノードがこの情報を解析または検索して使用できるように構成される。インターネット１４４上を移動する間、ストリーミング・メディア信号１５６及び１６６は、輻輳、変動する容量、ルータ及び他のネットワーク機器の遅延、及び他の伝送問題に起因する伝送遅延を経験する。同期システム１１０は、インターネット１４４から、遅延されたストリーミング・メディア信号１５６及び１６６を表すストリーミング・メディア入力１１２または他のメディア・ソース（図示されていない）からの入力を受け取る。
【００１８】
ストリーミング・メディア信号１５６及び１６６が同じ送信時間に送信された場合であっても、インターネット１４４上の変動性伝送遅延によって、ストリーミング・メディア信号１５６及び１６６は、受信ノード、例えばエンドユーザ・ノード１９０またはストリーミング・メディア同期システム１１０へ異なった時間に到着する。信号１５６及び１６６が時間軸調整なしに結合された場合、ウェブキャスト・コンテンツ１５２及び１６２は、正しく時間同期されないであろう。この同期不在は、利用されるメディア・ソースが多くなるにつれて増幅または悪化する。例えば、ローカル・メディア・ソース１３０からのストリーミング・メディア信号１３６が、ストリーミング・メディア信号１５６及び１６６と結合または混合された場合、インターネット１４４及び通信ネットワーク１３８上の変動性伝送遅延によって生じた同期不在は、大きな確率で、そのような未調整メディア・ストリーム内のデータ・ギャップ及び／またはジッタとして認識されるであろう。
【００１９】
本発明の重要な特徴によって、ウェブキャスト・システム１００は、複数のメディア・ストリームを受け取り、それらのストリームを合成メディア・ストリームへ処理するように機能するストリーミング・メディア同期システム１１０を含む。合成メディア・ストリームは、データ・パケットのために変動性伝送期間の問題（すなわち、変動性伝送遅延）を克服するように時間同期される。ストリーミング・メディア同期システム１１０の１つの実施形態は、図２で示される。ストリーミング・メディア入力１１２（例えば、インターネット１４４上を送信されたストリーミング・メディア信号１５６及び１６６、及び通信ネットワーク１３８上を送信されたストリーミング・メディア信号１３６）は、最初に入力／出力（Ｉ／Ｏ）インタフェース２１０（例えば、フロントエンド・プロセッサなど）によって受け取られる。好適な実施形態において、Ｉ／Ｏインタフェース２１０は、通信ネットワーク１３８及び１４４との通信リンクを提供し、ストリーミング・メディア入力１１２内のデータ・パケットの或る初期分解及び処理、例えば誤りの検出及び訂正を実行する。Ｉ／Ｏインタフェース２１０は、好ましくは、さらに、データ・ストリーム１１２のために、またデータ・ストリーム１１２内の少なくとも或るデータ・パケット（例えば、ストリーム内の最初及び最後のデータ・パケット）のために、受信時間を識別する。この受信時間は、外部タイミング・リファレンス１２０（直接リンクは図示されていない）を使用して計算される。この受信時間は、出力された圧縮ストリーム２１２の中へ挿入される。
【００２０】
圧縮されたストリーム２１２（またフォーマットされたストリーム）は、解析デコーディング・マネージャ２１６へ渡される。解析デコーディング・マネージャ２１６は、圧縮されたストリーム２１２からタイミング及び制御情報を位置決めして除去するように構成されたソフトウェア及びハードウェアを含む。メディア・ソース１３０、１５０、１６０によって提供された送信時間またはタイムスタンプ、及びＩ／Ｏインタフェース２１０からの受信時間情報を含む、この解析された制御データ２１８は、後で詳細に説明されるように、圧縮されたストリーム２１２を時間軸調整するとき使用する目的で、時間軸同期コントローラ２３０へ送信される。
【００２１】
好適な実施形態において、解析デコーディング・マネージャ２１６は、異なった非互換性圧縮標準及びフォーマッティング・スキームの下でフォーマットされた圧縮ストリーム２１２を受け取り、互換性またはコーデック中性ストリーム２２０を出力するように構成される。一般的に、マネージャ２１６は、圧縮されたメディア・ストリーム２１２内の各々のデータ・パケットを伸長及びデコードして、その内容を決定するように動作する。部分的には、これは、ストリーミング・メディア入力１１２の各々をフォーマットするために使用された圧縮及びフォーマッティング標準をヘッダに含む解析済み制御データ２１８を検索し、この情報を使用して、データ・パケットを伸長及びデコード（例えば、デマルチプレックス）することによって達成される。１つの実施形態において、圧縮されたストリーム２１２の各々は、含まれたディジタル・データが混合及び結合に互換的な（すなわち、コーデック中性の）ベースバンド・レベルへデコード及び伸長される。他の実施形態において、圧縮されたストリーム２１２の各々は、ＴＣＰ／ＩＰモデルの特定の層へデコードされるか、コーデック中性として決定されるデコーディング及び伸長の中間レベルへデコードされ、データ・パケットの後の結合及び混合が可能になる。この中間レベル処理モードは、解析デコーディング・マネージャ２１６によって要求される処理時間及び処理能力を縮小する。次に、解析デコーディング・マネージャ２１６は、コーデック中性ストリームのデータ・パケットを、典型的には先入れ先出し方式で、一時的記憶のためにデータ・バッファ２２２及び２２４の中に置く。バッファ２２２及び２２４は、説明を容易にするための論理構成として別々の装置で示されるが、これは限定的ではなく、１つまたは複数のメモリ装置であってよい。
【００２２】
本発明の他の重要な態様によれば、時間軸同期コントローラ２３０は、コーデック中性ストリーム２２０の時間補正または時間軸調整を制御して、２つ（または、もっと多くの）ストリーム２２０を同期し、伝送レート及びタイミングの変動を補正するように構成されたソフトウェア及びハードウェアを含む。１つの動作モードにおいて、コントローラ２３０は、同期システム１１０の中で操作及びコーデック中性ストリーム２２０の処理を実行することによって、変動性伝送遅延問題に対処するように構成される。例えば、フィードバック制御機能を有しないストリーミング・メディア・ソース１５０は、同期システム１１０でＩ／Ｏインタフェース２１０によってストリーミング・メディア入力１１２として受け取られる前に、インターネット１４４内で伝送遅延を経験するストリーミング・メディア信号１５６を送信する。コントローラ２３０は、外部タイミング・リファレンス１２０からの入力を使用して、解析された制御データ２１８の中でメディア・ソース１５０によって提供された送信時間を、Ｉ／Ｏインタフェースによって提供された受信時間と比較することによって、伝送遅延を決定する。外部タイミング・リファレンス１２０は、好ましくは、例えばＧＰＳシステムによって利用可能な正確なタイミング・リファレンスであり、ＧＰＳアンテナ及び受信機（図示されていない）を使用して取得されてよい。
【００２３】
本発明の１つの実施形態において、伝送遅延は特定のメディア・ストリーム１１２について、例えば最初に受け取られたデータ・パケットについて、一度だけ決定される。時間軸の同期を提供するため、同期コントローラ２３０は、データ・バッファ２２２及び２２４からのデータ・パケットの検索を管理し、コーデック中性ストリーム２２０の決定された伝送遅延を補正するように作動される。例えば、２ミリ秒及び１５ミリ秒の遅延を有する２つのストリームを混合することが求められた場合、コントローラ２３０は、第１のデータ・ストリームの検索を１３ミリ秒だけ遅延させ、同期を生成するであろう。次に、コントローラ２３０は、時間調整されたストリーム２３４を、混合、切り替え、及び他の処理のために、ストリーミング・メディア・プロセッサ２４０へ渡す。もちろん、この検索遅延は、バッファ２２２及び２２４の１つが、他のバッファ２２２または２２４よりも多くのデータ・パケットを含む結果を生じる。バッファ２２２及び２２４のサイズは、好ましくは十分な大きさであり、予想された伝送遅延、及び多数のストリームの間の遅延差を調整するために十分なパケットを記憶する。
【００２４】
他の好適な実施形態において、伝送遅延は、ストリーミング・メディア・ファイル内の変動遅延の問題に対処するため、各々のメディア・ストリームについて定期的に決定される。ストリーム内のこの変動遅延は、同期システム１１０によって予想されるよりも遅いか早いファイルの送信を起こすかも知れない。これは、特定のファイルまたは「プログラム」が、予想されるよりも長いか短いランタイムを生じるかも知れない。各々のパケットについて遅延を決定することは実際的でないかも知れないが、伝送遅延の頻度は、好ましくは、許容される時間同期を提供するために十分な頻度である。典型的には、ファイルが長ければ、短いファイルよりもサンプル回数が多くなり、信頼性の少ない経路及びネットワーク上を送信されるメディアは、好ましくは、より頻繁にサンプルされて、決定の間の時間は少なくなる。この動作モードにおいて、同期コントローラ２３０は、到着するストリームまたは「プログラム」の長さを決定して、プログラムに割り当てられた時間スペースをプログラムが満たすかどうかを決定する。
【００２５】
例えば、ウェブキャスタは、３０秒のコマーシャル・スポットを埋めるためのストリーミング・メディア・ファイルを必要とするかも知れない。コントローラ２３０は、ストリーミング・メディア入力１１２の解析された制御データ２１８及び決定された伝送遅延から、ストリーミング・メディア・ファイルまたはコマーシャルが、圧縮された合成メディア・ストリーム１１４の中に置かれた場合に、どれほど長く続くかを決定するように動作することができる。したがって、コントローラ２３０は、データ・バッファ２２２及び２２４からコーデック中性ストリーム２２０のデータ・パケットを検索して、データ・ストリームの遅くなったり早くなったりする伝送レートを補正するように動作することができる。上記のコマーシャルの例で、伝送遅延または伝送レートによって、３０秒を超える長さまたはランタイムのコマーシャルを生じるようなレートでメディア・ストリーム１１２が送信された場合、コントローラ２３０は、少し早いレートでデータ・パケットを検索し、時間調整されたストリーム２３４が、３０秒のランタイムを有するように、すなわち、位相同期を達成するように、動作することができる。この早くしたり遅くしたりするコントローラ２３０の検索機能は、検索レート（したがって、時間調整されたストリームの中のデータ供給）の変化が、滑らかになるように制御されて、ストリーミング・メディア制作品１１４の中の顕著なジッタ、急跳、及びスピードの増加を回避するため、あまりに急激でないことが好ましいという点で、物理はずみ車に匹敵させることができる。この機能は、数値アキュムレータを含むハードウェア構成部品及び／またはソフトウェアを使用して達成されてよい。
【００２６】
注意すべきは、このはずみ車アプローチは、ストリーミング・メディア・ファイルの供給をスピードアップまたはスローダウンするように働き、全体のストリーミング・メディア入力１１２、または入力１１２の一部分のために使用して、ディジタル・データ・ファイル内の変動性伝送遅延に順応できることである。さらに、編集点、すなわち、他のストリーミング・メディア入力１１２またはプログラムの終わりを追跡するために、ストリーミング・メディア入力１１２の伝送レートのスピードアップ及びスローダウンを実行することができる。例えば、プログラムは比較的早く終了するようにスケジュールされてよいが、次のプログラムはＩ／Ｏインタフェース２１０にまだ到着していない。コントローラ２３０は、少なくとも制限された範囲まで、データ・バッファ２２２及び２２４からのデータ・パケットの取り出しをスローダウンし、プログラムまたはメディア・ファイルの長さまたはランタイムを効果的に延長することができる。コントローラ２３０によって逆のテクニックを使用し、後で到着するストリーミング・メディア入力１１２またはプログラムが、あまりに早く到着する場合に、それらを遅らせることができる。もちろん、このコントローラ２３０のスピード制御機能は、プロセッサ２４０からの入力を使用するコントローラ２３０によって自動的に達成されてよい。さらに、或る実施形態では、いつどのようにしてこの補正テクニックを制御するかをオペレータに決定させるため、手作業または人間制御オーバーライドまたは入力機能（図示されていない）を有することが好ましいかも知れない。前記の方法において、同期システム１１０は、ファイルのためにファイル伝送レートまたはランタイムの長さに対する制御を提供し、これは独特の機能を提供する。この長さ及び伝送レートの制御は、ウェブキャスト・システム１００のユーザ、特にストリーミング・メディアを順次に結合して、従来のテレビ及びラジオ放送で現在提供されているような一連のプログラムを、デッドエア（すなわち、データ・ギャップ）なしに提供するユーザに対して、非常に有用である。
【００２７】
他の動作モードによれば、同期システム１１０は、Ｉ／Ｏインタフェース２１０へ送信されているストリーミング・メディアの供給タイミング及びレートを制御するように構成される。図１及び図２を参照すると、制御可能ストリーミング・メディア・ソース１６０は、メディア・サーバ１６４を使用してウェブキャスト・コンテンツ１６２をストリーミング・メディア信号１６６として送信する。インターネット１４４を通過して伝送遅延を経験した後、ストリーミング・メディア入力１１２は、同期システム１１０のＩ／Ｏインタフェース２１０で受け取られる。同期コントローラ２３０は、解析された制御データ２１８に含まれたメディア・ソース１６０からの送信時間及びＩ／Ｏインタフェース２１０での受信時間に基づいて、ストリーミング・メディア入力１１２の伝送遅延を決定する。応答として、同期コントローラ２３０は、メディア・サーバ制御信号１１６を生成して、制御可能ストリーミング・メディア・ソース１６０へ送信する。そ信号はフィードバック信号１６８として受け取られる。信号１１６は、多くの方法でストリーミング・メディア信号１６６の伝送を制御するようにメディア・サーバ１６４へ命令してよい。それらの方法の中には、異なったレートで送信すること（例えば、もっと早くか、もっと遅く）、異なった時間に送信すること（例えば、測定された伝送遅延を、次の計画されたデータ・ファイルが補償するため）、及び／または異なったＴＣＰ／ＩＰプロトコルまたは圧縮標準を使用して送信することが含まれる。このようにして、ストリーミング・メディア信号１６６は、同期システム１１０で受け取られる前に、継続進行及びダイナミックな方法で時間調整されることができる（例えば、１〜１０ミリ秒ごとに信号１１６を送信することによって）。メディア・サーバ制御信号１１６の生成及び送信する時間と、時間調整されたストリーミング・メディア信号１６６を送信する時間との間の伝送遅延における変化を補償するため、ストリーミング・メディア信号１５６について説明したように、さらに信号１６６を同期システム１１０で調整することができる。
【００２８】
図２を参照すると、同期コントローラ２３０は、さらに、決定された伝送遅延及びストリーミング・メディア情報（メディア・ソース及び通信経路情報を含む）を、メディア入力統計データ２４４として送信するように動作可能である。この情報文書化によって、同期システム１１０は、通信ネットワーク上の特定の伝送経路について、様々なメディア・ソースからの遅延レートを追跡することができる。このデータ２４４は、監視装置または計測器（図示されていない）上で同期システム１１０のユーザによって視覚的に（または、あまりに大きな遅延には警報を使用して聴覚的に）直接モニタされるか、電子出力またはハードコピー・プリントアウトを点検することによって定期的にモニタされることができる。データ２４４は、ウェブキャストをプランニングして、ストリーミング・メディアを送信するメディア・ソース及び経路（ＩＳＰなどを含む）を選択するときに有益である。さらに、この情報は、伝送品質の制御及び確認を容易にするため、メディア・ソース１３０、１５０、１６０へ定期的に提供される（手作業または自動的に）ことができる。
【００２９】
時間調整されたストリーム２３４は、圧縮された合成ストリームまたはシンクされたメディア信号１１４を生成するため、ストリーミング・メディア・プロセッサ２４０によって処理される。次に、圧縮された合成ストリームまたはシンクされたメディア信号１１４は、インターネット１４４上をエンドユーザ・ノード１７０及び１８０へ送信される。メディア・ストリーム１１４は、通常、メディア・ファイルのタイプ（例えば、ビデオ・ストリーミング・メディアについては、マイクロソフト社のＮｅｔｓｈｏｗ）に従って、従来の圧縮標準へ圧縮及びフォーマットされる。ストリーミング・メディア・プロセッサ２４０は、テレビ放送の切り替え装置によって提供される機能の多くを提供する。それらの機能の中には、２つ以上の信号（ここでは、時間調整されたメディア・ストリーム２３４）を切り替えて、データ・ギャップまたはデッドエアを有しない順次の合成メディア・ストリーム１１４を提供することが含まれる。２つの時間調整されたメディア・ストリーム２３４のこの結合は、２つのストリームの中の最初のストリームの終わりを決定して、２番目のストリームを開始することを含む。言い換えれば、最初のストリームの最後のデータ・パケットが識別され、２番目のデータ・ストリームの最初のデータ・パケットが、合成ストリーム１１４の中でこの最後のデータ・パケットに隣接して配置される。プロセッサ２４０は、好ましくは、さらに、新しい合成ストリームの中でギャップまたは急跳を生じることなく、１つのストリームをフェードアウトし、漸進的に他のストリームへフェードインするように構成される。
【００３０】
プロセッサ２４０は、好ましくは、さらに、時間調整されたストリーム２３４を結合して、２つ以上のメディア・ストリームを並行して提示するように構成される。例えば、合成ストリーム１１４は、２つ以上のライブ・ウェブキャストからの時間同期されたビデオ・メディア・ストリームを含んでよい。これらのビデオ・メディア・ストリームは、別々のウィンドウまたは画面でメディア・ストリームを表示するように結合される。このようにして、圧縮された合成ストリーム１１４の中で、時間同期された方法で分割画面及びＰＩＰストリーミング・メディアを提供することができる。
【００３１】
図１を参照すると、時間同期されたメディア信号１１４はインターネット１４４上を送信される。合成ストリーミング・メディアは、シンクされたメディア信号１７４として、比較的簡単なエンドユーザ・ノード１７０で受け取られてよい。エンドユーザ・ノード１７０は、インターネット１４４または他の通信ネットワークと通信し、視聴する（またはメディア・ストリームを使用する）ためにメディア・ストリームを処理できる任意の電子装置であってよい。この点に関して、エンドユーザ・ノード１７０は、通常、ブラウザを含み、同期システム１１０によって利用される特定のエンコーディング標準（例えば、ＲｅａｌＮｅｔｗｏｒｋｓ社からのＲｅａｌＰｌａｙｅｒなど）をプレイまたは処理するため、メディア・プレーヤ１７２が選択される。
【００３２】
もちろん、シンクされたメディア信号１１４は、それ自身インターネット１４４上の伝送の間に、変動性伝送遅延を経験するであろう。例えば、時間の最初にスタートするようにスケジュールされるウェブキャストが遅延されて、そのスケジュールされた編集点またはスタート時間の前に、エンドユーザ・ロケーションで受け取られることができないかも知れない。１つだけの同期システム１１０がストリーミング・メディアを送信している場合、数ミリ秒の遅延は重要でないかも知れない。しかし、エンドユーザ・ノード１８０が、シンクされたメディア信号１８６を、多数のソース（図示されていない）から受け取っている場合には、そのような小さな遅延でも、認識可能で望ましくないデータ・ギャップまたはデッドエアを生じるであろう。この動作モードでデッドエアを最小にするため、エンドユーザ・ノード１８０はシンクロナイザ１８４を含む。シンクロナイザ１８４は、同期システム１１０とエンドユーザ・ノード１８０との間の伝送遅延を決定し、時間軸の調整を実行して、シンクされたメディア信号１８４を再同期する。シンクロナイザ１８４は、ストリーミング・メディア同期システム１１０の機能の全部を提供しないにしても、その多くの機能を提供するように構成されてよい。
【００３３】
ウェブキャスト・システム１００の他の動作モードにおいて、ストリーミング・メディア信号１５６及び１６６、及び／またはシンクされたメディア信号１１４は、インターへネット上をエンドユーザ・ノード１９０へ送信される。エンドユーザ・ノード１９０は、ネットワークで遅延されたストリーミング・メディア入力１９６を受け取る。このエンドユーザ・ノード１９０（例えば、ディジタル・テレビのセットトップ・ボックスまたはパーソナル・コンピュータ・システム）は、複数のソースからストリーミング・メディアを受け取るので、同期システム１１０について詳細に説明したように、時間軸調整を行うシンクロナイザ１９４を含むことが望ましい。シンクロナイザ１９４は、同期システム１１０が実行する機能の全てを実行するように構成されるか、さらに好ましくは、機能のサブセットを実行して処理及びメモリの必要性とコストを制御するように構成される。例えば、シンクロナイザ１９４は、従来のテレビ機器で予想されるように、エンドユーザ・ノード１９０が分割画面またはＰＩＰフォーマットでストリーミング・メディアを見ることを可能にしてよい。この目的のため、シンクロナイザ１９４は、ストリーミング・メディア入力１９６を受け取り、各々の入力１９６について変動性伝送遅延を決定し、決定された伝送遅延に基づいて入力１９６を時間調整し、時間調整されたストリームを、選択された可視フォーマットへ結合するように構成されてよい。１つの実施形態において、ストリーミング・メディア入力１９６は、多くの場合、互換性のない圧縮標準及び／またはフォーマッティングを有するので、シンクロナイザ１９４は、同期システム１１０の解析デコーディング・マネージャ２１６の機能を含み、シンクロナイザ１９４にコーデック中性メディア・ストリームを生成させる。コーデック中性メディア・ストリームは、時間調整されて容易に結合され、メディア・プレーヤ１９２によって処理されるように合成メディア・ストリームを形成することができる。
【００３４】
本発明は、或る程度の特定性と共に説明及び図示されたが、理解されるように、その開示は例としてなされただけで、各部分の組み合わせ及び配列の多くの変更は、特許請求の範囲に記載されるように本発明の趣旨及び範囲から逸脱することなく、当業者に任せることが可能である。例えば、解析デコーディング・マネージャ２１６、時間軸同期コントローラ２３０、及びストリーミング・メディア・プロセッサ２４０は、図２では３つの別々の装置として示されるが、ストリーミング・メディア同期システム１１０のこれらの構成要素の機能は、本発明に従った１つまたは複数の処理装置によって実行できることを理解すべきである
【図面の簡単な説明】
【００３５】
【図１】本発明によるストリーミング・メディア同期システムを含むウェブキャスト・システムの機能的ブロック図である。
【図２】図１のストリーミング・メディア同期システムの１つの好適な実施形態の機能的ブロック図である。
【符号の説明】
【００３６】
１１０  ストリーミング・メディア同期システム
１１２  ストリーミング・メディア入力
１１４  圧縮された合成ストリーム
１１６  メディア・サーバ制御信号
１２０  外部タイミング・リファレンス
２１０  Ｉ／Ｏインタフェース
２１２  圧縮されたメディア・ストリーム
２１６  解析デコーディング・マネージャ
２１８  解析された制御データ
２２０  互換的またはコーデック中性ストリーム
２２２、２２４  データ・バッファ
２３０  同期コントローラ
２３４  時間調整されたストリーム
２４０  プロセッサ
２４４  メディア入力統計データ
【図１】
2004525545.tif 000003
【図２】
2004525545.tif 000004
【国際公開パンフレット】
2004525545.tif 000005
2004525545.tif 000006
2004525545.tif 000007
2004525545.tif 000008
2004525545.tif 000009
2004525545.tif 000010
2004525545.tif 000011
2004525545.tif 000012
2004525545.tif 000013
2004525545.tif 000014
2004525545.tif 000015
2004525545.tif 000016
2004525545.tif 000017
2004525545.tif 000018
2004525545.tif 000019
2004525545.tif 000020
2004525545.tif 000021
2004525545.tif 000022
2004525545.tif 000023
2004525545.tif 000024
2004525545.tif 000025
2004525545.tif 000026
2004525545.tif 000027
2004525545.tif 000028
2004525545.tif 000029
2004525545.tif 000030
2004525545.tif 000031
2004525545.tif 000032
【国際調査報告】
2004525545.tif 000033
2004525545.tif 000034
2004525545.tif 000035