(57)【特許請求の範囲】
【請求項１】
データ・ストリームを同期させるシステムであって、
複数のフレームを表すデータに関する情報を受信し、かつ前記複数のフレームのうちの少なくとも１つのフレームに関する等級を与える等級付け装置であって、前記等級は前記少なくとも１つのフレームを修正することによってアーティファクトが生じる可能性を表し、複数の等級が劣化したフレームと喪失したフレームについて使用される、前記等級付け装置と、
前記少なくとも１つのフレームに関する前記等級を受信し、かつ前記等級による基準に基づいて前記複数のフレーム内でオーディオ・データおよびビデオ・データを再同期させる再同期装置と、を有する前記システム。
【請求項２】
前記基準が、ローカル・タイマとデータ・ストリームとのうちのの少なくとも１つを含む、請求項１記載のシステム。
【請求項３】
前記複数のフレームを復号化するデコーダを更に含み、該デコーダが前記等級を決定するために入力を前記等級付け装置に供給する、請求項１記載のシステム。
【請求項４】
アコースティック・フレームに関して前記デコーダが提供する情報に、サイレント・フレームと無声音フレームと有声音フレームとのうちの少なくとも１つが含まれる、請求項３記載のシステム。
【請求項５】
前記データ・ストリームがネットワーク層から受信され、該ネットワーク層はフレームが失われているかまたは劣化しているかを示す情報を前記等級付け装置に供給する、請求項４記載のシステム。
【請求項６】
前記再同期装置に入力するために、前記複数のフレームおよび該複数のフレームに関する等級を記憶するフレーム・バッファを更に含む、請求項５記載のシステム。
【請求項７】
前記再同期装置が等級パターンを決定するプログラムを含み、前記等級パターンに基づいて前記データ・ストリームを再同期させる、請求項６記載のシステム。
【請求項８】
前記プログラムは、再同期を実行する方法を決定するための統計的データを含む、請求項７記載のシステム。
【請求項９】
再同期の閾値に達すると、前記再同期装置は代替のデータ・ストリームからの第２の複数のフレームを利用する、請求項８に記載のシステム。
【請求項１０】
前記少なくとも１つのフレームの等級が、前記少なくとも１つのフレームのソースと、前記少なくとも１つのフレームの発生に使用されるエンコーダとのうちの少なくとも１つに関する情報を含む、請求項１記載のシステム。
【請求項１１】
データ・ストリームを再同期させる方法であって、
複数のフレームを表すデータを等級付けし、前記複数のフレームのうちの少なくとも１つのフレームに関する等級を与えるステップであって、前記等級は前記少なくとも１つのフレームを修正することによってアーティファクトが生じる可能性を表し、複数の等級が劣化したフレームと喪失したフレームについて使用される前記ステップと、
前記少なくとも１つのフレームに関する等級を使用し、データを追加／削除するのに好ましい時間を決定し、基準に従い前記複数のフレーム内でオーディオ・データおよびビデオ・データを再同期させることにより、前記データ・ストリームを再同期させるステップと、を有する前記方法。
【請求項１２】
前記基準がローカル・タイマとデータ・ストリームとを含む、請求項１１記載の方法。
【請求項１３】
前記複数のフレームを復号化するステップを更に含み、前記等級を確定するために前記複数のフレームを等級付けすることに用いられる入力を供給する、請求項１１記載の方法。
【請求項１４】
前記復号化するステップが、アコースティック・データ・ストリームを表すデータを復号化して、サイレント・フレームと無声音フレームと有声音フレームとのうちの少なくとも１つを含む前記複数のフレームに関する情報を供給することを含む、請求項１３記載の方法。
【請求項１５】
前記データ・ストリームがネットワーク層から受信され、前記複数のフレームのうちの少なくとも１つのフレームを等級付けするために、フレームが失われているか劣化しているかを表示する情報を前記ネットワーク層によって供給するステップを更に含む、請求項１１記載の方法。
【請求項１６】
フレーム・バッファ内にフレームをバッファするステップを更に含み、複数のフレームおよび該複数のフレームに関する等級を前記再同期するステップのための入力として記憶する、請求項１１記載の方法。
【請求項１７】
等級パターンを決定し、該等級パターンに基づいて前記データ・ストリームを再同期させるステップを更に含む、請求項１１記載の方法。
【請求項１８】
再同期の閾値に達すると、代替のデータ・ストリームからのフレームが利用される、請求項１７記載の方法。
【請求項１９】
前記少なくとも１つのフレームの等級が、前記少なくとも１つのフレームのソースと、前記少なくとも１つのフレームの発生に使用されるエンコーダとのうちの少なくとも１つに関する情報を含む、請求項１８記載の方法。
【請求項２０】
データ・ストリームを同期させるシステムであって、
複数のデータ・フレームに関する情報を受信し、かつ各フレームに関する等級を与える等級付け手段であって、前記等級は前記少なくとも１つのフレームを修正することによってアーティファクトが生じる可能性を表し、複数の等級が劣化したフレームと喪失したフレームについて使用される、前記等級付け手段と、
前記複数のフレームに関する前記等級を受信し、かつ前記等級による基準に基づいて前記複数のフレーム内でオーディオ・データおよびビデオ・データを再同期させる再同期手段と、を有する前記システム。
【発明の詳細な説明】
【技術分野】
【０００１】
一般に、本発明は、データ・ストリームの同期に関し、特に、ネットワークから受信したデータ・ストリームを再び同期させ、再同期の間に生じる感知可能なアーティファクトを減少させる方法とシステムに関する。
【背景技術】
【０００２】
現在市販されている多くのマルチメディア・プレーヤおよびテレビ会議システムはパケットをベースとするネットワークを利用し、アプリケーションは、非リアルタイムのオペレーション・システムでオーディオ／ビデオ・サービスを提供する。異なるメディア・ストリーム（例えば、テレビ会議のオーディオ・ストリームとビデオ・ストリーム）はしばしば別個に送信され、通常、一定の時間的関係を有する。重いネットワークの負荷状態、重いＣＰＵ（中央処理装置）の負荷、あるいは送信／受信装置で異なるクロックのため、サービスの質が失われ、システムは、フレームとサンプルを落とし、受信側でフレーム／サンプルを導入し、オーディオ／ビデオ・ストリームを再同期させることを要求される。しかしながら、従来の再同期方式はデータ・ストリーム内に感知可能なアーティファクト（ａｒｔｉｆａｃｔｓ）を生じる。
【０００３】
例えば、パーソナル・コンピュータ（ＰＣ）を端末装置として使用するインターネット・プロトコル（ＩＰ）（ＲＦＣ０７９１インターネット・コントロール・メッセージ・プロトコル、１９８１を参照）に基づくテレビ会議システムを考えると、ネットワークのジッタのため、あるいは送信側と受信側でサンプリング・レートが少し異なるのでビデオ・ストリームとオーディオ・ストリームは受信側でドリフトする。ビデオ部分については、表示フレーム・レートは容易に調節することができる。しかしながら、オーディオ部分は、サンプリング・レートがフレーム・レートよりずっと高いので、より多くの問題を生じる。オーディオ・サンプルは通常、一定のサンプリング・レートを有する音声装置にブロックで送られる。従って、プレイバック・タイムを調節するために、サンプリング・レートを変換することは、通常、複雑すぎるので、二三のサンプルが追加され（パッディング）あるいはブロックから除去される。このため通常、リプレイ（再生）に感知可能なアーティファクトを生じる。
【０００４】
再同期は通常、サイレント（無音声）期間を検出し、それに応じて、サンプルを導入または削除することにより行われる。サイレント期間は典型的に、重要な情報を喪失または破壊する可能性が非常に少ないので、オーディオ・ストリームを再同期させる時期として使用される。しかしながら、再同期を実行する必要があるのに信号中にサイレント期間が存在しない場合もある。
【発明の開示】
【０００５】
（発明の概要）
データ・ストリームを同期させるシステムを開示する。等級付け装置は、データのフレームに関する情報を受信し、各フレームにつき、そのフレームを変更することにより、感知可能なアーティファクトを生じる可能性を示す等級を与える。再同期装置は、フレームに関する等級を受信し、その等級による基準に基づいて、データ・ストリームを再同期させる。
【０００６】
データ・ストリームを再同期させる方法は、データ・フレームを等級別に分類するステップを含み、各フレームにつき、フレームの変更がなされて感知可能なアーティファクトを減少させる可能性を示す等級（ｒａｔｉｎｇ）が与えられる。データ・ストリームを再同期させるために、フレームに関する等級を使用し、フレームを追加あるいは削除する最適時を決定し、基準に従ってデータ・ストリームを再同期させる。
【０００７】
本発明の利点、性質、および種々の特徴は、添付の図面に関連して実施例を考慮することにより、一層十分に明白となる。図面は本発明のコンセプトの例示を目的とするもので、必ずしも、本発明の唯一の構成を示すものではない。
【発明を実施するための最良の形態】
【０００８】
本発明によって、複数のデータ・ストリームの再同期の間に発生する感知可能なアーティファクトを減少させる方法とシステムが得られる。マルチメディア・データのフレームの等級付けが行われ、感知可能なアーティファクトを生じることなく、データ・ストリーム間の調節がどの程度まで可能であるかを表示する。「感知可能なアーティファクト」には、データ・ストリーム間の感知できるほどの同期差が含まれる。一例として、画像の唇の動きと音声（せりふ）とが一致／同期しない。顕著なアーティファクトの他の例として、ブランク・フレーム、多すぎる連続的静止ビデオ・フレーム、不要なオーディオ・ノイズ、表示フレームにおけるランダムなマクロブロック構成などがある。本発明は、等級付け用の情報を得るために復号化装置／受信装置を使用し、等級別の分類に基づいて複数のデータ・ストリームを再同期させる。この方法で、再同期のためにサイレント・ポーズ（無音声の休止）が得られると否とに関らず、使用可能な最適な場所または時期に少なくとも１つのデータ・ストリームから複数のフレーム／ブロック（データ）が低減または追加される。
【０００９】
本発明は、画像会議（テレビ会議）について記述されているが、もっと広範囲にわたり、マルチメディア・コンテンツを供給するため複数のデータ・ストリームを有するディジタル・マルチメディア配信システムも含まれる。本発明はあらゆるネットワーク・システムに利用され、データ・ストリームは、電話、ケーブル、放送波、コンピュータ・ネットワーク、衛星ネットワーク、インターネット、または他のメディアで転送される。
【００１０】
図１に示す要素は種々の形態のハードウェア、ソフトウェア、またはその組合せとして実施できる。これらの要素は、適正にプログラムされた汎用装置（これにはプロセッサ、メモリ、および入力／出力インタフェースを含む）でハードウェアとソフトウェアを組み合わせて実施されるのが好ましい。
【００１１】
図面について詳細に述べると、幾つかの図面にわたり同様なまたは同一の要素は参照番号で確認される。最初に、図１に、再同期を実行する最適な時期を確認できるシステム１０を示す。システム１０は、１つ以上のメディア・ストリームを別のメディア・ストリームに、またはクロック信号に、同期させることができる。例えば、ビデオ・ストリーム（インターメディアの同期）はリップ・シンク（ｌｉｐ  ｓｙｎｃｈｒｏｎｏｕｓ：唇の動きとせりふの一致）するよう、オーディオ・ストリームと同期され、メディア・ストリームは受信システムのタイム・ベースに同期される（イントラメディアの同期）。これらのアプローチの差は、ある場合には、オーディオ・ストリームは相対的なタイム・ベースとして使用され、別の場合は、システム・タイム／クロックが基準とされる。
【００１２】
システム１０は受信機１２に結合される再同期装置１４を有する受信機１２を具える。１つの実施例で、受信機１２は２つのメディア・ストリーム（例えば、オーディオ・ストリーム１６とビデオ・ストリーム１８）を受信する。ストリーム１６と１８は、プレイバックまたはレコーディング機能のために同期される。オーディオ・ストリーム１６には、送信側でエンコーダ（図示せず）より発生されたフレームを含んでいる。これらのフレームは、約１０ｍｓから約３０ｍｓの持続期間を有するが、他の持続期間も考えられる。更に、本システムで処理されるビデオ・フレームの形式は、例えば、ＭＰＥＧ‐２と互換性のあるＩ、Ｂ、Ｐフレームであるが、他の形式のフレームも使用できる。これらのフレームはネットワーク２０を通しパケットで送られる。受信側（受信機１２）で、複数のフレームがフレーム・バッファ２２によってプレフェッチ（ｐｒｅ‐ｆｅｔｃｈ）またはバッファされ、ネットワークと処理の遅延を等化できるようにする。
【００１３】
図２は、ビデオ・ストリーム１８のフレーム１０２とオーディオ・ストリーム１６のフレーム１０４とを、送信側１０８のタイム・ベース１０６と受信側１１０のタイム・ベースと比較して示すタイミング図である。送信端と受信端で異なるクロック・レートは、ストリーム１６と１８間でドリフトを生じる。本例では、受信側のクロックは送信側のクロックよりも遅く走行しており、受信側でのバッファ・レベルがオーバフローするとエラーが発生する。この発生するエラーの状態は検出可能であり、この状態は、等級付けされたオーディオ・フレームのサンプルを落とし、ビデオ・フレームをより速くプレイバックさせるか落とすことにより修復される。従って、ストリーム１６と１８は最適時に再同期される。本発明の原理に従い、当業者は本発明の教示を、少なくとも２つのメディア・ストリーム間の再同期を必要とする問題の改善に利用できる。
【００１４】
再び図１に関し、入来するフレームは、受信側で等級付け装置２４によって、再同期を目的とするフレームの変更が音質にどの程度影響するかを特定する数で等級づけされる。この数、あるいは等級（ｒａｔｉｎｇ）は、等級付け（ｃｌａｓｓｉｆｉｃａｔｉｏｎ）装置２４によってフレームに割り当てられ、ネットワーク層２１で情報に基づいて実行できる。ここで、例えば、「フレームが劣化」または「フレームが喪失」のような情報が得られる。フレームの等級は、デコーダ２６で実行される復号化処理の間に利用できる／発生される一組のパラメータに従って実行できる。普通の言語エンコーダ（ＩＴＵＧ．７２３、ＧＳＭＡＭＲ、ＭＰＥＧ‐４ＣＥＬＰ、ＭＰＥＧ‐４ＨＶＸＣなど）が使用され、例えば、有声音（母音）の信号、無声音（子音）の信号、音声の活性（すなわち、無声または有声）、信号のエネルギー、などのパラメータのうち幾つかを供給する。
【００１５】
デコーダ２６の内蔵された誤り変更により、使用される等級付けを表１に例示する。
【表１】
0004475650.tif 000002
本発明により、他の等級付け方式、パラメータ、値を使用することもできる。本発明の等級は、主観的な音質に最小の影響度（例えば、０は最小の影響度を意味し、４は最大の影響度を意味する）でサンプルを導入または除去できるのは、現在バッファされているフレーム２８のうちどのフレームかを、再同期装置１４に示す。劣化したフレームおよび失われたフレームは感知可能なノイズを生じるが、そのフレームのサンプルを挿入または除去すると、追加的なアーティファクトを生じない。上述のように、サイレント期間は再同期用に多く使用される。無声音フレームは通常、有声音フレームよりもエネルギーが少ないので、無声音フレームの変更は比較的目立たない。デコーダが、劣化／喪失したフレームからエラーを修復する充分な機構を具えるなら、等級付けは異なるものとなるかもしれない。
【００１６】
符号化されたフレーム３０は、復号化のためにデコーダに入力される。各フレームに関する情報は、ネットワーク層２１およびデコーダ２６から、等級付け装置２４に入力される。等級付け装置２４は等級を出力して、復号化された各フレーム２８に等級を関連付ける。復号化されたフレームは２８は、等級と共にフレーム・バッファ２２内に貯えられる。各フレームの等級は再同期装置１４に入力されて、メディア／データ・ストリーム１６と１８を再同期させるのに最適時が分析される。再同期装置１４は、ローカル・システム・タイマ３６または基準タイマ３８を使用して、ストリーム１６と１８を再同期させる。タイマ３６はシステム・クロック信号または他のタイミング基準を含み、基準タイマ３８は基準ストリーム（ストリーム１６またはストリーム１８を含む）のタイミングに基づく。
【００１７】
各フレームは、再同期装置１４に入力されると、最寄りのフレームと関連して分析されて、フレーム／データをストリームに追加しまたは削除する最適時が決定される。再同期装置１４はプログラムまたはファンクション４０を含み、最寄りのフレームをポール（ｐｏｌｌ）し、または蓄積された等級カウントを維持し、データ・ストリームを再同期させるため相対的位置または時間を推定する。例えば、劣化したフレームは、ビデオ・ストリームから除去され、各フレーム間の同期の不一致により、ビデオ・ストリームをオーディオ・ストリームと相対的に前進させる。同様に、ビデオ・フレームが複製によりビデオ・ストリームに追加され、そのビデオ・ストリームをオーディオ・ストリームと相対的に遅延させる。再同期を得るため、複数のフレームが１つまたはそれ以上のストリームから同時に除去され／追加されることもある。システム１０のニーズ（ｎｅｅｄｓ）に基づいて何れか一方のストリームのフレーム・レートを調節して再同期を得ることもできる。
【００１８】
プログラム４０は、追加または低減すべきフレームを選択するために、フレームの等級に加えて統計的データ４１または他の基準も使用する。統計的データには、一定の等級の多数のフレームに基づいて多数のサイクルで１フレームのみを削除または追加することも含まれる。別の例では、或るパターンのフレームの等級が、結果として、望ましくないアーティファクトを生じることもある。これらのパターンを決定するため再同期装置１４およびファンクション４０をプログラムすることができ、且つこれらのアーティファクトを減少させる方法でデータ・ストリームを再同期させるようにプログラムできる。これは出力４２からのフィードバックに、または他の再同期システムの動作に関連するシステム１０の外部で発生されるデータからのフィードバックに基づく、ユーザの経験に基づく。
【００１９】
本発明は、他のメディア・ストリーム（音楽、データ、ビデオ・データなど）にも利用される。図面は同期される２つのデータ・ストリームを示すが、本発明は、もっと多数のデータ・ストリームの同期にも利用できる。データ・ストリームには、異なるエンコーダより発生されるオーディオまたはビデオ・ストリームが含まれ、変化するレートで符号化される。例えば、異なるサンプリング・レートで同一のオーディオ／ビデオ源を表す２つの異なるビデオ・ストリームも在る。本発明の再同期スキームはこれらの変動を考慮し、同期について問題が存在する場合、１つのソースからのフレームを、別のソースからのフレームに利用できる。本発明は、本発明の原理に従いデータ・ストリームを再同期させるため、１つのエンコーダ（例えば、ＲｅａｌＡｕｄｉｏ）より発生されるストリームからのフレームを、第２のエンコーダ（例えば、Ｗｉｎｄｏｗｓ  Ｍｅｄｉａ  Ｐｌａｙｅｒ）のストリームに使用することも考慮する。
【００２０】
データ・ストリームは、ネットワーク２０で送信される。ネットワーク２０には、ケーブル・モデム・ネットワーク、電話（有線または無線）ネットワーク、衛星ネットワーク、ローカル・エリア・ネットワーク、インターネット、あるいは複数のデータ・ストリームを送信できる他のネットワークも含まれる。データ・ストリームはネットワークで受信される必要はないが、ペアをなす送信‐受信装置の間で直接受信される。このような装置には、ウォーキートーキー、電話、ハンドヘルド／ラップトップ・コンピュータ、パーソナル・コンピュータ、または複数のデータ・ストリームを受信できる他の装置も含まれる。
【００２１】
データ・ストリームの起源も（上述した他の特性のように）、データ・ストリームを再同期させることに関して考慮される。例えば、インターネット・ソースを起源とするビデオ・ストリームは再同期の試行が多すぎて、落とされるフレームが多すぎる。プレイバック・エラーを生じるストリームの代りに別のソース（例えば、電話、または別のデータ・ストリーム）も使用できる。この実施例で、再同期装置１４内のアキュムレータ４３（レジスタまたはメモリ・ブロック）は、表１の等級値をアキュムレータ４３内に貯えられた記録に追加することにより、再同期された現在のメディア・ストリームのフレーム・エラーの形式を記録し貯えることができる。アキュムレータ内に貯えられた記録が閾値を超えると、再同期装置１４は代りのメディア・ストリーム（特定のエンコーダの異なるソース／タイプのメディア・ストリーム、あるいは複数のストリームを送信できるネットワークからのメディア・ストリーム）をリクエストし、現在のメディア・ストリームを取り替える。システム１０は次に、この替りのメディア・ストリームからのフレームを利用することにより、２つまたはそれ以上のメディア・ストリームを再同期させる必要性が減少する。アキュムレータ４３は、この替りのメディア・ストリームが使用されてから、リセットされる。
【００２２】
本発明は、受信装置に関して述べたが、ネットワークの送信側／受信側で、あるいは本システムの送信位置と受信位置との間でも、同様に使用される。
【００２３】
ドリフトしたデータ・ストリームを、感知できる最小限のアーティファクトで再同期させる好ましい実施例（例示的なもので限定的なものではない）について説明したが、上述した教示に鑑みて、当業者は変更および変更をなすことができる。従って、開示された本発明の実施例に変更がなされ、これは請求項に記載の本発明の精神と範囲内にある。
【図面の簡単な説明】
【００２４】
【図１】本発明の１つの実施例に従い、感知できるアーティファクトを減少または排除するため、メディア／データ・ストリームを同期させるシステムと方法を示すブロック図／流れ図である。
【図２】本発明の１つの実施例に従い、２つのメディア・ストリームについて送信側と受信側の同期の差を例示するタイミング図である。
【図１】
0004475650.tif 000003
【図２】
0004475650.tif 000004