(57)【要約】本発明は、単一の受信装置に種々の源によって提供されるまたは種々の転送プロトコルを介して伝送される、あるいは種々のレンダリング装置によってレンダリングされるよう企図されているマルチメディア・フローの同期に関する。本発明によれば、第一のマルチメディア・フローのあるデータ項目を表す基準データ項目が、第二のマルチメディア・フローにおいて提供され、この第二のマルチメディア・フローのあるデータ項目と関連付けられる。それにより、両フローが同期される。この基準データは、それが関連付けられた第二のマルチメディア・フローのデータ項目についてのタイミング基準をなす。これは、二つのマルチメディア・フローを同期させるために使われる。
2013541894.tif 000002
【特許請求の範囲】
【請求項１】
送信装置においてマルチメディア・データ・フローを処理する方法であって：
・オーディオまたはビデオ・データを含む第一のマルチメディア・フローを受領する段階と、
・前記第一のマルチメディア・フローについてのレンダリング段階を実行する段階と、
・前記第一のマルチメディア・フローの前記レンダリングの間に、レンダリングについて前記第一のマルチメディア・フローに同期されるべき、オーディオまたはビデオ・データを含む第二のマルチメディア・フローを生成する段階と、
・前記第一のマルチメディア・フローのオーディオまたはビデオ・データ項目を表す、基準データ項目として知られる少なくともあるデータ項目を生成する段階と、
・前記第二のマルチメディア・フローにおいて、前記基準データ項目を、前記基準データ項目を生成するために使われた前記第一のマルチメディア・フローのオーディオまたはビデオ・データ項目のレンダリングの時点に生成された前記第二のマルチメディア・フローのオーディオまたはビデオ・データ項目と関連付けることによって、前記基準データ項目を挿入する段階とを含む、
方法に関する。
【請求項２】
受領装置においてマルチメディア・データ・フローを処理する方法であって：
・オーディオまたはビデオ・データを含む第一のマルチメディア・フローおよびオーディオまたはビデオ・データを含む第二のマルチメディア・フローを受領する段階であって、前記第二のフローは前記第一のマルチメディア・フローのレンダリングの間に生成され、少なくとも同期情報を含む、段階と、
・前記第一および第二のマルチメディア・フローを、前記同期情報を使って同期させる段階と、
・前記第一および第二のマルチメディア・フローについてレンダリング段階を実行する段階とを含んでおり、
前記同期情報が前記第一のマルチメディア・フローのオーディオまたはビデオ・データを表す、基準データ項目と呼ばれるデータ項目を含み、前記基準データ項目は前記第二のマルチメディア・フローのオーディオまたはビデオ・データに関連付けられており、
前記同期の際、前記第一および第二のマルチメディア・フローは、前記基準データ項目に関連付けられた前記第二のマルチメディア・フローのビデオまたはオーディオ・データのレンダリングと、前記基準データ項目に対応する前記第一のマルチメディア・フローのビデオまたはオーディオ・データのレンダリングとが同期するよう、同期されることを特徴とする、
方法。
【請求項３】
前記同期段階は、前記第一のマルチメディア・フローのオーディオまたはビデオ・データを前記基準データ項目と比較する段階を含む、請求項２記載の方法。
【請求項４】
前記比較段階は、前記第一のマルチメディア・フローのオーディオまたはビデオ・データのそれぞれと前記基準データ項目との間の信号対雑音比を計算する段階を含む、請求項３記載の方法。
【請求項５】
前記第一のマルチメディア・フローはビデオ・フレームを含むビデオ・フローである、請求項２ないし４のうちいずれか一項記載の方法。
【請求項６】
前記基準データ項目は前記第一のマルチメディア・フローのビデオ・フレームまたは前記ビデオ・フレームから導出されるデータ項目である、請求項５記載の方法。
【請求項７】
前記第二のマルチメディア・フローはオーディオ・フローである、請求項２ないし６のうちいずれか一項記載の方法。
【請求項８】
前記第一および第二のマルチメディア・フローは異なるマルチメディア源から来るおよび／または異なる転送ネットワークによって提供される、請求項２ないし７のうちいずれか一項記載の方法。
【請求項９】
マルチメディア・フローを受信する装置であって：
・オーディオまたはビデオ・データを含む第一のマルチメディア・フローおよびオーディオまたはビデオ・データを含む第二のマルチメディア・フローを受領する手段であって、前記第二のマルチメディア・フローは前記第一のマルチメディア・フローのレンダリングの際に生成され、少なくとも同期情報を含む、手段と、
・前記第一および第二のマルチメディア・フローを、前記同期情報を使って同期させる手段と、
・前記第一および第二のマルチメディア・フローをレンダリングする手段とを有する装置であって、
前記同期情報が、前記第一のマルチメディア・フローのオーディオまたはビデオ・データ項目を表す、基準データ項目と呼ばれるデータ項目を含み、前記基準データ項目は前記第二のマルチメディア・フローのオーディオまたはビデオ・データ項目に関連付けられており、前記同期手段は、前記第一および第二のマルチメディア・フローを、前記基準データ項目に関連付けられた前記第二のマルチメディア・フローのビデオまたはオーディオ・データ項目のレンダリングと、前記基準データ項目に対応する前記第一のマルチメディア・フローのビデオまたはオーディオ・データ項目のレンダリングが同期するよう、同期させることを特徴とする、
装置。
【請求項１０】
マルチメディア・フローを受信する装置であって：
・オーディオまたはビデオ・データを含む第一のマルチメディア・フローをレンダリングしたものを捕捉する手段と、
・オーディオまたはビデオ・データを含む第二のマルチメディア・フローを受領する手段であって、前記第二のマルチメディア・フローは、前記第一のマルチメディア・フローのレンダリングの間に生成され、少なくとも同期情報を含む、手段と、
・前記同期情報を使って前記第二のマルチメディア・フローを同期させる手段と、
・前記第二のマルチメディア・フローをレンダリングする手段とを有しており、
前記同期情報が前記第一のマルチメディア・フローのオーディオまたはビデオ・データ項目を表す、基準データ項目と呼ばれるデータ項目を含み、前記基準データ項目は前記第二のマルチメディア・フローのオーディオまたはビデオ・データ項目に関連付けられており、前記同期手段は、前記第一および第二のマルチメディア・フローを、前記基準データ項目に関連付けられた前記第二のマルチメディア・フローのビデオまたはオーディオ・データ項目のレンダリングと、前記基準データ項目に対応する前記第一のマルチメディア・フローのビデオまたはオーディオ・データのレンダリングが同期するよう、同期させることを特徴とする、
装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、種々のマルチメディア源からの、または種々の転送プロトコルを介して伝送されるおよび／または種々のレンダリング装置上で復元されるマルチメディア・フローの処理に関する。
【背景技術】
【０００２】
放送テレビでは、オーディオおよびビデオ・フローは伝統的には一緒に放送される。そうしたフローは、一般に単一のマルチメディア源、たとえばマルチメディア・コンテンツの供給者によって提供され、次いで所与の転送ネットワークを通じて単一の転送プロトコルによって転送され、次いで単一のエンドユーザー装置、たとえばテレビジョンに送達される。そのエンドユーザー装置がそうしたフローを読み、ビデオ・データを画面上に表示してオーディオ・データをスピーカーで発することを担う。
【０００３】
インターネット・ネットワークおよびモバイル遠隔通信ネットワークの急速な発達とともに、源および／または転送プロトコルおよび／またはレンダリング装置がオーディオ・フローとビデオ・フローについて異なることができる新たなマルチメディア・アプリケーションが登場した。これら新たなアプリケーションについては、オーディオ・フローのレンダリングがビデオ・フローのレンダリングと同期していることを確実にする必要がある。
【０００４】
新たなマルチメディア・アプリケーションの例は、ビデオ・フローの生成とは異なる源によるオーディオ・フローの生成である。このオーディオ・フローはビデオ・フローとともに提供される基本的なオーディオ・フローの代わりとなることが意図されている。たとえば、テレビでのサッカー試合放送の場合、試合のビデオ・フローとともに提供される基本的なオーディオ・フローの代わりに、たとえば基本的なオーディオ・フローとは異なる言語での解説を含むオーディオ・フローを使うことが可能である。そのようなオーディオ・フローは、試合放送者とは別のマルチメディア供給者によって送達されるであろう。オーディオ・フローがビデオ・フローと同期されることができるためには、それらのフローは共通のまたは等価なタイミング基準を含む必要がある。一般原則として、転送プロトコルは、二つのフローのレンダリングを統御し、同期するよう、これらの基準またはタイムスタンプをレンダリング装置に提供する。
【０００５】
タイムスタンプは一般に、該タイムスタンプに関連するイベントが発生する時間を示すカウンタ値である。カウンタのクロック周波数は、レンダリング装置が正しくフロー・レンダリングを統御するよう、レンダリング装置によって知られている値である必要がある。このクロック周波数がレンダリング装置に与えられる仕方はトランスポート層（MPEG-TS、RTP等）の仕様において記述されている。
【０００６】
レンダリング装置が二つのフローを同期させることができるために、二つのフローは一般に「壁時計（wall  clock）」と呼ばれる共通クロックを参照する。たとえば、RTPプロトコル（Real  Time  Transport  Protocol［リアルタイム転送プロトコル］のこと）の場合、送信側は定期的に送信報告RTCPと呼ばれる、タイムスタンプと共通クロックによって与えられる時間の間の等価性を示すメッセージを送信する。オーディオおよびビデオ・フローが異なる源によって提供される場合、これら二つの源は同じ共通クロックを共有しなければならない。NTPプロトコル（Network  Time  Protocol［ネットワーク時間プロトコル］のこと）は典型的には、同じクロック上で二つの源を同期させるために使われる。
【０００７】
しかしながら、二つの源が転送時間の点で十分信頼できるネットワークによって接続されていない場合には、別の同期機構が必要となる。
【０００８】
オーディオおよび／またはビデオ・フローの間のこの同期問題は、二つのフローのレンダリングが異なるレンダリング装置によって実行される場合、たとえばビデオ・フローがテレビジョンによってレンダリングされてオーディオ・フローが個人用端末、たとえば携帯電話によってレンダリングされる場合にも存在する。実際、たとえ転送プロトコルがオーディオ・フローとビデオ・フローのレンダリングを実行するためにタイムスタンプを提供したとしても、ビデオ・フロー・レンダリング装置だけが正確にいつビデオ・フレームが画面上に表示されるかを知っており、その瞬間は特に装置内での記憶時間および復号時間に依存する。それは、ユーザー端末におけるオーディオ・レンダリングについても同じである。
【０００９】
この同期問題は、ビデオ・コンテンツの一方が他方の中でピクチャー・イン・ピクチャーによって表示される、単一のレンダリング装置上で表示される二つのビデオ・フローの間にも、二つのフローが同じ源または同じ転送プロトコルによって提供されるのでない場合には、存在することがある。
【発明の概要】
【発明が解決しようとする課題】
【００１０】
本発明の目的は、単一の受領装置に種々の源によって提供されるまたは種々の転送プロトコルを介して伝送されるおよび／または種々のレンダリング装置によってレンダリングされることが意図されている二つのオーディオおよび／またはビデオ・フローを同期させることを可能にする、上述した欠点を克服しようとする解決策を提案することである。
【課題を解決するための手段】
【００１１】
この目的のために、本発明は、受領装置においてマルチメディア・データ・フローを処理する方法であって：
・オーディオまたはビデオ・データを含む第一のマルチメディア・フローおよびオーディオまたはビデオ・データを含む第二のマルチメディア・フローを受領する段階であって、前記第二のフローは少なくとも同期情報を含む、段階と、
・前記第一および第二のマルチメディア・フローを、前記同期情報を使って同期させる段階と、
・前記第一および第二のマルチメディア・フローについてレンダリング段階を実行する段階とを含んでおり、
当該方法は、前記同期情報が前記第一のマルチメディア・フローのオーディオまたはビデオ・データを表す、基準データ項目と呼ばれるデータ項目を含み、前記基準データ項目は前記第二のマルチメディア・フローのオーディオまたはビデオ・データに関連付けられており、前記同期の際、前記第一および第二のマルチメディア・フローは、前記基準データ項目に関連付けられた前記第二のマルチメディア・フローのビデオまたはオーディオ・データのレンダリングと、前記基準データ項目に対応する前記第一のマルチメディア・フローのビデオまたはオーディオ・データのレンダリングが同期するよう、同期されることを特徴とする、
方法に関する。
【００１２】
よって、本発明によれば、前記第一のマルチメディア・フローのデータ項目を表す基準データ項目が、前記第二のマルチメディア・フローにおいて提供され、二つのフローを同期させるためにこの前記第二のマルチメディア・フローのあるデータ項目と関連付けられる。さらに、二つのマルチメディア・フローのデータは、それらのディスプレイ装置および／またはオーディオ装置によるレンダリングが同期するよう、同期される。
【００１３】
ある個別的な実施形態によれば、前記第二のマルチメディア・フローは前記第一のマルチメディア・フローに関して同期される。前記同期段階は、前記第一のマルチメディア・フローのオーディオまたはビデオ・データを、前記第二のマルチメディア・フローの基準データ項目と比較して、前記第二のマルチメディア・フローのレンダリングを前記第一のマルチメディア・フローのレンダリングに対してロックする段階を含む。
【００１４】
この比較段階は、たとえば、前記第一のマルチメディア・フローのオーディオまたはビデオ・データのそれぞれと前記基準データ項目との間の信号対雑音比を計算する段階を含む。
【００１５】
ある個別的な実施形態によれば、前記第一のマルチメディア・フローはビデオ・フレームを含むビデオ・フローであり、前記第二のマルチメディア・フローに導入される前記基準データ項目は前記第一のマルチメディア・フローのビデオ・フレームまたは前記ビデオ・フレームから導出されるデータ項目であり、前記第二のマルチメディア・フローはオーディオ・フローである。
【００１６】
ある個別的な実施形態によれば、前記第一および第二のマルチメディア・フローは異なるマルチメディア源から来るおよび／または異なる転送ネットワークによって提供される。
【００１７】
本発明はまた、前記基準データ項目を含む前記第二のマルチメディア・フローを生成することができる方法にも関する。より詳細には、送信装置においてマルチメディア・データ・フローを処理する方法であって：
・オーディオまたはビデオ・データを含む第一のマルチメディア・フローを受領する段階と、
・前記第一のマルチメディア・フローについてのレンダリング段階を実行する段階と、
・オーディオまたはビデオ・データを含む第二のマルチメディア・フローを生成する段階と、
・前記第一のマルチメディア・フローのオーディオまたはビデオ・データ項目を表す、基準データ項目として知られる少なくともあるデータ項目を生成する段階と、
・前記第二のマルチメディア・フローにおいて、前記基準データ項目を、前記基準データ項目に対応する前記第一のマルチメディア・フローのオーディオまたはビデオ・データ項目のレンダリングの時点に生成される前記第二のマルチメディア・フローのオーディオまたはビデオ・データ項目に関連付ける段階とを含む、
方法に関する。
【００１８】
本発明は、本発明の方法を実行することのできる受信装置にも関する。受信レベルでは、第一および第二のマルチメディア・フローのレンダリングは、単一の装置、たとえばテレビジョンにおいて、または二つの相異なる装置において実行されることができる。
【００１９】
第一の場合において、本発明によれば、
・オーディオまたはビデオ・データを含む第一のマルチメディア・フローおよびオーディオまたはビデオ・データを含む第二のマルチメディア・フローを受領する手段であって、前記第二のフローは少なくとも同期情報を含む、手段と、
・前記第一および第二のマルチメディア・フローを、前記同期情報を使って同期させる手段と、
・前記第一および第二のマルチメディア・フローをレンダリングする手段とを有する装置であって、
前記同期情報が前記第一のマルチメディア・フローのオーディオまたはビデオ・データを表す、基準データ項目と呼ばれるデータ項目を含み、前記基準データ項目は前記第二のマルチメディア・フローのオーディオまたはビデオ・データ項目に関連付けられており、前記同期手段は、前記第一および第二のマルチメディア・フローを、前記基準データ項目に関連付けられた前記第二のマルチメディア・フローのビデオまたはオーディオ・データ項目のレンダリングと、前記基準データ項目に対応する前記第一のマルチメディア・フローのビデオまたはオーディオ・データのレンダリングが同期するよう、同期させることを特徴とする、
装置が提案される。
【００２０】
第二の場合においては、本発明によれば、マルチメディア・フローを受信する装置であって、
・オーディオまたはビデオ・データを含む第一のマルチメディア・フローのレンダリングを捕捉する手段と、
・オーディオまたはビデオ・データを含む第二のマルチメディア・フローを受領する手段であって、前記第二のフローは少なくとも同期情報を含む、手段と、
・前記同期情報を使って前記第二のマルチメディア・フローを同期させる手段と、
・前記第二のマルチメディア・フローをレンダリングする手段とを有しており、
前記同期情報が前記第一のマルチメディア・フローのオーディオまたはビデオ・データ項目を表す、基準データ項目と呼ばれるデータ項目を含み、前記基準データ項目は前記第二のマルチメディア・フローのオーディオまたはビデオ・データ項目に関連付けられており、前記同期手段は、前記第一および第二のマルチメディア・フローを、前記基準データ項目に関連付けられた前記第二のマルチメディア・フローのビデオまたはオーディオ・データ項目のレンダリングと、前記基準データ項目に対応する前記第一のマルチメディア・フローのビデオまたはオーディオ・データのレンダリングが同期するよう、同期させることを特徴とする、
装置が提案される。
【００２１】
本発明は、付属の図面を参照して後述される詳細な説明の過程でよりよく理解され、他のねらい、詳細、特徴および利点がより明確になるであろう。
【図面の簡単な説明】
【００２２】
【図１】送信装置において実装される本発明の方法の段階のフローチャートである。
【図２】受信装置において実装される本発明の方法の段階のフローチャートである。
【図３】第一および第二のマルチメディア・ストリームのレンダリングが同じ装置において実行される場合に本発明を実装する手段を表す図である。
【図４】第一および第二のマルチメディア・ストリームのレンダリングが異なる装置において実行される場合に本発明を実装する手段を表す図である。
【発明を実施するための形態】
【００２３】
本発明によれば、第一のマルチメディア・フローのオーディオまたはビデオ・データ項目をタイミング基準として使うことが、第二のマルチメディア・フローのオーディオまたはビデオ・データ項目のために計画される。両フローのレンダリングを同期させるためである。これら二つのフローは、単一の受領装置に異なるマルチメディア源によって提供されるまたは異なる転送プロトコルを介して送信される、あるいは異なるレンダリング装置によってレンダリングされるよう企図される。
【００２４】
本稿では、ビデオ・フローである第一のマルチメディア・フローおよびオーディオ・フローである第二のマルチメディア・フローが考察される。ビデオ・フローのレンダリングは、ビデオ・フローのデータまたはビデオ・フレームのディスプレイ装置上での表示を意味するものと理解され、オーディオ・フローのレンダリングはスピーカーまたはヘッドホンのようなオーディオ装置によるオーディオ・フローのオーディオ・データ（音）の復元を意味するものと理解される。
【００２５】
オーディオ・フローおよびビデオ・フローのレンダリングが同期されるためには、ビデオ・フローのビデオ・フレームを表す、基準データ項目と呼ばれるデータ項目が、オーディオ・フロー中に導入され、前記ビデオ・フレームのレンダリングとレンダリングが同期されねばならないオーディオ・フロー・データ項目に関連付けられる。
【００２６】
この基準データ項目はビデオ・フローのビデオ・フレームまたはこのビデオ・フレームから導出されたデータ項目であることができる。
【００２７】
基準データ項目を含むオーディオ・フローの生成は図１に示されている。
【００２８】
ステップE1によれば、複数のビデオ・フレームを含むビデオ・フローが受領される。このビデオ・フローは、デフォルトのオーディオ・データとともに送信されたものであってもよい。このビデオ・フローはディスプレイ装置上で表示される（E2ステップ）。さらに、このビデオ・フローと同期されるべきオーディオ・フローが生成される（E3ステップ）。このオーディオ・フローは、たとえば、デフォルトのオーディオ・データの言語とは別の言語でのコメントに対応する。このオーディオ・フローはたとえば、ビデオ・フローの画像について該画像が表示されていく際にコメントする人物によって生成される。このオーディオ・フローの生成と同時に、オーディオ・フローのビデオ・フレームを表す基準データが、好ましくは定期的に生成される（E4ステップ）。先に示したように、これらの基準データはビデオ・フローのビデオ・フレームまたはこのフレームから導出されたデータ項目、たとえばこのビデオ・フレームの低解像度画像に対応するフレームまたは前記ビデオ・フレームのシグネチャである。次いで、これらの基準データのそれぞれがオーディオ・フロー中に導入され、その基準データ項目に対応するビデオ・フレームの表示の際に生成されたオーディオ・フローのデータ項目に関連付けられる（E5ステップ）。次いでこのオーディオ・フローは転送または通信ネットワークを介して受信装置に送信される。
【００２９】
二つのフローのレンダリングを実行するプロセスは図２に示されている。二つのフローは一つまたは複数の受領装置によって受領される（E6ステップ）。これら二つのフローは可能性としてはデコードされ、次いで同期される（E7ステップ）。オーディオ・フローは、基準データ項目に関連付けられたオーディオ・データ項目が、その基準データ項目に対応するオーディオ・フローのビデオ・フレームと同期されるよう同期される。この同期段階はたとえば、基準データ項目のビデオ・フレームをビデオ・フローのビデオ・フレームと比較する段階を含む。各ビデオ・フレームについて、たとえばPSNR（Peak  Signal  to  Noise  Ratio［ピーク信号対雑音比］の略）が計算される。PSNR値が最大になるビデオ・フレームが基準データ項目のビデオ・フレームである。基準データ項目に関連付けられるオーディオ・データ項目は、このビデオ・フレームが表示されるときに再生（再現）されなければならない。
【００３０】
デシベル（dB）で表したPSNRの計算はたとえば次のようにして実行される。
【００３１】
【数１】
2013541894.tif 000003
ここで、
・mはビデオ・フレームの列内のピクセル数、
・nはビデオ・フレームの行内のピクセル数、
・f(i,j)はビデオ・フローのビデオ・フレームの座標(i,j)のピクセルの値、
・F(i,j)は基準データ項目のビデオ・フレームの座標(i,j)のピクセルの値である。
【００３２】
この計算は、クロミナンス成分UおよびVを無視してルミナンス（Y成分）のみに対して行うことができる。
【００３３】
基準データ項目とビデオ・フローの画像フォーマットが異なる場合、同じ高さおよび幅の画像を比較するために、サイズ変更される。
【００３４】
先に示したように、本発明の方法は、オーディオ・フローの源とビデオ・フローの源が独立な源である場合、あるいは二つのフローの転送プロトコルが異なる場合、あるいはオーディオおよびビデオ・フローをレンダリングする装置が異なる装置である場合に有用である。
【００３５】
ここで、送信および受信装置を、マルチメディア源のオーディオおよびビデオ・フローの源が異なる場合と、二つのフローをレンダリングする装置が異なる装置である場合の二つの場合において記述する。
【実施例１】
【００３６】
第一の場合：オーディオ・フローの源とビデオ・フローの源が異なる
この場合は、図３に示されている。ビデオ・フローはビデオ源１０によって与えられ、オーディオ・フローはオーディオ源２０によって与えられる。ビデオ・フローおよびオーディオ・フローはそれぞれ二つの転送ネットワーク４０および５０を介して受信装置に送信される。これらの転送ネットワークは異なる技術であってもよい。
【００３７】
ビデオ・フローはたとえば、テレビ放送ネットワークまたはインターネット・ネットワーク（ネットワーク４０）を介してライブで放送されるサッカーの試合である。その際、ビデオ源１０はサーバーの形で表される。
【００３８】
ネットワーク４０によって送信されるビデオ・フローは受信装置のビデオ・デコーダ３１によって受信され、ひとたびデコードされたら、ビデオ・フローのレンダリングのための装置をなすテレビジョン３２で表示される。
【００３９】
さらに、このビデオ・フローはネットワーク４０を介してオーディオ源２０にも送信される。変形として、オーディオ源はこのビデオ・フローを別の手段によって、たとえば上記ビデオ・フローが別のサーバーから来ることができる別の放送ネットワークによって、受信することもできる。さらに、ビデオ・フローのコンテンツは、サイズや符号化の点で同じフォーマットであることなく、同じであることができる。
【００４０】
源２０は、ビデオ・フローを受信してデコードするビデオ・デコーダ２１と、ビデオ・フローを表示する画面２２と、デコードされたビデオ・フローからの基準データ生成器２３と、オーディオ・フローを生成する装置２４と、オーディオ・フロー中に生成器２３によって与えられる基準データを導入する役割を担う混合器２５とを有する。オーディオ・フロー２４は、画面２２上でのビデオ・フローをレンダリングする間に生成される。
【００４１】
このようにして豊かにされたオーディオ・フローはネットワーク５０を介して受信装置３０に送信される。オーディオ・フローはオーディオ／ビデオ・デコーダ３３によって受信およびデコードされる。同期装置３４は、それぞれ３１および３３のデコーダから来るデコードされたオーディオおよびビデオ・フローを受け取る。同期装置はビデオ・フレームをオーディオ・フローの基準データと比較し、二つのフローを同期させる。このようにして同期されたフローは次いで表示および音再生のためにテレビジョンに提供される。
【００４２】
装置２４は、画面２２によるビデオ・フローの表示後にオーディオ・フローを生成することを注意しておくべきである。その結果は、生成されたオーディオ・フローは、作成された時点で早くも、ビデオ・フレームに対してオフセットされることがあるということである。このオフセットは、有利には、受信装置３０において、ビデオ・デコーダ３１の出力において、テレビジョン３２に送信されるビデオ・フローを遅延させることによって、補償される。
【００４３】
この第一の場合の典型的な応用は、たとえば、エンドユーザーが自分の受信端末を用いて、画像とともに提供されたサウンドトラックを、ウェブサイトによって提供される別のサウンドトラックに置き換える視聴覚番組の放送に対応する。
【実施例２】
【００４４】
第二の場合：オーディオおよびビデオ・フローをレンダリングする装置が異なる装置である
この場合は、図４によって示される。受信装置１３０はネットワーク４によって提供されるビデオ・フローを表示することを受け持つ。装置１３０はビデオ・デコーダ１３１と、デコードされたビデオ・フレームを表示する画面１３２とを有する。
【００４５】
受信装置２３０は、画面２２上でのビデオ・フローのレンダリングの際にオーディオ源２０によって生成され、ネットワーク５０によって提供されるオーディオ・フローをレンダリングすることを受け持つ。装置２３０は、オーディオ・フローを受信およびデコードするオーディオ／ビデオ・デコーダ２３３と、画面２３２によって表示されるビデオ・フレームを捕捉する装置２３５と、捕捉されたビデオ・フレームを基準データのビデオ・フレームと比較し、このようにして、オーディオ・フローを表示されるビデオ・フローに対して同期させる同期装置２３４と、同期されたオーディオ・フローの音を再生するスピーカーまたはヘッドホン２３５とを有する。
【００４６】
この第二の場合の可能な応用は、たとえば、公共の場所または映画館において映画を放送し、携帯電話ネットワークを通じて改善またはカスタマイズされた音を送信することである。
【００４７】
この場合、捕捉装置２３５はたとえば携帯電話のカメラである。捕捉装置２３５によって提供されるビデオ・フレームが基準データに含まれるよりも低い解像度をもつ場合、基準データは比較前に、捕捉されたビデオ・フレームと同じ解像度に変換されねばならない。
【００４８】
同様に、捕捉されたフレームはビデオ・フローのフレームと同時生起（coincide）しないこともありうる。捕捉されたフレームは、中心を外れているおよび／またはたとえばビデオ・フレームを表示するスクリーンの一部のような余計なデータを含むことがある。この場合、基準データに含まれているビデオ・フレームはトリミングする必要がある。また、フレームの中央領域のビデオ・データのみを比較するよう計画することもできる。
【００４９】
本発明は、オーディオ・フローおよびビデオ・フローを同期させる、または二つのビデオ・フローを互いに同期させる（PIP（Picture  In  Picture［ピクチャー・イン・ピクチャー］アプリケーションの場合））、または二つのオーディオ・フローを互いに同期させるために適用することができる。
【００５０】
本発明について種々の個別的な実施形態との関係で記述してきたが、いかなる仕方であれ制約されるものではなく、本発明の範囲内にはいるのであれば記載された手段のあらゆる技術的等価物およびその組み合わせを含むことは明らかである。特に、ビデオ・データに基づいて本稿で提案されるタイミング基準データは、オーディオ・フローの抽出物によって置き換えてもよい。
【図１】
2013541894.tif 000004
【図２】
2013541894.tif 000005
【図３】
2013541894.tif 000006
【図４】
2013541894.tif 000007
【国際調査報告】
2013541894.tif 000008
2013541894.tif 000009
2013541894.tif 000010