(57)【要約】  本発明は、インターラクティブマークをストリーミング・コンテンツに挿入するデバイス、及び方法に関する。前記方法は、第１のフォーマットのストリーミング・コンテンツを受信する（Ｓ１）ステップと、第２のフォーマットの同じストリーミング・コンテンツを受信する（Ｓ２）ステップと、第１のフォーマットで前記コンテンツの第１のフレームに対応するインターラクティブマークを受信し（Ｓ３）するステップと、前記第２のフォーマットで受信された前記コンテンツの第２のフレームに同期された前記インターラクティブマークを送信（Ｓ５）するステップであって、前記第２のフレームのコンテンツは前記第１のフレームの前記コンテンツに対応するステップと、を有する。
2011521576.tif 000002
【特許請求の範囲】
【請求項１】
インターラクティブマークをストリーミング・コンテンツに挿入するためのマーク挿入デバイスにおける方法であって、前記デバイスにおいて：
第１のソースデバイスから第１のフォーマットのストリーミング・コンテンツを受信するステップと；
第２のデバイスから第２のフォーマットの前記ストリーミング・コンテンツを受信するステップと；
第３のデバイスから第１のフォーマットの前記コンテンツの第１のフレームに対応するインターラクティブマークを受信するステップと；
前記第２のフォーマットで受信された前記コンテンツの第２のフレームに同期された前記インターラクティブマークを送信するステップであって、前記第２のフレームの前記コンテンツは、前記第１のフレームの前記コンテンツに対応する、ステップと；
を有する方法。
【請求項２】
前記第１のフォーマットの前記ストリーミング・コンテンツの第１のフレームの受信と、前記第２のフォーマットの前記ストリーミング・コンテンツの第２のフレームの前記受信との間の遅延を計算するステップであって、前記第２のフレームの前記コンテンツは、前記第１のフレームの前記コンテンツに対応する、ステップ、を有する請求項１記載の方法。
【請求項３】
前記計算するステップは、前記第１及び第２のコンテンツの前記受信の開始時に１回又は繰り返し実行される、請求項２記載の方法。
【請求項４】
前記インターラクティブマークが、前記第２のフレームに付加される、請求項１ないし３のうち何れか１項記載の方法。
【請求項５】
前記インターラクティブマークが前記第２のフレームとは異なるパケットで送信される、請求項１ないし４のうち何れか１項記載の方法。
【請求項６】
前記第１のフォーマットが非圧縮のフォーマットであり、かつ、前記第２のフォーマットが圧縮フォーマットである、請求項１ないし５のうち何れか１項記載の方法。
【請求項７】
前記コンテンツがビデオ・コンテンツである、請求項１ないし６のうち何れか１項記載の方法。
【請求項８】
前記圧縮コンテンツは、ＲＴＰタイムスタンプを含み、かつ、前記インターラクティブマークは、前記ＲＴＰタイムスタンプに同期される、請求項６又は７記載の方法。
【請求項９】
第１のフォーマットで、第１の装置からストリーミング・コンテンツ・フォーマットを受信し、第２のフォーマットで、第２のデバイスから前記ストリーミング・コンテンツを受信し、かつ、第３のフォーマットで、前記ストリーミング・コンテンツを送信するための通信手段と、第１のフォーマットの前記コンテンツの第１のフレームに対応する第３のデバイスからのインターラクティブマークの受信によって、前記第２のフォーマットで受信された前記コンテンツの第２のフレームに同期された前記インターラクティブマークを送信するためのマーキング手段と、を有し、
前記第２のフレームの前記コンテンツは、前記第１のフレームの前記コンテンツに対応する、デバイス。
【請求項１０】
前記第１のフォーマットの前記ストリーミング・コンテンツの第１のフレームの受信と、前記第２のフォーマットの前記ストリーミング・コンテンツの第２のフレームの受信との間の遅延を計算するためのキャリブレーション手段であって、前記第２のフレームの前記コンテンツは、前記第１のフレームの前記コンテンツに対応する、キャリブレーション手段を含む、請求項９記載のデバイス。
【請求項１１】
前記第１のフォーマットは非圧縮のフォーマットであり、かつ、前記第２のフォーマットは、圧縮フォーマットである、請求項９又は１０記載のデバイス。
【請求項１２】
請求項１ないし８のうち何れか１項記載の方法のステップを、コンピュータに実行させるための命令を含むコンピュータ・プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一般にストリーミング・コンテンツに関する。より詳細には、ストリーミング・コンテンツに同期したインターラクティブマークの伝送に関する。
【背景技術】
【０００２】
本章では、技術のさまざまな態様を説明することを目的とする。これは、以下に記載し、また請求項に定義するさまざまな本発明の態様に関連し得る。ここでの説明は、さまざまな本発明の態様に関し、理解をより容易にするために、背景情報を提供する。したがって、これらの記載は、この観点から理解されなければならず、かつ従来技術の存在を認めるものではないと理解すべきである。インターラクティブ・サービス・メカニズムは、ビデオ番組と、ユーザが対話するアプリケーションとの同期化を提供し、ユーザに対し、追加的、又はインターラクティブなサービスを提供する。
【０００３】
インターラクティブ・サービスの例としては、投票アプリケーション、インターラクティブ・ゲーム、製品情報の取得、製品の注文等が挙げられる。ビデオプログラムは、ライブであり、カメラから放送局そしてユーザにストリーミングされる。あるいは、事前に録画され、サーバから端末にストリーミングされる。また、これは、ローカルにおいてファイルから再生される。インターラクティブ・サービスは、ビデオプログラムと同期することが必要とされる。同期情報は管理され、かつ、ネットワーク側から送られ、端末によって読み出される。これによって、関連するインターラクティブ・アプリケーションまたはインターラクティブ・オブジェクトと呼ばれるインターラクティブ・アプリケーションの部分を、どの時期にアクティベートするかが分かる。インターラクティブ・オブジェクトは、（プロセッサによって実行可能か、仮想マシンによって解釈可能な）ソフトウェアの一部である。これは、例えばいわゆるアプレット又はスクリプトであり、マンマシンインターフェースを利用し、端末のユーザに対して、見ているビデオプログラムと対話する能力を与える。ビデオ分配システムにおいて、インターラクティブ・コンテンツは、エンド・ツー・エンドの技術を使い、コンテンツプロバイダから、放送局を経て、端末に伝送される。コンテンツプロバイダと放送局は、場合によっては、一つの実体であることがある。
【０００４】
トムソンライセンシングの欧州特許出願０７３００７６９．２は、ＲＴＰタイムスタンプを使用し、同期化マークの形式によって、インターラクティブ・コンテンツを伝送する技術を開示している。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
インターラクティブ・コンテンツの挿入は、必ずしもビデオエンコーダで実行されるというわけではない。インターラクティブ・コンテンツは、ビデオエンコーダの出力において、ビデオ・コンテンツに正確に同期しない。
【課題を解決するための手段】
【０００６】
本発明は、少なくとも従来技術の同期化に関するいくつかの懸念を解決することを試みる。この目的のために、本願発明は、インターラクティブマークをストリーミング・コンテンツに挿入するためのマーク挿入デバイスにおける方法であって、前記デバイスにおいて、第１の形式のストリーミング・コンテンツを受信するステップと、第２の形式の同じストリーミング・コンテンツを受信するステップと、第１の形式の前記コンテンツの第１のフレームに対応するインターラクティブマークを受信するステップと、前記第２の形式で受信された前記コンテンツの第２のフレームに同期された前記インターラクティブマークを送信するステップであって、前記第２のフレームの前記コンテンツは、前記第１のフレームの前記コンテンツに対応する、ステップと、を有する方法に関連する。
【０００７】
実施例によれば、本方法は、前記第１の形式の前記ストリーミング・コンテンツの第１のフレームの受信と、前記第２の形式の前記ストリーミング・コンテンツの第２のフレームの前記受信との間の遅延を計算するステップであって、前記第２のフレームの前記コンテンツは、前記第１のフレームの前記コンテンツに対応する、ステップ、を有する。
【０００８】
実施例によれば、前記計算するステップは、前記第１及び第２のコンテンツの前記受信の開始時に１回又は繰り返し実行される。
【０００９】
実施例によれば、前記インターラクティブマークが、前記第２のフレームに付加される。
【００１０】
実施例によれば、前記インターラクティブマークが前記第２のフレームとは異なるパケットで送信される。
【００１１】
実施例によれば、前記第１の形式が非圧縮の形式であり、かつ、前記第２の形式が圧縮形式である。
【００１２】
実施例によれば、前記コンテンツがビデオ・コンテンツである。
【００１３】
実施例によれば、前記圧縮コンテンツは、ＲＴＰタイムスタンプを含み、かつ、前記インターラクティブ・のマークは、前記ＲＴＰタイムスタンプに同期される。
【００１４】
本発明の別の目的は、デバイスである。このデバイスは、第１の形式で、ストリーミング・コンテンツを受信し、第２の形式で、同じストリーミング・コンテンツを受信し、かつ、第３の形式で、前記ストリーミング・コンテンツを送信するための通信手段と、第１の形式の前記コンテンツの第１のフレームに対応するインターラクティブマークの受信によって、前記第２の形式で受信された前記コンテンツの第２のフレームに同期された前記インターラクティブマークを送信するためのマーキング手段と、を有し、前記第２のフレームの前記コンテンツは、前記第１のフレームの前記コンテンツに対応する。
【００１５】
実施例によれば、デバイスは、前記第１の形式の前記ストリーミング・コンテンツの第１のフレームの受信と、前記第２の形式の前記ストリーミング・コンテンツの第２のフレームの受信との間の遅延を計算するためのキャリブレーション手段であって、前記第２のフレームの前記コンテンツは、前記第１のフレームの前記コンテンツに対応する、キャリブレーション手段を含む。
【００１６】
実施例によれば、前記第１の形式は非圧縮の形式であり、かつ、前記第２の形式は、圧縮形式である。
【００１７】
本発明の別の目的は、本発明の方法のステップを、コンピュータに実行させるための命令を含むコンピュータ・プログラム製品である。「コンピュータ・プログラム製品」とは、ディスケット又はカセットのような、コンピュータ・プログラムを保持するスペースだけでなく、例えば電気的あるいは光学信号のような信号をも意味する。
【００１８】
開示された実施例の範囲を規定する特定の態様を以下に記載する。これらの態様は、単に本発明が必要とし得る特定の形式の概要を提供するだけであり、かつ、これらの態様が本発明の範囲を制限することを目的としない点を理解すべきである。実際、本発明は、後述しない態様を含んでもよい。
【００１９】
本発明は、図面を参照し、以下の実施例及び実施の態様によってより良く理解されるが、これらの記載は、発明の範囲を制限するものではない。
【図面の簡単な説明】
【００２０】
【図１】実施例に対応するシステムのブロック図である。
【図２】実施例に従った本発明のブロック図である。
【図３】実施例に対応するモジュールのブロック図である。
【図４】実施例に従ったマーク挿入方法を例示するフローチャートである。
【発明を実施するための形態】
【００２１】
図１〜図３に示されたブロックは単に機能要素であり、そして、必ずしもそれが物理的に別々の要素に対応するというわけではない。すなわち、これらは、ハードウェア又はソフトウェアの形で開発することができ、あるいは１又はいくつかの集積回路でインプリメントすることができる。
【実施例】
【００２２】
［好適な実施例の詳細な説明］
例示的実施形態はＲＴＰによる圧縮ビデオの伝送のフレームワークで行われる。しかし、本発明はこの特定の環境に限られるわけではなく、ストリーミング・コンテンツが非圧縮、及び圧縮された形態で連続して伝送される他のフレームワークに対して適用されてもよい。
【００２３】
実施例によるシステムが図１に示されている。なお、１つの端末だけが示されているが、複数の端末がシステムに存在することは明らかである。ビデオソース１は、サーバ又はその他のいかなるビデオ番組ソースであってもよい。これは、非圧縮フォーマットでビデオ番組を放送する。ビデオ番組は、ビデオエンコーダ２、及びマーク挿入デバイス３（以下ＭＩＤ（Ｍａｒｋ  Ｉｎｓｅｒｔｉｏｎ  Ｄｅｖｉｃｅ）と呼ぶ）によって受信される。ビデオ番組は、オーディオビデオのコンテンツを含み、かつ、インターラクティブ・コンテンツ（例えばテレテキスト又は字幕）を有してもよい。
【００２４】
ビデオエンコーダ２は、非圧縮のビデオを、圧縮ストリームに圧縮する。これは、ＲＴＰ／ＲＴＣＰを使用して送信される。ビデオは、例えばＵＩＴ−Ｔ  Ｈ．２６４標準に従ってエンコードされる。そしてＲＴＰストリームは、ＩＰネットワーク５を介して端末６に配信される。ＩＰネットワークは、マルチキャスト伝送をサポートするＩＰネットワーク（例えばインターネット）であってもよい。
【００２５】
ＭＩＤは、また、エンコーダから圧縮ストリーミング・コンテンツを受信する。ＭＩＤは、マークをプログラムに挿入するのに適している。インターラクティブ・コントローラ４は適切なときに、コンテンツに挿入するインターラクティブマークをＭＩＤに提供する。インターラクティブ・コントローラは、オペレータが放送されるビデオ番組を見ることを可能とするモニタを有する。インターラクティブ・コントローラのオーサリング・ツールは、前もってインターラクティブ・シーケンスを生成し、かつ、それらをＭＩＤに提供する。ＭＩＤは、専用チャネルによって、あるいは、関連するメディアストリームに埋め込むことにより、これらを転送する。もちろん、インターラクティブ・コントローラ、及びＭＩＤは、同じデバイスに共存させることができる。
【００２６】
例えば、サッカーの試合の間、ボタンを押すことによって、ゴールがマークされた場合、オペレータは、端末に対して、事前にロードされたアプリケーションを実行するよう指示するマークを生成することを開始させる。このアプリケーションは、例えば、サッカーの試合のベスト・プレイヤに投票することを促すものであってもよい。このＭＩＤは、入力として、アクティベートするオブジェクトの参照を取得する。例えば、ＵＲＩ、あるいは端末が容易に解釈できるアイデンティファイアを取得する。そして、このマークは、ターミナルのイネーブラ（ｅｎａｂｌｅｒ）として使用され、ビデオ・レンダリングに従って特定の時刻にアクションを動作させる。
【００２７】
マークは、ヘッダ・エクステンションを使用して、ビデオＲＴＰパケットに埋め込まれていてもよい。あるいは、マークストリームによって送信される専用のパケットであって、ビデオストリームにシンクロナイズするものであってもよい。ビデオのレンダリング時刻は、ＲＴＰタイムスタンプに基づく。このＲＴＰタイムスタンプは、ＲＴＰヘッダ・エクステンションがマーキングのために使用されている場合、ビデオストリームＲＴＰパケットの何処にこのマークを挿入するかを示す。もしマークが、別個のマークストリームによって送信される場合、絶対時刻に対応する適切なタイムスタンプによって適切な時刻に対応するマークストリームＲＴＰパケットを生成するために、このビデオＲＴＰタイムスタンプは、絶対的な時刻に変換される。ビデオＲＴＰタイムスタンプを絶対時刻に変換することは、ビデオエンコーダから受信されたＲＴＣＰ送信レポートによって行われる。
【００２８】
ＭＩＤ３が図２に例示されている。これは、処理モジュール３２、通信モジュール３１、記憶モジュール３３、及びマーキングモジュール３４を含む。内部バス３６は、これらの間で、制御及びデータパケット、及び信号を伝送することを可能とする。通信モジュール３１は、ビデオソース及びビデオエンコーダからビデオ・データを受信するための手段を備えている。これは、ビデオエンコーダによりデータを送信し受信する手段、及びインターラクティブ・コントローラを備えている。それは、また、移動端末にデータを送信するための手段を含む。
【００２９】
マーキングモジュール３４は、ビデオに対応するインターラクティブ情報を挿入する手段を提供することを目的とする。インターラクティブマークがビデオフレームに挿入され得るときに、タイミング・モジュール３４１は、タイミングを提供することを目的とする。挿入モジュール３４２は、マークをビデオフレームに挿入することを目的とする。これは、インターラクティブ・コントローラから受信される情報によってマークを生成する。キャリブレーションモジュール３４３は、出力時刻を、入力時刻にキャリブレーションすることを実行する。
【００３０】
ＭＩＤは、フレームがエンコーダの出力に伝送されたとき、このビデオフレームのビジュアライゼーションの時刻と、このパケットのＲＴＰタイムスタンプとの対応付けを行う。
【００３１】
より詳細には、オペレータが、ディスプレイを見てビデオプログラムに対応するインターラクティブマークを生成したときの時刻と、ＭＩＤによってビデオプログラムに対応するエンコードされたフレームが出力される時刻とを対応づける。
【００３２】
更に、キャリブレーションモジュール３４３が図３に例示されている。第１の通信モジュール３．１、及び第２の通信モジュール３．２は、図２の通信モジュール３１の一部である。第１の通信モジュールは、ビデオソース１から非圧縮のビデオを受信する。第２の通信モジュールは、ビデオエンコーダ２から圧縮ビデオを受信する。キャリブレーションモジュールは、第１の通信モジュール３．１から非圧縮のビデオ（第１のビデオ）を受信するビデオ取得モジュール３．３を含む。ビデオフレームは、ＭＩＤクロックｔ０の値とともにキャプチャされる。ｔ０は、ＭＩＤでビデオフレームがキャプチャされた時刻の値であり、この値は、ＭＩＤでのクロックの値に対応する。ビデオ取得モジュール３．３は、ビデオマッチングモジュール３．６に、第１のビデオフレームを送信する。エンコードされたビデオ取得モジュール３．４は、第２の通信モジュール３．２から圧縮ビデオを受信する。これは、圧縮されたビデオをビデオエンコードモジュール３．５に送信する。このビデオエンコードモジュール３．５は、ビデオフレームｆｒａｍｅ＿ｉをデコードし、ＲＴＰタイムスタンプＲＴＰ１、及び対応するエンコーダのクロック値ｔＶ１の値を得る。この両者の値は、エンコーダ２によって生成されるＲＴＣＰ発信者報告によって計算される。
【００３３】
第１のビデオ及びデコーディングの後の第２のビデオのフォーマット及びサイズは同じである。例えば、第１のビデオのフォーマットは、ＹＵＶ４２０フォーマットである。そして、第２のインターフェース（エンコーダからＲＴＰパケットを受信するイーサネット（登録商標）・インターフェース）によってキャプチャされるＲＴＰストリームは、ビデオコーディングモジュール３．５によって、生の（ｒａｗ）ＹＵＶ４２０ビデオフレームにデコードされる。そして、これは、デコードされたビデオ・フレーム（第２のビデオ・フレームと呼ばれる）をビデオマッチングモジュールに送信する。これは、対応するＲＴＰＶｉ、及びｔＶｉと共に、各々のｆｒａｍｅ＿ｉを送信する。全てのｔＶｉの値は、以下の式を使用することによりＲＴＰビデオストリームを伴うＲＴＣＰ発信者報告によって計算される。
【００３４】
【数１】
2011521576.tif 000003
ここで：
・ｔＲＴＣＰは、ＲＴＣＰ発信者報告において与えられた時間値である。
・ＲＴＰＲＴＣＰは、ＲＴＣＰ発信者報告において与えられたｔＲＴＣＰに対応するＲＴＰタイムスタンプである。
・ＲＴＰＶｉは、ｆｒａｍｅ＿ｉのＲＴＰタイムスタンプである。
・１秒毎のＲＴＰタイムスタンプで、Ｖｉｄｅｏタイムスケールが、ビデオエンコーダのフレームを送出する周波数に対応する。
【００３５】
このＶｉｄｅｏタイムスケールは、基準タイムスケールと、ＲＴＰタイムスタンプとの間の対応関係を提供することができる。Ｖｉｄｅｏタイムスケールは、ビデオエンコーダのフレーム送出周波数に対応する。これは、エンコーダによって、ＳＤＰアナウンスメント（ＲＦＣ  ４５６６）を介して、レシーバに提供される。このＲＦＣは、ＲＴＰによるメディア（ビデオ、オーディオ等）ブロードキャストの記述が「クロックレート」フィールドを定義する「ｒｔｐｍａｐ」と呼ばれる属性を含むことを示す。エンコーダは、また、オーディオタイムスケールを配信する。
【００３６】
このキャリブレーションは、ビデオマッチングモジュールで実行される。下式に示すように、各々の第２のフレームのピクセルは、第１のフレームのそれぞれと比較される。ここで、ＭＳＥは平均二乗誤差である。
【００３７】
【数２】
2011521576.tif 000004
ここで、
・Ｍは、ピクセル数で表されるフレームの幅である。
・Ｎは、ピクセル数で表されるフレームの高さである。
・ｆ（ｉ，ｊ）は、第2のフレームのピクセル（ｉ，ｊ）である
・Ｆ（ｉ，ｊ）は、第１のフレームのピクセル（ｉ，ｊ）である。
【００３８】
計算は、フレームのＹ（ルマ）平面のみにおいて実行される。Ｕ、及びＶ（クロマ）平面は無視される。あるいは、計算は、平面毎に、フレームの全ての平面で実行される。そして、以下の重みで平均化される：Ｙについては４、Ｕについては１、Ｖについては１。そして、ビデオマッチングモジュールは、デシベル（ｄＢ）の単位を用いて、ピークの信号対雑音比（ＰＳＮＲ）を計算する。以下の式によって、これは、ＭＳＥの二乗根である二乗平均平方根誤差（ＲＭＳＥ）を使用する。
【００３９】
【数３】
2011521576.tif 000005
最も高い値ＰＳＮＲが選択される。これは、入力フレームによりよくマッチするｆｒａｍｅ＿ｉに対応する。ビデオマッチングモジュールは、そのｆｒａｍｅ＿ｉのクロック値ｔＶｉ、及びＲＴＰＶｉ値を得る。そのＲＴＰＶｉ値は、よりよく、ｔ０で受信された第１のフレームにマッチするＲＴＰフレームの値である。これは、ＲＴＰＶ０という名前がつけられ、かつ、関連するＲＴＰインターラクティブ・ストリーム・タイムライン・レフェレンシャルのタイムスタンプ値ＲＴＰ０に対応する。
【００４０】
この時点で、エンコーダの入力における時刻と、ＲＴＰタイムラインとの関係が確立される。キャリブレーションは終了する。この情報は、後述するように、その後マーク挿入で使用される。
【００４１】
オペレータは、時刻ｔｉで受信される第１のフレームの受信時にマーク挿入を実行する。マークは、フレームにアタッチされ、ＲＴＰタイムスタンプ値ＲＴＰｉと共に送信される。ＲＴＰｉは、以下の式によって対応付けられる。
【００４２】
【数４】
2011521576.tif 000006
ここで、
・Δｄは、コンスタントな遅延値であり、ディスプレイのチェーンによって生じるものである。これは、定数であり、ＭＩＤにおいてセットされる。
・インターラクティブ・タイムスケールは、（毎秒のＲＴＰタイムスタンプにおける）ＭＩＤのＩｎｔｅｒａｃｔｉｖｅ  Ｔｒｉｇｇｅｒ送信周波数である。
【００４３】
インターラクティブ・タイムスケールは、ＭＩＤによってレシーバに配信される。ＭＩＤは、ＳＤＰファイルをインターセプトし、かつ、インターラクティブタイムスケールパラメータを挿入する。これは、修正されたＳＤＰファイルをレシーバに送信する。
【００４４】
さらに一般的にいえば、ＳＤＰファイルは、デコーダ、及びＭＩＤ以外のデバイスで作り上げられる。このデバイスは、エンコーダ、及びＭＩＤから受信される情報から、完全なＳＤＰファイルを作り上げる。
【００４５】
実施例によれば、マークは専用のＲＴＰストリームの部分である。そして、これは、マークストリームと呼ばれている。図１に示されるように、マークストリームはＩＰネットワークを介して端末６に送信される。もちろん、マークは、ビデオＲＴＰストリームそのものに挿入することができる。この場合、ＭＩＤは、エンコーダの出力に位置し、プロキシとして機能する。これによって、入来するＲＴＰヘッダ・エクステンションが付け加えられているＲＴＰパケットをフィルタリングする。エンコーダは、直接ＲＴＰパケットをＩＰネットワークに送信せず、それらをＭＩＤに送信する。マークがビデオＲＴＰストリームそのものに挿入される場合、ＲＴＰＶ０、及びＲＴＰ０は同じであり、かつ、インターラクティブ・タイムスケールはビデオタイムスケールに等しい。
【００４６】
実施例によれば、エンコーダのクロック、及びＭＩＤのクロックは、同期する。クロックを同じ値にセットするために、ネットワーク・タイム・プロトコル（ＮＴＰ）が、使用される。エンコーダ、及びＭＩＤは、同じＮＴＰサーバを使用する。ＲＴＰタイムスタンプの間の相互関係は、全てが一度に計算される。
【００４７】
あるいは、ＭＩＤは、ＲＴＰ予測を調整するために、ドリフト補償ファクタＣを計算する。このファクタは、エンコーダの出力でＲＴＰパケットをキャプチャすることによって取得される。（キャプチャタイム；ＲＴＰタイムスタンプ）として定義されるデータ・ポイントと、これらのデータ・ポイントによる線形回帰線の傾斜であるｂを用いて、Ｃの値は、Ｃ＝ｂ／ＶｉｄｅｏＴｉｍｅｓｃａｌｅ、で設定される。ＲＴＰ予測の式は、以下のようになる。
【００４８】
【数５】
2011521576.tif 000007
上記のマーク挿入方法は、図４に示される。
【００４９】
ステップＳ１で、ＭＩＤが、非圧縮のストリーミング・コンテンツのフレームを受信する。
【００５０】
ステップＳ２で、ＭＩＤは、圧縮ストリーミング・コンテンツのフレームを受信する。これは、非圧縮の形で受信したストリーミング・コンテンツと同じである。ステップＳ３で、ＭＩＤは、ｔ０で受信された非圧縮のストリーミング・コンテンツのフレームに対応するインターラクティブマークを受信する。このＭＩＤは、インターラクティブマークをストリーミング・コンテンツに挿入する。特に、これは、圧縮ストリーミング・コンテンツによってインターラクティブマークを送信する。
【００５１】
ステップＳ４で、ＭＩＤは、ｔ０で受信された非圧縮のストリーミング・コンテンツのフレームに対応する圧縮コンテンツフレームに、インターラクティブマークを同期させる。ステップＳ５で、ＭＩＤは、インターラクティブマークを送信する。
【００５２】
ビデオストリームに対する実施例を記載した。これは、もちろんオーディオストリームにも適用できる。その場合、システムは、ビデオエンコーダ及びデコーダの代わりに、オーディオ・エンコーダ及びデコーダを含む。キャリブレーションは、ＭＩＤにおける入力、及び出力の間で実行される。非圧縮のオーディオ、及びエンコードされたオーディオは、ＭＩＤの入力及び出力でキャプチャされる。これは、十分に長い期間、入力信号のために約１０秒、及び出力信号のために約１分を要する。
【００５３】
オーディオ・サンプリングレートは、非圧縮のオーディオと、エンコードされたオーディオとでは、同じではない。サンプリング・パラメータは、ＳＤＰ信号を通して入手可能である。これによって、ＭＩＤが、従来のサンプリング・レート変換を行い、必要に応じて、チャネル数の修正を行うことができる。例えば、単一のモノチャネルを得るために平均によって左右のチャネルを平均化することである。入力、及び出力信号の変換された信号の間の相互関係は、以下のように推定される。ここで、ｆｎ、及びｇｎは、離散的な関数である。
【００５４】
【数６】
2011521576.tif 000008
関数ｆ及びｇの相関が高い場合、関数ｆ及びｇの値は高くなる。入力信号及び出力信号の間のギャップは、ｎｍａｘ値であり、これは、最も高い相互関係に対応する。
【００５５】
そして、ＲＴＰ値は以下のようになる。
【００５６】
【数７】
2011521576.tif 000009
そして、ＲＴＰタイムスタンプは、以下のように推定される。
【００５７】
【数８】
2011521576.tif 000010
詳細な説明、請求の範囲、及び図面に記載された参照は、それぞれ独立であってもよく、また、適切な組合せを構成しても良い。発明の特長は、必要に応じて、ハードウェア、ソフトウェア又はこれらの組合せによってインプリメントされる。
【００５８】
本願明細書において、「一実施例」又は「実施例」とは、実施例に対応して記載されている特定の特徴、構造又は特徴が本発明の少なくとも一つのインプリメンテーションに含まれてもよいことを意味する。詳細な説明の様々な場所における、「実施例において」という表現は、必ずしも同一の実施例を指し示しているわけではない。あるいは、ある実施例と相容れない別個のあるいは代替の実施例を示しているわけでもない。
【００５９】
請求項に示されている参照番号は、例示的な目的のために記載したものであり、請求項の範囲に、制限あるいは影響を及ぼすものではない。
【図１】
2011521576.tif 000011
【図２】
2011521576.tif 000012
【図３】
2011521576.tif 000013
【図４】
2011521576.tif 000014
【手続補正書】
【提出日】平成22年11月24日(2010.11.24)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
インターラクティブマークをストリーミング・コンテンツに挿入するためのマーク挿入デバイスにおける方法であって、前記デバイスにおいて：
第１のソースデバイスから非圧縮フォーマットのストリーミング・コンテンツを受信するステップと；
第２のデバイスから圧縮フォーマットでかつＲＴＰによって伝送された前記ストリーミング・コンテンツを受信するステップと；
第３のデバイスから前記非圧縮フォーマットの前記ストリーミング・コンテンツの第１のフレームに対応するインターラクティブマークを受信するステップと；
前記圧縮フォーマットの前記ストリーミング・コンテンツの第２のフレームを特定するステップであって、前記第２のフレームは、前記第２のフレームのコンテンツが前記第１のフレームの前記コンテンツに対応する、ステップと；
前記第２のフレームのタイムスタンプと対応するタイムスタンプを持つＲＴＰパケットの前記インターラクティブマークを送信するステップと；
を有する方法。
【請求項２】
第１の装置から非圧縮フォーマットのストリーミング・コンテンツを受信し、第２のデバイスから圧縮フォーマットでかつＲＴＰにより伝送された前記ストリーミング・コンテンツを受信し、かつ、圧縮フォーマットの前記ストリーミング・コンテンツを送信するための通信手段と、
前記非圧縮フォーマットの前記ストリーミング・コンテンツの第１のフレームに対応する第３のデバイスからのインターラクティブマークの受信によって、前記圧縮フォーマットの前記ストリーミング・コンテンツの第２のフレームを特定するためのマーキング手段であって、前記第２のフレームは、前記第２のフレームのコンテンツが前記第１のフレームの前記コンテンツに対応し、かつ、前記第２のフレームのタイムスタンプと対応するタイムスタンプを持つＲＴＰパケットの前記インターラクティブマークを送信するための、マーキング手段と、
を有するデバイス。
【国際調査報告】
2011521576.tif 000015
2011521576.tif 000016
2011521576.tif 000017