(57)【要約】第１の局及び第２の局で再生されるコンテンツを同期させる方法は、第１の局で再生されるコンテンツ内のオーディオを第２の局で再生されるコンテンツ内の前記オーディオと比較して、第１及び第２の局の間でレイテンシーが存在するかどうかを判定することによって、開始する。そのようなレイテンシーが存在する場合には、ポーズ又はジャンプの少なくとも１つの動作が、一方の局が他方の局に先行するインターバルに対応するインターバルの間、第１及び第２の局の少なくとも１つによって再生されるコンテンツに関して実行され、２つの局を実質的な同期に至らせる。
2016526826.tif 000002
【特許請求の範囲】
【請求項１】
第１の局及び第２の局で再生されるコンテンツを同期させる方法であって、
前記第１の局で再生されるコンテンツ内のオーディオを前記第２の局で再生されるコンテンツ内の前記オーディオと比較して、前記第１の局と前記第２の局との間でレイテンシーが存在するかどうかを判定するステップと、
前記レイテンシーが存在する場合には、一方の局が他方の局に先行するインターバルに対応するインターバルの間、前記第１の局及び前記第２の局の少なくとも１つによって再生されるコンテンツに関してポーズ又はジャンプの少なくとも１つの動作を実行して、前記第１の局及び前記第２の局を実質的な同期に至らせるステップと
を有する方法。
【請求項２】
前記比較することは、
第１のバッファでの記憶のために、前記第１の局で再生されるコンテンツに含まれる前記オーディオ内の少なくとも複数の第１の特徴を抽出するステップと、
第２のバッファでの記憶のために、前記第２の局で再生されるコンテンツに含まれる前記オーディオ内の少なくとも複数の第２の特徴を抽出するステップと、
前記複数の第１の特徴のうちの少なくとも一部を前記複数の第２の特徴のうちの少なくとも一部と照合するステップと、
前記第１の局及び前記第２の局のどちらが他方に先行するのかを判定するよう、前記照合された第１及び第２の特徴の間の時間レイテンシーを定めるステップと
を有する、請求項１に記載の方法。
【請求項３】
前記照合するステップは、相当数の前記第１の特徴を相当数の前記第２の特徴と照合することを含む、
請求項２に記載の方法。
【請求項４】
前記第１の局及び前記第２の局が実質的な同期の状態になると、前記第２のバッファを消去するステップ
を更に有する請求項２に記載の方法。
【請求項５】
前記ポーズ又はジャンプの少なくとも１つの動作は、前記第１の局及び前記第２の局の一方が他方に先行するインターバルに対応する前記インターバルの間当該動作を実行するようにオペレータに命じるメッセージの表示に応答して、前記オペレータによって手動で実行される、
請求項１に記載の方法。
【請求項６】
ポーズ又は後方ジャンプのうちの１つの動作が、前記第１の局及び前記第２の局のうちの先行する一方に対して実行される、
請求項１に記載の方法。
【請求項７】
前記第１の局及び前記第２の局のうちの遅れている一方は、前方ジャンプを実行する、
請求項１に記載の方法。
【請求項８】
前記第１の局及び前記第２の局のうちの先行する一方は、ポーズ又は後方ジャンプのうちの１つの動作を実行し、前記第１の局及び前記第２の局のうちの遅れている一方は、前方ジャンプの動作を実行する、
請求項１に記載の方法。
【請求項９】
第１の局で再生されるコンテンツを第２の局で再生されるコンテンツと同期させるための、前記第１の局にある装置であって、
前記第１の局で再生されるコンテンツに含まれるオーディオ内の少なくとも複数の第１の特徴を抽出する、前記第１の局にある特徴検出手段と、
（ａ）前記第２の局で再生されるコンテンツに含まれるオーディオから抽出された少なくとも複数の第２の特徴を受け取り、（ｂ）前記抽出された第１及び第２の複数のオーディオ特徴を比較して、前記第１の局と前記第２の局との間でレイテンシーが存在するかどうかを判定する、前記第１の局にある同期化ユニットと、
一方の局が他方の局に先行するインターバルに対応するインターバルの間、前記第１の局及び前記第２の局のうちの先行する一方で再生されるコンテンツに関してポーズ又はジャンプの少なくとも１つの動作を開始して、前記第１の局及び前記第２の局を実質的な同期に至らせるよう、同期化情報を生成する手段と
を有する装置。
【請求項１０】
前記同期化ユニットは、相当数の前記第１の特徴を相当数の前記第２の特徴と照合することによって、前記抽出された第１及び第２の複数のオーディオ特徴を比較する、
請求項９に記載の装置。
【請求項１１】
前記同期化情報は、前記第１の局及び前記第２の局の一方が他方に先行するインターバルに対応する前記インターバルの間前記ポーズ又はジャンプのうちの１つの動作を手動により実行するようオペレータに示すための、前記オペレータへの表示メッセージを含む、
請求項９に記載の装置。
【請求項１２】
前記同期化情報は、前記第１の局が前記第２の局に先行する場合にポーズ又は後方ジャンプのうちの１つの動作を実行するための、前記第１の局にあるコンテンツプレイヤーへのコマンドを含む、
請求項９に記載の装置。
【請求項１３】
前記同期化情報は、前記第１の局が前記第２の局に先行する場合に前方ジャンプの動作を実行するための、前記第２の局にあるコンテンツプレイヤーへのコマンドを含む、
請求項９に記載の装置。
【請求項１４】
前記同期化情報は、前記第１の局が前記第２の局に先行する場合にポーズ又は後方ジャンプのうちの１つの動作を実行するための、前記第１の局にあるコンテンツプレイヤーへの第１のコマンドと、前記第１の局が前記第２の局に先行する場合に前方ジャンプの動作を実行するための、前記第２の局にあるコンテンツプレイヤーへの第２のコマンドとを含む、
請求項９に記載の装置。
【発明の詳細な説明】
【背景技術】
【０００１】
ビデオ装置又はネットワーク伝送の進歩は、別々の場所にいる個人又は個人のグループが、異常に高いバンド幅を必要とすることなしに、従来のネットワークにわたって互いとビデオ画像及びオーディオ情報を共有しながら、同時にコンテンツを見ることを可能にする手頃なビデオ会議システムの発展をもたらしてきた。語“テレプレゼンス”及び“ソーシャルＴＶ”は、このようなビデオ会議開催を指す。電話会議の参加者達が同じテレビ番組を見る場合に、コンテンツソースが同じであるかどうかにかかわらず、個々の参加者へのコンテンツの再生のタイミングは実質的に異なり得る。タイミング差の原因には、コンテンツフィードの違い（例えば、一方のグループは地上放送を介してコンテンツを受信し、一方、他方のグループは衛星信号又はオーバ・ザ・トップ・ストリーミングを介してコンテンツを受信する場合）、設備の違い（例えば、各参加者が、課される遅延が異なるデジタルビデオレコーダ又は‘ＤＶＲ’を介してコンテンツを受信する場合）、又は異なったコンテンツ開始時間（例えば、ＤＶＤ、ビデオ・オン・デマンド、又はオーバ・ザ・トップ・ストリーミングによる場合）がある。非ＤＶＲ受信器によって受信される同じ送信機からのライブのテレビジョン放送の場合を除いて、実質的に同期した様態で複数の局へテレビ番組の再生を提供するには、困難が生じる。
【０００２】
いくつかのシステムは、局所的に再生されるテレビ番組（例えばＤＶＤ又は同様のものなどの、コンテンツのソースに関わらない。）と、それに付随する別のコンテンツとの間の同期化を提供する。カリフォルニア州サンディエゴのＲｉｆｆＴｒａｘ社による“ＲｉｆｆＰｌａｙｅｒ”アプリケーションは、ＤＶＤが再生するオーディオを聞くことによって、ユーモアのある解説トラックをＤＶＤと同期させる。Ｔｅｃｈｎｉｃｏｌｏｒ  Ｃｒｅａｔｉｖｅ  Ｓｅｒｖｉｃｅｓ  ＵＳＡ社による“ＭｅｄｉａＥｃｈｏ”アプリケーションは、ＤＶＤ及びブロードキャストＴＶのために同様の機能を提供し、２０１２年１２月１２日付け出願された国際特許出願第ＰＣＴ／ＵＳ１２／０７１８２２号における発明を具現する。
【０００３】
そのような技術は、単一のコンテンツソースとの関連で同期化に対処する。しかし、異なるコンテンツソースとの関連で同期化を達成する必要性が存在する。
【発明の概要】
【０００４】
簡潔に、本原理の説明される実施形態に従って、第１の局及び第２の局で再生されるコンテンツを同期させる方法は、前記第１の局で再生されるコンテンツ内のオーディオを前記第２の局で再生されるコンテンツ内の前記オーディオと比較して、前記第１の局と前記第２の局との間でレイテンシーが存在するかどうかを判定することによって、開始する。そのようなレイテンシーが存在する場合には、ポーズ又はジャンプの少なくとも１つの動作が、一方の局が他方の局に先行するインターバルに対応するインターバルの間、前記第１の局及び前記第２の局の少なくとも１つによって再生されるコンテンツに関して実行されて、前記第１の局及び前記第２の局を実質的な同期に至らせる。
【図面の簡単な説明】
【０００５】
【図１】コンテンツを夫々対応するテレプレゼンス参加者に表示し、かかるコンテンツを本原理に従って同期させる２つの局を示すテレプレゼンスシステムのブロック図を表す。
【図２】図１のテレプレゼンスシステムの２つの局で再生されるコンテンツの部分を有するオーディオ信号について、先行する局がその先行の量だけコンテンツにおいて後方にジャンプすることで２つの局が同期化を達成する場合のタイムライン表示を表す。
【図３】図１のテレプレゼンスシステムの２つの局で再生されるコンテンツの部分を有するオーディオ信号について、先行する局がコンテンツにおいてその先行の量の間コンテンツ再生中にポーズすることで２つの局が同期化を達成する場合のタイムライン表示を表す。
【図４】図２及び３の同期化を実行するための、図１のテレプレゼンスシステムの２つの局の間のトランザクションの組を表す。
【図５】遠隔の局と通信するローカル局でのオーディオ特性化のための例となるプロセスのステップをフローチャート形式で表す。
【図６】図１のローカル及び遠隔のテレプレゼンス局からのオーディオ信号間の同期化を判定し、それらの間の如何なる実質的な差も指示及び／又は補正する例となるプロセスのステップをフローチャート形式で表す。
【図７】ローカルのオーディオソースの同期化の決定が遠隔のオーディオソースに対して存在する場合の再生同期化の例となるプロセスのステップをフローチャート形式で表す。
【図８】本原理に従う同期化と関連して、図１のテレプレゼンスシステムの各局での状況を表す寸描を表す。
【発明を実施するための形態】
【０００６】
図１は、ここで“メディアプログラム”とも呼ばれる同じコンテンツ（例えば、テレビ番組、映画）を再生する２つの局１１０及び１２０を有するテレプレゼンスシステムのブロック図を表す。かかるコンテンツは、オーディオ／ビジュアルプログラム、ビデオのみのプログラム、又はオーディオのみのプログラムを含むことができる。図１の説明される実施形態では、放送局１０１は、局１１０及び１２０に夫々あるプレイヤー１１１及び１２１による受信のために、局１１０及び１２０へコンテンツを供給する。各プレイヤーは、放送局１０１からブロードキャストを受信するようチューニングされた受信機（例えば、テレビ受像機）と、デジタルビデオレコーダ（ＤＶＲ）とを、一緒に有してよい。他の実施形態では、プレイヤー１１１及び１２１は、ＤＶＲ及びセットトップボックスを有してよく、セットトップボックスが衛星プロバイダやケーブルテレビジョンプロバイダのいずれかからコンテンツを受信する。代替的に、プレイヤーは、インターネットストリーミングプロバイダ（例えば、カリフォルニア州ロスガトスのＮｅｔｆｌｉｘ）からコンテンツを受信してよい。各プレイヤーは、デジタルビデオディスクプレイヤー（ＤＶＤ）（図示せず。）からコンテンツを受信してよい。２つのプレイヤー１１１及び１２１は、同じ形態である必要も、同じコンテンツソース（例えば、放送局１０１）を必要とすることもないが、コンテンツは、例えばコンテンツ内の一部の要素（例えば、コマーシャル）が異なるとしても、同じでなければならない。少なくとも１つの局は、コンテンツをポーズ及び／又は後方スキップ若しくは巻き戻しする能力、特に、最近再生されたコンテンツのその部分をポーズ及び／又は後方スキップ若しくは巻き戻しする能力を具備する。
【０００７】
局１１０及び１２０は、コンテンツが夫々プレイヤー１１１及び１２１で再生される場合にコンテンツを表示するモニタ１１２及び１２２を夫々有する。局１１０及び１２０は、それらの局で再生されるコンテンツに夫々関連する付随のオーディオ１１４及び１２４を再生するスピーカ１１３及び１２３を夫々更に有する。一般に、各局は、局１１０ではユーザ１１５によって例示される、ユーザを伴う。テレプレゼンスセッションの間、各局にいるユーザは、図８に関連してより詳細に論じられるように、オーディオ／ビデオ、ビデオのみ又はオーディオのみの会議通話を介して自身の局を互いに相互接続するステップを実行する。局１１０にいるユーザ１１５は、プレイヤー１１１及び／又はモニタ１１２の制御のためにリモートコントロール１１６を使用することができる。図示されていないが、他の局にいるユーザも、通常は、リモートコントロールを有する。
【０００８】
局１１０及び１２０は、夫々オーディオ１１４及び１２４を捕捉するマイクロホン１３１及び１４１の１つを夫々有する同期化ユニット１３０及び１４０を夫々有する。同期化ユニット１３０及び１４０は、夫々対応するマイクロホン１３１及び１４１によって捕捉されたオーディオから特徴を抽出する特徴検出モジュール１３２及び１４２を夫々更に有する。同期化ユニット１３０及び１４０の夫々の中では、中央演算処理装置（ＣＰＵ）又はコントローラ１３３及び１４３の対応する１つが、抽出された特徴を夫々処理して、夫々メモリ１３４及び１４４に記憶する。通信モジュール１３５及び１４５は、夫々ＣＰＵ１３３及び１４３と通信して、抽出された特徴を他の同期化ユニットへ通信チャネル１５１を介して送信することができる。通信チャネル１５１は、インターネット１５０を有してよい。
【０００９】
然るに、同期化ユニット１３０及び１４０に夫々含まれるＣＰＵ１３３及び１４３は、更には、通信チャネル１５１並びに各自の通信モジュール１３５及び１４５を介して遠隔の特徴を受信し、検出された局所的な特徴と受信された遠隔の特徴とからコンテンツの同期化に関する情報を決定することができる。同期化ユニット１３０及び１４０の中では、ディスプレイ１３７及び１４７は、同期化情報を夫々表示することができる。いくつかの実施形態では、同期化ユニット１３０及び１４０に夫々含まれるＣＰＵ１３３及び１４３は、本原理に従う同期化を達成する局間の再生におけるタイミング差を是正するために、必要に応じて、夫々リモートコントロールエミッタ１３８及び１４８を駆動して、ポーズ、巻き戻し、後方スキップ、再生を行うよう夫々プレイヤー１１１及び１２１のトランスポートに命じることができる。
【００１０】
図１の説明される実施形態では、同期化ユニット１３０及び１４０は、スタンドアローンのデバイスとして存在する。しかし、プレイヤー１１１及び１２１の夫々又はモニタ１１２及び１２２の夫々は、埋め込み型同期化ユニット１３０及び１４０を有してよい。同期化ユニット１３０及び１４０を夫々モニタ１１２及び１２２に埋め込むことは、それらのモニタが、夫々ディスプレイ１３７及び１４７の代わりに、同期化情報を表示することを可能にする。
【００１１】
図１の同期化ユニット１３０及び１４０は、互いを見つけるためにプレゼンスデバイス１６０を使用することができる。なお、他の技術がこの目的を果たしてもよい。プレゼンスデバイス１６０は、局１１０及び１２０に夫々ある同期化ユニット１３０及び１４０の存在、機能、及び位置を監視するために、プレゼンスサーバ１６１及びデータベース１６２を有する。同期化ユニット１３０及び１４０は、夫々対応する通信モジュール１３５及び１４５並びに通信チャネル１５２及び１５３を通じてプレゼンスサーバ１６１と通信する。通信チャネル１５２及び１５３の夫々はインターネット１５０を有してよい。このようにして、同期化ユニット１３０及び１４０は、通信チャネル１５１を通じて直接的に通信することの代わりに、プレゼンスサーバ１６１を通じて互いとメッセージを交換することができる。説明される実施形態に関連して、通信モジュール１３５及び１４５の夫々は、通信チャネル１５１を通じてサーバ１６１と通信することによって、他の通信モジュールのアドレスを決定する。なお、同期化ユニット１３０及び１４０の間のトランザクションは、直接的に（例えば、通信チャネル１５１を通じて）、あるいは、プレゼンスサーバ１６１によって介在されるように、間接的に行われてよい。
【００１２】
特徴検出器１３２及び１４２によって抽出された特徴は、各局での最近の局所的なオーディオ特徴の第１タイムラインを形成するように、夫々ローカルメモリ１３４及び１４４に記憶される。また、通信モジュール１３５及び１４５は、最近の遠隔のオーディオ特徴の第２タイムラインを形成するように、それらが受信する遠隔の特徴を夫々ローカルメモリ１３４及び１４４に記憶する。２つのタイムラインは、概して同期化されたままである。すなわち、各タイムラインにおける同じ位置は、対応する局でおおよそ同じ時点で起こった特徴を表す。
【００１３】
いくつかの実施形態では、同期化ユニット１３０及び１４０は、夫々ローカルクロック１３６及び１４６を互いと又は他の共通にアクセス可能なクロック（図示せず。しかし、例えば、よく知られたネットワーク時間プロトコルを用いて、サーバ１６１によって又は他のサービスによって提供される。）と同期化されたままとすることができる。他の実施形態では、同期化ユニット１３０及び１４０の間の（通信チャネル１５１を介した）通信レイテンシーは、取るに足らないと見なされるか（例えば、１／４秒未満）、又は所定の値（例えば、１／２秒）に固定されてよい。更なる他の実施形態では、通信レイテンシーの測定は、先と同じくこのためのよく知られた方法を用いて、ラウンドトリップ時間を測定して、２で割ることによって、一度又は周期的に行われてよい。クロック１３６及び１４６が存在する実施形態では、同期化ユニット１３０及び１４０は、局１１０及び１２０の間の通信に夫々タイムスタンプを付すことができる。クロック１３６及び１４６が存在しないような実施形態では、遠隔の局から受信された特徴は、順にローカル局で記憶され、最新である（あるいは、所定の又は測定されたレイテンシーだけ遅延している）と見なされ、然るべくメモリにバッファリングされ得る。そのような特徴を運ぶメッセージは、シーケンス番号を含むことができ、それにより、トランジットにおいて失われたメッセージ（従って、特徴）は、タイムラインにおける受信された特徴の配置に影響を及ぼさない。よって、クロック１３６及び１４６の有無によらず、局所的な特徴及び遠隔の特徴を各局にあるメモリにおいてそれらの夫々のタイムラインに置くことは、各局で同時に得られた特徴が、メモリ内の対応するタイムラインに同様に置かれているように見えるような様態で起こり得る。
【００１４】
図２は、図１の同期化ユニット１３０及び１４０によって実行される本原理の同期化の方法を表す。図２の上に現れる波形は、左手側から開始して右方向に進むタイムラインに沿って進むエンベロープを有し、オーディオ１１４がスピーカ１１３から再生される局１１０での状況を表す。図２の下に現れる波形は、タイムラインに沿って進むエンベロープを有し、オーディオ１２４が図１のスピーカ１２３から再生される局１２０での状況を表す。局１１０は時点２１１で聞き始め、一方、局１２０は時点２２１で聞き始める。図１の通信チャネル１５１にわたって局１１０及び１２０の間で通信が存在すると仮定して、局１１０及び１２０は、夫々それらの局所的なオーディオ信号１１４及び１２４から夫々それらの検出器１３２及び１４２によって検出された抽出特徴を交換することができる。時点２２１のすぐ後に、局１１０は、局１２０でのオーディオ１２４からの十分な抽出特徴を受信して、メモリ１３４においてバッファリングされているオーディオ１１４において対応する特徴が時点２２１よりも早く現れることを決定する。通常、局は、そのような特徴の抽出及び認識のために約１０秒の時間を必要とするが、認識時間は、オーディオプログラムによって目下示されている特性及び特徴検出器の実施形態に応じて、より長くても又はより短くてもよい。局１２０から受信された特徴と、メモリ１３４における対応する特徴との間で経過した時間の量に注目することによって、局１１０は、オーディオ１１４が、時間量“ｔ”に対応する相互レイテンシー２１３だけオーディオ１２４に先行すると決定することができる。言い換えると、コンテンツのオーディオ部分２１２は、オーディオ部分２２２よりも時間“ｔ”だけ早く（つまり、“先んじて”）、目下再生されている。
【００１５】
時点２１４で、同期化ユニット１３０は、“ｔ”に略等しい量２１５（相互レイテンシー２１３の大きさ）だけコンテンツにおいて後方スキップするようプレイヤー１１１（例えば、ＳＴＢ、ＤＶＲ、ＤＶＤ、ストリーミングメディアプレイヤー、等）に命令する。オーディオ部分２１６（破線として図２に示される。）は、オーディオ１１４の部分２１７が部分２１６の繰り返しにより時点２１４で開始して（図２のタイムラインに沿って右方向に）続くように、プレイヤー１１１のメディアバッファから再生される。部分２１７の開始は、部分２２７と実質的に一致し、それと同時に位置する（すなわち、時点２１４の後で、オーディオ１２４は、オーディオ１１４と実質的に同期して再生される。）。よって、時間が時点２１４の後で進む場合に、局１１０及び１２０でのオーディオ１１４及び１２４は、互いと実質的に同期し、故に、他のコンテンツ（例えば、ビデオ）は、同様に同期する。
【００１６】
２つよりも多い局が同期しようとする試みる状況では、最も先行している局が、他の局から最も後れを取っている他の局と同期しようと試みる。議論のために、局１２０が、オーディオにおける遅れに関して、他の局から最も遅れを取ったままであるとする。よって、局１１０は、自身が１つ以上の他の局よりも前にあると認識する場合に、自身から最も後れを取っている局、つまり、レイテンシー測定２１３（すなわち、“ｔ”）が最大値をとる局と同期することを選択する。先行する全ての局（すなわち、それらのオーディオは“遅れている”局のオーディオに先行する。）はこのプロシージャに従う。最終的に、全ての局が最も後れを取っている局と同期した状態となり、それによって、互いと実質的に同期した状態となる。自身が他の局の全てより遅れていると気付く局（例えば、局１２０）は、この実施形態では、何の行動も起こさず、他の局が自身と同期するのを待つ。
【００１７】
他の実施形態では、後方にある局は、他の局に追いつくように前方にジャンプする。しかし、前方にジャンプすることは、ローカルプレイヤー（例えば、局１２０にあるプレイヤー１２１）が、そのプレイヤーがジャンプする必要があるコンテンツの部分を既に受信しているかどうかの不確かさのために、より困難であり得る。更に、遠隔のコンテンツにおける前方ジャンプは、（ストリーミングメディアソースに関して）広く変化する応答時間を有し得る。また、スキップされてしまったために、前方にジャンプする局のユーザに示されないコンテンツが存在する場合もある。
【００１８】
更なる他の実施形態では、同期化の責任は、いくつかの局の間にあってよい。例えば、他の局から後れを取っている局（例えば、局１２０）は、最初に注目された相互レイテンシー２１３の大部分、場合により過半数を表す量だけ前方にジャンプしてよい。メディアストリーム（すなわち、コンテンツ）を確立し直した後、局１２０は、幾らかの更なるインターバルの後、修正された、おそらくはより小さい相互レイテンシーの決定を可能にするように特徴を検出し交換してよい。この時点で、“先行する”局１１０は、コンテンツの再生のより完全な同期化を達成するよう正確な後方ジャンプを行ってよい（上述されているが、修正された相互レイテンシーを用いる。）。このアプローチは、“先行する”局１１０にいるユーザ１１５が、初期相互レイテンシーに対応するインターバル全体を繰り返す必要がないという利点を提供する。代わりに、局１１０は、より短い修正されたレイテンシーのみを繰り返す。このアプローチは、ユーザ１１５が映画を見始めており、後から加わる友人がその映画の少なくとも冒頭は既に見たことがあり、その部分を再度見る必要が全くない場合に、依然として望ましい。他の場合では、後から加わる友人が最初から映画を見たい場合に、局は、図２に関して上述された同期化方法を用いることができ、あるいは、ユーザは、何か他のものを見ること選択することができる。
【００１９】
図３は、図２で表された方法と同様に、図１の同期化ユニット１３０及び１４０によって実行される本原理に従う同期化の代替の方法を表す。図３の上に現れる波形は、図２の上にある波形と同じく、図の左手側から開始して右方向に進むタイムラインに沿って進むエンベロープを有し、図１に表されるようにオーディオ１１４がスピーカ１１３から再生される局１１０での状況を表す。図３の下に現れる波形は、タイムラインに沿って進むエンベロープを有し、図１に表されるようにオーディオ１２４がスピーカ１２３から再生される局１２０での状況を表す。局１１０は図３の時点３１１で聞き始め、一方、局１２０は図３の時点３２１で聞き始める。図１の通信チャネル１５１にわたって局１１０及び１２０の間で通信が存在すると仮定して、局１１０及び１２０は、夫々それらの局所的なオーディオ信号１１４及び１２４から夫々それらの検出器１３２及び１４２によって検出された抽出特徴を交換することができる。
【００２０】
時点３２１のすぐ後に、局１１０は、オーディオ１２４からの十分な抽出特徴を局１２０から受信して、メモリ１３４においてバッファリングされているオーディオ１１４において対応する特徴が先に現れることを決定する。局１２０から受信された特徴と、メモリ１３４における対応する特徴との間で経過した時間の量に注目することによって、局１１０は、オーディオ１１４が、時間量“ｔ”に対応する相互レイテンシー３１３だけオーディオ１２４に先行すると決定することができる。このことは、オーディオ部分３１２がオーディオ部分３２２よりも時間“ｔ”だけ早く（つまり、“先んじて”）再生されていることを意味する。時点３１４で、同期化ユニット１３０は、“ｔ”に略等しい存続期間３１５の間ポーズするようプレイヤー１１１（例えば、ＳＴＢ、ＤＶＲ、ＤＶＤ、ストリーミングメディアプレイヤー、等）に命令する。それにより、オーディオ部分３１６は、プレイヤー１１１が（存続期間３１５が経過した後）時点３１８で再開するまで無音のままである。これは、オーディオ１１４の部分３１７が部分３２７、すなわち、時点３１８（実質的に、時点３１４に“ｔ”を加えた時点）の後のオーディオ１２４と実質的に一致し、それと実質的に同期することをもたらす。よって、時間が時点３１８の後で進む場合に、局１１０及び１２０でのオーディオ１１４及び１２４は夫々、互いと実質的に同期し、それによって、２つの局で再生されるコンテンツを同期させる。
【００２１】
いくつかの実施形態において、時点３１４で、同期化ユニット１３０は、図８に示されるように、存続期間３１５の間ポーズして、存続期間３１５が経過した後に再開するようにプレイヤー１１１に対してリモートコントロールによりコマンドを発するよう、ディスプレイ１３７を通じてユーザに指示することができる。
【００２２】
図４は、図２及び３の同期化を実行するための、図１のテレプレゼンスシステムの２つの局１１０及び１２０の間のトランザクションの組を表す。縦線４１１及び４２１は、夫々局１１０及び１２０に対応し、時間は、上から下へ下方向に進む。同期化を開始するよう、局１１０は、局１２０での後の受信のために初期メッセージ４１２を送信する。初期メッセージは、線４１１から線４１２へ向かって下方向に傾きながら同じ参照符号４１２を持った矢印によって示されている。どれくらい“後”かは、通信チャネル１５１のトランスポートレイテンシーに依存するが、典型的なレイテンシーは、大陸内通信に関して依然として２５０ミリ秒に満たない。
【００２３】
初期メッセージ４１２は、局１２０の同期化ユニット１４０（いずれも図１を参照）での受信のために、局１１０にある同期化ユニット１３０（いずれも図１を参照）から発せられる。メッセージ４１２は、図１に示されるように特徴抽出モジュール１３２によってオーディオ１１４から抽出された１つ以上の特徴を含む。同期化ユニット１３０がそれ自身のクロック１３６を有する場合は、同期化ユニット１３０は、メッセージ４１２にタイムスタンプを付すことができる。そうでない場合は、同期化ユニット１３０は、シーケンス番号をメッセージ４１２に割り当てる。時間スタンプ又はシーケンス番号を用いて、局１２０にある同期化ユニット１４０は、メッセージ４１２を介して送信された特徴を、その遠隔の同期化ユニット１３０に関連する遠隔特徴タイムラインに適切に置くことができる。
【００２４】
同期化ユニット１３０との接続に対する反応として、又はメッセージ４１２を受信することに応答して、同期化ユニット１４０は、図４に表されるメッセージ４２２において、図１の同期化ユニット１３０へオーディオ特徴を送信し始める。無関係に、同期化ユニット１３０は、更に抽出されたオーディオ特徴を含む１つ以上の後続メッセージ４１３（明りょうさのために図示されているのは１つのみ）を送信する。同様に、同期化ユニット１４０は、更に抽出されたオーディオ特徴を含む１つ以上の後続メッセージ４１２（同じく図示されるのは１つのみ）を送信する。
【００２５】
初期メッセージ４１２が送信される場合に、同期化ユニット１３０は、局所的なオーディオ特徴を抽出し記録することに一定期間既に従事していてよい。メッセージ４１２は、先に抽出された特徴を運ぶ必要はない。むしろ、初期メッセージ４１２は、図１の特徴抽出モジュール１３２によって抽出された最も最近の局所的な特徴のみを運ぶ必要がある。他の実施形態では、各同期化ユニットは、先に抽出されたより古い特徴を遠隔の局に知らせるよう追加メッセージを送信してよいが、そうすう必要性はない。一例として、局１１０は、時点３１１（図３）で局所的なオーディオ１１４の特徴を記録し始め、その後に、オーディオ１１４から抽出された特徴を収集し続ける。おおよそ時点３２１の後での局１２０との接続時に、図１の局１１０及び１２０は、時点３２１で又はその近くでオーディオから抽出された特徴を表す初期メッセージ４１２及び４２２を交換することができる。このようにして、局（例えば、局１１０）は、２つの局がメッセージを交換し合っている間のみよりむしろ、図１のメモリ１３４において設けられるバッファのサイズと同程度だけより早く抽出された特徴の一致を認識することができる。
【００２６】
図４を参照すると、時点４３１で、局１１０は、メッセージ４２２、もしかすると、更に、１つ以上のメッセージ４２３を受信し、次いで、もしあれば、局１２０によって送信された遠隔のオーディオ特徴と、メモリ１３４において記録されている局所的なオーディオ特徴との間の一致を認識する。一致した特徴がそれらの夫々のタイムラインにある場合にそれらの間のオフセットは、相互レイテンシー３１３（又は２１３）を構成する。この例は、ある局が、複数の局のうちの１つによって未だ共有されていないいくつかの特徴の間の一致を見出すことができること（すなわち、局１１０は、抽出された特徴を有するが、それらを局１２０と依然として共有しておらず、それらの特徴を、局１２０によるメッセージ４２２及び／又は４２３において抽出されて共有された特徴と照合する場合）を表す。
【００２７】
局所的な特徴と遠隔の特徴との照合に基づき、局１１０は、量“ｔ”を構成するものとして相互レイテンシー３１３（又は相互レイテンシー２１３）を決定し、そして、リモートコントロールエミッタ１３８によりプレイヤー１１１へコマンドを発することによって、あるいは、ユーザが見て（リモートコントロール１１６により）適切な行動をとるための同期化情報をディスプレイ１３７にポストすることによって、行動を起こすことができる。例えば、局１１０は、量“ｔ”だけ後方にスキップするよう（図２を参照）又は存続期間“ｔ”の間再生をポーズして、その後に再開するよう（図３を参照）リモートコントロールエミッタ１３８によりプレイヤー１１１へコマンドを発するか、あるいは、プレイヤー１１１に対して別個のリモートコントロール１１６を用いてそうするようディスプレイ１３７を通じてユーザ１１５に指示してよい。同期化情報のポスティングの例は、以降で議論される図８において見られる。図４における時点４３２で局１１０にレイテンシーを加える行動を実施した（例えば、図１のプレイヤー１１１は後方にスキップしているか、あるいは、ポーズして、その後に再生を再開している）後しばらくして、マイクロホン１３１は再びオーディオ１１４を検出し、図１の特徴検出モジュール１３２は、検出されたオーディオにおいて特徴を抽出する。
【００２８】
図２の場合では、時点４３２で示される行動を実施した後、図１の同期化ユニット１３０は、時点４３３で、オーディオ部分２１７の先頭に対応する特徴を、オーディオインターバル２１６と併せて以前に抽出された特徴と照合しようとする。一致を見つけると、同期化ユニット１３０は、図２の是正のための巻き戻しステップ２１５の正確なサイズを決定することができる。ステップ２１５が小さすぎるか又は大きすぎる（例えば、２秒を大きく外れる）ジャンプを構成する場合は、同期化ユニット１３０は、コンテンツの同期化を達成するために調整を精緻化するようにプレイヤーに前方又は後方にスキップするよう命令するといった、フォローアップ行動を実施する。時点４３３で自身のバッファからの特徴の再現を認識すると、同期化ユニット１３０は、局１１０のタイムラインの連続性における中断を示すよう、リセット通知メッセージ４１４を遠隔の同期化ユニット１４０へ送信することができる。これは、同期化ユニット１４０が、もはや有効でない遠隔タイムラインの部分に対する不必要な照合の試みを回避するように遠隔の特徴のそれ自身のバッファを消去することを可能にする。
【００２９】
図３の場合では、局１１０に付随する同期化ユニット１３０が時点４３２でレイテンシーを加えた後、時点４３３での特徴の認識は、図１のプレイヤー１１１がコンテンツ再生中に後退しないので、リセットメッセージ４１４の送信をトリガしない。プレイヤー１１１がポーズ状態でなくなる直前に、同期化ユニット１３０は、再びプログラムを捕捉し、かかるオーディオから特徴を抽出する。この時点で、同期化ユニット１３０は、遠隔の同期化ユニット１４０から受信された特徴が時点４３４で局所的なオーディオ部分３１７から新たに抽出された特徴と一致し、実質的に同期状態にあることを観測することができる。プレイヤー１１１がインターバル３１５の間ポーズする場合に、同期化ユニット１３０は、是正措置のタイミングを確認するのが困難である。これは、無音インターバル３１６が、ポーズの結果として現れ得るが、再生されているコンテンツに静音部分を更に含め得る（あるいは、プレイヤー１１１による再生と無関係な背景ノイズによって乱される）ことによる。それにも関わらず、部分３１７でのオーディオからの特徴の抽出が起こる場合に、同期化ユニット１３０は、抽出された特徴を、同期化ユニット１４０から受信された特徴と比較及び照合し、時点４３４で認められるように、実質的な同期化がごく短いインターバルの間（例えば、２秒内、又は１／４秒内）に起こる。その後、同期化ユニット１３０は、リセット／再同期化通知メッセージ（図示せず。しかし、メッセージ４１４と同様であるが、メッセージ４３４を送信した後の時点で起こる。）を同期化ユニット１４０に送信する。いずれの場合にも、リセットメッセージ４１４又は同様のものの後、同期化ユニット１３０は、メッセージ４１５、４１４のように、特徴抽出ユニット１３２からの抽出されたオーディオ特徴を遠隔の同期化ユニット１４０へ送信し続ける。
【００３０】
いくつかの実施形態において、４１４と同様のリセットメッセージは、時点４３２で、すなわち、同期化ユニット１３０がそのレイテンシーを調整する行動を実施すると決定するとすぐに、送信されてよい。かかる実施形態では、遠隔の同期化ユニット１４０は、遠隔のオーディオ特徴タイムラインのための対応するバッファを即座に消去してよい。
【００３１】
図５乃至７は、図４に関連して上述された動作を達成するためのプロセスを表す。図５は、遠隔の局（例えば、図１の局１２０）と通信するローカル局（例えば、図１の局１１０）でのオーディオ特性化（モニタリング）ための例となるプロセス５００のステップをフローチャート形式で表す。プロセス５００は、開始ステップ５０１から開始する。その時点で、オーディオ特徴バッファ５２０の消去が起こる（オーディオ特徴バッファ５２０は、メモリ１３４内にある部分を有する。）。更に、ステップ５０１の間、特徴バッファ５２０への挿入点のリセットが起こり、挿入点を最初に置く。故に、バッファは、これより、検出された特徴を記録することができる。ステップ５０２で、図１のマイクロホン１３１は、アクティブ状態となり、オーディオ１１４を捕捉して、それを図１の特徴抽出モジュール１３２へ供給する。
【００３２】
ステップ５０３の間、特徴抽出モジュール１３２は、有意な特徴を探すよう、捕捉されたオーディオを調べる。オーディオ特徴の抽出はよく知られており、図１の特徴抽出モジュール１３２のための多くの可能な実施が存在する。図２及び３におけるオーディオのエンベロープは、オーディオ内の特徴の属性（例えば、無音部分又はピーク）を表してよい。なお、エンベロープ又は波形に関連する特徴は、環境ノイズによって隠されたり又は改悪されたりすることがあり、いくつかの場合では、探すべき最良の特徴を表さない。オーディオの小窓（例えば、１０〜１００ミリ秒）に対して行われる様々な形式のスペクトル解析（例えば、短時間フーリエ変換（ＳＴＦＴ）からのスペクトル、又はメル周波数ケプストラム係数（ＭＦＣＣ））は、所望の特徴を検出することができる。最も高い値を有する所定数（例えば、３）までの特定のスペクトル帯域又は係数は、関心のある特徴を含んでよい。候補として見なすよう、特徴は、オーディオ１１４と無関係のノイズ又は他の背景ソースから導出された特徴を除外するのを助けるよう、絶対レベル又は背景ノイズレベルを上回る少なくとも所定数のデシベルをサウンドレベルに要求してよい。窓関数（例えば、ハニング、ハミング、ガウス、等）は、窓プロセスから無関係なスペクトルアーティファクトを減らすよう、捕捉されたオーディオのための乗数となることができる。
【００３３】
いくつかの実施形態では、夫々の連続したスペクトル解析は、窓と解析される捕捉されたオーディオとの間のタイミング関係に起因した特徴検出における変動を最小限とするよう、前の解析と関連する重なり合った窓を用いて行われ得る（例えば、５０ミリ秒幅の窓を用いると、特徴抽出は、２５ミリ秒ごと、すなわち、毎秒４０回行われ得る。）。Lamb  et  al.の名における米国特許第５４３７０５０号は、同様の特徴抽出技術について記載している。
【００３４】
“System  and  Methods  for  Recognizing  Sound  and  Music  Signals  in  High  Noise  and  Distortion”と題された米国特許第８１９０４３５号（Wang  et  al.）には、ランドマーク・タイムポイント及び関連するフィンガープリントを用いる方法が記載されており、ランドマーク・タイムポイントは、コンテンツ内の再現可能な方法で検出可能な位置（例えば、エンベロープ内のピーク又は変曲点）を構成し、フィンガープリントは、そのようなランドマーク・タイムポイントでの又はその近くでの信号の特徴を表す。タイムポイントを使用することは、規則的且つ周期的なサンプルと比較して、特徴を表すデータの組が小さくなることを達成する利点を提供する。Wangのサウンド認識方法は、非常に大きいデータベース、例えば、１万以上の曲を有するデータベース内の検索を容易にすることができる。Wang  et  al.のランドマーキング及びフィンガープリンティングは、本原理に関連して特徴抽出を実行することができ、一方で、抽出特徴バッファについて見込まれる比較的制限されたサイズ（例えば、３０分未満のオーディオ記憶容量を持ったバッファ）は、規則的にサンプリングされたオーディオから抽出された特徴を用いる場合でさえ、メモリ３１４に含まれる局所的に抽出された特徴内で一致を探す問題を高速化する。ランドマーク・タイムポイントを正確に記録するために、安定したクロック１３６は、ランドマークの相対時間を決定するのに有用性を示す。なお、遠隔のクロック１４６との同期化は不必要なままであり、更には、クロックは実際の日時を表す必要はない。代替的に、ランドマーク・タイムポイントは、オーディオサンプルが捕捉されるたびにインクリメントするサンプルカウンタとの関連を有してよい。
【００３５】
会議用箋“A  Large  Set  of  Audio  Features  for  Sound  Description”，Ircam，パリ，２００４年において、Petersは、サウンドサンプルについての多数の瞬時記述子を列挙し、それらを計算するための計算を簡単に述べる。とりわけ、ＳＴＦＴに加えて、メル周波数ケプストラム係数（ＭＦＣＣ）、及びノイジネスがある。それらの特徴の全てでないとしても大部分の抽出は、11th  ISMIR  Conference，オランダ国ユトレヒト，２０１０年の会議録において記載されており、Telecom  Paristechによって開発されたオープンソースソフトウェアプロジェクトとして利用可能であり且つyaafe.sourceforge.netで入手可能な、B.Mathieu  et  al.による“YAAFE,  an  Easy  to  Use  and  Efficient  Audio  Feature  Extraction  Software”を用いて行われ得る。
【００３６】
図５のステップ５０４の間、同期化ユニット、例えば、図１の同期化ユニット１３０は、オーディオ１１４から抽出された特徴が、最近再生された部分に対して繰り返す場合を探すことができる。かかる場合は、プレイヤー１１１が巻き戻すか又は後方にスキップするためのコマンドを受け、次いで再生を再開する場合に起こり得る。そのような場合において、ステップ５０３の間に抽出された特徴は、局所バッファ５２０に既に記憶されている特徴と比較される場合に、実質的な一致を実現する（このとき又は以前に受信されたオーディオ１１４と無関係な背景ノイズにより個々の特徴をさもなければ抑制、隠蔽又は改悪し得る一方で、同じサンプルから又は同じ時間的近傍において得られる他の特徴が一致する。）。更に、図１の特徴抽出モジュール１３２及び１４２は、有意な時間インターバル（例えば、２〜１０秒）にわたって抽出された特徴の大部分が、一致と見なされる前に適格とされることを求める規則を夫々用いてよい。
【００３７】
ステップ５０４の実行において、オーディオ１１４が先行部分の繰り返しを構成するとの決定に対応する一致を見つけると、ステップ５０５の間、図１のローカル局１１０は、遠隔の局１２０がローカル局１１０によって送信された特徴のそれ自身のバッファを消去することを示唆するよう、遠隔の局１２０へメッセージを送信する。これは、記録が、もはや、ローカル局の新たにリセットされたタイムラインを表さないためである。ステップ５０６の間、局所バッファ５２０をクリアすることよりむしろ（代替の実施形態では、起こり得る。）、ローカル局１１０は、一致が起こった局所バッファ内の位置に対応するようにバッファ内の挿入点を変更することができる。このようにして、少なくとも束の間、局所バッファ５２０は、オーディオプログラムの最新の履歴を表すのみならず、そのプログラムの近い将来も幾らか予想する。これは、後方スキップのサイズ２１５が大きすぎ、遠隔の局１２０から受信された現在の特徴は、挿入点に対してわずかに将来にある点と一致する場合に有効性を示すことができ、同期化を微調整するのに有用な情報を提供する（図６に関連して更に議論される。）。
【００３８】
ステップ５０７の間、ステップ５０２の間に抽出された特徴は、局所バッファ５２０において現在の挿入点で記憶され、同期化ユニットは、挿入点をインクリメントする。挿入点がバッファの最後にある場合は、記憶される特徴は、バッファの現在の長さを広げる。バッファが所定のサイズを超えることができない場合は、最も古い特徴（バッファにおいて最先の特徴）は、新しい特徴が挿入されることになると削除される。いくつかの実施形態では、循環バッファは、このような、古いデータを新しいデータで書き換える技術を実装することができる。
【００３９】
図５のステップ５０８の間、図１のローカル局１１０は、ステップ５０２の間に抽出された特徴を図１の遠隔の局１２０へ送信する。いくつかの実施形態では、ローカル局１１０は、クロック１３６からの情報によりそれらの特徴にタイムスタンプを付すことができ、且つ／あるいは、ローカル局１１０は、特徴をシーケンス番号とともに送信することができる。このようにして、遠隔の局１２０は、たとえ介在するメッセージが失われたり、あるいは、遠隔の局がメッセージを順番通りに受信しなかったりするとしても、他の受信された特徴に対して受信された特徴を置くことができる。
【００４０】
ステップ５０９の間、オーディオの現在のインターバルの処理は、完了されて、終了する。すると、プロセスは、ステップ５０２から開始することを繰り返すことができる。ステップ５０１のバッファの消去及び挿入点のリセットは、プロセスの繰り返しごとに起こる必要はない。一実施形態では、局所的なオーディオモニタリングプロセス５００は、オーディオ取得カード又はデジタルマイクロホンインタフェース及びそれらの対応するドライバにより通常起こり得るように、ハードウェアオーディオバッファがいっぱいになるたびに繰り返してよい。
【００４１】
図６は、図１のローカル及び遠隔のテレプレゼンス局からのオーディオ信号間の同期化を決定し、それらの間の如何なる実質的な差も指摘及び／又は補正して、コンテンツ再生を同期化させる、例となるプロセス６００のステップをフローチャート形式で表す。プロセス６００は、遠隔の同期化ユニットからの到来メッセージ（例えば、図１の局１１０／同期化ユニット１３０から局１２０／同期化ユニット１４０によって受信されるメッセージ４１２〜４１６、又は局１２０／同期化ユニット１４０から局１１０／同期化ユニット１３０によって受信されるメッセージ４２２〜４３２）によってトリガされる開始ステップ６０１から開始する。
【００４２】
ステップ６０２の間、ステップ６０１の間に受信されたメッセージがリセットメッセージ（図４のメッセージ４１）又は遠隔特徴メッセージ（例えば、メッセージ４１４以外の図４におけるメッセージのいずれか）を構成するかどうかが判定される。ステップ６０２の間に、遠隔の局（例えば、局１２０）がそれ自身のタイムラインをリセットしているとローカル局（例えば、１１０）が決定する場合は、ステップ６０３の間、ローカル局は、ローカルメモリに記憶されている遠隔の特徴のバッファ６３０を消去する。その後、ステップ６１０は、リセットメッセージの処理がこのとき完了している状態で実行される。
【００４３】
しかし、ステップ６０２の間に、メッセージが特徴を含むとローカル局が決定する場合は、ステップ６０４の間、ローカル局は遠隔の特徴を受信する。タイムスタンプ及び／又はシーケンス番号が受信された遠隔の特徴に付随する場合は、ローカル局は、特徴が遠隔特徴バッファ６３０に記憶されるように、ステップ６０５の間、受信された特徴をタイムラインに沿って適切に関連付ける。
【００４４】
ステップ６０６の間、ローカル局は、バッファ内の局所的に検出された特徴（図５のプロセス５００の間に記憶された特徴）の一部分が、バッファ６３０内の遠隔の特徴の最近のタイムラインに対応するかどうかを確認する。対応しない場合は、ステップ６０１の間に受信されたメッセージの処理はステップ６１０の間に完了する。しかし、ステップ６０６の間に、遠隔バッファ６３０内の遠隔の特徴の最近の部分が局所バッファ５２０内の特徴のシーケンスに対応するとローカル局が決定する場合は、ステップ６０７の間、ローカル局は、局所バッファ５２０において遠隔バッファ６３０内の最近の特徴の一致を見つけた後、局所バッファ５２０における現在の挿入点（プロセス５００に関連して上述された。）に対するタイミング差を決定する。
【００４５】
ステップ６０８で、局所的な再生が遠隔の再生よりもはるか前にあるかどうかに関して決定がなされ、そうである場合は、是正措置がステップ６０９で開始される（例えば、ポーズ又は後方スキップ）。局所的なオーディオ及び遠隔のオーディオが十分に（例えば、ほんの一瞬の範囲内で）同期しているとステップ６０８で決定される場合は、何の行動も起こされず、プロセスは、ステップ６１０で、現在のメッセージの処理を終える。いくつかの実施形態では、挿入点より前方で対応を見つけると（例えば、ステップ５０６の間のように、ローカルプレイヤーが後方にスキップしており、挿入点が過去に移動する場合）、ポリシーは、そのような状況下では遠隔の同期化ユニットが問題に対処する責務を有すると指示してよい。その場合に、ステップ６０１の間に受信されたメッセージの局所的な処理は、ステップ６１０の間に完了することになる。しかし、遠隔バッファ６３０内の最近の特徴の対応の点が挿入点より後ろにあり、実際には、十分な量（例えば、１つのポリシーの下で、５０ミリ秒以上）だけ挿入点より後ろにある場合は、ステップ６０９で、ローカル同期化ユニットは同期化コマンド（例えば、前方スキップを行うためのコマンド）を供給する。
【００４６】
ステップ６０９の間、ローカル同期化ユニットは、同期化コマンドを勧告としてのみ供給してよい。言い換えると、ローカル同期化ユニット１３０は、同期化コマンドをユーザ１１５への警告としてディスプレイ１３７で示して、ユーザに、そのユーザのローカルプレイヤー１１１が特定の量の時間の間巻き戻すか又はポーズする必要があることを知らせてよい。他の実施形態では、同期化ユニット１３０は、必要とされるようにプレイヤー１１１を巻き戻すか又はポーズするために内蔵リモートコントロールエミッタ１３８を使用してよい。更なる他の実施形態では、ローカル同期化ユニット１３０は、ユーザ１１５に相互レイテンシー値（例えば、レイテンシー値２１３／３１３）を知らせ、リモートコントロールを用いて適切な動作をとるよう提案してよい。この後者のアプローチは、相互レイテンシー値が大きくなっており、好ましくないローカルユーザ１１５による相当な“再視聴”を表す場合に、特に有用である。
【００４７】
テレプレゼンスセッションに参加する２つよりも多い局１１０及び１２０を有する実施形態に関して、各局がそれ自身の遠隔バッファ６３０有する状態で、別個のプロセス６００が、参加する夫々の遠隔の局で局所的に実行され得る。代替的に、発信する遠隔の局に応じて、ステップ６０３、６０５及び６０６の夫々に関与する遠隔バッファの選択は、メッセージの発信局に依存する。更には、１よりも多い遠隔の局が参加する場合は、ステップ６０９の間に供給される同期化コマンドは、他の局から最も後れを取っている遠隔の局に対応すべきである。
【００４８】
３つの局を前提とし、各局がそれ自身の同期化ユニットを備える次の例を考える。３つの局のうちの１つ（例えば、“ローカル”局）は、他の２つの（“遠隔の”）局と通信し、ローカル局は第１の遠隔の局に５秒先行し、第２の遠隔の局に１２秒先行するとする（すなわち、ローカル局は、遠隔の局の両方より異なる量だけ前にある。）。そのような状況下で、ステップ６０９の間にローカル局によって供給される同期化コマンドは、ローカル局と第２の遠隔の局との間のコンテンツにおけるリードに関連する１２秒の相互レイテンシーに対応すべきである。かかる状況で、第１の遠隔の局は、自身が第２の遠隔の局に７秒先行しており、ローカル局から５秒遅れていると考える。よって、ローカル局は、１２秒間コンテンツ再生を後方にスキップするか又はポーズし、一方、第１の遠隔の局は、７秒間後方にスキップするか又はポーズする。結果として、ローカル局及び第１の遠隔の局は両方とも、それら自身を第２の遠隔の局と同期させる動作をとったこととなる。第２の遠隔の局は、何の同期化動作も起こさないが、それ自身の遠隔バッファを消去するための、２つの局の夫々からの２つのメッセージを受信する。
【００４９】
図７は、ローカルのオーディオソースの同期化の決定が遠隔のオーディオソースに対して起こるコンテンツ再生同期化のための例となるプロセス７００のステップをフローチャート形式で表す。プロセス７００はステップ７０１から開始し、ローカル同期化ユニットは遠隔の同期化ユニットの通信を開始する。ステップ７０２の間、ローカル同期化ユニットは、あるインターバルのオーディオを捕捉する。ステップ７０３の実行時に、ローカル同期化ユニットは、捕捉されたオーディオから特徴を抽出する。ステップ７０４の間、検出された局所的な特徴は、局所特徴バッファ５２０内の局所特徴タイムラインに記憶される。この時点で、ローカル同期化ユニットは、それらの局所的な特徴を遠隔の同期化ユニットへ送信する（図示されないステップ）。ステップ７０５の間、ローカル同期化ユニットは、遠隔の同期化ユニットから特徴を受信し、その後に、それらの遠隔の特徴を、ステップ７０６の間に、遠隔特徴バッファ６３０において局所的に記憶する。ステップ７０７の間、ローカル同期化ユニットは、遠隔バッファ６３０に記憶された最近の特徴が局所バッファ５２０内の特徴と一致するかどうかを判定する。一致する場合は、ステップ７０８の間、ローカル同期化ユニットは、相互レイテンシー（例えば、レイテンシー２１３／３１３）を決定し、その後に、ステップ７０９の間に、然るべく同期化情報を供給する。そうでない場合、すなわち、ステップ７０７で適切な一致が存在しない場合は、プロセス７００の現在の繰り返しはステップ７１０で完了する。
【００５０】
例えば、ステップ５０４、６０６及び７０７の間に決定される一致の“実質性”は、チューニングの問題を構成する。遠隔のオーディオの短いインターバル（例えば、１０〜１００ミリ秒の存続期間）に関連する遠隔の特徴を考える場合に、局所バッファ５２０内の特徴に対する一致を検出することは、比較的容易であり得る（最も最近の遠隔の特徴が照合されるため。）が、相互レイテンシー２１３／３１３の信頼できる指示を提供しないことがある。これは、そのような遠隔の特徴によって特徴付けられる遠隔のオーディオが、１度よりも多く起こり得ること、又は背景ノイズに起因し得ることによる。同様に、必要とされる一致の厳密性は、システムに影響を及ぼす。例えば、４つの検出される特徴を生じる短いインターバルに関連して、厳密な規則は、一致を宣言するために４つ全ての遠隔の特徴の存在を要求してよい。より厳密でない規則は、４つのうちのいずれか３つの存在に基づき一致を宣言してよい。より長いインターバルを比較する場合に、局は、その局がそのような照合を行うインターバルが長くなりすぎる（例えば、２０秒）場合に反応しないように見えうる。局は、より長いインターバル（例えば、５秒）にわたる照合が、非常に多い連続した短いインターバル（例えば、１０〜１００ミリ秒）における、又は一致を認識する前の短いインターバルの大部分における特徴の対応を求める場合に、細かすぎるように見えうる。例えば、短いインターバルどうしの間の５秒間連続の完全な一致が必要になる場合に、システムは、背景ノイズの存在下での一致に反応しないことがある。同じことは、システムが５秒のインターバルにわたって９０〜１００％の特徴の一致を求める場合に言える。このとき、適切に局を区別することは、ほんの５０％しか成功し得ない。あるいは、タイムラインにおいて適切に間隔を空けられたより少ない特徴しか照合されない。
【００５１】
そのようなチューニングは、再生されるコンテンツに依存する。コンテンツオーディオが音楽を有する場合に、コーラスは特定のインターバルで繰り返すことがある。かかる場合に、遠隔の局によって報告される、コーラスに対応する特徴が、局所的に検出されたいくつかの履歴インスタンスのうちの１つ、又は特徴インスタンス（未だ局所的に検出されていない。）を有するかどうかに関して、あいまいさが存在する。幸いにも、大部分の最新のテレビジョン及び映画プログラムでは、そのような状況は、タイムラインにおける設置を決定するのに役立つことができる、ダイアログ、サウンド効果、及び他の随伴物によって、あるいは、詩の節によって、更に区別される。あいまいさが存在し得る場合に（すなわち、遠隔の特徴の同じ連続が、局所特徴バッファにおいて１つよりも多い場所で現れることによる。）、同期化ユニットは、あいまいさが明らかになるまで、比較されるインターバルのサイズを大きくすることができる。例えば、局所バッファにおいて５秒間の連続した特徴の３つのコピーが存在する場合に、ローカル同期化ユニットは、比較される特徴のインターバルの長さを、例えば、１０又は１５秒に、一時的に長くすることによって、このあいまいさを解消してよい。
【００５２】
可能な場合には、ローカルプレイヤー１１１が、同期化ユニット１３０によって提案される以外に、前方にスキップするか又はチャンネルを変更するようコマンドを受け取るとき、且つ、同期化ユニット１３０がそのような動作を検出することができるとき、メモリ１３４における局所特徴バッファ５２０は消去されるべきであり、バッファのリセットを夫々の遠隔の同期化ユニットに知らせるメッセージ（例えば、４１４と同じ）が送信され、それにより、それらは、それらの対応する遠隔特徴バッファ６３０に同じことを行うことができる。そのような検出は、いくつかのプレイヤー１１１がチャンネルを変更するか又は前方にスキップするときに所定インターバルの無音を生じさせる場合に、オーディオ１１４における不連続性をモニタすることによって行われ得る。他の場合では、手動リモートコントロール１１６を傍受することによって、同期化ユニット１３０は、プレイヤー１１１に向けられた、手動により起動されたリモートコントロールコマンドを、かかるコマンドの検出を可能にするコントローラ１３３へ接続されたリモートコントロール受信機（図示せず。）を用いて検出してよい。そのような不連続性又はコマンドを検出すると、ローカル同期化ユニットは、例えばステップ５０６の間、新しい再生点が依然として局所バッファ内にあるかどうかを判定するよう検索を実行することができ、バッファ内にない場合は、ローカル同期化ユニットは局所バッファを消去する。
【００５３】
図８は、本原理に従う同期化に関連して、図１の局１１０及び１２０での状況を表す寸描を表す。図８の左上にある寸描は、局１１０にいるユーザ１１５が、テレプレゼンスカメラ８３０とともにあるテレプレゼンスモニタ１３７の前で、カウチ８１６に座りながらモニタ１１２で番組を見ている状況を表す。図８の右上にある寸描は、局１２０にいるユーザ８３５が、テレプレゼンスカメラ８４０とともにあるテレプレゼンスモニタ１４７の前で、カウチ８２６に座りながらモニタ１２２で同じ番組を見ている状況を表す。テレプレゼンスカメラ８３０及び８４０の夫々によって捕捉された画像は、相互に遠隔のテレプレゼンスモニタ１４７及び１３７で夫々表示される。よって、テレプレゼンスモニタ１４７は、テレプレゼンスカメラ８３０によって捕捉されたユーザ１１５の横顔を有する画像８２０（図８の右下）を示す。同様に、テレプレゼンスモニタ１３７は、テレプレゼンスカメラ８４０によって捕捉されたユーザ８２５の横顔を有する画像８１０（図８の左下）を示す。この実施形態では、テレプレゼンス局１１０及び１２０が夫々同期化ユニット１３０を組み込んでおり、テレプレゼンスモニタ１３７及び１４７は、夫々同期化ユニット１３０及び１４０のためのディスプレイとしても働く点に留意されたい。
【００５４】
同期化ユニット１３０が図６のプロセス６００を実行する場合に、コンテンツ同期化に関連してテレプレゼンスモニタ１３７にはユーザ１１５のためのメッセージが表示される。例えば、同期化ユニット１３０は、局１２０から受信された遠隔特徴メッセージに基づき、モニタ１１２で再生されている局所的な番組が、モニタ１２２での番組の再生よりも６秒先行していると決定するとする。そのような状況下で、同期化ユニット１３０は、同期化コマンド８１２をディスプレイ／テレプレゼンスモニタ１３７に表示してユーザ１１５に与え、ユーザ１１５に６秒間再生をポーズするよう指示する。そして、ユーザ１１５は、プレイヤー１１１に命令するためにリモートコントロール１１６を用いて、然るべくそれを行うことができる。プレイヤー１１１をポーズすることによって、ユーザ１１５は、局所的に再生されているコンテンツを遠隔で再生されているコンテンツと有効に同期させる。
【００５５】
上記は、ローカル局及び遠隔の局でのコンテンツの再生を同期させる技術を記載する。
【図１】
2016526826.tif 000003
【図２】
2016526826.tif 000004
【図３】
2016526826.tif 000005
【図４】
2016526826.tif 000006
【図５】
2016526826.tif 000007
【図６】
2016526826.tif 000008
【図７】
2016526826.tif 000009
【図８】
2016526826.tif 000010
【手続補正書】
【提出日】平成28年6月17日(2016.6.17)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】００５５
【補正方法】変更
【補正の内容】
【００５５】
上記は、ローカル局及び遠隔の局でのコンテンツの再生を同期させる技術を記載する。  
上記の実施形態に加えて、以下の付記を開示する。
（付記１）
第１の局及び第２の局で再生されるコンテンツを同期させる方法であって、
前記第１の局で再生されるコンテンツ内のオーディオを前記第２の局で再生されるコンテンツ内の前記オーディオと比較して、前記第１の局と前記第２の局との間でレイテンシーが存在するかどうかを判定するステップと、
前記レイテンシーが存在する場合には、一方の局が他方の局に先行するインターバルに対応するインターバルの間、前記第１の局及び前記第２の局の少なくとも１つによって再生されるコンテンツに関してポーズ又はジャンプの少なくとも１つの動作を実行して、前記第１の局及び前記第２の局を実質的な同期に至らせるステップと
を有する方法。
（付記２）
前記比較することは、
第１のバッファでの記憶のために、前記第１の局で再生されるコンテンツに含まれる前記オーディオ内の少なくとも複数の第１の特徴を抽出するステップと、
第２のバッファでの記憶のために、前記第２の局で再生されるコンテンツに含まれる前記オーディオ内の少なくとも複数の第２の特徴を抽出するステップと、
前記複数の第１の特徴のうちの少なくとも一部を前記複数の第２の特徴のうちの少なくとも一部と照合するステップと、
前記第１の局及び前記第２の局のどちらが他方に先行するのかを判定するよう、前記照合された第１及び第２の特徴の間の時間レイテンシーを定めるステップと
を有する、付記１に記載の方法。
（付記３）
前記照合するステップは、相当数の前記第１の特徴を相当数の前記第２の特徴と照合することを含む、
付記２に記載の方法。
（付記４）
前記第１の局及び前記第２の局が実質的な同期の状態になると、前記第２のバッファを消去するステップ
を更に有する付記２に記載の方法。
（付記５）
前記ポーズ又はジャンプの少なくとも１つの動作は、前記第１の局及び前記第２の局の一方が他方に先行するインターバルに対応する前記インターバルの間当該動作を実行するようにオペレータに命じるメッセージの表示に応答して、前記オペレータによって手動で実行される、
付記１に記載の方法。
（付記６）
ポーズ又は後方ジャンプのうちの１つの動作が、前記第１の局及び前記第２の局のうちの先行する一方に対して実行される、
付記１に記載の方法。
（付記７）
前記第１の局及び前記第２の局のうちの遅れている一方は、前方ジャンプを実行する、
付記１に記載の方法。
（付記８）
前記第１の局及び前記第２の局のうちの先行する一方は、ポーズ又は後方ジャンプのうちの１つの動作を実行し、前記第１の局及び前記第２の局のうちの遅れている一方は、前方ジャンプの動作を実行する、
付記１に記載の方法。
（付記９）
第１の局で再生されるコンテンツを第２の局で再生されるコンテンツと同期させるための、前記第１の局にある装置であって、
前記第１の局で再生されるコンテンツに含まれるオーディオ内の少なくとも複数の第１の特徴を抽出する、前記第１の局にある特徴検出手段と、
（ａ）前記第２の局で再生されるコンテンツに含まれるオーディオから抽出された少なくとも複数の第２の特徴を受け取り、（ｂ）前記抽出された第１及び第２の複数のオーディオ特徴を比較して、前記第１の局と前記第２の局との間でレイテンシーが存在するかどうかを判定する、前記第１の局にある同期化ユニットと、
一方の局が他方の局に先行するインターバルに対応するインターバルの間、前記第１の局及び前記第２の局のうちの先行する一方で再生されるコンテンツに関してポーズ又はジャンプの少なくとも１つの動作を開始して、前記第１の局及び前記第２の局を実質的な同期に至らせるよう、同期化情報を生成する手段と
を有する装置。
（付記１０）
前記同期化ユニットは、相当数の前記第１の特徴を相当数の前記第２の特徴と照合することによって、前記抽出された第１及び第２の複数のオーディオ特徴を比較する、
付記９に記載の装置。
（付記１１）
前記同期化情報は、前記第１の局及び前記第２の局の一方が他方に先行するインターバルに対応する前記インターバルの間前記ポーズ又はジャンプのうちの１つの動作を手動により実行するようオペレータに示すための、前記オペレータへの表示メッセージを含む、
付記９に記載の装置。
（付記１２）
前記同期化情報は、前記第１の局が前記第２の局に先行する場合にポーズ又は後方ジャンプのうちの１つの動作を実行するための、前記第１の局にあるコンテンツプレイヤーへのコマンドを含む、
付記９に記載の装置。
（付記１３）
前記同期化情報は、前記第１の局が前記第２の局に先行する場合に前方ジャンプの動作を実行するための、前記第２の局にあるコンテンツプレイヤーへのコマンドを含む、
付記９に記載の装置。
（付記１４）
前記同期化情報は、前記第１の局が前記第２の局に先行する場合にポーズ又は後方ジャンプのうちの１つの動作を実行するための、前記第１の局にあるコンテンツプレイヤーへの第１のコマンドと、前記第１の局が前記第２の局に先行する場合に前方ジャンプの動作を実行するための、前記第２の局にあるコンテンツプレイヤーへの第２のコマンドとを含む、
付記９に記載の装置。
【国際調査報告】
2016526826.tif 000011
2016526826.tif 000012