(57)【特許請求の範囲】
【請求項１】
表示の段階においてコンテンツの再生を同期させる方法であって、第１のコンテンツが第１の装置に与えられ、前記第１のコンテンツと同一又は関連する第２のコンテンツが第２の装置に与えられ、当該方法は、
前記第１の装置及び前記第２の装置の前記表示の段階において現在再生されている前記第１のコンテンツ及び前記第２のコンテンツの再生位置に関する情報を含むステータスメッセージを、前記第１の装置及び前記第２の装置から受信するステップと、
前記ステータスメッセージに含まれている、前記第１のコンテンツ及び前記第２のコンテンツの再生位置の差分が閾値を超えていたことに応じて、前記第１の装置及び前記第２の装置の表示の段階において前記第１のコンテンツ及び前記第２のコンテンツの再生位置の差分を前記閾値未満に維持するように調整を実行するステップであって、前記調整は、前記第１の装置及び前記第２の装置の内の少なくとも一方のバッファサイズを調整する指示を送信すること、及び前記第１の装置及び前記第２の装置の一方の再生速度を調整する指示を送信することの内の少なくとも１つを利用する、ステップと
を有する方法。
【請求項２】
前記ステータスメッセージが、前記第１の装置及び前記第２の装置から周期的に受信される、請求項１記載の方法。
【請求項３】
前記ステータスメッセージを受信する前に、当該方法は、前記ステータスメッセージを送信することを指示するリクエストメッセージを送信するステップを有する、請求項１記載の方法。
【請求項４】
前記第１のコンテンツ又は前記第２のコンテンツのビュータイプ、前記第１のコンテンツ又は前記第２のコンテンツのビジュアルリズム、及び前記第１のコンテンツ及び前記第２のコンテンツのリレーションシップエクスポネントの内の少なくとも１つに基づいて前記閾値を決定するステップ
を更に有する請求項１記載の方法。
【請求項５】
前記調整を実行するステップにおいて、前記差分が別の閾値より大きくなかった場合には、前記第１の装置及び第２の装置の内の少なくとも一方のバッファサイズを調整し、前記差分が前記別の閾値より大きかった場合には、前記第１の装置及び第２の装置の内の一方の再生速度を調整する、或いは前記第１の装置及び第２の装置の内の一方に所定数のコンテンツフレームをスキップさせる、請求項１記載の方法。
【請求項６】
前記コンテンツフローのタイプはビデオ、オーディオ、フラッシュ及びテキストを含む、請求項１−５の何れか１項に記載の方法。
【請求項７】
第１の装置に与えられる第１のコンテンツと、前記第１のコンテンツと同一又は関連する第２の装置に与えられる第２のコンテンツとの表示の段階においてコンテンツの再生を同期させる装置であって、
前記第１の装置及び前記第２の装置の前記表示の段階において現在再生されている前記第１のコンテンツ及び前記第２のコンテンツの再生位置に関する情報を含むステータスメッセージを、前記第１の装置及び前記第２の装置から受信する手段と、
前記ステータスメッセージに含まれている、前記第１のコンテンツ及び前記第２のコンテンツの再生位置の差分が閾値を超えていたことに応じて、前記第１の装置及び前記第２の装置の表示の段階において前記第１のコンテンツ及び前記第２のコンテンツの再生位置の差分を前記閾値未満に維持するように調整を実行する手段と、
前記第１の装置及び前記第２の装置の再生速度を調整する指示を送信し、及び/又は前記第１の装置及び前記第２の装置の内の少なくとも一方のバッファサイズを調整する指示を送信する手段と
を有する装置。
【請求項８】
前記第１のコンテンツ又は前記第２のコンテンツのビュータイプ、前記第１のコンテンツ又は前記第２のコンテンツのビジュアルリズム、及び前記第１のコンテンツ及び前記第２のコンテンツのリレーションシップエクスポネントの内の少なくとも１つに基づいて前記閾値を決定する手段
を更に有する請求項７記載の装置。
【請求項９】
前記調整を実行する手段において前記差分が別の閾値より大きくなかった場合には、送信する手段は、前記第１の装置及び第２の装置の内の少なくとも一方のバッファサイズを調整する指示を送信し、前記差分が前記別の閾値より大きかった場合には、送信する手段は、前記第１の装置及び第２の装置の内の一方の再生速度を調整する指示を送信する、或いは前記第１の装置及び第２の装置の内の一方に所定数のコンテンツフレームをスキップさせる指示を送信する、請求項７記載の装置。
【請求項１０】
コンテンツフローの送信データレートを調整する手段
を更に有する請求項７記載の装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はデータ通信等に関連し、特にコンテンツ再生の同期方法に関連する。
【背景技術】
【０００２】
リッチメディアアプリケーション(rich  media  application)における能動的な役割をユーザは楽しむことができるので、リッチメディアアプリケーションは益々普及しつつある。TVネットワークやインターネットの収束(convergence)と共にこの傾向はコンピュータからTV画面に移行するであろう。リッチメディアアプリケーションは、ユーザの相互作用における優位性について信用を得ており、視聴者は、ビデオ、オーディオ、静止画、動画、文字等のような様々なタイプの共同メディア(collaborative  media)を鑑賞するだけでなく、同時に複数の装置の間でメディアフローを自由に切り替える又は転送することができる。例えば、ユーザは自動車に関する広告ビデオを取得することができ、その自動車は映画に登場しており、ユーザはミュージアム(museum)のビデオと共にミュージアムの仮想世界に入ることができる。将来のTV番組についてのこの見通しにより、単一の表示装置は、同時に複数のメディアレンダリングを行う十分な表示空間を提供できない。一般的な方法は、TV画面を複数のメディアレンダリング空間に分割する、或いは複数のメディアレンダリングの間で単に切り替えを行うことである。従来、リッチメディアアプリケーションは、TVセットトップボックス(STB)/タブレット/又は他のタイプの端末におけるフラッシュプレーヤ等のような単独の装置におけるリッチメディアプレーヤにより実行されている。ユーザが或るメディアコンテンツとインタラクション(やり取り)をする場合、リッチメディアプレーヤはそのインタラクションのイベントを解釈し、リッチメディアフォーマットで規定されている規則に基づいて他のメディアで応答を行う。メディアコンテンツの2つ以上の部分が1つの装置にレンダリングされた場合、それらを同期させることは容易である。1つの装置における別の同期方法は同期マルチメディア統合言語(Synchronized  Multimedia  Integration  Language：SMIL)を利用することであり、これはモバイルマルチメディアメッセージに広く使用されている。SMILは独立した一群のマルチメディアオブジェクトを同期したマルチメディア表現に統合できるようにする。SMILを用いると、作者(author)は、1)表示の一時的又は暫定的な動作を記述することができ、2)画面における表示のレイアウトを記述することができ、3)メディアオブジェクトにハイパーリンクを関連付けることができる。しかしながら、上記の2つの方法は、リッチメディア群の中の複数の共同メディアコンテンツのメディアフローを複数の表示装置の間で同期させる解決手段を提供しない。
【０００３】
従来、複数の装置に対してメディア同期を行うためのいくつかの方法が存在している。
【０００４】
第1の方法はハードウェアクロックシステム又はネットワーク時間プロトコル(NTP)によるグローバルタイミング同期方法である。NTPは協定世界時(Coordinated  Universal  Time：UTC)を提供する。NTPv4は、通常、一般的なインターネットにおいて10ミリ秒(1/100秒)以内の時間を維持することができ、理想的な状況のローカルエリアネットワークにおいて200ミリ秒(1/5000秒)以上良い精度を達成できる。NTPプロトコルは物理レイヤの正確な同期を保証するが、アプリケーションレイヤにおけるメディア再生の同期条件を反映できない。メディア再生タイムラインを物理タイムラインに対応させるために、端末はシステムクロックを頻繁に検査しなければならず、これは端末に実装するソフトウエアの複雑さ及びオーバーヘッドを増やすことになる。
【０００５】
第2の方法は、例えば帯域幅保証や遅延時間保証等のようなサービス品質(QoS)を保証するために使用される。視聴者が複数の表示装置を同時に鑑賞する場合、或る程度の時間遅延は許容されるが、その遅延は保証されるべきでありかつメディア伝送QoS制御プロトコル(例えば、リアルタイム伝送プロトコル(RTP)に関連するRTP制御プロトコル(RTCP)等)を用いることで予測可能であるべきである。RTPはメディアストリーム(例えば、オーディオ及びビデオ)を伝送し、RTCPは通信統計及びQoS情報を監視するために使用される。RTCPプロトコルの場合、1つの時間インターバルの間に送信される全てのRTPパケットについて、送信及び受信の統計情報を報告するために、レポートパケットが周期的に送信される。このタイプのプロトコルは送信側から複数の受信側へのパケットレベルでの同期を保証するが、パケット処理、バッファ制御、オーディオ/ビデオデコード、及びプレーヤレンダリング等の複数の表示装置における相違に起因して、最終的に視聴者に提供される再生同期を維持することはできない。同期に関するユーザの観点からの最終的な印象は、表示装置の画面に表示されるメディアフレームに全体的に依存する。
【０００６】
従って、複数の表示装置が同期していない印象を視聴者に与えないように、表示装置におけるコンテンツ表示の段階においてコンテンツ再生を同期させる方法が望まれている。
【発明の概要】
【発明が解決しようとする課題】
【０００７】
開示される発明の課題は、複数の表示装置が同期していない印象を視聴者に与えないように、表示装置におけるコンテンツ表示の段階においてコンテンツ再生を同期させることである。
【課題を解決するための手段】
【０００８】
開示される発明による方法は、
表示の段階においてコンテンツの再生を同期させる方法であって、第１のコンテンツが第１の装置に与えられ、前記第１のコンテンツと同一又は関連する第２のコンテンツが第２の装置に与えられ、当該方法は、
前記第１の装置及び前記第２の装置の前記表示の段階において現在再生されている前記第１のコンテンツ及び前記第２のコンテンツの再生位置に関する情報を含むステータスメッセージを、前記第１の装置及び前記第２の装置から受信するステップと、
前記ステータスメッセージに含まれている、前記第１のコンテンツ及び前記第２のコンテンツの再生位置の差分が閾値を超えていたことに応じて、前記第１の装置及び前記第２の装置の表示の段階において前記第１のコンテンツ及び前記第２のコンテンツの再生位置の差分を前記閾値未満に維持するように調整を実行するステップであって、前記調整は、前記第１の装置及び前記第２の装置の内の少なくとも一方のバッファサイズを調整する指示を送信すること、及び前記第１の装置及び前記第２の装置の一方の再生速度を調整する指示を送信することの内の少なくとも１つを利用する、ステップと
を有する方法である。
【図面の簡単な説明】
【０００９】
【図１】本発明の実施の形態によるコンテンツ配信システムを示す概略図。
【図２】本発明の実施の形態によるゲートウェーの観点からのメディアコンテンツの配信方法を示す図。
【図３】本発明の実施の形態による図2のステップ204に関する詳細な手順の具体例を示す図。
【図４】本発明の実施の形態による同期QoE及び遅延変動の対応関係の一例を示す図。
【発明を実施するための形態】
【００１０】
＜概要＞
本発明の一形態により提供される方法は、
少なくとも1つのコンテンツフローが与えられる少なくとも2つの表示装置による表示の段階においてコンテンツの再生を同期させる方法であって、
前記表示装置による表示の段階において現在再生されているコンテンツフローの位置に関する情報を含むステータスレポートメッセージを、前記少なくとも2つの表示装置から受信するステップと、
受信した前記ステータスレポートメッセージに基づいて、前記少なくとも2つの表示装置において現在再生されている前記少なくとも1つのコンテンツフローが視聴者に同期外れを感じさせている、と判定された場合、前記視聴者が感じる同期外れの印象を解消するように、前記少なくとも1つのコンテンツフローに対する調整を実行するステップと
を有する方法である。
【００１１】
本発明の別の形態により提供される方法は、
2つの装置にコンテンツを提供するための制御方法であって、第1のコンテンツは第1の装置で提供され、前記第1のコンテンツと同一又は関連する第2のコンテンツは第2の装置で提供され、当該制御方法は、
前記第1のコンテンツ及び前記第2のコンテンツを提供する段階において同期外れである印象を視聴者に与えている、と判定された場合、前記第1のコンテンツ及び/又は前記第2のコンテンツについて調整を実行し、前記第1の装置及び前記第2の装置における前記第1のコンテンツ及び前記第2のコンテンツの間における表示の時間差をそれぞれ減らすステップを有する制御方法である。
【００１２】
本発明の実施の形態によれば、表示段階における同期の問題を解決し、同期外れの印象を視聴者に与えてしまう問題を解消し、その結果許容可能なQoEを視聴者に提供できる。
【００１３】
本発明に関する更なる形態及び利点は、以下の本発明に関する詳細な説明を参照することで更に明らかになることが理解される。
【００１４】
＜詳細な説明＞
本発明の原理を明らかにする以下の説明と共に添付図面は本発明の実施の形態を示す。従って本発明は実施の形態に限定されない。
【００１５】
以下、図面と共に本発明の実施の形態を詳細に説明する。いかの説明において、既存の機能及び構成についての詳細な説明は簡明化のため省略されている。
【００１６】
本発明の原理によれば、2つ以上の表示装置においてマルチメディアコンテンツを再生する際に視聴者に同期外れの印象を与えてしまう問題を解決することが意図されている。発明者等が行った研究開発によれば、同期及び同期外れに関する視聴者の主な印象又は感じ方は、2つ以上の表示装置にレンダリングされた複数のメディアコンテンツ間の遅延時間や、メディアコンテンツのビジュアルリズム(visual  rhythm)と共に変化する。この場合において、メディアコンテンツのビジュアルリズムの具体例は、フットボールの試合/動画の予告(高速ビジュアルリズム)や、スタジオ内のアナウンサーによるニュース番組(低速ビジュアルリズム)等の場合である。ビジュアルリズムに関する更なる説明については後述する。
【００１７】
従って、本発明の原理は、2つ以上の表示装置で表示されるビデオ同士の間(異なるタイプのマルチメディアでもよい)の表示段階における遅延時間を、最大許容遅延時間未満に維持することで上記の問題を解決する。次の3つの事項に留意を要する。1)実際の遅延時間が、或るビジュアルリズムのビデオに関する最大許容遅延時間を超える場合、視聴者は自信の主観によりそれらのビデオが同期していないと感じ、したがってそれらは鑑賞の際に許容されない。2)最大許容遅延時間は統計的な方法で(例えば、視聴者のグループからフィードバック/問い合わせ回答を収集することで)取得できる。3)最大許容遅延時間はビデオのビジュアルリズムと共に変化し、例えば、変化が速いビデオ(例えば、フットボールの試合)に関する最大許容遅延時間は変化が遅いビデオ(例えば、ニュース番組)に関するものより短い。更に、後述するリレーションシップエクスポネント(relationship  exponent)やビュータイプ(view  type)等のような他の要因及びビジュアルリズムの組み合わせに基づいて、最大許容遅延時間が更に分類されてもよい。先ず表示装置がビデオの現在のビデオフレーム番号/現在の時間的な位置を報告するように設定/要求し、次に表示装置からの報告メッセージに基づいて実際の遅延時間を算出することで、実際の遅延時間が取得されてもよい。実際の遅延時間がビジュアルリズム又はビジュアルリズムと他の要因との組み合わせに対応する最大許容遅延時間を超えていた場合、表示装置へのデータ転送レート及び表示装置のバッファサイズを調整することで、実際の遅延時間を最大許容遅延時間未満にする調整が実行される。例えば、所定数のビデオフレームをスキップし、提示/表示の段階における実際の遅延時間を減らすような他の調整方法も可能であることに、当業者は留意を要する。更に、ゲートウェーにおいて同期したコンテンツを配信するための全ての制御機能(例えば、レポートメッセージを処理すること、実際の遅延時間を算出すること、データ伝送レートをゲートウェーに指示すること、及び表示装置に各自のバッファサイズを調整するように指示すること等)は、ゲートウェーから、ネットワークに接続している独立した制御装置又はネットワークに接続している任意の既存の装置に移されてもよいことに、当業者は留意を要する。従って、上記の適応方法を利用して、ゲートウェーにおける伝送レート及びバッファサイズ及び/又は表示装置におけるレンダリング速度を動的に調整することで、メディア同期に関する許容可能な体感品質(Quality  of  Experience：QoE)を達成できる。
【００１８】
＜＜A．平均オプションスコア(Mean  Option  Score：MOS)、遅延時間及びビジュアルリズムの間の対応関係を示す遅延ルックアップテーブルが事前に準備される。後述するようにビュータイプ及びリレーションシップエクポネント等のような他の要因も対応関係に含められてもよいことに留意を要する。＞＞
ITU-Tにより規定されているように、QoEはアプリケーションサービスの総合的な又は全体的な許容可能性を、エンドユーザの主観の観点から表現する。発明者等の知る限り、共同コンテンツ(correlative  content)の2つのスクリーン又は画面に関してメディア同期を行う参照可能なQoE評価システムは存在しない。デュアル画面又は2つの表示装置は、メディアフローが双方の画面に同時に表示される場合に多数のテスト視聴者を検査し、主観的な判断のための静的な基準値(benchmark  value)を取得するために使用される。MOSは、格付けするスケール(判断基準)を用いて品質を格付けする参加者及び制限された視聴体験を主観的に用いる際の適切なインデックスである。同期QoE(Sync−QoE)の記述内容は複数の画面に表示されるコンテンツ同士の間の同期判断を表す。この例は2つの画面のみを使用し、一方は10インチ(25.4cm)サイズの近くのテスタであり、他方は30インチ(76.2cm)サイズの遠く離れたTV画面である(この静的な方法は2つより多くの画面の場合にも適用できることに当業者は留意を要する)。コンテンツの同期は心理的な得点における主要な事項であり、他のタイプ又は種類の視覚効果は無視される。以下のスコア定義表は各レベルの基準に関する判断基準を示す。
【００１９】
【表１】
0005587435.tif 000002
表1：スコア定義表
検査視聴者のグループについて検査を行い、彼らからのフィードバックを収集した後で、一群の基準値が判定される。以下の表は或る視聴者のビュータイプに対するビデオの統計結果の具体例を示す。
【００２０】
【表２】
0005587435.tif 000003
表2：統計結果のテーブルの具体例
この表(テーブル)は、2つの表示装置に提示される或るタイプの或る表示に関し、2つのビデオ同士の間の異なる遅延の平均スコアを示す。スコア定義表によれば、ビデオ間の遅延が500msを超えると、この視聴者は高速ビデオについて同期外れを感じる。
【００２１】
以下、ビジュアルリズム及びビュータイプについてのセットを説明する。当業者は自身の実現手段に関し、本発明の範囲から逸脱することなく、自身のビュータイプセット及びビジュアルリズムセットを設計してよいことに留意を要する。
【００２２】
ビュータイプ(view  type)はコンテンツを作成する際のカメラの位置を示す。この例の場合、ビュータイプは、ワンビュータイプ(one  view  type)、デュアルビュータイプ(dual  view  type)及びマルチビュータイプ(multiple  view  type)を含む。ワンビュータイプは、コンテンツが同じ撮影位置から取得されていること、或いは同じコンテンツが表示装置で表示するのに使用されることを意味する。デュアルビュータイプは左側及び右側の位置、上側及び下側の位置、又はその他の異なるアングルの位置に2つのカメラが設けられていたことを意味する。マルチビュータイプはコンテンツを取得する際に複数のカメラが導入され、それらの中に固定された角度又はレンズの位置関係はないことを意味する。
【００２３】
ビジュアルリズムセット(visual  rhythm  set)は、目下の例の場合、高速(ファースト)、通常速度(ノーマル)及び低速(スロー)を含み、ある期間又はインターバルの中で生じるコンテンツの変動又は変化に対する主観を反映するために使用される。ビジュアルリズムを決定する方法の具体例が、本発明の原理を適切に理解するために説明されるが、これは本発明を制限するものではない。連続するビデオフレーム間の画素/マクロブロック変動のような様々なパラメータが、ビデオのビジュアルリズムを指定するために使用できる。目下の例はYUVフォーマットのビデオシーケンスにおける動きベクトル(Motion  Vector：MO)の変動を利用している。YUVモデルは、1つの輝度又はルミナンス(Y)及び2つのクロミナンス(UV)成分の観点から色空間を規定する。YUVモデルは、NTSC、PAL及びSECAMカラー合成ビデオ標準に使用される。処理前のビデオファイルはネットワーク伝送又は保存の前に符号化及び圧縮されるので、パッケージカプセル化フォーマットはMPEG、AVI、RM等とすることができる。フレームレート(1秒間にどの程度多くのフレームが表示されるか)及びフレームサイズ(長さ方向及び幅方向にどの程度多くの画素があるか)はファイルヘッダに保存される。以下の計算例において、1マクロブロック＝16画素×16画素であり、ビデオフレームサイズが352×288である場合、各フレームに396MB(マクロブロック)がある。
【００２４】
【数１】
0005587435.tif 000004
メディアコンテンツから算出されたMv_per_Macroblockによれば、目ディコンテンツのビジュアルリズムはMv_per_Macroblock及びビジュアルリズムの間の対応関係のテーブル(表)に基づいて決定されてよい。以下の表は352×288のフレームサイズにおけるYUVフォーマットビデオの対応関係を示す。
【００２５】
【表３】
0005587435.tif 000005
表3：ビジュアルリズムに関する対応関係
しかしながら、他のビデオフォーマット等を利用する様々な実施形態に依存して、Mv_per_Macroblock及びビジュアルリズム間の異なる対応間駅が使用されてもよいことに、当業者は留意を要する。
【００２６】
以下に遅延ルックアップテーブルの具体例が(完全にではないが)示されており、これは本発明の実施の形態によるコンテンツ配信方法の説明に使用される。ここで、リレーションシップエクスポネント(relationship  exponent)という或る別の要素が加わっている。リレーションシップエクスポネントのセットはタイトタイプ(tight  type)及びルーズタイプ(loose  type)を含む。タイトタイプは、2つ以上の表示装置に表示されているビデオが例えば同じビデオのような同じオブジェクトと共に強く統合され(tightly  integrated)、或いは同じシーン/場面/オブジェクトが異なるアングルのカメラにより捕捉されている。ルーズタイプは残りの他の状況を表す。
【００２７】
【表４】
0005587435.tif 000006
表4：遅延ルックアップテーブル
＜＜B．提示の段階で同期したコンテンツを配信する方法が説明される＞＞
図1は本発明の実施の形態によるコンテンツ配信システムの概略図を示す。実施の形態はホーム環境に関して説明されている。本発明はこの形態に限定されないことに当業者は留意を要する。ホーム環境におけるシステムは、ホームゲートウェーと端末1ないし端末Nとして示されている2つ以上の端末(すなわち、表示装置)とを有する。ゲートウェーは、メディアコンテンツのデータフローを端末に配信し、端末が送信したステータスレポートに基づいて調整を行い、視聴者が同期外れをできるだけ感じないようにするために使用される。端末は受信したメディアコンテンツを表示し、そのステータスレポートをゲートウェーに送信し、ゲートウェーが送信したQoE(体感品質)コマンドを実行するために使用される。
【００２８】
図2は2つの端末を含むシステムにおけるゲートウェーの観点からの実施の形態によるメディアコンテンツ配信方法を示す。
【００２９】
ステップ201において、ゲートウェーは2つの端末からステータスレポートメッセージを受信する。ステータスレポートメッセージは、未使用バッファ長、コンテンツ再生状態(再生、一時停止、停止等)、パケット受信状態等を含んでよい。当業者は、本発明の原理に従って各自の実施形態に応じて、ステータスレポートメッセージに含める1つ以上の情報要素を追加又は削除してよい。ステータスレポートメッセージのデータ構造の具体例は以下に示されている。上述したように、このステータスレポートメッセージは一例にすぎず、他のデータ構造が当業者により設計されてよい。
【００３０】
【表５】
0005587435.tif 000007
表5：ステータスレポートメッセージ
ここで、2つの端末はステータスレポートメッセージを周期的に同時に送信することが可能であり、例えば、同じ時点から開始し、ステータスレポートメッセージを10秒毎に送信してもよいし、或いはゲートウェーが送信したリクエストメッセージに応じてステータスレポートメッセージを送信してもよい。ステータスレポートメッセージにおけるポジションフィールドは、同じセッションIDのメディアコンテンツに関する遅延変動を算出するのに使用される。端末はその端末で現在表示されている再生位置を検出し、検出した位置をステータスレポートメッセージのポジションフィールドに書き込むことができる。
【００３１】
ステップ202において、ゲートウェーは受信したステータスレポートメッセージに基づいて遅延変動を判定する。この例の場合、関連するビデオは同じセッションIDを使用している。遅延変動は、2つのステータスレポートメッセージのポジションフィールドの値の間の差分である。
【００３２】
ステップ203において、ゲートウェーは、遅延変動が閾値を超えているか否かを判定する。超えていなかった場合、ゲートウェーは何もせず、超えていた場合、フローはステップ204に進む。閾値又は最大許容遅延時間(maximum  tolerable  time  delay)はビジュアルリズムに応じて変動してもよいし、又はビジュアルリズムと他の要因との組み合わせ(上記の例の場合、組み合わせは、ビジュアルリズム、ビュータイプ及びリレーションシップエクスポネントを含む)に応じて変動してもよい。閾値は遅延ルックアップテーブルにおいて許容可能なMOSに対応する遅延時間(すなわち、≧3)でもよく、更に、遅延ルックアップテーブルにおける許容可能なMOSに対応する遅延時間に比例してもよい。ゲートウェーは、遅延ルックアップテーブルを参照することで、受信したビデオに対する閾値を自動的に決定することができる。
【００３３】
ステップ204において、ゲートウェーは、端末の表示段階において視聴者が同期外れを感じなくなるように調整を実行する。例えば、その調整は、ゲートウェーが端末に対する送信データレートを調整し、端末のバッファサイズ及び/又はレンダリング速度を変更するように端末にコマンドを送信することで実行されてもよい。ここで、ビデオに関する送信データレートの調整は、ゲートウェーのバッファを制御することで実現されてもよい。具体的には、このステップは図3に示されている具体例の手順に分かれていてもよい。
【００３４】
ステップ301において、ゲートウェーはメディアコンテンツのビジュアルリズム、ビュータイプ及び/又はリレーションシップエクスポネントを判定又は特定する。上述したように、ゲートウェーが配信するメディアコンテンツは、同じスポーツイベント、又は映画及びその広告に関する2つ以上の表示のビデオであってもよい。メディアコンテンツはビデオ、オーディオ、フラッシュ、テキスト等のような他のタイプの要素の組み合わせを含んでいてもよいことに留意を要する。2つ以上の表示のビデオの場合、ビジュアルリズムは各々のビデオに基づいて判定されてもよい。映画及びその広告の場合、ビジュアルリズムは主要なコンテンツ、すなわちこの場合は映画に基づいて判定される。ビュータイプ及びリレーションシップエクスポネントに関する情報は、メディアコンテンツに含められてもよく、ゲートウェーによって取得できるようになっていてもよいし、或いはゲートウェーがそれらの情報についてコンテンツサーバに問い合わせを行ってもよい。
【００３５】
ステップ302において、ゲートウェーは、ビジュアルリズム、ビュータイプ及びリレーションシップエクスポネントと共に遅延ルックアップテーブルを参照することで、共用可能なQoEの上限及び優良QoE(excellent  QoE)の下限を判定する。
【００３６】
ステップ303において、ゲートウェーは、送信データレートを調整し、コマンドを端末に送信することで端末のバッファサイズを調整する。一般に、遅延変動が大きくない場合に、端末のバッファサイズを調整する。遅延変動が開発者により規定された閾値より大きかった場合、再生速度コマンドを用いて、1.5x、2x等によりある端末の高速転送を行うことができる。更に、いくつかのビデオフレームをスキップすることを或る端末に指示することもできる。コマンドのデータ構造及びコンテンツ同期アルゴリズムは以下に示されており、この点については後述される。
【００３７】
【表６】
0005587435.tif 000008
表6：QoEコマンドメッセージ
ステップ301ないし303は実施の形態による可能な一例にすぎず、当業者はこと案ルフィールドと共にテーブル又は表を作成し、それに応じて手順又はステップを変更してもよいことに、留意を要する。例えば、遅延ルックアップテーブルにおいて、ビュータイプ及びリレーションシップのフィールドを除去し、それに応じてゲートウェーがステップ301においてビュータイプ及びリレーションシップエクスポネントを判定しないようにしてもよい。
【００３８】
＜＜C．アルゴリズムの説明＞＞
デュアルスクリーン(2画面)に関するQoE試験に応じて、ファースト/ノーマル/スロー変動ビジュアルリズムコンテンツについての閾値としてθf、θn、θsを定義する。図4は同期QoE及び遅延変動の対応関係(マッピング)の一例を示す。βf、βn、βsが許容可能なQoEの上限であると仮定し、αf、αn、αsが優良QoEの下限であると仮定する。θはβの値に比例し、ここで、θ＝p×β、0＜p＜1であるとする。α及びθの間の区間において、緩慢な調整を行うために軽い重み付けの(light-weighted)レート制御が行われる一方、θ及びβの間の区間においては、遅延変動が上限に近いので、鋭い調整を行うために重い重み付けの(heavy-weighted)レート制御が行われる。Δt＝｜ti-tj｜は2つの端末i及びjの間の現在の遅延変動である。ti＞tjであるとすると、i及びjに対するデータ送信レート(ri，rj)とi及びjに対するバッファ調整(bi，bj)は、以下の数式により規定される。
【００３９】
【数２】
0005587435.tif 000009
ここで、Treqは「ステータスリクエスト」問い合わせサイクルの時間間隔であり、その頻度は遅延変動値Δtによっても決定される。これがα未満であった場合、頻度は何秒間の内に1回として指定され、Δtがα及びβの間に位置していた場合、頻度は1秒間に1回であり、Δtがβより大きかった場合、頻度は再生ステータスを高速に監視するためにマイクロ秒レベルで指定されるべきである。
【００４０】
画面が多すぎると人間の注意力が分散されてしまうので、上記の例では2画面しか考慮されていなかったが、開示される発明は多数の画面の応用例に拡張可能である。1回の問い合わせの後に全てのステータスレポートを取得すると、分類、ソート又は並べ替え手順が実行され、timax及びtjmin並びにΔt＝timax−tjminを決定する。擬似コードによる詳細なアルゴリズムは以下のとおりである。
【００４１】
【数３】
0005587435.tif 000010
ビデオサーバ及びゲートウェー間の貧弱なネットワーク接続に起因して、表示装置におけるビデオはしばしば同期外れになる。従ってこの問題を解決するために、ゲートウェーのバッファは、バッファがより多くのデータを蓄積するように増やされ、それにより端末に送信する十分なデータを用意することができる。
【００４２】
上記の実施の形態はビデオ同士の間に関連していたが、本発明の原理は視聴者に同期外れを感じさせる他の状況(例えば、ビデオとオーディオとの間、ビデオと字幕との間等)に適用されてもよい。
【００４３】
本発明の変形例によれば、ゲートウェーの代わりに、上記の機能を有するルータ等のような他のコンテンツ配信装置が使用されてもよい。
【００４４】
以上、多くの実施の形態が説明されてきた。しかしながら様々な変形例がなされてもよいことに留意を要する。例えば様々な実施の形態の要素は、他の形態をもたらすように、組み合わせられてもよいし、付加されてもよいし、修正されてもよいし或いは除去されてもよい。更に、他の構造及びプロセス(又は手順)が説明された形態に適用されてもよいこと、及びその結果の実施の形態は少なくとも実質的に同様な機能を少なくとも実質的に同様に発揮し、上述したのと同様な結果緒を少なくとも実質的に達成できることを、当業者は理解するであろう。従ってこれら及びその他の実施の形態は本発明の範囲内に属する。
【図１】
0005587435.tif 000011
【図２】
0005587435.tif 000012
【図３】
0005587435.tif 000013
【図４】
0005587435.tif 000014