(57)【要約】【課題】ネットワーク及びトランスポートプロトコルの動作に起因するパケットの伝送遅延変動と符号化/サーバー固有の遅延変動によって発生する問題を克服することにより、クライアント装置上でのストリーミングメディアの再生を改良する方法を実現する。【解決手段】クライアント装置は、復号器120と、パケットネットワークを介してソースサーバーからストリーミングされたパケットを受信する前置復号器バッファ110を有している。前置復号器バッファは、サイズが可変であり、復号器での復号化の前に、ソースサーバーから送信されたパケットを受信するための可変初期バッファリング時間を有している。初期バッファリング時間と前置復号器バッファサイズは、クライアント装置により改良再生性能に動的に適応させることができる。  さらに、後置復号器バッファが前置符号器バッファとともに動作し、復号化に関連する遅延変動を軽減する。【選択図】図１
2006345582.tif 000002
【特許請求の範囲】
【請求項１】
符号化パケットを復号化する復号器を含むクライアント装置にネットワークを介してソースサーバーから複数のデータパケットを伝送することによってメディアデータをストリーミングする方法において、
前記クライアント装置は、前記復号器での復号化の前に前記ソースサーバーから伝送されたデータパケットを受信する、可変初期バッファリング時間と可変バッファサイズを有する前置復号器バッファを更に含み、
前記前置復号器バッファの前記可変初期バッファリング時間と前記可変バッファサイズは、前記クライアント装置により改良再生性能に動的に適応させられることを特徴とする方法。
【請求項２】
前記クライアント装置は、前記初期バッファリング時間及び前置復号器バッファサイズのいずれか、又はこれらの両方を設定するべく前記ソースサーバーに対して要求を提出することを特徴とする請求項1に記載の方法。
【請求項３】
前記前置復号器バッファにデフォルト初期バッファリング時間とデフォルトバッファサイズが規定されることを特徴とする請求項1に記載の方法。
【請求項４】
前記クライアント装置は、前記前置復号器バッファの前記デフォルト初期バッファリング時間及び前記デフォルトバッファサイズのいずれか、又はこれらの両方を前記ソースサーバーに対してシグナリングすることを特徴とする請求項3に記載の方法。
【請求項５】
前記前置復号器バッファの前記可変初期バッファリング時間は、前記ソースサーバーから受信した必要な前置復号器初期バッファリング時間に関する指示に応答し、前記クライアント装置によって調整されることを特徴とする請求項1〜4のいずれか一項に記載の方法。
【請求項６】
前記前置復号器バッファの前記可変バッファサイズは、前記ソースサーバーから受信した必要な前置復号器バッファサイズに関する指示に応答し、前記クライアント装置によって調整されることを特徴とする請求項1〜5のいずれか一項に記載の方法。
【請求項７】
前記メディアデータの複数の複写が前記ソースサーバーで利用可能であり、前記メディアデータの複数の複写のそれぞれは、前記クライアント装置の前記前置復号器バッファに必要な特性を示す少なくとも1つのパラメータによって特徴付けられていることを特徴とする請求項1〜6のいずれか一項に記載の方法。
【請求項８】
前記前置復号器バッファの必要な特性を示す前記少なくとも1つのパラメータは、前記ソースサーバーから前記クライアント装置に伝送されることを特徴とする請求項1〜7のいずれか一項に記載の方法。
【請求項９】
前記前置復号器バッファの必要な特性を示す前記少なくとも1つのパラメータは、前記メディアデータのストリーミングされたダウンロード用に前記ソースサーバーと前記クライアント装置間においてストリーミングデータ接続を確立する期間中に前記ソースサーバーから前記クライアント装置に伝送されることを特徴とする請求項8に記載の方法。
【請求項１０】
前記前置復号器バッファに必要な特性を示す前記少なくとも1つのパラメータは、必要な前置復号器初期バッファリング時間、必要な前置復号器バッファサイズ、或いは必要な前置復号器初期バッファリング時間及び必要な前置復号器バッファサイズの両方を含むグループから選択されることを特徴とする請求項8又は9に記載の方法。
【請求項１１】
前記の動的な適応は、前記ソースサーバーからの信号に応答して前記クライアント装置によって実行される適応であることを特徴とする請求項5又は6に記載の方法。
【請求項１２】
前記ソースサーバーにおいてバッファリングアルゴリズムを使用し前記データパケットの送信を制御することを特徴とする請求項1〜11のいずれか一項に記載の方法。
【請求項１３】
前記バッファリングアルゴリズムは、前記ソースサーバーから前記クライアント装置へのデータパケットの送信時点を前記ソースサーバーに調整させることを特徴とする請求項12に記載の方法。
【請求項１４】
前記バッファリングアルゴリズムは、前記ソースサーバーからの前記データパケットの送信が前記クライアント装置の前記前置復号器バッファの前記可変初期バッファリング時間及び前記可変バッファサイズに基づいていることを検証することを特徴とする請求項12に記載の方法。
【請求項１５】
復号化関連の遅延変動を軽減するべく、前記クライアント装置に後置復号器バッファが実装されていることを特徴とする請求項1〜14のいずれか一項に記載の方法。
【請求項１６】
前記メディアデータが、GPRS(一般パケット無線サービス)やUMTS(ユニバーサル移動通信システム)などの無線データネットワークを介して無線クライアント装置に伝送されることを特徴とする請求項1〜15のいずれか一項に記載の方法。
【請求項１７】
前記メディアデータは無線クライアント装置に対して伝送され、前記ネットワークは無線ネットワークを含んでおり、該無線ネットワークは、GPRS(一般パケット無線サービス)無線ネットワークとUMTS(ユニバーサル移動通信システム)からなるグループから選択されることを特徴とする請求項1〜16のいずれか一項に記載の方法。
【請求項１８】
複数のデータパケットを伝送することによってメディアデータをストリーミングするシステムであって、
前記メディアデータをホスティングするソースサーバーと、
前記データパケットの伝送媒体として機能するネットワークと、
前記メディアデータを再生することができるクライアント装置と、
を備えるメディアデータをストリーミングする前記システムにおいて、
前記クライアント装置は、
前記ネットワークを介して前記ソースサーバーから伝送された前記データパケットを受信する、可変初期バッファリング時間と可変バッファサイズを有する前置復号器バッファと、
前記前置復号器バッファからの前記データパケットを復号化する復号器と、
前記クライアント装置により改良再生性能に前記前置復号器バッファの前記可変初期バッファリング時間と前記可変バッファサイズを動的に適応させる手段と、を含むことを特徴とするメディアデータをストリーミングするシステム。
【請求項１９】
前記ネットワークは、GPRS(一般パケット無線サービス)無線ネットワークとUMTS(ユニバーサル移動通信システム)からなるグループから選択された無線ネットワークを含むことを特徴とする請求項18に記載のシステム。
【請求項２０】
前記クライアント装置は、前記無線システムで使用されるデータパケットに対応した無線端末であることを特徴とする請求項19に記載のシステム。
【請求項２１】
前記クライアント装置のバッファリング能力に準拠した速度でデータパケットを伝送することを確実とするために、前記ソースサーバーにバッファリングアルゴリズムが実装されることを特徴とする請求項18又は19に記載のシステム。
【請求項２２】
ソースサーバーからネットワークを介して伝送された複数のデータパケットを受信するクライアント装置において、
前記ソースサーバーから前記ネットワークを介して伝送されたデータパケットを受信する、可変バッファリング時間と可変バッファサイズを有する前置復号器バッファと、
前記前置復号器バッファからの前記データパケットを復号化する復号器と、
前記クライアント装置により改良再生性能に前記前置復号器バッファの前記可変初期バッファリング時間と前記可変バッファサイズを動的に適応させる手段と、を含むことを特徴とするクライアント装置。
【請求項２３】
無線端末、デスクトップコンピュータ、及びラップトップコンピュータを含むグループから選択されることを特徴とする請求項22に記載のクライアント装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一般的にはパケットベースのネットワークにおけるメディアのストリーミングに関する。更に具体的には、本発明は、符号化とパケット化に起因するパケットの遅延変動に関してストリーミングされたメディアの再生を改良するバッファリングメカニズムに関する。
【背景技術】
【０００２】
例えば、IPベースのビデオ会議システムなどの会話型パケット交換マルチメディアシステムでは、普通、様々なタイプのメディアが別個のパケットによって伝送されている。更に、パケットは、典型的には、一定の伝送遅延を保証できず遅延がパケットごとに変動するベストエフォート型のネットワークプロトコル上で伝送される。この結果、同一のプレゼンテーション(再生)タイムスタンプを有するパケットが同時受信されず、2つのパケットの受信間隔がそれらのプレゼンテーション間隔(時間の観点での)と異なってしまうことになる。このため、マルチメディア端末では、様々なメディアタイプ間で再生の同期を維持すると共に、正しい再生速度を維持するために、典型的には、遅延変動を除去するべく受信データを短時間(例えば0.5秒未満)バッファリングしている。本明細書においては、このタイプのバッファを遅延ジッタバッファと呼ぶことにする。会話型パケット交換マルチメディアシステムでは、メディアデータの復号化の前及び/又は後でバッファリングを実行可能である。
【０００３】
遅延ジッタバッファリングは、ストリーミングシステムにも適用される。但し、ストリーミングは非会話型アプリケーションであるという事実により、必要な遅延ジッタバッファは会話型アプリケーションよりも格段に大きなものになる。ストリーミングプレーヤーがサーバーに対する接続を確立しマルチメディアストリームのダウンロードを要求すると、サーバーは所望のストリームの伝送を開始する。典型的には、プレーヤーは、ストリームの再生を直ちに開始せず、到来するデータを所定の期間だけ、典型的には数秒の間バッファリングする。本明細書では、このタイプのバッファリングを初期バッファリングと呼ぶことにする。この初期バッファリングにより、会話型アプリケーションで遅延ジッタバッファリングが提供されるのと同様のやり方で、伝送の遅延変動を除去する能力が提供される。更に、これにより、消失したプロトコルデータユニット(複数PDU)のリンク、トランスポート、及び/又はアプリケーションレイヤの再送を使用することも可能になる。消失PDUの再送が可能である間、バッファリングにより、バッファからのデータのプレーヤーによる復号化及び再生が可能になる。バッファリング期間が十分に長ければ、再送されたPDUが適時に受信され、スケジューリングされた時点で復号化及び再生される。
【０００４】
ストリーミングクライアントにおける初期バッファリングにより、会話型システムでは実現できない更なる利点が提供される。サーバーから送信されるメディアのデータレートの変動が許容されるのである。即ち、受信側のバッファがオーバーフロー又はアンダーフローしない限り、一時的に再生速度よりも高速で或いは低速でメディアパケットを送信してもよい。このデータレートの変動は、2つの原因によって発生する。変動の第1の原因は、ビデオなどのいくつかのメディアタイプで実現可能な圧縮効率がソースデータの内容に依存していることである。この結果、安定した品質を所望する場合、結果として圧縮されたビットストリームのビットレートが変動する。典型的には、安定した視聴覚品質は、変動する品質よりも本来的に心地よい。従って、初期バッファリングによれば、ビデオ会議システムなどの初期バッファリングを備えていないシステムと比較し、心地よい視聴覚品質を実現することができる。
【０００５】
一例としてビデオデータを詳細に見れば、ビデオシーケンスの異なるフレームを大きく異なるデータ量で表すことができる。これは、予測符号化法を使用した結果である。典型的には、ビデオ符号化規格には、少なくとも2つのタイプのフレームが規定されている。主なフレームタイプは、INTRAすなわちIフレームと、INTERすなわちPフレームである。INTRAフレームは、画像自体に含まれている情報に基づいて符号化され、Pフレームは、少なくとも1つのその他のフレーム、普通、そのビデオシーケンスで初期に発生するフレームを参照して符号化される。デジタルビデオシーケンスの連続フレーム間の大きな時間的冗長性のため、INTERフレームは、INTRAフレームを表すのに必要なものよりも格段に小さなデータ量で符号化することができる。従って、符号化ビデオシーケンスにおいてINTRAフレームが使用される頻度は相対的に小さい。
【０００６】
典型的には、符号化シーケンスは、INTRAフレームから始まっている(これは、INTERフレームの構築に参照可能な以前のフレームが存在しないためである)。INTRAフレームは、予測(INTER)フレームの連続によって累積及び伝播するエラーを補償するべく、シーケンス内に周期的に、例えば一定の間隔で挿入することができる。又、INTRAフレームは、連続フレームの画像コンテンツが非常に変化するので予測符号化によってデータを効果的に削減できない場合のシーンカットにおいても一般的に使用される。従って、典型的な符号化ビデオストリームは、一般的に、INTRA符号化フレームで始まって、時折INTRAフレームが散在するINTERフレームのシーケンスから構成されており、INTRAフレームを表すのに必要なデータ量は、INTER符号化フレームを表すのに必要なデータ量に比べて数倍、例えば5〜10倍も大きい。又、各INTERフレームを表すのに必要なデータ量も、その参照フレームとの類似性/差異のレベルと画像のディテールの量によって変化する。
【０００７】
これは、予測符号化ビデオシーケンスの再構築に必要な情報が伝送データパケットに均等に分布していないことを意味している。即ち、INTRAフレームに関連するデータを伝送するには、INTERフレームのデータ伝送に必要な数よりも多くのデータパケットが必要なのである。更に、連続するINTERフレームを表すのに必要なデータ量も画像のコンテンツによって変化するため、INTERフレームデータを伝送するのに必要なデータパケット数も変動する。
【０００８】
変動の第2の原因は、固定IPネットワークにおけるパケット損失がバーストで発生した場合に生じる。バーストエラーとハイピークのビットレート及びパケットレートを回避するべく、優れた設計のストリーミングサーバーでは、パケットの伝送を注意深くスケジューリングしており、パケットは、受信端で再生される速度では正確に送信されない。典型的には、ネットワークサーバーは、一定速度のパケット伝送を達成するべく実現されている。又、サーバーは、例えば、ネットワークが輻輳してきた場合にはパケット伝送速度を下げ、ネットワークの状況が許す場合には、速度を上げて、そのときのネットワークの状況に応じてパケット伝送速度を調整することができる。これは、典型的には、TCP(伝送制御プロトコル)で送信される確認応答メッセージのアドバタイジングされたウィンドウを調整することによって行われる。
【特許文献１】特開平１０−２８５５９１号公報
【特許文献２】特開平８−２３７６５０号公報
【非特許文献１】Egawa, R. Aydin Alatan, A. Akansu, A. N., Compressed domain MPEG-2 video editing with VBV requiring, Image Processing, 2000. Proceedings. 2000 International Conference on, ２０００年９月１３日、Volume 1, p. 1016 - 1019
【発明の開示】
【発明が解決しようとする課題】
【０００９】
このネットワークサーバーに組み込まれている特性を、前述のビデオ符号化システムと併せて考えれば、予測符号化ビデオシーケンスの再構築に必要な情報が伝送データパケットに不均等に分布しているばかりでなく、データパケット自体もサーバーから様々な速度で伝送されるということである。これは、ネットワークの伝送遅延が一定であったとしても、受信クライアント端末の復号器は、例えば、ビデオシーケンスの連続フレームの構築に必要な情報を受信する際に、遅延変動を受けるということを意味している。尚、クライアント端末という用語は、ハンドヘルド装置(PDA)や無線端末、並びにデスクトップ及びラップトップコンピュータやセットトップボックスなどのあらゆるエンドユーザー電子装置を意味していることに留意されたい。符号化、パケット化、及びサーバーからのパケット伝送に起因して発生するこの遅延変動は、「符号化」又は「サーバー固有」遅延変動と呼ぶことができる。これは、ネットワーク内部の伝送時間の変動によって発生する遅延ジッタとは無関係であって、これに追加されるものである。
【００１０】
従って、初期バッファリングによれば、前述の欠点、即ち、符号化又はサーバー固有の遅延変動とネットワーク伝送関連の遅延変動による伝送データレートの変動に適応することが可能になる。初期バッファリングは、安定した視聴覚品質の提供とネットワークの輻輳及びパケット損失の回避に有用である。
【００１１】
初期バッファリングは、受信メディアデータの復号化後にも実行可能である。但し、この場合、復号化したデータに対してバッファリングが実行されるため、バッファのサイズが相対的に大きくなるという欠点を有している。又、符号化、サーバー固有、及びネットワーク伝送の遅延変動の複合的な影響により、初期バッファリングの要件が増大する傾向がある。
【００１２】
更に、メディアデータの符号化と、符号化データをパケットにカプセル化してサーバーから送信するやり方のために、受信クライアント端末の復号器は、ネットワークによる伝送遅延が一定であったとしても、メディアデータの再構築に必要な情報を受信する際に、遅延変動を受けることになる。従って、後置復号器バッファは、復号化前のこの形態の遅延変動を吸収する手段を提供しない。
【課題を解決するための手段】
【００１３】
本発明の第1の態様によれば、符号化パケットを復号化する復号器を含むクライアント装置にネットワークを介してソースサーバーから複数のデータパケットを伝送することにより、メディアデータをストリーミングする方法が提供される。この方法は、復号器での復号化の前に、ソースサーバーから送信されたデータを受信するために設定された可変初期バッファリング時間と可変バッファサイズを有する前置復号器バッファがクライアント装置に含まれていることを特徴とし、前置復号器バッファの可変初期バッファリング時間と可変バッファサイズは、クライアント装置により改良再生性能に適応される。
【００１４】
本発明の第2の態様によれば、複数のデータパケットを伝送することによってメディアデータをストリーミングするシステムが提供され、このシステムは、メディアデータをホスティングするソースサーバーと、データパケットの伝送媒体として機能するネットワークと、メディアデータを再生する能力を有するクライアント装置と、を含み、クライアント装置は、ネットワークを介してソースサーバーから伝送されたパケットを受信する、可変初期バッファリング時間と可変バッファサイズを有する前置復号器バッファと、前置復号器バッファからのパケットを復号化する復号器と、クライアント装置により改良再生性能に前置復号器バッファの可変初期バッファリング時間と可変バッファサイズを動的に適応させる手段と、を含んでいる。
【００１５】
本発明の第3の態様によれば、ソースサーバーからネットワークを介して伝送された複数のデータパケットを受信するクライアント装置が提供され、このクライアント装置は、ネットワークを介してソースサーバーから伝送されたデータパケットを受信する、可変初期バッファリング時間と可変バッファサイズを有する前置復号器バッファと、前置復号器バッファからのデータパケットを復号化する復号器と、クライアント装置により改良再生性能に前置復号器バッファの可変初期バッファリング時間と可変バッファサイズを動的に適応させる手段と、を含んでいる。
本発明、並びにその更なる目的と利点は、以下の添付の図面との関連において本明細書の詳細な説明を参照することにより、最も良く理解することができる。
【発明を実施するための最良の形態】
【００１６】
(アーキテクチャの概要)
本発明によれば、改良された受信側バッファリングを提供するべく、端末アーキテクチャ内に新しいバッファリングブロックが提供される。本明細書においては、このバッファリングブロックを前置復号器バッファと呼ぶことにする。
【００１７】
図1は、本発明の実施例による装置端末アーキテクチャにおける前置復号器バッファブロックの概略ブロック図を示している。「トランスポート復号器」100は、受信したデータパケット(例えばRTPデータパケット)の符号ストリームのカプセル化を解除する。「ソース復号器」120は、符号ストリームを再生可能な圧縮解除されたデータフォーマットに復号化する。「前置復号器バッファ」110は、トランスポート復号化とソース復号化間における一時記憶装置として機能する。複数タイプのデータで構成されるマルチメディアデータストリームの場合には、伝送するすべてのリアルタイムメディアタイプ間で共通前置復号器バッファを共有することが好適である。しかしながら、本発明の別の実施例においては、それぞれのメディアタイプごとに別個の前置復号器バッファが提供され、各メディアタイプ用の前置復号器バッファは、トランスポート復号器と、当該メディアタイプ用の個別のソース復号器の間に配置される。復号化処理は、クライアント装置のメモリに保存されているソフトウェアとして実装し、図1にその一部が示されているクライアント装置の動作を制御するMCU(主制御ユニット)の制御によってまたその制御下において実行することが好ましい。このMCUは、ソースサーバーから制御信号を受信し、ソースサーバーから受信した信号に従って初期バッファリング時間及びバッファサイズの適応を制御する。図1には、MCUによる様々なブロックの制御がMCUからそれぞれのブロックに対する制御の矢印によって示されている。
【００１８】
本発明の好適な実施例においては、ストリーミングクライアントの復号器の後に配置されている後置復号器バッファに加え、前置復号器バッファが提供される。ネットワーク伝送の遅延変動を吸収するべく、後置復号器バッファを提供することが好適である。さらに、この後置復号器バッファは、復号化関連の遅延変動も吸収することもできる。これは、複数のタイプのメディアデータを同時にストリーミングする場合に特に好適である。このような状況で後置復号器バッファを使用すれば、様々なメディア復号器によって生じる復号化の遅延変動を除去することができる。本発明の別の実施例においては、別個の復号器バッファが受信クライアントに更に提供される。この復号器バッファは、復号器と後置復号器バッファ間に配置され、復号化の際のメディアデータの一時記憶装置として提供される。複数のタイプのメディアデータを同時にストリーミングする状況では、それぞれのメディアタイプ用の個別のソース復号器ごとに別個の復号器バッファを提供することが好適である。
【００１９】
(バッファリングアルゴリズム)
ストリーミングクライアントで受信データをバッファリングすると共に、ネットワークに基づいたストリーミングサーバーからのストリームの符号化及びサービスを制御するべく、本実施例に従って動作するバッファリングアルゴリズムが提供される。このアルゴリズムは、本発明による前置復号器バッファがストリーミングクライアントに提供されていることを前提としている。
【００２０】
バッファリングアルゴリズムの動作に影響を与える主な要因が2つ存在している。即ち、初期バッファリング時間と最小前置復号器バッファサイズである。初期バッファリング時間とは、典型的には、最初のメディアデータパケットを受信する時刻とその最初のメディアサンプルを再生する時刻間の経過時間を意味している。最小前置復号器バッファサイズとは、典型的には、伝送遅延変動に対処するべく実行されるバッファリング以外に、ストリーミングクライアントが保存できるデータ量、例えばデータのバイト数に対応している。即ち、最小前置復号器バッファサイズは、遅延がゼロの信頼性の高い伝送ネットワークに対して規定されているのである。
【００２１】
このバッファリングアルゴリズムは、H.263アネックスB(仮想基準復号器)及びMPEG-4ビジュアルアネックスD(ビデオバッファリング検証装置)に記述されているアルゴリズムと類似している。これらのアルゴリズムは、ビデオコーデック用のバッファリング動作を規定している。尚、これらのアルゴリズムを適用可能なのはビデオのみであるため、これらのアルゴリズムにより、提案された前置復号器バッファリングアルゴリズムを置換することはできないことに留意されたい。さらに、H.263の仮想基準復号器は、初期バッファリング又はバッファへの複数(Bでない)フレームの保存をサポートしていない。又、提案された前置復号器バッファリングアルゴリズムは、前述のビデオバッファリングアルゴリズムと完全な互換性を有していることにも留意されたい。実際の実装においては、前置復号器バッファとビデオ復号器バッファを組み合わせることができる。
【００２２】
本発明の好適な実施例によれば、バッファリングアルゴリズムは、以下に規定する前置復号器バッファ要件に伝送データパケットストリームを準拠させる。
【００２３】
1.最初は、前置復号器バッファは空である。
【００２４】
2.受信すると、ほぼ即座にそれぞれの受信データパケットを前置復号器バッファに追加する。伝送プロトコルレベル(例えばRTPレイヤ)、或いはあらゆる下位レイヤにおけるすべてのプロトコルヘッダは除去する。
【００２５】
3.最初のパケットをバッファに追加する際にスタートする初期バッファリング時間と呼ばれる期間内には、データを前置復号器バッファから除去しない。
【００２６】
4.初期バッファリング時間が満了すると、再生タイマがスタートする。
【００２７】
5.再生タイマが当該データチャンク(data chunk)にスケジューリングされた再生時刻に到達すると、ほぼ即座にそのデータチャンクを前置復号器バッファから除去する。
【００２８】
6.データが、遅延がゼロの信頼性の高い伝送ネットワークによって伝送される場合には、前置復号器バッファサイズと呼ばれるあるレベルを前置復号器バッファの占有レベルが超過することは許されない。
【００２９】
上記の要件は、中間のポーズ要求がない動作について記述したものであることに留意されたい。新しい再生要求(例えば、ポーズ後のもの)のそれぞれが同じ要件に従うことになる。
【００３０】
更に、前述の要件は、遅延がゼロの信頼性の高い伝送ネットワークを有するという前提に基づいている。即ち、実際の実装においては、クライアント側の前置復号器バッファリングは、ネットワーク遅延ジッタバッファリングと組み合わせられる可能性が高い。この結果、ストリーミングクライアントの実際の前置復号器バッファサイズは、前述の最小前置復号器バッファサイズよりも大きくなり、実際の初期バッファリング時間も前述の初期バッファリング時間よりも長くなる可能性が高い。
【００３１】
(前置復号器バッファリング)
図2は、前置復号器バッファリングの効果を示す典型的なストリーミングシステムにおけるデータフローの例を示している。各バーは、メディアフレーム又はパケットを表しており、例えば、色の濃いバーは、ビデオデータパケット(例えばITU-T勧告H.263に従って符号化されたもの)であり、色の淡いバーは、オーディオデータパケット(例えば適応マルチレート(AMR)音声コーデックを使用して符号化されたもの)である。各バーの高さは、フレーム(又は、パケット)のサイズをバイト数で表している。そして、処理フローは上から下に実行され、時間は左から右に経過する。
【００３２】
この図2を詳細に参照すれば、まず、入力データを符号化する。この結果、ビデオストリームは、変動するフレームレートとフレームサイズを有し、オーディオストリームは、フレームレートは一定であるが、変動するフレームサイズを有することになる。次に、圧縮されたメディアストリームをパケットにカプセル化してネットワークに送信する。このカプセル化の際には、サーバーは、大きなビデオフレームは複数のパケットに分割し、いくつかの小さなオーディオフレームは1つのパケットに組み合わせる。サーバーは、パケットを一定の間隔で送信する。パケットサイズやその他の要因に関係なく、一定のネットワークの伝送遅延を前提としている。従って、受信したパケットの相対的なタイミングは、送信された際のものと同一である。受信したパケットは、前置復号器バッファ内に保存する。ある初期バッファリング時間の経過後にバッファからフレームを読み出すが、このフレーム除去速度は、フレーム再生速度と同一である。最大バッファ占有レベルにより、最小前置復号器バッファサイズが決定される。
【００３３】
(前置復号器バッファ特性のシグナリング)
ストリーミングクライアントにおける所定の最低バッファリング能力を確保するべく、あるデフォルトバッファ特性を規定する。前述のように、バッファ特性は、主に初期バッファリング時間と最小前置復号器バッファサイズという2つの要因によって規定することができる。初期バッファリング時間のデフォルト値は、例えば、約1秒であり、デフォルト最小前置復号器バッファサイズは約30720バイトである。これらの値は模範的なものに過ぎず、これらを変更し、当該時点でネットワークにおいて受ける特定タイプの遅延に適した性能を実現可能であることに留意されたい。推奨したこれらのデフォルト値は、一般化された環境における実際の実験に基づいたものであり、決して特定なものではないが、最も一般的に起こるパケット伝送のシナリオが考慮されている。所定のストリーミングシステムにおいて、デフォルト前置復号器初期バッファリング時間とデフォルト前置復号器バッファサイズを暗黙的に規定することも可能であることに留意されたい。即ち、ネットワーク内のソースサーバーとストリーミングクライアントが、あるデフォルト前置復号器バッファパラメータ(例えば前置復号器初期バッファリング時間及び/又は前置復号器バッファサイズ)を前提とするようなやり方で動作するのである。別の実施例においては、前置復号器バッファパラメータの明示的なシグナリングを使用する。
【００３４】
ストリーミングクライアントがデフォルト前置復号器バッファリング能力をソースサーバーにシグナリングすると共に、デフォルト能力よりも要求の厳しいバッファリング能力を必要とするメディアストリームを受信できるよう、本発明では、リアルタイムストリーミングプロトコル(RTSP)のSET_PARAMETERメソッドに基づいたシグナリングを使用する。
【００３５】
一例として、クライアント端末装置は、次のパラメータのいずれか、又は両方を設定するようにサーバーに要求することができる。
【００３６】
1.InitialBufferingTimeInMSec(ミリ秒単位の初期バッファリング時間)
【００３７】
2.preDecoderBufferSizeInBytes(バイト単位の最小前置復号器バッファサイズ)
【００３８】
クライアント端末装置が、ストリーミングシステムにおいて規定されている或いは暗黙的に前提とされているデフォルト値よりも小さなパラメータ値をシグナリングすることは許されない。デフォルト値のうちの1つよりも小さな値を通知する要求を受信したサーバーは、「無効要求」をシグナリングする。一方、伝送された値が、規定された或いは暗黙的なデフォルト値以上の場合には、シグナリングされた値は、要求を受信するとほぼ即座に使用され、ソースサーバーは、前述のバッファリングアルゴリズムに従い、シグナリングされた値を使用して伝送パケットストリームを検証する。即ち、また以下に詳述するように、サーバーは、受信クライアントでほぼ正しく再生されるようなやり方で、パケットストリームを送信する。さらに具体的には、ソースサーバーは、受信クライアントの前置復号器バッファがオーバーフローせず、且つ受信クライアントにおけるスケジューリングされた再生時刻の再生にメディアデータのすべてのデータチャンク、例えばフレームが利用可能であることを確実とするようにしてパケットストリームを送信する。
【００３９】
本発明の好適実施例によれば、クライアント端末装置は、最初にネットワークサーバーと通信を確立しストリーミングする特定のメディアコンテンツを要求することによってサーバーとのストリーミングセッションの設定を開始する際に、デフォルト前置復号器バッファリングパラメータをサーバーにシグナリングする。前述のように、本発明によれば、クライアント端末装置は、デフォルト前置復号器バッファリング時間又は最小前置復号器バッファサイズのいずれか、或いは前記パラメータの両方を通知することができる。クライアント端末装置に後置復号器バッファが更に提供されている別の実施例においては、後置復号器バッファサイズをソースサーバーに通知することができる。ストリーミングシステムにおいて前置復号器バッファパラメータが暗黙的に規定されている本発明の実施例においては、クライアント装置による前置復号器バッファパラメータの初期シグナリングは、厳密には不要である。しかし、特定のクライアント装置が、ストリーミングシステムにおいて前提とされている暗黙的に規定されたデフォルト値よりも優れた前置復号器バッファリング能力を有している場合には、それらをサーバーにシグナリングすることができる。更に別の配置においては、ソースサーバーは、ストリーミングシステムに関連する能力サーバーから所定のクライアント装置の前置復号器バッファパラメータを読み出す。
【００４０】
次にサーバーは、クライアント端末装置に対して自身が提供できるメディアストリームの特性を通知する。当業者には周知のように、多くの実際のストリーミングシステムにおいては、同一のメディアコンテンツを表す複数の事前符号化されたメディアストリームがストリーミングサーバーに提供される。これら事前符号化されたストリームのそれぞれは、異なる符号化パラメータで符号化される。このような場合には、異なる特性及び/又は能力を有する複数の異なるクライアント端末装置に対して、且つ/或いは異なる特性(例えば利用可能な最大伝送ビットレートを有するネットワークを介して、メディアコンテンツをストリーミングすることができる。
【００４１】
本発明の好適実施例によれば、サーバーは、クライアント端末のデフォルト前置復号器初期バッファリング時間及び/又は最小前置復号器バッファサイズの通知を受信すると、ネットワークを介したシグナリングにより、クライアント端末に対して自身が提供できる様々な事前符号化メディアストリームについて通知する。例えば、要求されたメディアコンテンツに関連する異なった符号化のメディアストリームをサーバーが4つ有しており、クライアントがデフォルト前置復号器初期バッファリング時間とデフォルト前置復号器バッファサイズの両方を通知した場合には、サーバーは、4つの異なるメディアストリームの正しい(例えばポーズ-フリー)再生を確実なものとするのに必要な前置復号器初期バッファリング時間と前置復号器バッファサイズをシグナリングする。すると、クライアント端末は、それら4つの事前符号化メディアストリームの中から再生する1つを選択し、選択したメディストリームに対応する要件に従って前置復号器初期バッファリング時間と前置復号器バッファサイズを調整する。クライアント端末におけるこの調整は、クライアント端末のMCUによって制御することが好ましい。サーバーが、様々な符号化メディアストリームに必要な前置復号器初期バッファリング時間及び前置復号器バッファサイズのいずれかのみを通知した場合には、クライアント端末は、それに基づいてメディアストリームを選択し、前置復号器初期バッファリング時間又は前置復号器バッファサイズをしかるべく調整する。この場合、通知されなかった方のパラメータには、デフォルト値が割り当てられる。
【００４２】
次にクライアント端末は、メディアコンテンツのストリーミングダウンロードを開始するべく、メディアストリームの選択についてサーバーにシグナリングする。又、この段階では、現在クライアント端末において有効な前置復号器初期バッファリング時間及び/又は前置復号器バッファサイズについてもサーバーに暗黙的に通知し、サーバーが前述のバッファリングアルゴリズムに従って伝送メディアストリームを正しく検証できるようにし、この結果、前置復号器バッファのオーバーフローが発生せず、且つメディアデータのすべてのデータチャンクが受信クライアントにおけるスケジューリングされた再生時刻での再生に利用できるようになる。
【００４３】
本発明による方法では、クライアント端末による前置復号器初期バッファリング時間及び/又は前置復号器バッファサイズの調整を可能にすることにより、デフォルト前置復号器バッファパラメータを使用して正しく再生できないようなやり方で符号化されたメディストリームを端末で受信し正しく再生できるようにしている。
【００４４】
本発明の好適実施例によれば、クライアントの前置復号器初期バッファリング時間及び/又は前置復号器バッファサイズは、新しいメディアストリームのストリーミングを開始する際に常に前述のプロセスに従って適応される。このプロセスの間に、新しいメディアストリームが、現在有効な前置復号器バッファリングパラメータを使用してクライアントにおいて正しく再生できると判定された場合は、調整は不要である。さらに、現在のストリーミングセッションの期間中、必要な前置復号器バッファパラメータの変更をサーバーがシグナリングした場合には、クライアントは、前置復号器初期バッファリング時間及び/又は前置復号器バッファサイズを調整することができる。このような状況は、例えば、ストリーミングするメディアコンテンツの種々の連続するセクションの符号化が異なっており、ストリームの正しい再生を確実なものとするためにクライアントでの様々な前置復号器バッファリングが必要になる場合に発生する。
【００４５】
要約すれば、本発明は、前置復号器バッファをストリーミングクライアントの一部として考慮したものである。ストリーミングクライアントは、バッファリングアルゴリズムに従って動作し、そのアルゴリズムで、ストリーミングサーバーは、規定されたバッファリングアルゴリズムに送信データストリームが準拠していることを検証する。更に、本発明は、ストリーミングクライアントのバッファ能力を規定してストリーミングサーバーにシグナリングするメカニズムを提案している。このようにして、ストリーミングサーバーは、所定のストリーミングクライアントのバッファリング能力に関する情報を取得可能であり、受信側前置復号器バッファの限度内で、符号化データ/メディアの伝送速度の変動が許容される。サーバーのバッファリング検証装置を使用し、受信側のバッファリング能力に送信パケットストリームを準拠させることを確実にすることができることに留意されたい。これは、例えば、クライアントの前置復号器バッファのバッファリング能力を超過しないように、サーバーからのパケットの送信時点を調整することによって実行することができる。或いは、この代わりに、サーバーは、メディアデータの符号化及びパケット化の方法を調整することもできる。実際には、バッファリング検証装置は、サーバーのトランスポート符号器の後で動作するバッファであってよい。
【００４６】
以上、本発明について、特定の実施例を参照していくつかの観点で説明したが、当業者には、変形及び変更が明らかであろう。従って、添付の請求項は、限定的に解釈されるべきではなく、本明細書において開示した発明の主題から導出される変形や変更を包含するものと見なすべきである。
【図面の簡単な説明】
【００４７】
【図１】図1は本発明の実施例による装置端末アーキテクチャにおける前置復号器バッファブロックの概略ブロック図を示す図である。
【図２】図2は前置復号器バッファリングの効果を示す典型的なストリーミングシステムにおけるデータフローの例を示す図である。
【符号の説明】
【００４８】
１００    トランスポート復号器
１１０    前置復号器バッファ
１２０    ソース復号器
ＭＣＵ    主制御ユニット
【図１】
2006345582.tif 000003
【図２】
2006345582.tif 000004
【手続補正書】
【提出日】平成18年10月27日(2006.10.27)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
サーバーからクライアント装置へデータパケットストリームとしてメディアデータを伝送するための方法であって、前記クライアント装置が、非圧縮データフォーマットに復号化する前に一時的に前記メディアデータをバッファリングするための前置復号器バッファを含む方法において、
バッファリングアルゴリズムに従って前記クライアント装置の前記前置復号器バッファに前記メディアデータをバッファリングするステップ及び前記サーバーから前記クライアント装置へ伝送される前記データパケットストリームが前記バッファリングアルゴリズムに準拠することを検証するために前記サーバーを動作させるステップを有し、前記バッファリングアルゴリズムの動作が前置復号器初期バッファリング時間及び最小前置復号器バッファサイズの影響を受け、前記最小前置復号器バッファサイズが、前記データパケットストリームが一定遅延の信頼できる伝送ネットワークを通じて伝送されるとき前記クライアント装置において前記メディアデータを実質的に正確に再生するために必要とされる前記前置復号器バッファの最小サイズに相当し、
前記方法は、
前置復号器初期バッファリング時間及び最小前置復号器バッファサイズのうちいずれか一方またはその両方を指示するために前記クライアント装置から前記サーバーへ信号を送るステップと、
前記シグナリングされた前置復号器初期バッファリング時間及び（または）最小前置復号器バッファサイズを用いて前記バッファリングアルゴリズムに従って前記伝送されるデータパケットストリームを検証するために前記サーバーを動作させるステップと、
をさらに有することを特徴とする、方法。
【請求項２】
デフォルト前置復号器初期バッファリング時間及びデフォルト最小前置復号器バッファサイズを規定するステップと、
前記デフォルト値を用いて前記バッファリングアルゴリズムに従って前記伝送されるデータパケットストリームを検証するために前記サーバーを動作させるステップと、
をさらに有する、請求項１に記載の方法。
【請求項３】
前記クライアント装置が、前記サーバーとのストリーミングセッションのセットアップに関連して前記サーバーに対して前記デフォルト前置復号器初期バッファリング時間及び前記デフォルト最小前置復号器バッファサイズのうちいずれか一方またはその両方をシグナリングすることを特徴とする、請求項２に記載の方法。
【請求項４】
前記デフォルト前置復号器初期バッファリング時間及び前記デフォルト最小前置復号器バッファサイズが暗黙に規定されることを特徴とする、請求項２に記載の方法。
【請求項５】
前記クライアント装置が、その前置復号器バッファリング能力が前記デフォルト値によって規定される能力を上回る場合前記サーバーに対して前記前置復号器バッファリング能力をシグナリングすることを特徴とする、請求項４に記載の方法。
【請求項６】
前記サーバーが前記クライアント装置の前置復号器バッファリング能力をケーパビリティサーバーから検索することを特徴とする、請求項１に記載の方法。
【請求項７】
前記クライアント装置が前記サーバーから受信した必要な前置復号器処理バッファリング時間の指示に応答してその前置復号器初期バッファリング時間を調整することを特徴とする、請求項１〜６のいずれか一項に記載の方法。
【請求項８】
前記クライアント装置が前記サーバーから受信した必要な前置復号器バッファサイズの指示に応答してその前記復号器バッファサイズを調整することを特徴とする、請求項１〜７のいずれか一項に記載の方法。
【請求項９】
前記サーバーに同一のメディアコンテントを表す複数の異なる事前符号化メディアストリームを与えるステップと、各利用可能な事前符号化メディアストリームの正確な再生を保証するために前記クライアント装置において必要とされる前記復号器初期バッファリング時間及び前置復号器バッファサイズのうち少なくとも一方を指示するために前記クライアント装置に対してシグナリングするステップと、を有する、請求項１〜８のいずれか一項に記載の方法。
【請求項１０】
前記クライアント装置が、ストリーミングセッション中前記サーバーによってシグナリングされた必要な前置復号器バッファパラメータの変化に応答してその前置復号器初期バッファリング時間及びその前置復号器バッファサイズのうちいずれか一方またはその両方を調整することを特徴とする、請求項１に記載の方法。
【請求項１１】
前記サーバーが、前記伝送されるデータパケットストリームが前記クライアント装置の前記前置復号器バッファのバッファリング能力を上回らないようにするために前記サーバーから前記クライアント装置へのデータパケットの伝送時間を調整することを特徴とする、請求項１に記載の方法。
【請求項１２】
前記サーバーが、前記伝送されるデータパケットストリームが前記クライアント装置の前記前置復号器バッファのバッファリング能力を上回らないようにするために前記メディアデータの符号化及びパケット化の方式を調整することを特徴とする、請求項１に記載の方法。
【請求項１３】
前記クライアント装置が復号関係の遅延の変動を吸収するために後置復号器バッファも含むことを特徴とする、請求項１〜１２のいずれか一項に記載の方法。
【請求項１４】
前記クライアント装置が無線端末、デスクトップコンピュータ、ラップトップコンピュータまたはセットトップボックスのうちの１つであることを特徴とする、請求項１〜１３のいずれか一項に記載の方法。
【請求項１５】
サーバーからクライアント装置へデータパケットストリームとしてメディアデータを伝送するためのシステムであって、前記クライアント装置が非圧縮データフォーマットに復号化する前に一時的に前記メディアデータをバッファリングするための前置復号器バッファを含むシステムにおいて、
前記クライアント装置がバッファリングアルゴリズムに従って前記前置復号器バッファに前記メディアデータをバッファリングするように構成され、かつ前記サーバーが前記サーバーから前記クライアント装置へ伝送される前記データパケットストリームが前記バッファリングアルゴリズムに準拠することを検証するように構成され、前記バッファリングアルゴリズムの動作が前置復号器初期バッファリング時間及び最小前置復号器バッファサイズの影響を受け、前記最小前置復号器バッファサイズが、前記データパケットストリームが一定遅延の信頼できる伝送ネットワークを通じて伝送されるとき前記クライアント装置において前記メディアデータを実質的に正確に再生するために必要とされる前記前置復号器バッファの最小サイズに相当し、
前記システムにおいてさらに、
前記クライアント装置がさらに前置復号器初期バッファリング時間及び最小前置復号器バッファサイズのうちいずれか一方またはその両方を指示するために前記サーバーへ信号を送るように構成され、かつ前記サーバーがさらに前記シグナリングされた前置復号器初期バッファリング時間及び／又は最小前置復号器バッファサイズを用いて前記バッファリングアルゴリズムに従って前記伝送されるデータパケットストリームを検証するように構成されることを特徴とする、システム。
【請求項１６】
前記クライアント装置の前記前置復号器バッファについてデフォルト前置復号器初期バッファリング時間及びデフォルト最小前置復号器バッファサイズが規定され、かつ前記サーバーが前記デフォルト値を用いて前記バッファリングアルゴリズムに従って前記伝送されるデータパケットストリームを検証するように構成されることを特徴とする、請求項１５に記載のシステム。
【請求項１７】
前記クライアント装置が前記サーバーとのストリーミングセッションのセットアップに関連して前記サーバーに対して前記デフォルト前置復号器初期バッファリング時間及び前記デフォルト最小前置復号器バッファサイズのうちいずれか一方またはその両方をシグナリングするように構成されることを特徴とする、請求項１６に記載のシステム。
【請求項１８】
前記デフォルト前置復号器初期バッファリング時間及びデフォルト最小前置復号器バッファサイズが暗黙に規定されることを特徴とする、請求項１６に記載のシステム。
【請求項１９】
前記クライアント装置が、その前置復号器バッファリング能力が前記デフォルト値によって規定される能力を上回る場合に前記サーバーに対して前記前置復号器バッファリング能力をシグナリングするように構成されることを特徴とする、請求項１８に記載のシステム。
【請求項２０】
前記サーバーが前記クライアント装置の前置復号器バッファリング能力を能力サーバーから検索するように構成されることを特徴とする、請求項１５に記載のシステム。
【請求項２１】
前記クライアント装置が前記サーバーから受信した必要な前置復号器初期バッファリング時間の指示に応答してその前記復号器初期バッファリング時間を調整するように構成されることを特徴とする、請求項１５〜２０のいずれか一項に記載のシステム。
【請求項２２】
前記クライアント装置が前記サーバーから受信した必要な前置復号器バッファサイズの指示に応答してその前置復号器バッファサイズを調整するように構成されることを特徴とする、請求項１５〜２１のいずれか一項に記載のシステム。
【請求項２３】
前記サーバーが同一のメディアコンテントを表す複数の異なる事前符号化メディアストリームを与えられ、かつ各利用可能な事前符号化メディアストリームの正確な再生を保証するために前記クライアント装置において必要とされる前置復号器初期バッファリング時間及び前置復号器バッファサイズのうち少なくとも一方をシグナリングするように構成されることを特徴とする、請求項１５〜２２のいずれか一項に記載のシステム。
【請求項２４】
前記クライアント装置がストリーミングセッション中前記サーバーによってシグナリングされた必要な前置復号器バッファパラメータの変化に応答してその前置復号器初期バッファリング時間及びその前置復号器バッファサイズのうちいずれか一方またはその両方を調整するように構成されることを特徴とする、請求項１５に記載のシステム。
【請求項２５】
前記サーバーが、前記伝送されるデータパケットストリームが前記クライアント装置の前記前置復号器バッファの前記バッファリング能力を上回らないようにするために前記サーバーから前記クライアント装置へのデータパケットの伝送時間を調整するように構成されることを特徴とする、請求項１５に記載のシステム。
【請求項２６】
前記サーバーが、前記伝送されるデータパケットストリームが前記クライアント装置の前記前置復号器バッファの前記バッファリング能力を上回らないようにするために前記メディアデータの符号化及びパケット化の方式を調整するように構成されることを特徴とする、請求項１５に記載のシステム。
【請求項２７】
前記クライアント装置が無線端末、デスクトップコンピュータ、ラップトップコンピュータまたはセットトップボックスのうちの１つであることを特徴とする、請求項１５〜２６のいずれか一項に記載のシステム。
【請求項２８】
メディアデータを受信するためのクライアント装置であって、前記メディアデータが該クライアント装置においてデータパケットストリームとしてサーバーから受信され、該クライアント装置が非圧縮データフォーマットに復号化する前に一時的に前記メディアデータをバッファリングするための前置復号器バッファを含むクライアント装置において、
バッファリングアルゴリズムに従って前記前置復号器バッファに前記メディアデータをバッファリングするように構成され、前記バッファリングアルゴリズムの動作が前置復号器初期バッファリング時間及び最小前置復号器バッファサイズの影響を受け、前記最小前置復号器バッファサイズが、前記データパケットストリームが一定遅延の信頼できる伝送ネットワークを通じて伝送されるとき前記クライアント装置において前記メディアデータを実質的に正確に再生するために必要とされる前記前置復号器バッファの最小サイズに相当し、
前記クライアント装置においてさらに、
前記バッファリングアルゴリズムに従って前記伝送されるデータパケットストリームを検証するために前記サーバーによって使用されるために前置復号器初期バッファリング時間及び最小前置復号器バッファサイズのうちいずれか一方またはその両方を指示するための信号を前記サーバーへ送るように構成されることを特徴とする、クライアント装置。
【請求項２９】
前記クライアント装置の前記前置復号器バッファについてデフォルト前置復号器初期バッファリング時間及びデフォルト最小前置復号器バッファサイズが規定されることを特徴とする、請求項２８に記載のクライアント装置。
【請求項３０】
前記サーバーとのストリームセッションのセットアップに関連して前記サーバーに対して前記デフォルト前置復号器初期バッファリング時間及び前記デフォルト最小前置復号器バッファサイズのうちいずれか一方またはその両方をシグナリングするように構成されることを特徴とする、請求項２９に記載のクライアント装置。
【請求項３１】
前記クライアント装置の前置復号器バッファリング能力が前記デフォルト値によって規定される能力を上回る場合前記サーバーに対して前記前置復号器バッファリング能力をシグナリングするように構成されることを特徴とする、請求項２９に記載のクライアント装置。
【請求項３２】
前記サーバーから受信した必要な前置復号器初期バッファリング時間の指示に応答してその前置復号器初期バッファリング時間を調整するように構成されることを特徴とする、請求項２８〜３１のいずれか一項に記載のクライアント装置。
【請求項３３】
前記サーバーから受信した必要な前置復号器バッファサイズの指示に応答してその前置復号器バッファサイズを調整するように構成されることを特徴とする、請求項２８〜３２のいずれか一項に記載のクライアント装置。
【請求項３４】
同一のメディアコンテントを表す多数の異なる事前符号化メディアストリームの各々を正確に再生するために必要とされる前置復号器初期バッファリング時間及び前置復号器バッファサイズのうち少なくとも一方を表す信号を前記サーバーから受信し、
前記クライアント装置における再生のために前記異なる事前符号化メディアストームのうち１つを選択し、かつ
前記選択されたメディアストリームの要件に従ってその前置復号器初期バッファリング時間及び前置復号器バッファサイズを調整する、
ように構成されることを特徴とする、請求項２８〜３３のいずれか一項に記載のクライアント装置。
【請求項３５】
ストリーミングセッション中前記サーバーによってシグナリングされた必要な前置復号器バッファパラメータの変化に応答してその前置復号器初期バッファリング時間及びその前置復号器バッファサイズのうちいずれか一方またはその両方を調整するように構成されることを特徴とする、請求項２８に記載のクライアント装置。
【請求項３６】
無線端末、デスクトップコンピュータ、ラップトップコンピュータまたはセットトップボックスのうちの１つであることを特徴とする、請求項２８に記載のクライアント装置。
【請求項３７】
クライアント装置へデータパケットストリームとしてメディアデータを伝送するためのサーバーであって、前記クライアント装置が非圧縮データフォーマットに復号化する前に一時的に前記メディアデータをバッファリングするための前置復号器バッファを含むサーバーにおいて、
前記サーバーから前記クライアント装置に伝送される前記データパケットストリームが前記前置復号器バッファに前記メディアデータをバッファリングするために前記クライアント装置において使用されるバッファリングアルゴリズムに準拠することを検証するように構成され、前記バッファリングアルゴリズムの動作が前置復号器初期バッファリング時間及び最小前置復号器バッファサイズの影響を受け、前記最小前置復号器バッファサイズが、前記データパケットストリームが一定遅延の信頼できる伝送ネットワークを通じて伝送されるとき前記クライアント装置において前記メディアデータを実質的に正確に再生するために必要とされる前記前置復号器バッファの最小サイズに相当し、
前記サーバーにおいてさらに、
前置復号器初期バッファリング時間及び最小前置復号器バッファサイズのうちいずれか一方またはその両方を表す信号を前記クライアント装置から受信しかつ前記シグナリングされた前置復号器初期バッファリング時間及び／又は最小前置復号器バッファサイズを用いて前記バッファリングアルゴリズムに従って前記伝送されるデータパケットストリームを検証するようにさらに構成されることを特徴とする、サーバー。
【請求項３８】
前記クライアント装置の前記前置復号器バッファについてデフォルト前置復号器初期バッファリング時間及びデフォルト最小前置復号器バッファサイズが規定され、かつ前記サーバーが前記デフォルト値を用いて前記バッファリングアルゴリズムに従って前記伝送されるデータパケットストリームを検証するように構成されることを特徴とする、請求項３７に記載のサーバー。
【請求項３９】
ストリーミングセッションのセットアップに関連してデフォルト前置復号器初期バッファリング時間及びデフォルト最小前置復号器バッファサイズのうちいずれか一方またはその両方を表す信号を受信するように構成されることを特徴とする、請求項３８に記載のサーバー。
【請求項４０】
前記デフォルト前置復号器初期バッファリング時間及びデフォルト最小前置復号器バッファサイズが暗黙に規定されることを特徴とする、請求項３８に記載のサーバー。
【請求項４１】
前記クライアント装置の前置復号器バッファリング能力を能力サーバーから検索するように構成されることを特徴とする、請求項３７に記載のサーバー。
【請求項４２】
必要な前置復号器初期バッファリング時間の指示を前記クライアント装置に与えるように構成されることを特徴とする、請求項３７〜４１のいずれか一項に記載のサーバー。
【請求項４３】
必要な前置復号器バッファサイズの指示を前記クライアント装置に与えるように構成されることを特徴とする、請求項３７〜４２のいずれか一項に記載のサーバー。
【請求項４４】
同一のメディアコンテントを表す複数の異なる事前符号化メディアストリームを与えられ、かつ各利用可能な事前符号化メディアストリームの正確な再生を保証するために前記クライアント装置において必要とされる前置復号器初期バッファリング時間及び前置復号器バッファサイズのうち少なくとも一方をシグナリングするように構成されることを特徴とする、請求項３７〜４３のいずれか一項に記載のサーバー。
【請求項４５】
ストリーミングセッション中前記クライアント装置に対して必要な前置復号器バッファパラメータの変化をシグナリングするように構成されることを特徴とする、請求項３７に記載のサーバー。
【請求項４６】
前記伝送されるデータパケットストリームが前記クライアント装置の前記前置復号器バッファの前記バッファリング能力を上回らないようにするために前記サーバーから前記クライアント装置へのデータパケットの伝送時間を調整するように構成されることを特徴とする、請求項３７に記載のサーバー。
【請求項４７】
前記伝送されるデータパケットストリームが前記クライアント装置の前記前置復号器バッファの前記バッファリング能力を上回らないようにするために前記メディアデータの符号化及びパケット化の方式を調整するように構成されることを特徴とする、請求項３７に記載のサーバー。
【請求項４８】
クライアント装置においてメディアデータをバッファリングするための方法であって、該メディアデータがサーバーからデータパケットストリームとしてクライアント装置において受信され、該クライアント装置が非圧縮データフォーマットに復号化する前に一時的に前記メディアデータをバッファリングするための前置復号器バッファを含む方法において、
バッファリングアルゴリズムに従って前記クライアント装置の前記前置復号器バッファに前記メディアデータをバッファリングするステップを有し、前記バッファリングアルゴリズムの動作が前置復号器初期バッファリング時間及び最小前置復号器バッファサイズの影響を受け、前記最小前置復号器バッファサイズが、前記データパケットストリームが一定遅延の信頼できる伝送ネットワークを通じて伝送されるとき前記クライアント装置において前記メディアデータを実質的に正確に再生するために必要とされる前記前置復号器バッファの最小サイズに相当し、
前記方法は、
前記バッファリングアルゴリズムに従って前記伝送されるデータパケットストリームを検証するために前記サーバーによって使用されるために前置復号器初期バッファリング時間及び最小前置復号器バッファサイズのうちいずれか一方またはその両方を指示するための信号を前記クライアント装置から前記サーバーに送るステップをさらに有することを特徴とする、方法。
【請求項４９】
前記クライアント装置の前記前置復号器バッファについてデフォルト前置復号器初期バッファリング時間及びデフォルト最小前置復号器バッファサイズを規定するステップをさらに有する、請求項４８に記載の方法。
【請求項５０】
前記クライアント装置が前記サーバーとのストリームセッションのセットアップに関連して前記サーバーに対して前記デフォルト前置復号器初期バッファリング時間及び前記デフォルト最小前置復号器バッファサイズのうちいずれか一方またはその両方をシグナリングすることを特徴とする、請求項４９に記載の方法。
【請求項５１】
前記クライアント装置が、その前置復号器バッファリング能力が前記デフォルト値によって規定される能力を上回る場合前記サーバーに対して前記前置復号器バッファリング能力をシグナリングすることを特徴とする、請求項４９に記載の方法。
【請求項５２】
前記クライアント装置が前記サーバーから受信した必要な前置復号器初期バッファリング時間の指示に応答してその前置復号器初期バッファリング時間を調整することを特徴とする、請求項４８〜５１のいずれか一項に記載の方法。
【請求項５３】
前記クライアント装置が前記サーバーから受信した必要な前置復号器バッファサイズの指示に応答してその前置復号器バッファサイズを調整することを特徴とする、請求項４８〜５２のいずれか一項に記載の方法。
【請求項５４】
同一のメディアコンテントを表す多数の異なる事前符号化メディアストリームの各々を正確に再生するために必要とされる前置復号器初期バッファリング時間及び前置復号器バッファサイズのうち少なくとも一方を表す信号を前記クライアント装置において前記サーバーから受信するステップと、
前記クライアント装置における再生のために前記異なる事前符号化メディアストリームのうちの１つを選択するステップと、
前記選択されたメディアストリームの要件に従って前記前置復号器バッファの前記前置復号器初期バッファリング時間及び前置復号器バッファサイズを調整するステップと、
をさらに有する、請求項４８〜５３のいずれか一項に記載の方法。
【請求項５５】
前記クライアント装置がストリームセッション中前記サーバーによってシグナリングされた必要な前置復号器バッファパラメータの変化に応答してその前置復号器初期バッファリング時間及びその前置復号器バッファサイズのうちいずれか一方またはその両方を調整することを特徴とする、請求項４８に記載の方法。
【請求項５６】
サーバーからクライアント装置へデータパケットストリームとしてメディアデータを伝送するための方法であって、該クライアント装置が非圧縮データフォーマットに復号化する前に一時的に前記メディアデータをバッファリングするための前置復号器を含む方法において、
前記サーバーから前記クライアント装置に伝送されるデータパケットストリームが前記前置復号器バッファに前記メディアデータをバッファリングするために前記クライアント装置において使用されるバッファリングアルゴリズムに準拠することを検証するために前記サーバーを動作させるステップを有し、前記バッファリングアルゴリズムの動作が前置復号器初期バッファリング時間及び最小前置復号器バッファサイズの影響を受け、前記最小前置復号器バッファサイズが、前記データパケットストリームが一定遅延の信頼できる伝送ネットワークを通じて伝送されるとき前記クライアント装置において前記メディアデータを実質的に正確に再生するために必要とされる前記前置復号器バッファの最小サイズに相当し、さらに前記サーバーが前置復号器初期バッファリング時間及び最小前置復号器バッファサイズのうちいずれか一方またはその両方を表す信号を前記クライアント装置から受信しかつ前記シグナリングされた前置復号器初期バッファリング時間及び／又は最小前置復号器バッファサイズを用いて前記バッファリングアルゴリズムに従って前記伝送されるデータパケットストリームを検証することを特徴とする、方法。
【請求項５７】
前記クライアント装置の前記前置復号器バッファについてデフォルト前置復号器初期バッファリング時間及びデフォルト最小前置復号器バッファサイズが規定され、かつ前記サーバーが前記デフォルト値を用いて前記バッファリングアルゴリズムに従って前記伝送されるデータパケットストリームを検証することを特徴とする、請求項５６に記載の方法。
【請求項５８】
前記サーバーがストリーミングセッションのセットアップに関連してデフォルト前置復号器初期バッファリング時間及びデフォルト最小前置復号器バッファサイズのうちいずれか一方またはその両方を示す信号を受信することを特徴とする、請求項５７に記載の方法。
【請求項５９】
前記デフォルト前置復号器初期バッファリング時間及びデフォルト最小前置復号器バッファサイズが暗黙に規定されることを特徴とする、請求項５７に記載の方法。
【請求項６０】
前記サーバーが前記クライアント装置の前置復号器バッファリング能力を能力サーバーから検索することを特徴とする、請求項５６に記載の方法。
【請求項６１】
前記サーバーが前記クライアント装置に対して必要な前置復号器初期バッファリング時間の指示を与えることを特徴とする、請求項５６〜６０のいずれか一項に記載の方法。
【請求項６２】
前記サーバーが前記クライアント装置に対して必要な前置復号器バッファサイズの指示を与えることを特徴とする、請求項５６〜６１のいずれか一項に記載の方法。
【請求項６３】
前記サーバーが同一のメディアコンテントを表す複数の異なる事前符号化メディアストリームを与えられ、かつ各利用可能な事前符号家メディアストリームの正確な再生を保証するために前記クライアント装置において必要とされる前置復号器初期バッファリング時間及び前置復号器バッファサイズのうち少なくとも一方をシグナリングすることを特徴とする、請求項５６〜６２のいずれか一項に記載の方法。
【請求項６４】
前記サーバーがストリーミングセッション中前記クライアント装置に対して必要な前置復号器バッファパラメータの変化をシグナリングすることを特徴とする、請求項５６に記載の方法。
【請求項６５】
前記サーバーが、前記伝送されるデータパケットストリームが前記クライアント装置の前記前置復号器バッファの前記バッファリング能力を上回らないようにするために前記サーバーから前記クライアント装置へのデータパケットの伝送時間を調整することを特徴とする、請求項５６に記載の方法。
【請求項６６】
前記サーバーが、前記伝送されるデータパケットストリームが前記クライアント装置の前記前置復号器バッファの前記バッファリング能力を上回らないようにするために前記メディアデータの符号化及びパケット化の方式を調整することを特徴とする、請求項５６に記載の方法。