(57)【要約】      （修正有）【課題】受信機中のアプリケーションによってオーディオビデオストリームフレームを与えるのに必要とされる期間内にオーディオの全フレームおよびビデオの全フレームが同時に送信されるように、ネットワーク上、例えば無線またはＩＰネットワーク上で送信されるオーディオビデオストリームの符号化を提供する。【解決手段】オーディオおよびビデオＲＴＰストリームを受け取ることと、そして、ビデオフレームレートと同じあるいはより少ない期間を占める通信チャネルパケットに、ＲＴＰビデオデータの全フレームを割り当てることとを含む。また、ＲＴＰオーディオデータの全フレームは、オーディオフレームレートと同じあるいはより少ない期間を占める通信チャネルパケットに割り当てられる。ビデオおよびオーディオ通信チャネルパケットは同時に送信される。ＲＴＰストリームを受け取り割り当てることは、遠隔局、または基地局で実行されることが出来る。【選択図】図４
2011142616.tif 000002
【特許請求の範囲】
【請求項１】
第１符号化されたデータストリームを受け取りそしてデコードされた第１データストリームを出力するように構成された第１デコーダと、なおここでは、前記第１符号化されたデータストリームは情報間隔の間、第１ビットレートを有する；
第２符号化されたデータストリームを受け取りそしてデコードされた第２データストリームを出力するように構成された第２デコーダと、なおここでは、前記第２符号化されたデータストリームは前記情報間隔の間、第２ビットレートを有する；
少なくとも１情報間隔の間、前記デコードされた第１データストリームを蓄積し、そして間隔期間毎に前記デコードされた第１データストリームのフレームを出力するように構成された第１バッファと；
少なくとも１情報間隔の間、前記デコードされた第２データストリームを蓄積し、そして間隔期間毎に前記デコードされた第２データストリームのフレームを出力するように構成された第２バッファと；そして
デコードされた第１データストリームの前記フレームおよびデコードされた第２データストリームの前記フレームを受け取りそして第１および第２のデコードされたデータストリームの同期をとられたフレームを出力するように構成された結合器と；
を備えるデータストリーム同期装置。
【請求項２】
前記第１符号化されたデータストリームはビデオデータである、前記請求項１記載のデータストリーム同期装置。
【請求項３】
前記第２符号化されたデータストリームはオーディオデータである、前記請求項１記載のデータストリーム同期装置。
【請求項４】
前記第１ビットレートは前記第２ビットレートよりもより高い、前記請求項１記載のデータストリーム同期装置。
【請求項５】
符号化されたビデオデータを受け取りそしてデコードされたビデオデータを出力するように構成されたビデオデコーダと；
符号化されたオーディオデータを受け取りそしてデコードされたオーディオデータを出力するように構成されたオーディオデコーダと；
少なくとも１フレーム期間、デコードされたビデオデータを蓄積し、そしてフレーム期間毎にビデオデータのフレームを出力するように構成されたビデオバッファと；
複数のフレーム期間、デコードされたオーディオデータを蓄積し、そしてフレーム期間毎にオーディオデータのフレームを出力するように構成されたオーディオバッファと；そして
ビデオデータの前記フレームおよびオーディオデータの前記フレームを受け取りそしてオーディオビデオデータの同期をとられたフレームを出力するように構成された結合器と；
を備える遠隔局装置。
【請求項６】
前記ビデオデコーダは、ＭＰＥＧデコーダ、Ｈ．２６３デコーダ、あるいはＨ．２６４デコーダである、前記請求項５記載の遠隔局。
【請求項７】
前記オーディオデコーダは、ＭＰＥＧデコーダ、Ｈ．２６３デコーダあるいはＨ．２６４デコーダである、前記請求項５記載の遠隔局。
【請求項８】
オーディオおよびビデオデータのデコーディングおよび同期を制御する制御プロセッサを更に備える、前記請求項５記載の遠隔局。
【請求項９】
ビデオＲＴＰストリームを受け取りそしてＲＴＰビデオデータの全フレームをビデオフレームレートと同じあるいはより少ない期間を占める通信チャネルパケットに割り当てるように構成されたビデオ通信チャネルインタフェースと；
オーディオＲＴＰストリームを受け取りそしてＲＴＰオーディオデータの全フレームをオーディオフレームレートと同じあるいはより少ない期間を占める通信チャネルパケットに割り当てるように構成されたオーディオ通信チャネルインタフェースと；そして
前記ビデオおよびオーディオの通信チャネルパケットを受け取りそして送信するように構成された送信機と；
を備える遠隔局装置。
【請求項１０】
前記のオーディオおよびビデオデータの通信チャネルパケットへの割り当てを制御する制御プロセッサを更に備える、前記請求項９記載の遠隔局装置。
【請求項１１】
符号化されたビデオデータを受け取りそしてデコードされたビデオデータを出力するように構成されたビデオデコーダと；
符号化されたオーディオデータを受け取りそしてデコードされたオーディオデータを出力するように構成されたオーディオデコーダと；
ビデオフレーム期間、デコードされたビデオデータを蓄積し、そしてフレーム期間毎にビデオデータのフレームを出力するように構成されたビデオバッファと；
オーディオフレーム期間、デコードされたオーディオデータを蓄積し、そしてフレーム期間毎にオーディオデータのフレームを出力するように構成されたオーディオバッファと；そして
ビデオデータの前記フレームおよびオーディオデータの前記フレームを受け取りそしてオーディオビデオデータの同期をとられたフレームを出力するように構成された結合器と；
を備える基地局装置。
【請求項１２】
前記ビデオデコーダは、ＭＰＥＧデコーダ、Ｈ．２６３デコーダ、あるいはＨ．２６４デコーダである、前記請求項１１記載の基地局。
【請求項１３】
前記オーディオデコーダは、ＭＰＥＧデコーダ、Ｈ．２６３デコーダあるいはＨ．２６４デコーダである、前記請求項１１記載の基地局。
【請求項１４】
オーディオおよびビデオデータのデコーディングおよび同期を制御する制御プロセッサを更に備える、前記請求項１１記載の基地局。
【請求項１５】
ビデオＲＴＰストリームを受け取りそしてＲＴＰビデオデータの全フレームをビデオフレームレートと同じあるいはより少ない期間を占める通信チャネルパケットに割り当てるように構成されたビデオ通信チャネルインタフェースと；
オーディオＲＴＰストリームを受け取りそしてＲＴＰオーディオデータの全フレームをオーディオフレームレートと同じあるいはより少ない期間を占める通信チャネルパケットに割り当てるように構成されたオーディオ通信チャネルインタフェースと；そして
前記ビデオおよびオーディオの通信チャネルパケットを受け取りそして送信するように構成された送信機と；
を備える基地局装置。
【請求項１６】
前記のオーディオおよびビデオデータの通信チャネルパケットへの割り当てを制御する制御プロセッサを更に備える、前記請求項１５記載の基地局装置。
【請求項１７】
ビデオＲＴＰストリームを受け取りそしてＲＴＰビデオデータの全フレームをビデオフレームレートと同じあるいはより少ない期間を占める通信チャネルパケットに割り当てるように構成されたビデオ通信チャネルインタフェースと、
オーディオＲＴＰストリームを受け取りそしてＲＴＰオーディオデータの全フレームをオーディオフレームレートと同じあるいはより少ない期間を占める通信チャネルパケットに割り当てるように構成されたオーディオ通信チャネルインタフェースと、
前記ビデオおよびオーディオの通信チャネルパケットを受け取りそして送信するように構成された送信機と、
を有する基地局装置と；
ビデオ通信チャネルパケットを受け取りそしてデコードされたビデオデータを出力するように構成されたビデオデコーダと、
オーディオ通信チャネルパケットを受け取りそしてデコードされたオーディオデータを出力するように構成されたオーディオデコーダと、
ビデオフレーム期間、デコードされたビデオデータを蓄積し、そしてフレーム期間毎にビデオデータのフレームを出力するように構成されたビデオバッファと、
オーディオフレーム期間、デコードされたオーディオデータを蓄積し、そしてフレーム期間毎にオーディオデータのフレームを出力するように構成されたオーディオバッファと、そして
ビデオデータの前記フレームおよびオーディオデータの前記フレームを受け取りそしてオーディオビデオデータの同期をとられたフレームを出力するように構成された結合器と、
を有する遠隔局装置と；
を備える無線通信システム。
【請求項１８】
ビデオＲＴＰストリームを受け取りそしてＲＴＰビデオデータの全フレームをビデオフレームレートと同じあるいはより少ない期間を占める通信チャネルパケットに割り当てるように構成されたビデオ通信チャネルインタフェースと、
オーディオＲＴＰストリームを受け取りそしてＲＴＰオーディオデータの全フレームをオーディオフレームレートと同じあるいはより少ない期間を占める通信チャネルパケットに割り当てるように構成されたオーディオ通信チャネルインタフェースと、
前記ビデオおよびオーディオの通信チャネルパケットを受け取りそして送信するように構成された送信機と、
を有する遠隔局装置と；
ビデオ通信チャネルパケットを受け取りそしてデコードされたビデオデータを出力するように構成されたビデオデコーダと、
オーディオ通信チャネルパケットを受け取りそしてデコードされたオーディオデータを出力するように構成されたオーディオデコーダと、
ビデオフレーム期間、デコードされたビデオデータを蓄積し、そしてフレーム期間毎にビデオデータのフレームを出力するように構成されたビデオバッファと、
オーディオフレーム期間、デコードされたオーディオデータを蓄積し、そしてフレーム期間毎にオーディオデータのフレームを出力するように構成されたオーディオバッファと、そして
ビデオデータの前記フレームおよびオーディオデータの前記フレームを受け取りそしてオーディオビデオデータの同期をとられたフレームを出力するように構成された結合器と、
を有する基地局装置と；
を備える無線通信システム。
【請求項１９】
第１符号化されたデータストリームを受け取り、デコードしそしてデコードされた第１データストリームを出力することと、なおここでは、前記第１符号化されたデータストリームは情報間隔の間、第１ビットレートを有する；
第２符号化されたデータストリームを受け取り、デコードしそしてデコードされた第２データストリームを出力することと、なおここでは、前記第２符号化されたデータストリームは前記情報間隔の間、第２ビットレートを有する；
少なくとも１情報間隔の間、前記デコードされた第１データストリームを蓄積し、そして間隔期間毎に前記デコードされた第１データストリームのフレームを出力することと；
少なくとも１情報間隔の間、前記デコードされた第２データストリームを蓄積し、そして間隔期間毎に前記デコードされた第２データストリームのフレームを出力することと；そして
デコードされた第１データストリームの前記フレームとデコードされた第２データストリームの前記フレームとを結合し、そして第１および第２のデコードされたデータストリームの同期をとられたフレームを出力することと；
を含む、データストリームをデコードし同期させる方法。
【請求項２０】
オーディオおよびビデオデータをデコードし同期させる方法であって、
符号化されたビデオデータを受け取りそしてデコードされたビデオデータを出力することと；
符号化されたオーディオデータを受け取りそしてデコードされたオーディオデータを出力することと；
ビデオフレーム期間、デコードされたビデオデータを蓄積し、そしてフレーム期間毎にビデオデータのフレームを出力することと；
オーディオフレーム期間、デコードされたオーディオデータを蓄積し、そしてフレーム期間毎にオーディオデータのフレームを出力することと；そして
ビデオデータの前記フレームとオーディオデータの前記フレームとを結合し、そしてビデオフレーム期間毎にオーディオビデオデータの同期をとられたフレームを出力することと；
を含む方法。
【請求項２１】
オーディオおよびビデオデータを符号化する方法であって、
ビデオＲＴＰストリームを受け取りそしてＲＴＰビデオデータの全フレームをビデオフレームレートと同じあるいはより少ない期間を占める通信チャネルパケットに割り当てることと；そして
オーディオＲＴＰストリームを受け取りそしてＲＴＰオーディオデータの全フレームをオーディオフレームレートと同じあるいはより少ない期間を占める通信チャネルパケットに割り当てることと；
を含む、方法。
【請求項２２】
データストリームをデコードし同期させる方法を具現化するコンピュータ可読媒体であって、前記方法は
第１符号化されたデータストリームを受け取り、デコードしそしてデコードされた第１データストリームを出力することと、なおここでは、前記第１符号化されたデータストリームは情報間隔の間、第１ビットレートを有する；
第２符号化されたデータストリームを受け取り、デコードしそしてデコードされた第２データストリームを出力することと、なおここでは、前記第２符号化されたデータストリームは前記情報間隔の間、第２ビットレートを有する；
少なくとも１情報間隔の間、前記デコードされた第１データストリームを蓄積し、そして間隔期間毎に前記デコードされた第１データストリームのフレームを出力することと；
少なくとも１情報間隔の間、前記デコードされた第２データストリームを蓄積し、そして間隔期間毎に前記デコードされた第２データストリームのフレームを出力することと；そして
デコードされた第１データストリームの前記フレームとデコードされた第２データストリームの前記フレームとを結合し、そして第１および第２のデコードされたデータストリームの同期をとられたフレームを出力することと；
を含む、コンピュータ可読媒体。
【請求項２３】
オーディオおよびビデオデータをデコードし同期させる方法を具現化するコンピュータ可読媒体であって、前記方法は
符号化されたビデオデータを受け取りそしてデコードされたビデオデータを出力することと；
符号化されたオーディオデータを受け取りそしてデコードされたオーディオデータを出力することと；
ビデオフレーム期間、デコードされたビデオデータを蓄積し、そしてフレーム期間毎にビデオデータのフレームを出力することと；
オーディオフレーム期間、デコードされたオーディオデータを蓄積し、そしてフレーム期間毎にオーディオデータのフレームを出力することと；そして
ビデオデータの前記フレームとオーディオデータの前記フレームとを結合し、そしてビデオフレーム期間毎にオーディオビデオデータの同期をとられたフレームを出力することと；
を含む、コンピュータ可読媒体。
【請求項２４】
オーディオおよびビデオデータを符号化する方法を具現化するコンピュータ可読媒体であって、前記方法は、
ビデオＲＴＰストリームを受け取りそしてＲＴＰビデオデータの全フレームをビデオフレームレートと同じあるいはより少ない期間を占める通信チャネルパケットに割り当てることと；そして
オーディオＲＴＰストリームを受け取りそしてＲＴＰオーディオデータの全フレームをオーディオフレームレートと同じあるいはより少ない期間を占める通信チャネルパケットに割り当てることと；
を含む、コンピュータ可読媒体。
【請求項２５】
第１符号化されたデータストリームを受け取り、そしてデコードされた第１データストリームを出力するための手段と、なおここでは、前記第１符号化されたデータストリームは情報間隔の間、第１ビットレートを有する；
第２符号化されたデータストリームを受け取り、そしてデコードされた第２データストリームを出力するための手段と、なおここでは、前記第２符号化されたデータストリームは前記情報間隔の間、第２ビットレートを有する；
少なくとも１情報間隔の間、前記デコードされた第１データストリームを蓄積し、そして間隔期間毎に前記デコードされた第１データストリームのフレームを出力するための手段と；
少なくとも１情報間隔の間、前記デコードされた第２データストリームを蓄積し、そして間隔期間毎に前記デコードされた第２データストリームのフレームを出力するための手段と；そして
デコードされた第１データストリームの前記フレームとデコードされた第２データストリームの前記フレームとを結合し、そして第１および第２のデコードされたデータストリームの同期をとられたフレームを出力するための手段と；
を備える、データストリーム同期装置。
【請求項２６】
符号化されたビデオデータを受け取りそしてデコードされたビデオデータを出力するための手段と；
符号化されたオーディオデータを受け取りそしてデコードされたオーディオデータを出力するための手段と；
ビデオフレーム期間、デコードされたビデオデータを蓄積し、そしてフレーム期間毎にビデオデータのフレームを出力するための手段と；
オーディオフレーム期間、デコードされたオーディオデータを蓄積し、そしてフレーム期間毎にオーディオデータのフレームを出力するための手段と；そして
ビデオデータの前記フレームとオーディオデータの前記フレームとを結合し、そしてオーディオビデオデータの同期をとられたフレームを出力するための手段と；
を備える遠隔局装置。
【請求項２７】
ビデオＲＴＰストリームを受け取りそしてＲＴＰビデオデータの全フレームをビデオフレームレートと同じあるいはより少ない期間を占める通信チャネルパケットに割り当てるための手段と；そして
オーディオＲＴＰストリームを受け取りそしてＲＴＰオーディオデータの全フレームをオーディオフレームレートと同じあるいはより少ない期間を占める通信チャネルパケットに割り当てるための手段と；
を備える遠隔局装置。
【請求項２８】
符号化されたビデオデータを受け取りそしてデコードされたビデオデータを出力するための手段と；
符号化されたオーディオデータを受け取りそしてデコードされたオーディオデータを出力するための手段と；
ビデオフレーム期間、デコードされたビデオデータを蓄積し、そしてフレーム期間毎にビデオデータのフレームを出力するための手段と；
オーディオフレーム期間、デコードされたオーディオデータを蓄積し、そしてフレーム期間毎にオーディオデータのフレームを出力するための手段と；そして
ビデオデータの前記フレームとオーディオデータの前記フレームとを結合しそしてオーディオビデオデータの同期をとられたフレームを出力するための手段と；
を備える基地局装置。
【請求項２９】
ビデオＲＴＰストリームを受け取りそしてＲＴＰビデオデータの全フレームをビデオフレームレートと同じあるいはより少ない期間を占める通信チャネルパケットに割り当てるための手段と；そして
オーディオＲＴＰストリームを受け取りそしてＲＴＰオーディオデータの全フレームをオーディオフレームレートと同じあるいはより少ない期間を占める通信チャネルパケットに割り当てるための手段と；
を備える基地局装置。
【発明の詳細な説明】
【優先権主張】
【０００１】
（米国特許法１１９条のもとでの優先権の主張）
本特許出願は、本譲受人に譲渡され、参照してここに明示的に組み込まれる、２００４年５月１３日に出願された「ＣＤＭＡ物理層プロダクトによって搬送されるマルチメディアパケット(Multimedia Packets Carried by CDMA Physical Layer Products)」と題される米国特許仮出願第６０／５７１，６７３号の優先権を主張する。
【０００２】
（係属中関連特許出願の参照）
本特許出願は、次の同時係属中の米国特許出願に関連する：
同時に出願され、本譲受人に譲渡され、参照してここに全体として明示的に組み込まれる、代理人整理番号０３０１６６ＵＩの「通信チャネル上での情報の配信(Delivery Of Information Over A Communication Channel)」；
同時に出願され、本譲受人に譲渡され、参照してここに全体として明示的に組み込まれる、代理人整理番号０３０１６６Ｕ２の「通信システムのチャネルへの情報の割り当てのための方法および装置(Method And Apparatus For Allocation Of Information To Channels Of A Communication System)」；そして
同時に出願され、本譲受人に譲渡され、参照してここに全体として明示的に組み込まれる、代理人整理番号０３０１６６Ｕ３の「無線通信システム上で送信されるマルチメディアデータのヘッダ圧縮 (Header Compression Of Multimedia Data Transmitted Over A Wireless Communication System)」。  
【背景】
【０００３】
（分野）
本発明は、概して無線通信システム上での情報の配信に関し、より具体的には、無線通信システム上で送信されるオーディオおよびビデオデータの同期に関係する。
【０００４】
（背景）
様々な通信ネットワーク上でオーディオまたはビデオデータのようなマルチメディアあるいはリアルタイムデータを送信するための様々な技術が開発されてきている。そのような１つの技術は、リアルタイムトランスポートプロトコル(real-time transport protocol)（ＲＴＰ）である。ＲＴＰは、マルチキャスト(multicast)またはユニキャスト(unicast)のネットワークサービス上でリアルタイムデータを送信するアプリケーションに適している終端間ネットワーク伝送機能(end-to-end network transport functions)を提供する。ＲＴＰはリソース予約(resource reservation)に対応せず、リアルタイムサービス用のサービスの質(quality-of-service)を保証しない。大きなマルチキャストネットワークに拡張可能な方法でデータ配信のモニタリングを可能としそして最小限の制御および識別機能性(minimal control and identification functionality)を提供するコントロールプロトコル（ＲＴＣＰ）によって、データ伝送は拡張される。ＲＴＰとＲＴＣＰは、基礎をなすトランスポートおよびネットワークの層に依存しないように設計される。プロトコルは、ＲＴＰレベルのトランスレータおよびミキサーの使用をサポートする。ＲＴＰに関する更なる詳細は、ここに参照することによりその全体が組みこまれる、「ＲＴＰ：リアルタイムアプリケーション用のトランスポートプロトコル(RTP:A Transport Protocol for Real-Time Applications)」（Ｈ．Ｓｃｈｕｌｚｒｉｎｎｅ［コロンビア大学］、Ｓ．Ｃａｓｎｅｒ［パケット設計］、Ｒ．Ｆｒｅｄｅｒｉｃｋ［ブルーコートシステムズ社］、Ｖ．Ｊａｃｏｂｓｏｎ［パケット設計］、ＲＦＣ−３５５０標準規格草案、インターネットエンジニアリング ステアリング グループ、２００３年７月）の中で見つけられることができる。
【０００５】
ＲＴＰの側面を説明する例は、ＲＴＰが音声通信用のインターネットのインターネットプロトコル（ＩＰ）サービスのトップに維持されている電話会議である。割り当てメカニズムを通して、会議の発信元はマルチキャストグループアドレスおよびペアのポートを得る。１つのポートはオーディオデータ用に使用され、そして、他方はコントロール（ＲＴＣＰ）パケット用に使用される。このアドレスとポート情報は対象とする参加者に配布される。各会議参加者によって使用される電話会議アプリケーションは、小さなパーティション、例えば２０ｍｓ持続期間のパーティションで、オーディオデータを送信する。オーディオデータの各パーティションはＲＴＰヘッダに先行され、そして、結合されたＲＴＰヘッダおよびデータは、ＵＤＰパケットにカプセル化される。ＲＴＰヘッダは、データに関する情報を含み、例えば、それは、ＰＣＭ、ＡＤＰＣＭあるいはＬＰＣのような、どのタイプのオーディオ符号化が各パケットに含まれているか、ＲＴＰパケットが与えられる予定の時間Ｔｉｍｅ Ｓｔａｍｐ（タイムスタンプ）（ＴＳ）、失われた／複製のパケットを検知するために使用されることができるパケットのシーケンシアル番号Ｓｅｑｕｅｎｃｅ Ｎｕｍｂｅｒ（シーケンス番号）（ＳＮ）、等を示す。これは、送信者が、例えば、低帯域幅リンクを通して接続される新しい参加者に対応するために、あるいはネットワーク混雑状態の指示に対応するために、会議中に使用される符号化のタイプを変更することを可能にする。
【０００６】
ＲＴＰ標準規格に従って、もしオーディオおよびビデオメディアの両方がＲＴＰ会議の中で使用される場合、それらは別々のＲＴＰセッションとして送信される。すなわち、別々のＲＴＰおよびＲＴＣＰパケットが、２つの異なるＵＤＰポートペアおよび／またはマルチキャストアドレスを使用して、各メディアに対し送信される。セッションが関連付けられることができるように、両方のセッションに参加しているユーザが両方のＲＴＣＰパケットの中で同じ名前を使用しなければならないこと以外は、オーディオおよびビデオセッション間でＲＴＰレベルでの直接の結合はない。
【０００７】
別々のＲＴＰセッションとしてオーディオとビデオを送信する動機は、会議中の何人かの参加者に、もし彼らが選択する場合は、ただ１つのメディアを受け取ることを可能にすることである。分離にもかかわらず、発信元のオーディオおよびビデオの同期のとられた再生は、両方のセッションのＲＴＰ／ＲＴＣＰパケットで搬送されるタイミング情報を使用して達成されることができる。
【０００８】
インターネットのようなパケットネットワークは、時々、パケットを失う、あるいは再整理するかもしれない。更に、個々のパケットは、それぞれの伝送時間において不定量の遅れを経験するかもしれない。これらの障害に対処するために、ＲＴＰヘッダは、受信側が送信元によって生成されたタイミングを再構築することを可能にするタイミング情報およびシーケンス番号を含んでいる。このタイミング再構築は、セッションのＲＴＰパケットの各送信元に対し別々に行なわれる。
【０００９】
たとえＲＴＰヘッダがタイミング情報およびシーケンス番号を含んでいても、オーディオとビデオが別々のＲＴＰストリームで配信されるので、ストリーム間には、リップシンク(lip-synch)あるいはＡＶシンク(AV-synch)とも呼ばれる、潜在的なタイムスリップ(time slip)がある。受信側でのアプリケーションは、オーディオとビデオを与える前に、これらのストリームの再同期をとらなければならないだろう。更に、オーディオとビデオのようなＲＴＰストリームが無線ネットワーク上で送信されるアプリケーションにおいては、パケットが失われるかもしれない可能性が増加し、そのために、ストリームの再同期をより困難にしている。
【００１０】
従って、ネットワーク上で送信されるオーディオおよびビデオＲＴＰストリームの同期を改善するための技術的必要性がある。
【発明の概要】
【００１１】
ここに開示される実施形態は、データストリームが同期されるように、ネットワーク上、例えば無線あるいはＩＰネットワーク上、で送信されるオーディオビデオストリームのようなデータストリームを符号化することにより、上述の必要性に対応する。例えば、オーディオの全フレーム(an entire frame of audio)およびビデオの全フレーム(an entire frame of video)は、受信側中のアプリケーションによって、オーディオおよびビデオフレームを与えるのに必要とされるフレーム期間内に送信される。例えば、データストリーム同期装置(a data stream synchronizer)は、第１符号化されたデータストリーム(a first encoded data stream)を受け取りそしてデコードされた第１データストリーム(a decoded first data stream)を出力するように構成された(configured)第１デコーダを含んでよい、なおここでは、第１符号化されたデータストリームは、情報間隔の間(during an information interval)、第１ビットレート(a first bit rate)を有する。同期をとられたデータはまた、第２符号化されたデータストリームを受け取りそしてデコードされた第２データストリームを出力するように構成された第２デコーダを含んでもよい、なおここでは、第２符号化されたデータストリームは、情報間隔の間、第２ビットレートを有する。第１バッファは、少なくとも１情報間隔の間、デコードされた第１データストリーム(the first decoded data stream)を蓄積し、そして間隔期間毎にデコードされた第１データストリームのフレームを出力するように構成されている。第２バッファは、少なくとも１情報間隔の間、デコードされた第２データストリームを蓄積し、そして間隔期間毎に前記デコードされた第２データストリームのフレームを出力するように構成されている。それから、デコードされた第１データストリームのフレームおよびデコードされた第２データストリームのフレームを受け取るように構成された結合器(a combiner)が、第１および第２のデコードされたデータストリームの同期をとられたフレームを出力する。第１符号化データストリームはビデオデータであり得、そして第２符号化データストリームはオーディオデータであり得る。
【００１２】
この技術の一面は、オーディオおよびビデオＲＴＰストリームを受け取ることと、そして、ＲＴＰビデオデータの全フレームをビデオフレームレートと同じあるいはより少ない期間を占める(that occupy the same period, or less, as the video frame rate)通信チャネルパケットに割り当てることと、を含む。また、ＲＴＰオーディオデータの全フレームは、オーディオフレームレートと同じあるいはより少ない期間を占める通信チャネルパケットに割り当てられる。ビデオとオーディオの通信チャネルパケットは、同時に送信される。ＲＴＰストリームを受け取ることおよび割り当てることは、遠隔局。又は基地局において実行されることができる。
【００１３】
別の面は、オーディオおよびビデオデータを含んでいる通信チャネルパケットを受け取ることである。オーディオおよびビデオデータをデコードし、そしてデータを、オーディオおよびビデオデータのフレーム期間と等しい期間、蓄積する。フレーム期間の終わりに、ビデオのフレームとオーディオのフレームとは結合される。オーディオフレームおよびビデオフレームが同時に送信され、そして各伝送がフレーム期間内に生じるので、オーディオおよびビデオのフレームは同期がとられる。デコードすることおよび蓄積することは、遠隔局または基地局で実行されることができる。
【図面の簡単な説明】
【００１４】
【図１】図１は、本発明に従い構成された通信システムの部分の説明図である。
【図２】図２は、図１のシステムにおける無線ネットワーク上でパケットデータを配信するための例示的なパケットデータネットワークおよび様々なエアインタフェースオプションを示すブロック図である。
【図３】図３は、無線通信チャネル上での別々のＲＴＰストリームの伝送のための従来の技術における同期問題を示すチャートである。
【図４】図４は、本発明に従う、無線通信チャネル上での別々のＲＴＰストリームの伝送のための技術を示すチャートである。
【図５】図５は、通信チャネルパケットを受け取るように構成された無線オーディオ／ビデオ受信機の一部分のブロック図である。
【図６】図６は、通信チャネルパケットを送信するように構成された無線オーディオ／ビデオ送信機の一部分のブロック図である。
【図７】図７は、無線通信リンク上での独立したＲＴＰストリームの伝送のフローチャートである。
【図８】図８は、無線通信チャネル上での受信オーディオおよびビデオデータのフローチャートである。
【図９】図９は、本発明の例示的な実施形態に従って構成された、無線通信デバイスあるいは移動局（ＭＳ）のブロック図である。
【詳細な説明】
【００１５】
ここで使用されている用語「例示的な(exemplary)」は、「例(example)、実例(instance)、または例証(illustration)である」を意味している。「例示的な」としてここで説明されるどの実施形態も、他の実施形態より好ましいまたは有利であるとして必ずしも解釈されるべきではない。
【００１６】
ここで使用されている用語「ストリーミング(streaming)」は、対話型のユニキャストまたはブロードキャストアプリケーションにおける専用または共有チャネル上での本質的に連続するマルチメディアデータ、例えば、オーディオ、スピーチまたはビデオ情報など、のリアルタイム配信(real time delivery)を意味する。ここで使用されるビデオ用のフレーズ「マルチメディアフレーム(multimedia frame)」は、デコ-ディング後に、ディスプレイデバイス上で表示される／描画されることができるビデオフレームを意味する。ビデオフレームはさらに、独立してデコード可能な単位(independently decodable units)に分割されることができる。ビデオ専門用語では、これらは「スライス(slices)」と呼ばれる。オーディオとスピーチの場合には、ここで使用される用語「マルチメディアフレーム」は、スピーチまたはオーディオが伝送および受信機でのデコーディングのために圧縮されるタイムウィンドウ(a time window)中の情報を意味する。ここで使用されるフレーズ「情報単位間隔(information unit interval)」は、上記に記述されたマルチメディアフレームの時間期間(the time duration)を表わす。例えば、ビデオの場合には、情報単位間隔は、１０フレーム／秒ビデオの場合に１００ミリセカンドである。更に、１例として、スピーチの場合には、情報単位間隔は、ｃｄｍａ２０００、ＧＳＭ（登録商標）およびＷＣＤＭＡにおいて、典型的に２０ミリセカンドである。この説明から、オーディオ／スピーチフレームは通常、独立してデコード可能な単位に更には分割されず、そしてビデオフレームは、通常、独立してデコード可能なスライスに分割される、ということが明らかである。フレーズ「マルチメディアフレーム」、「情報単位間隔」、等が、ビデオ、オーディオおよびスピーチのマルチメディアデータを参照するときは、コンテキストから明らかである。
【００１７】
１セットの固定ビットレート通信チャネル上で送信されるＲＴＰストリームを同期させるための技術が説明される。本技術は、ＲＴＰストリームの中で送信される情報単位をデータパケットにパーティションで区切ること(partitioning)を含んでおり、ここではデータパケットのサイズは、通信チャネルの物理層データパケットサイズと適合する(match)ように選択される。例えば、互いに同期がとられるオーディオおよびビデオデータは符号化され得る。エンコーダは、それがデータを通信チャネルの利用可能な物理層パケットサイズに適合するサイズに符号化するように、制約され得る。ＲＴＰストリームが同時にまたは連続的に送信されるが、タイムフレーム内でオーディオおよびビデオパケットが同期して与えられることが必要とされるので、データパケットサイズを１以上の利用可能な物理層パケットサイズに適合するように制約することによって、同期がとられている複数のＲＴＭストリームを送信することをサポートする。例えば、もしオーディオおよびビデオＲＴＰストリームが送信され、そしてデータパケットが、それらのサイズが利用可能な物理層パケットと適合するように、抑制される場合、そのとき、オーディオおよびビデオデータはディスプレイ時間内に送信されそして同期をとられる。上記の（係属中関連特許出願の参照）においてリストされた同時に係属中の出願の中で説明されているように、ＲＴＰストリームを表わすために必要とされるデータの量が変わるとき、異なる物理層パケットサイズの選択をとおして通信チャネル容量は変わる。
【００１８】
ＲＴＰストリームのような情報単位の例は、可変ビットレートデータストリーム、マルチメディアデータ、ビデオデータ、およびオーディオデータを含む。情報単位は、コンスタントな繰返しレートで発生し得る。例えば、情報単位は、オーディオ／ビデオデータのフレームであってよい。
【００１９】
異なる国内および国際標準規格は、様々なエアインタフェース(air interface)をサポートするために確立されてきており、例えば、先進移動電話サービス(Advanced Mobile Phone Service)（ＡＭＰＳ）、汎欧州デジタル移動電話方式(Global System for Mobile)（ＧＳＭ）、汎用パケット無線システム(General Packet Radio Service)（ＧＰＲＳ）、拡張データＧＳＭ環境(Enhanced Data GSM Environment)（ＥＤＧＥ）、暫定標準規格９５（ＩＳ−９５）およびその派生、ＩＳ−９５Ａ、ＩＳ−９５Ｂ、ＡＮＳＩ  Ｊ−ＳＴＤ−００８（ここでは集合的にＩＳ−９５としばしば呼ばれる）、そして新生の高データレートシステム、例えば、ｃｄｍａ  ２０００、ユニバーサル移動体通信サービス(Universal Mobile Telecommunications Service)（ＵＭＴＳ）、広帯域ＣＤＭＡ(wideband CDMA)、ＷＣＤＭＡなど、を含む。これらの標準規格は、米国電気通信工業会（ＴＩＡ）、第三世代パートナーシッププロジェクト（３ＧＰＰ）、欧州電気通信標準協会（ＥＴＳＩ）および他の良く知られた標準規格団体によって広められている。
【００２０】
図１は、本発明に従って構成された通信システム１００を示す。通信システム１００は、インフラストラクチャ(infrastructure)１０１、複数の無線通信デバイス(wireless communication devices)（ＷＣＤ）１０４および１０５、そして地上通信線通信装置(landline communication devices)１２２および１２４を含んでいる。ＷＣＤはまた移動局(mobile stations)（ＭＳ）あるいはモバイル(mobiles)と呼ばれるであろう。一般に、ＷＣＤは、移動可能か固定されている。地上通信線通信装置１２２および１２４は、ストリーミングデータのような、様々なタイプのマルチメディアデータを提供する、サービスをサービングノード(serving nodes)、あるいはコンテンツサーバを含むことができる。更に、ＭＳは、マルチメディアデータのようなストリーミングデータを送信することができる。
【００２１】
インフラストラクチャ１０１はまた、他のコンポーネント、例えば、基地局(base stations)１０２、基地局コントローラ(base station controllers)１０６、モバイル交換局(mobile switching centers)１０８、スイッチングネットワーク(a switching network)１２０および同様のもの、を含んでいるかもしれない。一実施形態においては、基地局１０２は、基地局コントローラ１０６と一体化され、そして、他の実施形態においては、基地局１０２と基地局コントローラ１０６は別々のコンポーネントである。異なるタイプのスイッチングネットワーク１２０、例えば、ＩＰネットワーク、あるいは公衆交換電話網（ＰＳＴＮ）が、通信システム１００において信号を送るために使用されてもよい。
【００２２】
用語「順方向リンク(forward link)」あるいは「ダウンリンク(downlink)」は、インフラストラクチャ１０１からＭＳまでの信号経路を指し、そして、用語「逆方向リンク(reverse link)」あるいは「アップリンク(up link)」は、ＭＳからインフラストラクチャまでの信号経路を指す。図１において示されるように、ＭＳ１０４および１０５は、順方向リンク上で信号１３２および１３６を受け取り、逆方向リンク上で信号１３４および１３８を送信する。一般に、ＭＳ１０４および１０５から送信される信号は、別の通信デバイス、例えば、別の遠隔ユニットなど、あるいは地上通信線通信装置１２２および１２４での受信を目的としており、ＩＰネットワークまたはスイッチングネットワーク１２０を通って送られる。例えば、もし開始ＷＣＤ(initiating WCD)１０４から送信された信号１３４が送信先ＭＳ(destination MS)１０５によって受け取られるように意図される場合、信号はインフラストラクチャ１０１を通して送られ、信号１３６が順方向リンク上で送信先ＭＳ１０５に送信される。同様に、インフラストラクチャ１０１中において開始された信号は、ＭＳ１０５にブロードキャストされるかもしれない。例えば、コンテンツプロバイダは、ストリーミングマルチメディアデータのようなマルチメディアデータを、ＭＳ１０５に送ってもよい。典型的には、ＭＳあるいは地上通信線通信装置のような通信デバイスは、信号のイニシエータ(initiator)と送信先の両方であり得る。
【００２３】
ＭＳ１０４の例は、携帯電話、無線通信可能パーソナルコンピュータ、および携帯情報端末（ＰＤＡ）、そして他の無線デバイスを含む。通信システム１００は、１つ以上の無線標準規格をサポートするように設計されてもよい。例えば、標準規格は、汎欧州デジタル移動電話方式（ＧＳＭ）、汎用パケット無線システム（ＧＰＲＳ）、拡張されたデータＧＳＭ環境（ＥＤＧＥ）、ＴＩＡ／ＥＩＡ−９５−Ｂ（ＩＳ−９５）、ＴＩＡ／ＥＩＡ−９８−Ｃ（ＩＳ−９８）、ＩＳ２０００、ＨＲＰＤ、ｃｄｍａ２０００、広帯域ＣＤＭＡ（ＷＣＤＭＡ）として呼ばれる標準規格、およびその他を含んでよい。
【００２４】
図２は、無線ネットワーク上でパケットデータを配信するための例示的なパケットデータネットワークおよび様々なエアインタフェースのオプションを図示するブロック図である。記述される技術は、図２において例示されるもののようなパケット交換データネットワークにおいてインプリメントされることができる。図２の例で示されるように、パケット交換データネットワークシステムは、無線チャネル２０２、複数の受信ノード(recipient nodes)あるいはＭＳ２０４、送信ノード(sending node)あるいはコンテンツサーバ２０６、サービングノード２０８、およびコントローラ２１０を含んでよい。送信ノード２０６は、インターネットのようなネットワーク２１２を介してサービングノード２０８に結合されることができる。
【００２５】
サービングノード２０８は、例えば、パケットデータサービングノード（ＰＤＳＮ）あるいはサービングＧＰＲＳサポートノード（ＳＧＳＮ）あるいはゲートウェイＧＰＲＳサポートノード（ＧＧＳＮ）を備えてよい。サービングノード２０８は、送信ノード２０６からパケットデータを受け取り、コントローラ２１０に情報のパケットを供給できる。コントローラ２１０は、例えば、基地局コントローラ／パケット制御機能（ＢＳＣ／ＰＣＦ）あるいは無線ネットワークコントローラ(Radio Network Controller)（ＲＮＣ）を備えるかもしれない。一実施形態においては、コントローラ２１０は、無線アクセスネットワーク(Radio Access Network)（ＲＡＮ）上でサービングノード２０８と通信する。コントローラ２１０は、サービングノード２０８と通信し、そして、少なくとも１つの受信ノード２０４に無線チャネル２０２上で情報のパケットを送信する。
【００２６】
一実施形態においては、サービングノード２０８または送信ノード２０６、あるいは両方は、また、データストリームを符号化するためのエンコーダ、あるいはデータストリームをデコードするためのデコーダ、あるいは両方を含んでいるかもしれない。例えば、エンコーダは、ビデオストリームを符号化し、それによって、データの可変サイズのフレーム(variable-sized frames of data)を生成することができるであろう、また、デコーダは、データの可変サイズのフレームを受け取り、それらをデコードすることができるであろう。フレームが様々なサイズであるがビデオフレームレートが一定であるので、データの可変ビットレートストリームが生成される。同様に、ＭＳは、データストリームを符号化するためのエンコーダ、あるいは受信データストリームをデコードするためのデコーダ、あるいは両方を、含んでいるかもしれない。用語「コーデック(codec)」は、エンコーダとデコーダの組合せを説明するために使用される。
【００２７】
図２に例示される一例では、マルチメディアデータのようなデータが、ネットワーク、またはインターネット２１２に接続されている送信ノード２０６から、受信ノード、またはＭＳ２０４に、サービングノード、またはパケットデータサービングノード（ＰＤＳＮ）２０６、およびコントローラ、または基地局コントローラ／パケット制御機能（ＢＳＣ／ＰＣＦ）２０８を経由して送られることができる。ＭＳ２０４とＢＳＣ／ＰＣＦ２１０の間の無線チャネル２０２インタフェースは、エアインタフェースであり、そして典型的に、シグナリング(signaling)とベアラ(bearer)のための多くのチャネル、あるいはペイロード(payload)、データを使用することができる。
【００２８】
エアインタフェース２０２は、多くの無線標準規格のうちのいずれに従っても操作し得る。例えば、標準規格は、汎欧州デジタル移動電話方式（ＧＳＭ）、汎用パケット無線システム（ＧＰＲＳ）、拡張されたデータＧＳＭ環境（ＥＤＧＥ）のような、ＴＤＭＡに基づく標準規格、あるいはＴＩＡ／ＥＩＡ−９５−Ｂ（ＩＳ−９５）、ＴＩＡ／ＥＩＡ−９８−Ｃ（ＩＳ−９８）、ＩＳ２０００、ＨＲＰＤ、ｃｄｍａ２０００、広帯域ＣＤＭＡ（ＷＣＤＭＡ）のようなＣＤＭＡに基づく標準規格、およびその他、を含むことができる。
【００２９】
図３は、無線通信チャネル上での別々のＲＴＰストリームの伝送のための従来の技術における同期問題を示すチャートである。図３において示される例において、ビデオのフレームおよびオーディオデータはＲＴＰストリームに符号化され、そのあと、通信チャネルパケットに割り当てられる。図３は、ビデオフレーム３０２のストリームを示す。典型的には、ビデオフレームは一定のレートで生じる。例えば、ビデオフレームは、１０Ｈｚレートで生じるかもしれない、すなわち新しいフレームが１００ミリセカンド毎に生じる。
【００３０】
図３の中で示されるように、各フレームを表わす棒の高さによって示されるように、個々のビデオフレームは異なる量のデータを含んでいるかもしれない。例えば、もしビデオデータが動画専門家グループ(Motion Picture Expert Group)（ＭＰＥＧ）データとして符号化される場合、そのときビデオストリームはイントラフレーム(intra frames)（Ｉフレーム）および予測フレーム(predictive frames)（Ｐフレーム）から構成される。Iフレームは自己完結型(self-contained)である、すなわち、それは１つの完全なビデオのフレームを描画するまたは表示するために必要とされる全ての情報を含む。Ｐフレームは自己完結型ではなく、典型的に、前のフレームに対する差異情報(differential information)、例えば運動ベクトルおよび差異テクスチャ情報(differential texture information)など、を含む。典型的に、Ｉフレームは、コンテンツおよびエンコーダの設定に依存して、Ｐフレームより最大８〜１０倍大きいかもしれない。ビデオフレームは異なる量のデータを有するかもしれないけれども、それらはそれでも一定のレートで生じる。IとＰのフレームは、更に、複数のビデオスライスにパーティションで区切られることができる。ビデオスライスはディスプレイ画面におけるより小さな領域を表わし、そして、デコーダによって個々にデコードされることができる。
【００３１】
図３においては、ビデオフレームＮおよびＮ＋４がＩフレームを表わし、そして、ビデオフレームＮ＋１、Ｎ＋２、Ｎ＋３、およびＮ＋５がＰフレームを表わすことができるであろう。示されるように、Ｉフレームは、フレームを表わす棒の高さによって示され、Ｐフレームよりもより大きい量のデータを含む。ビデオフレームは次に、ＲＴＰストリーム３０４中のパケットにパケット化される。図３において示されるように、ビデオＩフレームＮおよびＮ＋４に対応するＲＴＰパケットＮおよびＮ＋４は、それらの幅で示されるように、ビデオＰフレームＮ＋１、Ｎ＋２、およびＮ＋３に対応するＲＴＰパケットＮ＋ｌ、Ｎ＋２、およびＮ＋３よりもより大きい。
【００３２】
ビデオＲＴＰパケットは、通信チャネルパケット３０６に割り当てられる。ＣＤＭＡあるいはＧＳＭのような従来の通信チャネルにおいては、通信チャネルデータパケット３０６は一定のサイズで、そして一定のレートで送信される。例えば、通信チャネルデータパケット３０６は、５０Ｈｚレートで送信され得る、すなわち、新しいデータパケットは２０ミリ秒毎に送信される。通信チャネルパケットは一定のサイズであるので、より大きなＲＴＰパケットを送信することはより多くの通信チャネルパケットをとる。このように、ＩビデオフレームＮおよびＮの＋４に対応するＲＴＰパケットを送信することは、ＰビデオフレームＮ＋１、Ｎ＋２、およびＮ＋３に対応するより小さなＲＴＰパケットを送信するために必要とされる通信チャネルパケットよりも、より多くの通信チャネルパケット３０６をとる。図３において示された例においては、ビデオフレームＮは、９つの通信チャネルパケット３０６のブロック３０８を占める。ビデオフレームＮ＋１、Ｎ＋２、およびＮ＋３は、各々４つの通信チャネルパケット３０６を持ったブロック３１０，３１２、および３１４をそれぞれ占める。ビデオフレームＮ＋４は、９つの通信チャネルパケット３０６のブロック３１６を占める。
【００３３】
ビデオデータの各フレームに対し、対応するオーディオデータがある。図２は、オーディオフレーム３２０のストリームを示す。各オーディオフレームＮ、Ｎ＋１、Ｎ＋２、Ｎ＋３、Ｎ＋４、およびＮ＋５は、それぞれのビデオフレームに対応し、そして１０Ｈｚレートで生じる、すなわち、新しいオーディオフレームが１００ミリ秒毎に始まる。一般に、オーディオデータは、関連するビデオデータよりも、複雑ではないので、それはより少ないビットによって表わすことができ、そして、ＲＴＰパケット３２２がフレームの期間内に通信チャネル上で送信されることができるサイズであるように、典型的に符号化される。更に、典型的なオーディオフレームは、ＣＤＭＡ、ＧＳＭ、ＷＤＣＭＡなどにおいては、２０ミリ秒毎に一度生成される。複数のオーディオフレームは、そのような場合、オーディオおよびビデオのパケットがＲＴＰパケット化に対し同じ時間期間を表わすようにバンドルされる(bundled)。例えば、ＲＴＰパケットＮ、Ｎ＋１、Ｎ＋２、Ｎ＋３、Ｎ＋４、およびＮ＋５は、各ＲＴＰパケットが１００ミリ秒フレーム期間内に通信チャネル上で送信されることができるように各ＲＴＰパケットが通信チャネルパケット３２４に割り当てられることができるサイズである。
【００３４】
図３において示されるように、オーディオフレームパケットＮ、Ｎ＋ｌ、Ｎ２、Ｎ＋３、Ｎ＋４、およびＮ＋５は、各々、ブロック３２６，３２８、３３０，３３２、３３４、および３３６をそれぞれ占め、各々は５つの通信チャネルパケット３２４を備える。
【００３５】
ビデオフレームとオーディオフレームのそれらそれぞれの通信チャネルパケットへの割り当ての比較は、オーディオおよびビデオのフレーム間の同期の損失(the loss of synchronization)を示す。図３中で示された例においては、９つの通信チャネルパケット３０６のブロック３０８が、ビデオフレームＮを送信するために要求される。ビデオフレームＮに関連したオーディオフレームＮは、５つの通信チャネルパケット３２４のブロック３２６の中で送信された。通信チャネルパケット中のビデオおよびオーディオが同時に送信されるので、ビデオフレームＮの伝送の間、オーディオフレームＮ＋１のブロック３２８中の５つの通信チャネルパケットのうちの４つと同様に、オーディオフレームＮも送信される。
【００３６】
例えば、図３において、例えば、もしビデオ、および関連するオーディオ、フレームレートが１０Ｈｚであり、そして、通信チャネルパケットレートが５０Ｈｚである場合、そのとき、フレームＮの１００ミリ秒期間の間に、全てのオーディオデータは送信されるが、ビデオデータは一部のみが送信される。この例においては、フレームＮの全ビデオデータは、別の４つの通信チャネルパケット３０６が送信され、オーディオフレームＮの完全な伝送のための１００ミリ秒に比較し伝送のために１８０ミリ秒を必要とする完全なビデオフレームＮとなるまで、送信されない。オーディオとビデオのＲＴＰストリームは独立しているので、オーディオフレームＮ＋１データの一部分は、ビデオフレームＮデータが送信される間に送信される。ビデオとオーディオのストリーム間の同期のこの損失は、通信チャネルの受信機でのビデオとオーディオとの間の「スリップ(slip)」の原因となり得る。
【００３７】
ビデオエンコーダ、例えばＨ．２６３、ＡＶＣ／Ｈ．２６４、ＭＰＥＧ−４などは、予測コーディングに起因して、そしてまた多くのパラメータの可変長コーディング（ＶＬＣ）の使用にも起因して、本質的に事実上可変レート(variable rate)であるので、回線交換ネットワーク上およびパケット交換ネットワーク上での可変レートストリームのリアルタイム配信は、発信元と受信側でバッファを用いたトラフィックシェーピング(traffic shaping)によって一般に達成される。トラフィックシェーピングバッファは、典型的に望ましくない、更なる遅延をもたらす。例えば、更なる遅延は、ある人が話す時と別の人がその話を聞く時との間で遅延がある時、遠隔会議をしている(teleconferencing)間、いらいらさせ得る。
【００３８】
例えば、通信チャネルの受信側でのビデオが、オリジナルのビデオフレームレートと同じレートで再生されるので、通信チャネルでの遅れは再生中にポーズ(pause)を生じさせ得る。図３では、全フレームのデータが受け取られるまで、ビデオフレームＮは再生されることができない。フレームデータ全体がフレーム期間中に受け取られないので、フレームＮに対するビデオデータの全てが受け取られるまで、再生は休止する必要がある。更に、オーディオとビデオの再生が同期をとられるように、フレームＮに対するビデオデータの全てが受け取られるまで、オーディオフレームＮからの全てのデータは保存される必要がある。フレームＮからのビデオデータがまだ受け取られつつある間に受け取られるフレームＮ＋ｌからのオーディオデータは、フレームＮ＋１からのビデオデータの全てが受け取られるまで、保存されなければならない、ということもまた注目される。ビデオフレームの可変サイズのために、大きなトラフィックシェーピングバッファが同期を達成するのに要求される。
【００３９】
図４は、本発明に従う、無線通信チャネル上での別々のＲＴＰストリームの伝送のための技術を示すチャートである。図４は、図３と同様に、独立したＲＴＰストリーム３０４および３２２にそれぞれ符号化される、可変サイズのビデオフレーム３０２のストリームと、そしてオーディオフレーム３２０のストリームとを示す。ビデオおよびオーディオフレームは、一定のレート、例えば１０Ｈｚレートで発生する。
【００４０】
図４においては、図３においてのように、ビデオフレームＮおよびＮ＋４が、Ｉフレームを表わすことができるであろう、そして、ビデオフレームＮ＋１、Ｎ＋２、Ｎ＋３、およびＮ＋５が、Ｐフレームを表わすことができるであろう。ビデオフレームは、ＲＴＰストリーム３０４の中のパケットにパケット化される(packetized)。図４において示されるように、ビデオＩフレームＮおよびＮ＋４に対応するＲＴＰパケットＮおよびＮ＋４は、それらの幅で示されるように、ビデオＰフレームＮ＋１、Ｎ＋２、およびＮ＋３に対応するＲＴＰパケットＮ＋１、Ｎ＋２、およびＮ＋３よりも、より広い(larger)。
【００４１】
ビデオＲＴＰパケットは、通信チャネルパケット４０６に割り当てられる。上記の（係属中関連特許出願の参照）の中でリストされている同時係属中の出願において説明されているような技術を使用して、通信チャネルの容量は可変である。通信チャネルパケット４０６の可変容量のために、ビデオフレームＮは、５つの通信チャネルパケット４０６を含むブロック４０８中で送信されることができる。
【００４２】
ＣＤＭＡに基づく標準規格のような従来の通信チャネル、例えば、ＴＩＡ／ＥＩＡ−９５−Ｂ（ＩＳ−９５）、ＴＩＡ／ＥＩＡ−９８−Ｃ（ＩＳ−９８）、ＩＳ２０００、ＨＲＰＤ、ｃｄｍａ２０００、および広帯域ＣＤＭＡ（ＷＣＤＭＡ）などにおいては、通信チャネルデータパケット４０６は、５０Ｈｚレートで送信されることができる、すなわち、新しいデータパケットが２０ミリ秒毎に送信される。通信チャネルパケット４０６容量が変更されることができるので、ビデオフレームＮの符号化は、ビデオフレームＮの全体がフレーム期間中に送信されることができるように、制約されることができる。図４において示されるように、ビデオフレームＮに対応する、ＲＴＰパケットＮを送信する時、通信チャネルパケット４０６の容量は増加されるので、パケット全体がフレーム期間の間に送信されることができる。説明された技術はまた、ＧＳＭ、ＧＰＲＳ、あるいはＥＤＧＥに基づく通信チャネルにも適用されることができる。
【００４３】
図４の中で示されるように、ビデオフレームＮ、Ｎ＋１、Ｎ＋２、Ｎ＋３、Ｎ＋４、およびＮ＋５は、ＲＴＰパケットに符号化され、そして通信チャネルブロックに４０８，４１０、４１２、４１４、４１６、および４１８にそれぞれ割り当てされる。通信チャネル容量を変えることによって、ビデオフレーム全体がフレーム期間内に送信される、ということもまた注目される。例えば、もしビデオフレームレートが１０Ｈｚである場合、そのときビデオデータの全フレームは１００ミリ秒のフレーム期間内に送信される。
【００４４】
ビデオデータ３０２の各フレームに対して、対応するオーディオフレーム３２０がある。各オーディオフレームＮ、Ｎ＋１、Ｎ＋２、Ｎ＋３、Ｎ＋４、およびＮ＋５は、それぞれのビデオフレームに対応し、１０Ｈｚのレートで生じる、すなわち、新しいオーディオフレームが１００ミリ秒毎に始まる。図３に関連して説明されたように、オーディオデータは、関連するビデオデータよりも、一般にそれほど複雑ではないのでより少ないビットによって表わされることができ、そして典型的に、ＲＴＰパケット３２２がフレームの１００ミリ秒期間内に通信チャネル上で送信されることが出来るサイズであるように符号化される。すなわちオーディオＲＴＰパケットＮ、Ｎ＋１、Ｎ＋２、Ｎ＋３、Ｎ＋４、そしてＮ＋５は、各ＲＴＰパケットが通信チャネルパケットのブロック３２６，３２８、３３０，３３２、３３４、そして３３６にそれぞれ割り当てられることができるサイズである。このように、もしビデオフレームレートが１０Ｈｚである場合、そのとき各ビデオフレームは、１００ミリ秒フレーム期間内に通信チャネル上で送信されることができる。ビデオと同様に、もしオーディオパケットサイズが大きい場合、通信チャネル容量もまた、フレーム期間中にオーディオフレーム全体の伝送をサポートするために変更されることができる。
【００４５】
図４においては、ビデオフレームとオーディオフレームのそれらそれぞれの通信チャネルパケットへの割り当ての比較は、ビデオとオーディオのフレームが同期されたままであることを示す。言いかえれば、フレーム期間毎に、ビデオ全体とオーディオフレーム全体が送信される。ビデオとオーディオのフレーム全体が各フレーム期間に送信されるので、更なるバッファリング(buffering)の必要は無い。受信されたビデオおよびオーディオデータは、フレーム期間中に蓄積されることのみを必要とし、そのあと、それは最後までプレーされる(played out)ことができる。通信チャネルによって持ち込まれる遅延がないので、ビデオとオーディオのフレームは同期されたままである。
【００４６】
図３において示されるように、ビデオフレームＮ＋１、Ｎ＋２、およびＮ＋３は、ビデオデータのフレーム全体を送信するために、４つのビデオ通信チャネルパケット３０６を要求しただけである、ということが注目される。図４において示されるように、ビデオデータが５つのパケットに適合するように、ビデオ通信チャネルパケット４０６はサイズで縮小される(reduced)ことができる、あるいは、ブランクのパケットが送信されることができる。同様に、もしオーディオ通信チャネルにおいて利用可能な過剰の容量(excess capacity)がある場合は、ブランクのパケットが送信されることができる。このように、ビデオとオーディオのデータは、オーディオとビデオデータの全フレームが、それぞれのフレームレートと同じあるいは少ない期間を占める(that occupy the same period, or less, or the respective frame rate)通信チャネルパケットに割り当られるように、符号化される。
【００４７】
下記に説明されるように、通信ネットワークの面に依存して、異なる技術がＲＴＰストリームを同期させるために使用されることができる。例えば、通信ネットワークは、過剰準備されている(over provisioned)かもしれない、すなわち、それは過剰な容量を有しているかもしれない、あるいは、通信ネットワークは、保証されたサービスの質(guaranteed Quality of Service)を有しているかもしれない。更に、ＲＴＰストリームは、通信ネットワーク上で送信される時、同期を維持するように修正されるかもしれない。これらの技術の各々は以下に説明される。
【００４８】
過剰準備通信ネットワーク
ＰＤＳＮ２０８と発信者２０６との間の通信リンクが過剰準備されている時、すなわち、ワイヤーラインインターネット上でのデータの伝送に利用可能な過剰容量がある、シナリオにおいては、その場合は、混雑状態に起因する遅延はない。通信リンクにおいて過剰容量があるので、伝送を遅らせる必要がないので、伝送は、通信リンクによって対応されることができる。伝送の遅れ無しで、音声とビデオのパケットの間には、それらがインフラストラクチャに、例えばＰＤＳＮなどに、到着するとき、「タイムスリップ(time slip)」はない。すなわち、本発明において説明されるように、オーディオとビデオデータは、ＰＤＳＮまで互いに同期されたままであり、そして、同期は、ＰＤＳＮとＭＳとの間で維持される。
【００４９】
過剰準備シナリオにおいては、オーディオ−ビジュアル同期は容易に達成される。例えば、ビデオデータは、１００ミリ秒フレームに基づき、秒当り１０フレーム（ｆｐｓ）のフレームレートを有しているかもしれないし、また、関連するオーディオは、２０ミリ秒スピーチフレームに基づき、５０ｆｐｓのフレームレートを有するかもしれない。この例においては、受信オーディオデータの５つのフレームはバッファリングされるであろうから、それはビデオフレームレートに同期するであろう。すなわち、オーディオデータの５つのフレームは、１００ミリ秒のオーディオデータに対応して、バッファリングされるであろうから、それは１００ミリ秒ビデオフレームと同期をとられるであろう。
【００５０】
最大遅延に関する保証されたＱｏＳを備える通信ネットワーク
適切な数のより高いフレームレートスピーチフレームをバッファリングすることにより、より低いフレームレートビデオフレームに適合させることは可能である。一般に、もしビデオパケットがサービスの質（ＱｏＳ）遅延保証（delay guarantee）を備えて配布される場合：
ＱｏＳ＿ｄｅｌａｙ＝ｎＴｍｓ
但し、ｎはフレームにおける遅延(delay in frames)であり、そして
Ｔ＝１０００／ｆｒａｍｅｓ＿ｐｅｒ＿ｓｅｃｏｎｄ
次に、ｎＴ／ｗ スピーチフレームを保存するサイズに作られたバッファは、スピーチとビデオが同期することを保証するのに十分なスピーチフレームを保存することが必要とされる、なおここで、ｗはミリ秒でのスピーチフレームの期間である。ｃｄｍａ２０００ＵＭＴＳでは、スピーチフレームの期間、ｗ、は２０ミリ秒であり、他の通信チャネルでは、スピーチフレームの期間は異なっているか、あるいは変わり得る。
【００５１】
オーディオおよびビデオデータの同期をとるための別の技術は、両方のデータストリームをバッファリングすることを含む。例えば、もし通信システムがＤＱミリ秒の保証された最大遅延を有する場合、ＤＱは、オーディオおよびビデオストリームの伝送の間に経験され得る最大遅延であることを意味し、そのときは、適切なサイズに作られたバッファが、同期を維持するために使用されることができる。
【００５２】
例えば、ＤＱの保証された最大遅延で、そのときＤＱ/Ｔビデオフレーム（Ｔはミリ秒でのビデオフレームの持続期間(duration)である）およびＤＱ/ｗスピーチフレーム（ｗはミリ秒でのスピーチフレームの持続期間である）をバファリングすることは、オーディオビデオ同期（ＡＶ−同期）を保証するであろう。これらの追加バッファスペースは、一般にデジッタバッファ(a de-jitter buffer)と呼ばれる。
【００５３】
本技術は、オーディオおよびビデオデータストリームの同期を説明した。本技術は、同期をとられるべき必要がある任意のデータストリームと共に使用されることができる。もし２つのデータストリーム、同じ情報間隔(information interval)を持ち且つ同期をとられるべき必要のある第１のより高いビットレートデータストリームおよび第２のより低いビットレートデータストリーム、がある場合、そのとき、より高いビットレートデータをバッファリングすることは、それがより低いビットレートデータと同期がとられることを可能にする。バッファのサイズは、上記に説明されたようにＱｏＳに依存して、決定されることができる。同様に、より高いビットレートデータストリームとより低いビットレートデータストリームは、上記に説明されたように、バッファリングされ同期をとられることができる。
【００５４】
説明された本技術は、第１符号化データストリーム(a first encoded data stream)を受け取りそしてデコードされた第１データストリーム(a decoded first data stream)を出力するように構成された第１デコーダを含むデータストリーム同期装置によって実行されることができる、なおここでは、第１符号化されたデータストリームは、情報間隔の間 (during an information interval)、第１ビットレートを有する。そして、第２デコーダが第２符号化データストリームを受け取りそしてデコードされた第２データストリームを出力するように構成され、ここでは、第２符号化されたデータストリームは、情報間隔の間、第２ビットレートを有する。同期されたデータストリームはまた、少なくとも１情報間隔の間、デコードされた第１データストリームを蓄積しそして間隔期間毎にデコードされた第１データストリームのフレームを出力するように構成された第１バッファと、そして、少なくとも１情報間隔の間、デコードされた第２データストリームを蓄積しそして間隔期間毎にデコードされた第２データストリームのフレームを出力するように構成された第２バッファとを含む。さらに、結合器が、デコードされた第１データストリームのフレームおよびデコードされた第２データストリームのフレームを受け取りそして第１および第２のデコードされたデータストリームの同期をとられたフレームを出力するように構成される。一例においては、第１符号化データストリームはビデオデータであるかもしれないし、また、第２符号化データストリームはオーディオデータであるかもしれないが、第１ビットレートは第２ビットレートよりもより高いようなものである。
【００５５】
多重化されたオーディオおよびビデオを備えた単一ＲＴＰストリーム
別の実施例は、単一のＲＴＰストリームの中でオーディオとビデオを搬送する。注意されるように、オーディオおよびビデオを単一のＲＴＰストリームとして送信することは、ＩＰネットワークにおいては一般的なことではない。異なるリソース、例えば、ビデオとオーディオの両方が可能な端末、そしてオーディオのみが可能な端末、を持った参加者が、同じマルチメディア会議で通信することを可能にするように、ＲＴＰは設計された。
【００５６】
オーディオとビデオを別々のＲＴＰストリームとして送信することの制限は、ビデオサービス用の無線ネットワークにおいては適用可能ではないかもしれない。この場合、新しいＲＴＰプロファイルが、特定のスピーチおよびビデオコーデックペイロードを搬送するように設計されることができる。共通ＲＴＰストリームへのオーディオおよびビデオの結合は、過剰準備された通信ネットワークを必要とせずにオーディオおよびビデオデータ間のどんなタイムスリップも取り除く。従って、オーディオビデオ同期は、上記に説明されたように、過剰準備されたネットワークに関連して説明された技術を使用して達成されることができる。
【００５７】
図５は、通信チャネルパケットを受け取るように構成された無線オーディオ／ビデオ受信機５００の一部分のブロック図である。図５において示されるように、オーディオ／ビデオ受信機５００は、通信チャネルパケットを受け取るように構成された通信チャネルインタフェース５０２を含む。通信チャネルインタフェース５０２は、ビデオ通信チャネルパケットをビデオデコーダ５０４に、そしてオーディオ通信チャネルパケットをオーディオデコーダ５０６に、出力する。ビデオデコーダ５０４は、ビデオ通信チャネルパケットをデコードしそしてビデオデータをビデオバッファ５０８に出力する。オーディオデコーダ５０６はオーディオ通信チャネルパケットをデコードしそしてオーディオデータをオーディオバッファ５１０に出力する。ビデオバッファ５０８およびオーディオバッファは、フレーム期間の間、ビデオおよびオーディオデータをそれぞれ蓄積する。ビデオバッファ５０８およびオーディオバッファ５１０は、ビデオフレームおよびオーディオフレームをそれぞれ結合器５１２に出力する。結合器５１２は、ビデオおよびオートフレームを結合しそして同期をとられたオーディオおよびビデオ信号を出力するように構成される。ビデオバッファ５０８、オーディオバッファ５１０、および結合器５１２の動作は、コントローラ５１４によって制御され得る。
【００５８】
図６は、通信チャネルパケットを送信するように構成された無線オーディオ／ビデオ送信機６００の一部分のブロック図である。図６において示されるように、オーディオ／ビデオ送信機６００は、ビデオデータＲＴＰストリームを受け取るように構成された、ビデオ通信チャネルインタフェース６０２を含んでいる。ビデオ通信チャネルインタフェースは、ＲＴＰパケットを、通信チャネルパケットに割り当てる。注意されるように、通信チャネルパケットの容量は、ビデオフレームと同じ期間を占める通信チャネルパケットにフレーム全体分のＲＴＰビデオデータ(an entire frames worth of RTP video data)を割り当てるように変わり得る。オーディオ／ビデオ送信機６００もまた、オーディオデータＲＴＰストリームを受け取るように構成されたオーディオ通信チャネルインタフェース６０４を含む。オーディオ通信チャネルインタフェース６０４は、ＲＴＰパケットを通信チャネルパケットに割り当てる。注意されるように、一般に、通信チャネルパケットの容量は、オーディオフレームと同じ期間を占める通信チャネルパケットにＲＴＰオーディオデータのフレーム全体を割り当てるのに十分であるであろう。もしチャネル容量が十分でない場合、そのときは、オーディオフレームと同じ期間を占める通信チャネルパケットにＲＴＰオーディオデータのフレーム全体を割り当てるために十分な容量があるように、ビデオ通信チャネルパケットと同様に、それは変更され得る。
【００５９】
ビデオおよびオーディオ通信チャネルパケットは、ビデオおよびオーディオ通信チャネルインタフェース６０２と６０４によってそれぞれ出力され、そして結合器６０６に伝えられる。結合器６０６は、ビデオおよびオーディオ通信チャネルパケットを受理しそしてそれらを結合しそしてコンポジット信号(a composite signal)を出力するように構成される。結合器６０６の出力は、無線チャネルにそのコンポジット信号を送信する送信器６０８に伝えられる。ビデオ通信チャネルインタフェース６０２、オーディオ通信チャネルインタフェース６０４、および結合器６０６の動作は、コントローラ６１４によって制御され得る。
【００６０】
図７は、無線通信リンク上での独立したＲＴＰストリームの伝送のフローチャートである。フローはブロックブロック７０２においてスタートし、ここでは、ビデオおよびオーディオＲＴＰデータストリームが受け取られる。フローはそのあとブロック７０４に進み、ここでは、ビデオＲＴＰストリームが通信チャネルパケットに割り当てられる。ブロック７０６では、オーディオＲＴＰストリームは、通信チャネルパケットに割り当てられる。ブロック７０８では、ビデオおよびオーディオ通信チャネルパケットは、結合され、無線チャネル上で送信される。
【００６１】
図８は、無線通信チャネル上での受信オーディオおよびビデオデータのフローチャートである。フローはブロック８０２において始まり、ここでは、ビデオおよびオーディオデータが無線通信チャネル上で受け取られる。フローはブロック８０４に進み、ビデオおよびオーディオデータがデコードされる。ブロック８０６では、デコードされたビデオおよびオーディオデータは、それぞれのビデオおよびオーディオフレームにアセンブルされる (assembled)。ブロック８１０では、ビデオおよびオーディオデータは、同期をとられたビデオ／オーディオ フレームに結合される。ブロック８１０では、同期をとられたビデオ／オーディオ フレームが出力される。
【００６２】
図９は、本発明の例示的な実施形態に従って構成された、無線通信デバイスあるいは移動局（ＭＳ）のブロック図である。通信デバイス９０２は、ネットワークインタフェース９０６、コーデック９０８、ホストプロセッサ９１０、メモリデバイス９１２、プログラムプロダクト９１４、およびユーザインタフェース９１６を含む。
【００６３】
インフラストラクチャからの信号は、ネットワークインタフェース９０６によって受け取られ、そしてホストプロセッサ９１０に送られる。ホストプロセッサ９１０は、信号を受け取り、そして信号の内容に応じ、適切なアクションで応答する。例えば、ホストプロセッサ９１０は、受信信号自体をデコードするかもしれないし、あるいは、それは、受信信号をデコーディング用のコーデック９０８に送る(route)かもしれない。別の実施形態においては、受信信号は、ネットワークインタフェース９０６からコーデック９０８に直接送られる。
【００６４】
一実施形態では、ネットワークインタフェース９０６は、無線チャネル上でインフラストラクチャにインタフェースをとるトランシーバおよびアンテナかもしれない。別の実施形態では、ネットワークインタフェース９０６は、地上通信線上でインフラストラクチャにインタフェースをとるために使用されるネットワークインタフェースカードかもしれない。コーデック９０８は、デジタル信号プロセッサ（ＤＳＰ）、あるいは中央処理装置（ＣＰＵ）のような汎用プロセッサとしてインプリメントされるかもしれない。
【００６５】
ホストプロセッサ９１０およびコーデック９０８の両方はメモリデバイス９１２に接続される。メモリデバイス８１２は、ホストプロセッサ９１０またはＤＳＰ９によって実行されるであろうプログラムコードを保存するだけではなく、ＷＣＤの動作中にデータを保存するためにも使用されることができる。例えば、ホストプロセッサ、コーデック、あるいは両方共、メモリデバイス９１２に一時的に保存されるプログラミングインストラクションの制御の下で動作できる。ホストプロセッサ９１０およびコーデック９０８はまた、それら自体のプログラム記憶メモリを含むこともできる。プログラミングインストラクションが実行される時、ホストプロセッサ９１０またはコーデック９０８、あるいは両方が、それらの機能、例えばオーディオ／ビデオ データのようなマルチメディアストリームを符号化することあるいはデコーディングすること、そしてオーディオおよびビデオフレームをアセンブルすること、を実行する。このように、プログラミングステップは、それぞれのホストプロセッサ９１０およびコーデック９０８の機能をインプリメントするので、ホストプロセッサおよびコーデックは各々、望まれるようにコンテンツストリームをデコーディングするあるいは符号化するそしてフレームをアッセンブリする機能を実行するように作られることができる。プログラミングステップは、プログラムプロダクト９１４から受け取られることができる。プログラムプロダクト９１４は、ホストプロセッサ、コーデックあるいは両方による実行のために、プログラミングステップを、保存し、そしてメモリ９１２に転送できる。
【００６６】
プログラムプロダクト９１４は、ハードディスク、リムーバブルディスク、ＣＤ−ＲＯＭのような記憶装置に加えて、ＲＡＭメモリ、フラッシュメモリ、ＲＯＭメモリ、ＥＰＲＯＭメモリ、ＥＥＰＲＯＭメモリ、レジスタ、のような半導体メモリチップであってもよく、あるいは、コンピュータ可読のインストラクションを保存できる技術的に知られている任意の形式の記憶媒体であってよい。更に、プログラムプロダクト９１４は、ネットワークから受け取られそしてメモリに保存されそしてそのあと実行されるプログラムステップを含むソースファイル(source file)であってもよい。このように、本発明に従う動作に必要な処理ステップは、プログラムプロダクト９１４上で具現化されることができる。図９においては、ホストプロセッサが記憶媒体から情報を読み出し、そして記憶媒体に情報を書き込むことができるように、例示的な記憶媒体がホストプロセッサ９１０に結合されて示されている。あるいは、記憶媒体はホストプロセッサ９１０と一体化されてもよい。
【００６７】
ユーザインタフェース９１６は、ホストプロセッサ９１０およびコーデック９０８の両方に接続されている。例えば、ユーザインタフェース９１６は、ユーザにマルチメディアデータを出力するために使用されるディスプレイおよびスピーカを含むことができる。
【００６８】
当業者は、実施形態に関連して記述された方法のステップは、本発明の範囲を逸脱することなく入れ替えられ得ることを認識するであろう。
【００６９】
当業者は、情報および信号は、様々な異なる技術および技法の任意のものを使用して表わされ得ることもまた理解するだろう。例えば、上記説明全体をとおして参照され得るデータ、インストラクション、コマンド、情報、信号、ビット、シンボル、およびチップは、電圧、電流、電磁波、磁場またはあるいは磁性粒子、光場または光学粒子、またはそれらの任意の組み合わせ、によって表されることができる。
【００７０】
当業者は更に、ここで開示された実施形態に関連して説明された、種々の説明的な論理ブロック、モジュール、回路、およびアルゴリズムステップは、電子ハードウェア、コンピュータソフトウェア、あるいは両方の組み合わせとしてインプリメントされ得ることを認識するであろう。ハードウェアとソフトウェアのこの互換性を明瞭に説明するために、様々な例示的なコンポーネント、ブロック、モジュール、回路、およびステップが、概してそれらの機能性の点から上記に説明されている。それらの機能性が、ハードウェアあるいはソフトウェアとしてインプリメントされるかどうかは、システム全体に課される特定のアプリケーションおよび設計制約に依存する。熟練した熟練職人は、各特定のアプリケーションに対し様々な方法で記述された機能性をインプリメントするかもしれないが、しかし、そのようなインプリメンテーションの決定は、本発明の範囲から逸脱させるものとして解釈されるべきでない。
【００７１】
ここに開示された実施形態に関連して記述された様々な説明のための論理ブロック、モジュール、および回路は、汎用プロセッサ、デジタルシグナルプロセッサ（ＤＳＰ）、特定用途向けＩＣ（ＡＳＩＣ）、フィールドプログラマブルゲートアレー（ＦＰＧＡ）あるいは他のプログラマブル論理デバイス、ディスクリートゲートあるいはトランジスタ論理、ディスクリートハードウェア部品、あるいはここで説明された機能を実行するように設計されたこれらの任意の組み合わせを使ってインプリメントあるいは実行され得る。汎用プロセッサは、マイクロプロセッサであってもよい、しかし別の方法では、プロセッサは、任意の従来のプロセッサ、コントローラ、マイクロコントローラ、あるいは状態機械でもよい。プロセッサはまた、計算装置の組み合わせ、例えばＤＳＰとマイクロプロセッサとの組み合わせ、複数のマイクロプロセッサ、ＤＳＰコアと併用された１以上のマイクロプロセッサ、あるいは任意の他のそのようなコンフィギュレーション（configuration）としてインプリメントされてもよい。
【００７２】
ここに開示された実施形態に関連して記述された方法あるいはアルゴリズムのステップは、ハードウェアで直接に、プロセッサによって実行されるソフトウェアモジュールで、あるいは該２つの組合せで具現化され得る。ソフトウェアモジュールは、ＲＡＭメモリ、フラッシュメモリ、ＲＯＭメモリ、ＥＰＲＯＭメモリ、ＥＥＰＲＯＭメモリ、レジスタ、ハードディスク、リムーバブルディスク、ＣＤ−ＲＯＭ、あるいは技術的に知られている記憶媒体の任意の他の形態、に存在しうる。例示的な記憶媒体は、プロセッサが記憶媒体から情報を読み出しそして記憶媒体に情報を書き込めるように、プロセッサに結合される。別の方法では、記憶媒体はプロセッサに内蔵されてもよい。プロセッサと記憶媒体はＡＳＩＣに存在してもよい。ＡＳＩＣはユーザ端末の中に存在してもよい。別の方法では、プロセッサと記憶媒体は、ユーザ端末の中にディスクリート部品として存在してもよい。
【００７３】
開示された実施形態の以上の説明は、当業者の誰もが本発明を作りまたは使用するのを可能とするように提供されている。これらの実施形態の様々の変形は当業者には容易に明らかであり、そして、ここに定義された包括的な原理は本発明の精神或いは範囲を逸脱することなく他の実施形態に適用されることが出来る。従って、本発明は、ここで示された実施形態に限定されるように意図されてはおらず、ここに開示された原理及び新規な特徴と整合する最も広い範囲が与えられるべきものである。
【図１】
2011142616.tif 000003
【図２】
2011142616.tif 000004
【図３】
2011142616.tif 000005
【図４】
2011142616.tif 000006
【図５】
2011142616.tif 000007
【図６】
2011142616.tif 000008
【図７】
2011142616.tif 000009
【図８】
2011142616.tif 000010
【図９】
2011142616.tif 000011
【手続補正書】
【提出日】平成22年12月22日(2010.12.22)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
第１符号化されたデータストリームを受け取りそしてデコードされた第１データストリームを出力するように構成された第１デコーダと、なおここでは、前記第１符号化されたデータストリームは情報間隔の間、第１ビットレートを有する；
第２符号化されたデータストリームを受け取りそしてデコードされた第２データストリームを出力するように構成された第２デコーダと、なおここでは、前記第２符号化されたデータストリームは前記情報間隔の間、第２ビットレートを有する；
少なくとも１情報間隔の間、前記デコードされた第１データストリームを蓄積し、そして間隔期間毎に前記デコードされた第１データストリームのフレームを出力するように構成された第１バッファと；
少なくとも１情報間隔の間、前記デコードされた第２データストリームを蓄積し、そして間隔期間毎に前記デコードされた第２データストリームのフレームを出力するように構成された第２バッファと；そして
デコードされた第１データストリームの前記フレームおよびデコードされた第２データストリームの前記フレームを受け取りそして第１および第２のデコードされたデータストリームの同期をとられたフレームを出力するように構成された結合器と；
を備え、
前記第１符号化されたデータストリームはビデオデータであり、
前記第２符号化されたデータストリームはオーディオデータであり、
前記第１ビットレートは前記第２ビットレートよりも高く、
ビデオデータの全フレームは、ビデオフレームレートと同じあるいはより少ない期間を占める通信チャネルパケットに割り当てられ、そして、オーディオデータの全フレームは、オーディオフレームレートと同じあるいはより少ない期間を占める通信チャネルパケットに割り当てられる、
データストリーム同期装置。
【請求項２】
符号化されたビデオデータを受け取りそしてデコードされたビデオデータを出力するように構成されたビデオデコーダと；
符号化されたオーディオデータを受け取りそしてデコードされたオーディオデータを出力するように構成されたオーディオデコーダと；
少なくとも１フレーム期間、デコードされたビデオデータを蓄積し、そしてフレーム期間毎にビデオデータのフレームを出力するように構成されたビデオバッファと；
複数のフレーム期間、デコードされたオーディオデータを蓄積し、そしてフレーム期間毎にオーディオデータのフレームを出力するように構成されたオーディオバッファと；そして
ビデオデータの前記フレームおよびオーディオデータの前記フレームを受け取りそしてオーディオビデオデータの同期をとられたフレームを出力するように構成された結合器と；
を備え、
前記ビデオデータのビットレートは前記オーディオデータのビットレートよりも高く、
ビデオデータの全フレームは、ビデオフレームレートと同じあるいはより少ない期間を占める通信チャネルパケットに割り当てられ、そして、オーディオデータの全フレームは、オーディオフレームレートと同じあるいはより少ない期間を占める通信チャネルパケットに割り当てられる、
遠隔局装置。
【請求項３】
前記ビデオデコーダは、ＭＰＥＧデコーダ、Ｈ．２６３デコーダ、あるいはＨ．２６４デコーダである、前記請求項２記載の遠隔局。
【請求項４】
前記オーディオデコーダは、ＭＰＥＧデコーダ、Ｈ．２６３デコーダあるいはＨ．２６４デコーダである、前記請求項２記載の遠隔局。
【請求項５】
オーディオおよびビデオデータのデコーディングおよび同期を制御する制御プロセッサを更に備える、前記請求項２記載の遠隔局。
【請求項６】
ビデオＲＴＰストリームを受け取りそしてＲＴＰビデオデータの全フレームをビデオフレームレートと同じあるいはより少ない期間を占める通信チャネルパケットに割り当てるように構成されたビデオ通信チャネルインタフェースと；
オーディオＲＴＰストリームを受け取りそしてＲＴＰオーディオデータの全フレームをオーディオフレームレートと同じあるいはより少ない期間を占める通信チャネルパケットに割り当てるように構成されたオーディオ通信チャネルインタフェースと；そして
前記ビデオおよびオーディオの通信チャネルパケットを受け取りそして送信するように構成された送信機と；
を備え、
前記ビデオデータのビットレートは前記オーディオデータのビットレートよりも高い、
遠隔局装置。
【請求項７】
前記のオーディオおよびビデオデータの通信チャネルパケットへの割り当てを制御する制御プロセッサを更に備える、前記請求項６記載の遠隔局装置。
【請求項８】
符号化されたビデオデータを受け取りそしてデコードされたビデオデータを出力するように構成されたビデオデコーダと；
符号化されたオーディオデータを受け取りそしてデコードされたオーディオデータを出力するように構成されたオーディオデコーダと；
ビデオフレーム期間、デコードされたビデオデータを蓄積し、そしてフレーム期間毎にビデオデータのフレームを出力するように構成されたビデオバッファと；
オーディオフレーム期間、デコードされたオーディオデータを蓄積し、そしてフレーム期間毎にオーディオデータのフレームを出力するように構成されたオーディオバッファと；そして
ビデオデータの前記フレームおよびオーディオデータの前記フレームを受け取りそしてオーディオビデオデータの同期をとられたフレームを出力するように構成された結合器と；
を備え、
前記ビデオデータのビットレートは前記オーディオデータのビットレートよりも高く、
ビデオデータの全フレームは、ビデオフレームレートと同じあるいはより少ない期間を占める通信チャネルパケットに割り当てられ、そして、オーディオデータの全フレームは、オーディオフレームレートと同じあるいはより少ない期間を占める通信チャネルパケットに割り当てられる、
基地局装置。
【請求項９】
前記ビデオデコーダは、ＭＰＥＧデコーダ、Ｈ．２６３デコーダ、あるいはＨ．２６４デコーダである、前記請求項８記載の基地局。
【請求項１０】
前記オーディオデコーダは、ＭＰＥＧデコーダ、Ｈ．２６３デコーダあるいはＨ．２６４デコーダである、前記請求項８記載の基地局。
【請求項１１】
オーディオおよびビデオデータのデコーディングおよび同期を制御する制御プロセッサを更に備える、前記請求項８記載の基地局。
【請求項１２】
ビデオＲＴＰストリームを受け取りそしてＲＴＰビデオデータの全フレームをビデオフレームレートと同じあるいはより少ない期間を占める通信チャネルパケットに割り当てるように構成されたビデオ通信チャネルインタフェースと；
オーディオＲＴＰストリームを受け取りそしてＲＴＰオーディオデータの全フレームをオーディオフレームレートと同じあるいはより少ない期間を占める通信チャネルパケットに割り当てるように構成されたオーディオ通信チャネルインタフェースと；そして
前記ビデオおよびオーディオの通信チャネルパケットを受け取りそして送信するように構成された送信機と；
を備え、
前記ビデオデータのビットレートは前記オーディオデータのビットレートよりも高い、
基地局装置。
【請求項１３】
前記のオーディオおよびビデオデータの通信チャネルパケットへの割り当てを制御する制御プロセッサを更に備える、前記請求項１２記載の基地局装置。
【請求項１４】
ビデオＲＴＰストリームを受け取りそしてＲＴＰビデオデータの全フレームをビデオフレームレートと同じあるいはより少ない期間を占める通信チャネルパケットに割り当てるように構成されたビデオ通信チャネルインタフェースと、
オーディオＲＴＰストリームを受け取りそしてＲＴＰオーディオデータの全フレームをオーディオフレームレートと同じあるいはより少ない期間を占める通信チャネルパケットに割り当てるように構成されたオーディオ通信チャネルインタフェースと、
前記ビデオおよびオーディオの通信チャネルパケットを受け取りそして送信するように構成された送信機と、
を有する基地局装置と；
ビデオ通信チャネルパケットを受け取りそしてデコードされたビデオデータを出力するように構成されたビデオデコーダと、
オーディオ通信チャネルパケットを受け取りそしてデコードされたオーディオデータを出力するように構成されたオーディオデコーダと、
ビデオフレーム期間、デコードされたビデオデータを蓄積し、そしてフレーム期間毎にビデオデータのフレームを出力するように構成されたビデオバッファと、
オーディオフレーム期間、デコードされたオーディオデータを蓄積し、そしてフレーム期間毎にオーディオデータのフレームを出力するように構成されたオーディオバッファと、そして
ビデオデータの前記フレームおよびオーディオデータの前記フレームを受け取りそしてオーディオビデオデータの同期をとられたフレームを出力するように構成された結合器と、
を有する遠隔局装置と；
を備え、
前記ビデオデータのビットレートは前記オーディオデータのビットレートよりも高く、
ビデオデータの全フレームは、ビデオフレームレートと同じあるいはより少ない期間を占める通信チャネルパケットに割り当てられ、そして、オーディオデータの全フレームは、オーディオフレームレートと同じあるいはより少ない期間を占める通信チャネルパケットに割り当てられる、
無線通信システム。
【請求項１５】
ビデオＲＴＰストリームを受け取りそしてＲＴＰビデオデータの全フレームをビデオフレームレートと同じあるいはより少ない期間を占める通信チャネルパケットに割り当てるように構成されたビデオ通信チャネルインタフェースと、
オーディオＲＴＰストリームを受け取りそしてＲＴＰオーディオデータの全フレームをオーディオフレームレートと同じあるいはより少ない期間を占める通信チャネルパケットに割り当てるように構成されたオーディオ通信チャネルインタフェースと、
前記ビデオおよびオーディオの通信チャネルパケットを受け取りそして送信するように構成された送信機と、
を有する遠隔局装置と；
ビデオ通信チャネルパケットを受け取りそしてデコードされたビデオデータを出力するように構成されたビデオデコーダと、
オーディオ通信チャネルパケットを受け取りそしてデコードされたオーディオデータを出力するように構成されたオーディオデコーダと、
ビデオフレーム期間、デコードされたビデオデータを蓄積し、そしてフレーム期間毎にビデオデータのフレームを出力するように構成されたビデオバッファと、
オーディオフレーム期間、デコードされたオーディオデータを蓄積し、そしてフレーム期間毎にオーディオデータのフレームを出力するように構成されたオーディオバッファと、そして
ビデオデータの前記フレームおよびオーディオデータの前記フレームを受け取りそしてオーディオビデオデータの同期をとられたフレームを出力するように構成された結合器と、
を有する基地局装置と；
を備え、
前記ビデオデータのビットレートは前記オーディオデータのビットレートよりも高く、
ビデオデータの全フレームは、ビデオフレームレートと同じあるいはより少ない期間を占める通信チャネルパケットに割り当てられ、そして、オーディオデータの全フレームは、オーディオフレームレートと同じあるいはより少ない期間を占める通信チャネルパケットに割り当てられる、
無線通信システム。
【請求項１６】
第１符号化されたデータストリームを受け取り、デコードしそしてデコードされた第１データストリームを出力することと、なおここでは、前記第１符号化されたデータストリームは情報間隔の間、第１ビットレートを有する；
第２符号化されたデータストリームを受け取り、デコードしそしてデコードされた第２データストリームを出力することと、なおここでは、前記第２符号化されたデータストリームは前記情報間隔の間、第２ビットレートを有する；
少なくとも１情報間隔の間、前記デコードされた第１データストリームを蓄積し、そして間隔期間毎に前記デコードされた第１データストリームのフレームを出力することと；
少なくとも１情報間隔の間、前記デコードされた第２データストリームを蓄積し、そして間隔期間毎に前記デコードされた第２データストリームのフレームを出力することと；そして
デコードされた第１データストリームの前記フレームとデコードされた第２データストリームの前記フレームとを結合し、そして第１および第２のデコードされたデータストリームの同期をとられたフレームを出力することと；
を含み、
前記第１符号化されたデータストリームはビデオデータであり、
前記第２符号化されたデータストリームはオーディオデータであり、
前記第１ビットレートは前記第２ビットレートよりも高く、
ビデオデータの全フレームは、ビデオフレームレートと同じあるいはより少ない期間を占める通信チャネルパケットに割り当てられ、そして、オーディオデータの全フレームは、オーディオフレームレートと同じあるいはより少ない期間を占める通信チャネルパケットに割り当てられる、
データストリームをデコードし同期させる方法。
【請求項１７】
オーディオおよびビデオデータをデコードし同期させる方法であって、
符号化されたビデオデータを受け取りそしてデコードされたビデオデータを出力することと；
符号化されたオーディオデータを受け取りそしてデコードされたオーディオデータを出力することと；
ビデオフレーム期間、デコードされたビデオデータを蓄積し、そしてフレーム期間毎にビデオデータのフレームを出力することと；
オーディオフレーム期間、デコードされたオーディオデータを蓄積し、そしてフレーム期間毎にオーディオデータのフレームを出力することと；そして
ビデオデータの前記フレームとオーディオデータの前記フレームとを結合し、そしてビデオフレーム期間毎にオーディオビデオデータの同期をとられたフレームを出力することと；
を含み、
前記ビデオデータのビットレートは前記オーディオデータのビットレートよりも高く、
ビデオデータの全フレームは、ビデオフレームレートと同じあるいはより少ない期間を占める通信チャネルパケットに割り当てられ、そして、オーディオデータの全フレームは、オーディオフレームレートと同じあるいはより少ない期間を占める通信チャネルパケットに割り当てられる、
方法。
【請求項１８】
オーディオおよびビデオデータを符号化する方法であって、
ビデオＲＴＰストリームを受け取りそしてＲＴＰビデオデータの全フレームをビデオフレームレートと同じあるいはより少ない期間を占める通信チャネルパケットに割り当てることと；そして
オーディオＲＴＰストリームを受け取りそしてＲＴＰオーディオデータの全フレームをオーディオフレームレートと同じあるいはより少ない期間を占める通信チャネルパケットに割り当てることと；
を含み、
前記ビデオデータのビットレートは前記オーディオデータのビットレートよりも高い、
方法。
【請求項１９】
データストリームをデコードし同期させる方法を具現化するコンピュータ可読媒体であって、前記方法は
第１符号化されたデータストリームを受け取り、デコードしそしてデコードされた第１データストリームを出力することと、なおここでは、前記第１符号化されたデータストリームは情報間隔の間、第１ビットレートを有する；
第２符号化されたデータストリームを受け取り、デコードしそしてデコードされた第２データストリームを出力することと、なおここでは、前記第２符号化されたデータストリームは前記情報間隔の間、第２ビットレートを有する；
少なくとも１情報間隔の間、前記デコードされた第１データストリームを蓄積し、そして間隔期間毎に前記デコードされた第１データストリームのフレームを出力することと；
少なくとも１情報間隔の間、前記デコードされた第２データストリームを蓄積し、そして間隔期間毎に前記デコードされた第２データストリームのフレームを出力することと；そして
デコードされた第１データストリームの前記フレームとデコードされた第２データストリームの前記フレームとを結合し、そして第１および第２のデコードされたデータストリームの同期をとられたフレームを出力することと；
を含み、
前記第１符号化されたデータストリームはビデオデータであり、
前記第２符号化されたデータストリームはオーディオデータであり、
前記第１ビットレートは前記第２ビットレートよりも高く、
ビデオデータの全フレームは、ビデオフレームレートと同じあるいはより少ない期間を占める通信チャネルパケットに割り当てられ、そして、オーディオデータの全フレームは、オーディオフレームレートと同じあるいはより少ない期間を占める通信チャネルパケットに割り当てられる、
コンピュータ可読媒体。
【請求項２０】
オーディオおよびビデオデータをデコードし同期させる方法を具現化するコンピュータ可読媒体であって、前記方法は
符号化されたビデオデータを受け取りそしてデコードされたビデオデータを出力することと；
符号化されたオーディオデータを受け取りそしてデコードされたオーディオデータを出力することと；
ビデオフレーム期間、デコードされたビデオデータを蓄積し、そしてフレーム期間毎にビデオデータのフレームを出力することと；
オーディオフレーム期間、デコードされたオーディオデータを蓄積し、そしてフレーム期間毎にオーディオデータのフレームを出力することと；そして
ビデオデータの前記フレームとオーディオデータの前記フレームとを結合し、そしてビデオフレーム期間毎にオーディオビデオデータの同期をとられたフレームを出力することと；
を含み、
前記ビデオデータのビットレートは前記オーディオデータのビットレートよりも高く、
ビデオデータの全フレームは、ビデオフレームレートと同じあるいはより少ない期間を占める通信チャネルパケットに割り当てられ、そして、オーディオデータの全フレームは、オーディオフレームレートと同じあるいはより少ない期間を占める通信チャネルパケットに割り当てられる、
コンピュータ可読媒体。
【請求項２１】
オーディオおよびビデオデータを符号化する方法を具現化するコンピュータ可読媒体であって、前記方法は、
ビデオＲＴＰストリームを受け取りそしてＲＴＰビデオデータの全フレームをビデオフレームレートと同じあるいはより少ない期間を占める通信チャネルパケットに割り当てることと；そして
オーディオＲＴＰストリームを受け取りそしてＲＴＰオーディオデータの全フレームをオーディオフレームレートと同じあるいはより少ない期間を占める通信チャネルパケットに割り当てることと；
を含み、
前記ビデオデータのビットレートは前記オーディオデータのビットレートよりも高い、
コンピュータ可読媒体。
【請求項２２】
第１符号化されたデータストリームを受け取り、そしてデコードされた第１データストリームを出力するための手段と、なおここでは、前記第１符号化されたデータストリームは情報間隔の間、第１ビットレートを有する；
第２符号化されたデータストリームを受け取り、そしてデコードされた第２データストリームを出力するための手段と、なおここでは、前記第２符号化されたデータストリームは前記情報間隔の間、第２ビットレートを有する；
少なくとも１情報間隔の間、前記デコードされた第１データストリームを蓄積し、そして間隔期間毎に前記デコードされた第１データストリームのフレームを出力するための手段と；
少なくとも１情報間隔の間、前記デコードされた第２データストリームを蓄積し、そして間隔期間毎に前記デコードされた第２データストリームのフレームを出力するための手段と；そして
デコードされた第１データストリームの前記フレームとデコードされた第２データストリームの前記フレームとを結合し、そして第１および第２のデコードされたデータストリームの同期をとられたフレームを出力するための手段と；
を備え、
前記第１符号化されたデータストリームはビデオデータであり、
前記第２符号化されたデータストリームはオーディオデータであり、
前記第１ビットレートは前記第２ビットレートよりも高く、
ビデオデータの全フレームは、ビデオフレームレートと同じあるいはより少ない期間を占める通信チャネルパケットに割り当てられ、そして、オーディオデータの全フレームは、オーディオフレームレートと同じあるいはより少ない期間を占める通信チャネルパケットに割り当てられる、
データストリーム同期装置。
【請求項２３】
符号化されたビデオデータを受け取りそしてデコードされたビデオデータを出力するための手段と；
符号化されたオーディオデータを受け取りそしてデコードされたオーディオデータを出力するための手段と；
ビデオフレーム期間、デコードされたビデオデータを蓄積し、そしてフレーム期間毎にビデオデータのフレームを出力するための手段と；
オーディオフレーム期間、デコードされたオーディオデータを蓄積し、そしてフレーム期間毎にオーディオデータのフレームを出力するための手段と；そして
ビデオデータの前記フレームとオーディオデータの前記フレームとを結合し、そしてビデオフレーム期間毎にオーディオビデオデータの同期をとられたフレームを出力するための手段と；
を備え、
前記ビデオデータのビットレートは前記オーディオデータのビットレートよりも高く、
ビデオデータの全フレームは、ビデオフレームレートと同じあるいはより少ない期間を占める通信チャネルパケットに割り当てられ、そして、オーディオデータの全フレームは、オーディオフレームレートと同じあるいはより少ない期間を占める通信チャネルパケットに割り当てられる、
遠隔局装置。
【請求項２４】
ビデオＲＴＰストリームを受け取りそしてＲＴＰビデオデータの全フレームをビデオフレームレートと同じあるいはより少ない期間を占める通信チャネルパケットに割り当てるための手段と；そして
オーディオＲＴＰストリームを受け取りそしてＲＴＰオーディオデータの全フレームをオーディオフレームレートと同じあるいはより少ない期間を占める通信チャネルパケットに割り当てるための手段と；
を備え、
前記ビデオデータのビットレートは前記オーディオデータのビットレートよりも高い、
遠隔局装置。
【請求項２５】
符号化されたビデオデータを受け取りそしてデコードされたビデオデータを出力するための手段と；
符号化されたオーディオデータを受け取りそしてデコードされたオーディオデータを出力するための手段と；
ビデオフレーム期間、デコードされたビデオデータを蓄積し、そしてフレーム期間毎にビデオデータのフレームを出力するための手段と；
オーディオフレーム期間、デコードされたオーディオデータを蓄積し、そしてフレーム期間毎にオーディオデータのフレームを出力するための手段と；そして
ビデオデータの前記フレームとオーディオデータの前記フレームとを結合しそしてオーディオビデオデータの同期をとられたフレームを出力するための手段と；
を備え、
前記ビデオデータのビットレートは前記オーディオデータのビットレートよりも高く、
ビデオデータの全フレームは、ビデオフレームレートと同じあるいはより少ない期間を占める通信チャネルパケットに割り当てられ、そして、オーディオデータの全フレームは、オーディオフレームレートと同じあるいはより少ない期間を占める通信チャネルパケットに割り当てられる、
基地局装置。
【請求項２６】
ビデオＲＴＰストリームを受け取りそしてＲＴＰビデオデータの全フレームをビデオフレームレートと同じあるいはより少ない期間を占める通信チャネルパケットに割り当てるための手段と；そして
オーディオＲＴＰストリームを受け取りそしてＲＴＰオーディオデータの全フレームをオーディオフレームレートと同じあるいはより少ない期間を占める通信チャネルパケットに割り当てるための手段と；
を備え、
前記ビデオデータのビットレートは前記オーディオデータのビットレートよりも高い、
基地局装置。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００７３
【補正方法】変更
【補正の内容】
【００７３】
開示された実施形態の以上の説明は、当業者の誰もが本発明を作りまたは使用するのを可能とするように提供されている。これらの実施形態の様々の変形は当業者には容易に明らかであり、そして、ここに定義された包括的な原理は本発明の精神或いは範囲を逸脱することなく他の実施形態に適用されることが出来る。従って、本発明は、ここで示された実施形態に限定されるように意図されてはおらず、ここに開示された原理及び新規な特徴と整合する最も広い範囲が与えられるべきものである。
以下に、本願発明の当初の特許請求の範囲に記載された発明を付記する。
［１］
第１符号化されたデータストリームを受け取りそしてデコードされた第１データストリームを出力するように構成された第１デコーダと、なおここでは、前記第１符号化されたデータストリームは情報間隔の間、第１ビットレートを有する；
第２符号化されたデータストリームを受け取りそしてデコードされた第２データストリームを出力するように構成された第２デコーダと、なおここでは、前記第２符号化されたデータストリームは前記情報間隔の間、第２ビットレートを有する；
少なくとも１情報間隔の間、前記デコードされた第１データストリームを蓄積し、そして間隔期間毎に前記デコードされた第１データストリームのフレームを出力するように構成された第１バッファと；
少なくとも１情報間隔の間、前記デコードされた第２データストリームを蓄積し、そして間隔期間毎に前記デコードされた第２データストリームのフレームを出力するように構成された第２バッファと；そして
デコードされた第１データストリームの前記フレームおよびデコードされた第２データストリームの前記フレームを受け取りそして第１および第２のデコードされたデータストリームの同期をとられたフレームを出力するように構成された結合器と；
を備えるデータストリーム同期装置。
［２］
前記第１符号化されたデータストリームはビデオデータである、前記［１］記載のデータストリーム同期装置。
［３］
前記第２符号化されたデータストリームはオーディオデータである、前記［１］記載のデータストリーム同期装置。
［４］
前記第１ビットレートは前記第２ビットレートよりもより高い、前記［１］記載のデータストリーム同期装置。
［５］
符号化されたビデオデータを受け取りそしてデコードされたビデオデータを出力するように構成されたビデオデコーダと；
符号化されたオーディオデータを受け取りそしてデコードされたオーディオデータを出力するように構成されたオーディオデコーダと；
少なくとも１フレーム期間、デコードされたビデオデータを蓄積し、そしてフレーム期間毎にビデオデータのフレームを出力するように構成されたビデオバッファと；
複数のフレーム期間、デコードされたオーディオデータを蓄積し、そしてフレーム期間毎にオーディオデータのフレームを出力するように構成されたオーディオバッファと；そして
ビデオデータの前記フレームおよびオーディオデータの前記フレームを受け取りそしてオーディオビデオデータの同期をとられたフレームを出力するように構成された結合器と；
を備える遠隔局装置。
［６］
前記ビデオデコーダは、ＭＰＥＧデコーダ、Ｈ．２６３デコーダ、あるいはＨ．２６４デコーダである、前記［５］記載の遠隔局。
［７］
前記オーディオデコーダは、ＭＰＥＧデコーダ、Ｈ．２６３デコーダあるいはＨ．２６４デコーダである、前記［５］記載の遠隔局。
［８］
オーディオおよびビデオデータのデコーディングおよび同期を制御する制御プロセッサを更に備える、前記［５］記載の遠隔局。
［９］
ビデオＲＴＰストリームを受け取りそしてＲＴＰビデオデータの全フレームをビデオフレームレートと同じあるいはより少ない期間を占める通信チャネルパケットに割り当てるように構成されたビデオ通信チャネルインタフェースと；
オーディオＲＴＰストリームを受け取りそしてＲＴＰオーディオデータの全フレームをオーディオフレームレートと同じあるいはより少ない期間を占める通信チャネルパケットに割り当てるように構成されたオーディオ通信チャネルインタフェースと；そして
前記ビデオおよびオーディオの通信チャネルパケットを受け取りそして送信するように構成された送信機と；
を備える遠隔局装置。
［１０］
前記のオーディオおよびビデオデータの通信チャネルパケットへの割り当てを制御する制御プロセッサを更に備える、前記［９］記載の遠隔局装置。
［１１］
符号化されたビデオデータを受け取りそしてデコードされたビデオデータを出力するように構成されたビデオデコーダと；
符号化されたオーディオデータを受け取りそしてデコードされたオーディオデータを出力するように構成されたオーディオデコーダと；
ビデオフレーム期間、デコードされたビデオデータを蓄積し、そしてフレーム期間毎にビデオデータのフレームを出力するように構成されたビデオバッファと；
オーディオフレーム期間、デコードされたオーディオデータを蓄積し、そしてフレーム期間毎にオーディオデータのフレームを出力するように構成されたオーディオバッファと；そして
ビデオデータの前記フレームおよびオーディオデータの前記フレームを受け取りそしてオーディオビデオデータの同期をとられたフレームを出力するように構成された結合器と；
を備える基地局装置。
［１２］
前記ビデオデコーダは、ＭＰＥＧデコーダ、Ｈ．２６３デコーダ、あるいはＨ．２６４デコーダである、前記［１１］記載の基地局。
［１３］
前記オーディオデコーダは、ＭＰＥＧデコーダ、Ｈ．２６３デコーダあるいはＨ．２６４デコーダである、前記［１１］記載の基地局。
［１４］
オーディオおよびビデオデータのデコーディングおよび同期を制御する制御プロセッサを更に備える、前記［１１］記載の基地局。
［１５］
ビデオＲＴＰストリームを受け取りそしてＲＴＰビデオデータの全フレームをビデオフレームレートと同じあるいはより少ない期間を占める通信チャネルパケットに割り当てるように構成されたビデオ通信チャネルインタフェースと；
オーディオＲＴＰストリームを受け取りそしてＲＴＰオーディオデータの全フレームをオーディオフレームレートと同じあるいはより少ない期間を占める通信チャネルパケットに割り当てるように構成されたオーディオ通信チャネルインタフェースと；そして
前記ビデオおよびオーディオの通信チャネルパケットを受け取りそして送信するように構成された送信機と；
を備える基地局装置。
［１６］
前記のオーディオおよびビデオデータの通信チャネルパケットへの割り当てを制御する制御プロセッサを更に備える、前記［１５］記載の基地局装置。
［１７］
ビデオＲＴＰストリームを受け取りそしてＲＴＰビデオデータの全フレームをビデオフレームレートと同じあるいはより少ない期間を占める通信チャネルパケットに割り当てるように構成されたビデオ通信チャネルインタフェースと、
オーディオＲＴＰストリームを受け取りそしてＲＴＰオーディオデータの全フレームをオーディオフレームレートと同じあるいはより少ない期間を占める通信チャネルパケットに割り当てるように構成されたオーディオ通信チャネルインタフェースと、
前記ビデオおよびオーディオの通信チャネルパケットを受け取りそして送信するように構成された送信機と、
を有する基地局装置と；
ビデオ通信チャネルパケットを受け取りそしてデコードされたビデオデータを出力するように構成されたビデオデコーダと、
オーディオ通信チャネルパケットを受け取りそしてデコードされたオーディオデータを出力するように構成されたオーディオデコーダと、
ビデオフレーム期間、デコードされたビデオデータを蓄積し、そしてフレーム期間毎にビデオデータのフレームを出力するように構成されたビデオバッファと、
オーディオフレーム期間、デコードされたオーディオデータを蓄積し、そしてフレーム期間毎にオーディオデータのフレームを出力するように構成されたオーディオバッファと、そして
ビデオデータの前記フレームおよびオーディオデータの前記フレームを受け取りそしてオーディオビデオデータの同期をとられたフレームを出力するように構成された結合器と、
を有する遠隔局装置と；
を備える無線通信システム。
［１８］
ビデオＲＴＰストリームを受け取りそしてＲＴＰビデオデータの全フレームをビデオフレームレートと同じあるいはより少ない期間を占める通信チャネルパケットに割り当てるように構成されたビデオ通信チャネルインタフェースと、
オーディオＲＴＰストリームを受け取りそしてＲＴＰオーディオデータの全フレームをオーディオフレームレートと同じあるいはより少ない期間を占める通信チャネルパケットに割り当てるように構成されたオーディオ通信チャネルインタフェースと、
前記ビデオおよびオーディオの通信チャネルパケットを受け取りそして送信するように構成された送信機と、
を有する遠隔局装置と；
ビデオ通信チャネルパケットを受け取りそしてデコードされたビデオデータを出力するように構成されたビデオデコーダと、
オーディオ通信チャネルパケットを受け取りそしてデコードされたオーディオデータを出力するように構成されたオーディオデコーダと、
ビデオフレーム期間、デコードされたビデオデータを蓄積し、そしてフレーム期間毎にビデオデータのフレームを出力するように構成されたビデオバッファと、
オーディオフレーム期間、デコードされたオーディオデータを蓄積し、そしてフレーム期間毎にオーディオデータのフレームを出力するように構成されたオーディオバッファと、そして
ビデオデータの前記フレームおよびオーディオデータの前記フレームを受け取りそしてオーディオビデオデータの同期をとられたフレームを出力するように構成された結合器と、
を有する基地局装置と；
を備える無線通信システム。
［１９］
第１符号化されたデータストリームを受け取り、デコードしそしてデコードされた第１データストリームを出力することと、なおここでは、前記第１符号化されたデータストリームは情報間隔の間、第１ビットレートを有する；
第２符号化されたデータストリームを受け取り、デコードしそしてデコードされた第２データストリームを出力することと、なおここでは、前記第２符号化されたデータストリームは前記情報間隔の間、第２ビットレートを有する；
少なくとも１情報間隔の間、前記デコードされた第１データストリームを蓄積し、そして間隔期間毎に前記デコードされた第１データストリームのフレームを出力することと；
少なくとも１情報間隔の間、前記デコードされた第２データストリームを蓄積し、そして間隔期間毎に前記デコードされた第２データストリームのフレームを出力することと；そして
デコードされた第１データストリームの前記フレームとデコードされた第２データストリームの前記フレームとを結合し、そして第１および第２のデコードされたデータストリームの同期をとられたフレームを出力することと；
を含む、データストリームをデコードし同期させる方法。
［２０］
オーディオおよびビデオデータをデコードし同期させる方法であって、
符号化されたビデオデータを受け取りそしてデコードされたビデオデータを出力することと；
符号化されたオーディオデータを受け取りそしてデコードされたオーディオデータを出力することと；
ビデオフレーム期間、デコードされたビデオデータを蓄積し、そしてフレーム期間毎にビデオデータのフレームを出力することと；
オーディオフレーム期間、デコードされたオーディオデータを蓄積し、そしてフレーム期間毎にオーディオデータのフレームを出力することと；そして
ビデオデータの前記フレームとオーディオデータの前記フレームとを結合し、そしてビデオフレーム期間毎にオーディオビデオデータの同期をとられたフレームを出力することと；
を含む方法。
［２１］
オーディオおよびビデオデータを符号化する方法であって、
ビデオＲＴＰストリームを受け取りそしてＲＴＰビデオデータの全フレームをビデオフレームレートと同じあるいはより少ない期間を占める通信チャネルパケットに割り当てることと；そして
オーディオＲＴＰストリームを受け取りそしてＲＴＰオーディオデータの全フレームをオーディオフレームレートと同じあるいはより少ない期間を占める通信チャネルパケットに割り当てることと；
を含む、方法。
［２２］
データストリームをデコードし同期させる方法を具現化するコンピュータ可読媒体であって、前記方法は
第１符号化されたデータストリームを受け取り、デコードしそしてデコードされた第１データストリームを出力することと、なおここでは、前記第１符号化されたデータストリームは情報間隔の間、第１ビットレートを有する；
第２符号化されたデータストリームを受け取り、デコードしそしてデコードされた第２データストリームを出力することと、なおここでは、前記第２符号化されたデータストリームは前記情報間隔の間、第２ビットレートを有する；
少なくとも１情報間隔の間、前記デコードされた第１データストリームを蓄積し、そして間隔期間毎に前記デコードされた第１データストリームのフレームを出力することと；
少なくとも１情報間隔の間、前記デコードされた第２データストリームを蓄積し、そして間隔期間毎に前記デコードされた第２データストリームのフレームを出力することと；そして
デコードされた第１データストリームの前記フレームとデコードされた第２データストリームの前記フレームとを結合し、そして第１および第２のデコードされたデータストリームの同期をとられたフレームを出力することと；
を含む、コンピュータ可読媒体。
［２３］
オーディオおよびビデオデータをデコードし同期させる方法を具現化するコンピュータ可読媒体であって、前記方法は
符号化されたビデオデータを受け取りそしてデコードされたビデオデータを出力することと；
符号化されたオーディオデータを受け取りそしてデコードされたオーディオデータを出力することと；
ビデオフレーム期間、デコードされたビデオデータを蓄積し、そしてフレーム期間毎にビデオデータのフレームを出力することと；
オーディオフレーム期間、デコードされたオーディオデータを蓄積し、そしてフレーム期間毎にオーディオデータのフレームを出力することと；そして
ビデオデータの前記フレームとオーディオデータの前記フレームとを結合し、そしてビデオフレーム期間毎にオーディオビデオデータの同期をとられたフレームを出力することと；
を含む、コンピュータ可読媒体。
［２４］
オーディオおよびビデオデータを符号化する方法を具現化するコンピュータ可読媒体であって、前記方法は、
ビデオＲＴＰストリームを受け取りそしてＲＴＰビデオデータの全フレームをビデオフレームレートと同じあるいはより少ない期間を占める通信チャネルパケットに割り当てることと；そして
オーディオＲＴＰストリームを受け取りそしてＲＴＰオーディオデータの全フレームをオーディオフレームレートと同じあるいはより少ない期間を占める通信チャネルパケットに割り当てることと；
を含む、コンピュータ可読媒体。
［２５］
第１符号化されたデータストリームを受け取り、そしてデコードされた第１データストリームを出力するための手段と、なおここでは、前記第１符号化されたデータストリームは情報間隔の間、第１ビットレートを有する；
第２符号化されたデータストリームを受け取り、そしてデコードされた第２データストリームを出力するための手段と、なおここでは、前記第２符号化されたデータストリームは前記情報間隔の間、第２ビットレートを有する；
少なくとも１情報間隔の間、前記デコードされた第１データストリームを蓄積し、そして間隔期間毎に前記デコードされた第１データストリームのフレームを出力するための手段と；
少なくとも１情報間隔の間、前記デコードされた第２データストリームを蓄積し、そして間隔期間毎に前記デコードされた第２データストリームのフレームを出力するための手段と；そして
デコードされた第１データストリームの前記フレームとデコードされた第２データストリームの前記フレームとを結合し、そして第１および第２のデコードされたデータストリームの同期をとられたフレームを出力するための手段と；
を備える、データストリーム同期装置。
［２６］
符号化されたビデオデータを受け取りそしてデコードされたビデオデータを出力するための手段と；
符号化されたオーディオデータを受け取りそしてデコードされたオーディオデータを出力するための手段と；
ビデオフレーム期間、デコードされたビデオデータを蓄積し、そしてフレーム期間毎にビデオデータのフレームを出力するための手段と；
オーディオフレーム期間、デコードされたオーディオデータを蓄積し、そしてフレーム期間毎にオーディオデータのフレームを出力するための手段と；そして
ビデオデータの前記フレームとオーディオデータの前記フレームとを結合し、そしてオーディオビデオデータの同期をとられたフレームを出力するための手段と；
を備える遠隔局装置。
［２７］
ビデオＲＴＰストリームを受け取りそしてＲＴＰビデオデータの全フレームをビデオフレームレートと同じあるいはより少ない期間を占める通信チャネルパケットに割り当てるための手段と；そして
オーディオＲＴＰストリームを受け取りそしてＲＴＰオーディオデータの全フレームをオーディオフレームレートと同じあるいはより少ない期間を占める通信チャネルパケットに割り当てるための手段と；
を備える遠隔局装置。
［２８］
符号化されたビデオデータを受け取りそしてデコードされたビデオデータを出力するための手段と；
符号化されたオーディオデータを受け取りそしてデコードされたオーディオデータを出力するための手段と；
ビデオフレーム期間、デコードされたビデオデータを蓄積し、そしてフレーム期間毎にビデオデータのフレームを出力するための手段と；
オーディオフレーム期間、デコードされたオーディオデータを蓄積し、そしてフレーム期間毎にオーディオデータのフレームを出力するための手段と；そして
ビデオデータの前記フレームとオーディオデータの前記フレームとを結合しそしてオーディオビデオデータの同期をとられたフレームを出力するための手段と；
を備える基地局装置。
［２９］
ビデオＲＴＰストリームを受け取りそしてＲＴＰビデオデータの全フレームをビデオフレームレートと同じあるいはより少ない期間を占める通信チャネルパケットに割り当てるための手段と；そして
オーディオＲＴＰストリームを受け取りそしてＲＴＰオーディオデータの全フレームをオーディオフレームレートと同じあるいはより少ない期間を占める通信チャネルパケットに割り当てるための手段と；
を備える基地局装置。
【外国語明細書】
2011142616000001.pdf