(57)【要約】【課題】  階層符号化されたストリームを、受信側の能力を考慮して送信する。【解決手段】  ＴＳパケット化部は基本ストリームと拡張ストリームとをそれぞれＴＳパケットにパケット化し、制御部はＴＳパケットの送信のタイミングを制御する。このとき、制御部は、エレメンタリバッファ３６３の容量がｂｎ０、エレメンタリバッファ３６３への入力ビットレートをｒｘｎ０と想定した、基本ストリームのみに対応している第１の仮想的な受信装置と、エレメンタリバッファ３６３の容量がｂｎ１、入力ビットレートがｒｘｎ１と想定した、基本ストリームと拡張ストリームとに対応している第２の仮想的な受信装置との２つの仮想的な受信装置のそれぞれのエレメンタリバッファがオーバーフローおよびアンダーフローしないようなタイミングで、ＴＳパケットの多重化のタイミングを制御する。本発明は、ＴＳパケットを多重化する多重化装置に適用することができる。【選択図】図７
2006197542.tif 000002
【特許請求の範囲】
【請求項１】
入力したストリームを、基本ストリームと基本ストリームに対して拡張性を有する拡張ストリームとを含むようにエンコードするエンコード手段と、
前記エンコード手段によりエンコードされた前記基本ストリームと前記拡張ストリームとを、それぞれＴＳ（Transport Stream）パケットにパケット化するパケット化手段と、
前記パケット化手段によりパケット化された前記ＴＳパケットの多重化のタイミングを制御する制御手段と、
前記制御手段により制御されたタイミングで、前記ＴＳパケットを多重化する多重化手段と
を備え、
前記制御手段は、エレメンタリバッファの容量が第１の容量、前記エレメンタリバッファへの入力ビットレートが第１のレートと想定した、前記基本ストリームのみに対応している第１の仮想デコーダを有する第１の仮想的な受信装置と、エレメンタリバッファの容量が第２の容量、前記エレメンタリバッファへの入力ビットレートが第２のレートと想定した、前記基本ストリームと前記拡張ストリームとに対応している第２の仮想デコーダを有する第２の仮想的な受信装置との２つの仮想的な受信装置のそれぞれの前記エレメンタリバッファがオーバーフローしないようなタイミングで、前記ＴＳパケットの多重化のタイミングを制御する
多重化装置。
【請求項２】
前記エレメンタリバッファの第１の容量は、第２の容量より小さく、
前記エレメンタリバッファへの入力ビットレートである第１のレートは、第２のレートより遅い
請求項１に記載の多重化装置。
【請求項３】
前記制御手段は、前記第１の仮想的な受信装置が取得するＴＳパケットを、前記多重化手段により多重化される前記ＴＳパケットのうちの前記基本ストリームを構成するＴＳパケットのみであると想定し、前記第２の仮想的な受信装置が取得するＴＳパケットを、前記多重化手段により多重化される前記基本ストリームと前記拡張ストリームを構成するＴＳパケットであるものと想定して、前記ＴＳパケットの多重化のタイミングを制御する
請求項１に記載の多重化装置。
【請求項４】
前記第１の仮想的な受信装置と前記第２の仮想的な受信装置は、それぞれ前記エレメンタリバッファの前段にトランスポートバッファをさらに有し、
前記制御手段は、前記トランスポートバッファがオーバーフローしないようなタイミングで、前記ＴＳパケットの多重化タイミングを制御する
請求項１に記載の多重化装置。
【請求項５】
前記制御手段は、
前記第１の仮想的な受信装置の前記エレメンタリバッファがオーバーフローおよびアンダーフローしないようなタイミングを計算した後、さらに、前記第２の仮想的な受信装置の前記エレメンタリバッファがオーバーフローおよびアンダーフローしないようなタイミングを計算し、前記ＴＳパケットの多重化のタイミングを制御する
請求項１に記載の送信装置。
【請求項６】
前記制御手段は、
前記第１の仮想的な受信装置と、前記第２の仮想的な受信装置との２つの仮想的な受信装置のそれぞれの前記エレメンタリバッファがオーバーフローおよびアンダーフローしないようなタイミングで、前記ＴＳパケットの多重化のタイミングを制御する
請求項１に記載の多重化装置。
【請求項７】
前記多重化手段により多重化された前記ＴＳパケットを記録媒体に記録させるよう制御する記録制御手段を
さらに備える請求項１に記載の多重化装置。
【請求項８】
前記入力したストリームには、オーディオストリームとビデオストリームのうちの少なくとも一方が含まれる
請求項１に記載の多重化装置。
【請求項９】
入力したストリームを、基本ストリームと基本ストリームに対して拡張性を有する拡張ストリームとを含むようにエンコードするエンコードステップと、
前記エンコードステップの処理によりエンコードされた前記基本ストリームと前記拡張ストリームとを、それぞれＴＳパケットにパケット化するパケット化ステップと、
前記パケット化ステップの処理によりパケット化された前記ＴＳパケットの多重化のタイミングを制御する制御ステップと、
前記制御ステップの処理により制御されたタイミングで、前記ＴＳパケットを多重化する多重化ステップと
を含み、
前記制御ステップの処理は、エレメンタリバッファの容量が第１の容量、前記エレメンタリバッファへの入力ビットレートが第１のレートと想定した、前記基本ストリームのみに対応している第１の仮想デコーダを有する第１の仮想的な受信装置と、エレメンタリバッファの容量が第２の容量、前記エレメンタリバッファへの入力ビットレートが第２のレートと想定した、前記基本ストリームと前記拡張ストリームとに対応している第２の仮想デコーダを有する第２の仮想的な受信装置との２つの仮想的な受信装置のそれぞれの前記エレメンタリバッファがオーバーフローしないようなタイミングで、前記ＴＳパケットの多重化のタイミングを制御する
多重化方法。
【請求項１０】
入力したストリームを、基本ストリームと基本ストリームに対して拡張性を有する拡張ストリームとを含むようにエンコードするエンコードステップと、
前記エンコードステップの処理によりエンコードされた前記基本ストリームと前記拡張ストリームとを、それぞれＴＳパケットにパケット化するパケット化ステップと、
前記パケット化ステップの処理によりパケット化された前記ＴＳパケットの多重化のタイミングを制御する制御ステップと、
前記制御ステップの処理により制御されたタイミングで、前記ＴＳパケットを多重化する多重化ステップと
を含む処理をコンピュータに実行させ、
前記制御ステップの処理は、エレメンタリバッファの容量が第１の容量、前記エレメンタリバッファへの入力ビットレートが第１のレートと想定した、前記基本ストリームのみに対応している第１の仮想デコーダを有する第１の仮想的な受信装置と、エレメンタリバッファの容量が第２の容量、前記エレメンタリバッファへの入力ビットレートが第２のレートと想定した、前記基本ストリームと前記拡張ストリームとに対応している第２の仮想デコーダを有する第２の仮想的な受信装置との２つの仮想的な受信装置のそれぞれの前記エレメンタリバッファがオーバーフローしないようなタイミングで、前記ＴＳパケットの多重化のタイミングを制御する
プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、多重化装置および多重化方法、並びにプログラムに関し、特に、基本ストリームと拡張ストリームからなる、階層符号化されたオーディオストリームを、受信側の能力を考慮して多重化することができるようにした多重化装置および多重化方法、並びにプログラムに関する。
【背景技術】
【０００２】
ビデオストリームやオーディオストリームをパケット化して符号化（多重化）する方式のひとつに、MPEG（Moving Picture Experts Group）トランスポートストリーム（以下、MPEG2-TSと称する）がある。
【０００３】
図１は、送信装置１１がMPEG2-TSを用いて符号化する場合における制約を説明する図である。送信装置１１は、ビデオストリームやオーディオストリームを、MPEG2-TSの方式で符号化し、送信する。このとき、送信装置１１は、仮想的な受信装置１２を想定し、送信装置１１が送信したMPEG2-TSをその仮想的な受信装置１２が有する仮想デコーダ２１で復号できるように、MPEG2-TSのビデオストリームやオーディオストリームをパケット化するタイミングを決定する。ここで、仮想的な受信装置１２は、例えば、ISO/IEC 13818-1 MPEG2 systems規格で規定されているところのT-STD(Transport stream Standard Target Decoder)である仮想デコーダ２１を有している。
【０００４】
図２は、図１の仮想デコーダ２１の構成例を示す図である。すなわち、図２の仮想デコーダ２１は、MPEG2 systems規格で規定されているT-STDモデルである。
【０００５】
MPEG2 systems規格では、MPEG1ビデオ、MPEG2ビデオ、およびMPEG4 AVCなどのMPEG規格で規定されているビデオストリームと、MPEG1オーディオ、MPEG2 AACオーディオなどのMPEG規格で規定されているオーディオストリームとを、MPEG2-TSの方式で符号化する場合の制限を定めている。すなわち、送信装置１１（図１）は、図２の仮想デコーダ２１でデコード可能となるように、ビデオストリームやオーディオストリームをエンコードする。換言すれば、送信装置１１は、図２の仮想デコーダ２１のモデルの制限に収まるように、ビデオストリームやオーディオストリームをデコードするとともにパケット化する。
【０００６】
仮想的な受信装置１２（図１）に送信されてきたMPEG2-TSは、仮想デコーダ２１に供給される。仮想デコーダ２１に供給されたMPEG2-TSは、図２に示されるように、フィルタ４１によって、パケットの種類ごとにフィルタリングされる。
【０００７】
具体的には、MPEG2-TSは、複数のパケットにより構成されており、各パケットには、そのパケットを識別するためのPID（Packet Identification）が付されている。フィルタ４１は、MPEG2-TSを構成する各パケットに付されたPIDに基づいて、ビデオストリームを構成するＴＳパケットを、ビデオストリームを処理するためのビデオデータデコード処理部５０に供給し、オーディオストリームを構成するＴＳパケットを、オーディオストリームを処理するためのオーディオデータデコード処理部６０に供給し、システムに関するＴＳパケットを、システムに関するデータを処理するためのシステムデータデコード処理部７０に供給する。
【０００８】
ビデオストリーム処理部５０には、トランスポートバッファ（図中、ＴＢｖと記述する）５１、マルチプレクスバッファ（図中、ＭＢｖと記述する）５２、エレメンタリバッファ（図中、ＥＢｖと記述する）５３、ビデオデコーダ（図中、Ｄｖと記述する）５４、およびアウトプットリオーダリングバッファ（図中、Ｏｖと記述する）５５が設けられている。
【０００９】
ビデオストリームを構成するＴＳパケットが、フィルタ４１を介してビデオストリーム処理部５０に供給されると、トランスポートバッファ５１に蓄積される。トランスポートバッファ５１に蓄積されたＴＳパケットは、所定のタイミングでマルチプレクスバッファ５２に供給されてスムージングされた後、エレメンタリバッファ５３に供給される。ビデオデコーダ５４は、エレメンタリバッファ５３に蓄積されているビデオアクセスユニットを所定のタイミングで引き抜き、それを復号して出力する。復号されたデータのうちの一部は、アウトプットリオーダリングバッファ５５を介して端子５６から出力され、それ以外のデータは、端子５７から出力されて再生される。
【００１０】
オーディオストリーム処理部６０には、トランスポートバッファ（図中、ＴＢｎと記述する）６１、エレメンタリバッファ（図中、Ｂｎと記述する）６２、およびオーディオデコーダ（図中、Ｄｎと記述する）６３が設けられている。
【００１１】
オーディオストリームを構成するＴＳパケットが、フィルタ４１を介してオーディオストリーム処理部６０に供給されると、トランスポートバッファ６１に蓄積される。このトランスポートバッファ６１のサイズ（容量）は５１２バイトとされる。エレメンタリバッファ６２のサイズは、オーディオ符号化方法（MPEG1オーディオやMPEG2 AACオーディオなど）によって異なるものとされている。ここで、Ｒｘｎは、トランスポートバッファ６１からのリークレートであり、トランスポートバッファ６１にデータが入っている場合、トランスポートバッファ６１からのデータは、Ｒｘｎのレート（速度）でエレメンタリバッファ６２に供給され、トランスポートバッファ６１にデータが入っていない場合、トランスポートバッファ６１からのデータは、エレメンタリバッファ６２には供給されない（すなわちＲｘｎ＝０となる）。
【００１２】
オーディオデコーダ６３は、エレメンタリバッファ６２に蓄積されているオーディオアクセスユニットを所定のタイミングで引き抜き復号するとともに、端子６４を介して出力し、再生する。具体的には、オーディオデコーダ６３は、オーディオアクセスユニットのPTS（Presentation Time Stamp）が、T-STDのシステムタイムクロック上の時間に等しくなったときに、そのオーディオアクセスユニットをエレメンタリバッファ６２から引き抜く。ここで、オーディオアクセスユニットとは、オーディオストリームを構成する符号化単位であり、また、それが復号単位となる。
【００１３】
また、システムデータデコード処理部７０には、トランスポートバッファ（図中、TBsysと記述する）７１、エレメンタリバッファ（図中、Bsys記述する）７２、およびシステムデコーダ（図中、Dsysと記述する）７３が設けられている。
【００１４】
システムに関するＴＳパケットが、フィルタ４１を介してシステムデータデコード処理部７０に供給されると、トランスポートバッファ７１に蓄積される。トランスポートバッファ７１に蓄積されたデータは、エレメンタリバッファ７２に供給される。システムデコーダ７３は、エレメンタリバッファ７２に蓄積されているシステムアクセスユニットを所定のタイミングで引き抜き復号し、端子７４を介して出力する。
【００１５】
このような図２の仮想デコーダ２１を有する仮想的な受信装置１２によって正しくデコードできるように、図１の送信装置１１は、ビデオストリームやオーディオストリームをパケット化し、送信するタイミングを決定して符号化する必要がある。
【００１６】
すなわち、送信装置１１は、例えば図２の仮想デコーダ２１（T-STD）の中のオーディオデコーダモデルでいえば、トランスポートバッファ６１がオーバーフローすることなく、かつ、エレメンタリバッファ６２がオーバーフローおよびアンダーフローすることがないように、オーディオストリームのパケット化タイミングを決定し、符号化しなければならない。
【００１７】
ところで、受信装置（再生装置）には、特許文献１に示されるような基本ストリームと、基本ストリームに対して拡張性を有する拡張ストリームを処理して再生するものが提案されている。
【特許文献１】特開平１１−３１３６２号公報
【発明の開示】
【発明が解決しようとする課題】
【００１８】
しかしながら、送信装置１１が、基本ストリームに対して拡張性を有する拡張ストリームからなる階層符号化されたストリームを多重化して送信する場合、図２の仮想デコーダ２１を有する仮想的な受信装置１２を想定したとき、基本ストリームと拡張ストリームの両方に対応した受信装置（実際の図示せぬ受信装置）ではデコード可能であるが、基本ストリームのみに対応した受信装置（実際の図示せぬ受信装置）においては、必ずしもデコード可能ではなく、トランスポートバッファ６１がオーバーフローしたり、エレメンタリバッファ６２がオーバーフローおよびアンダーフローする可能性があった。
【００１９】
すなわち、送信装置１１が基本ストリームと拡張ストリームからなる階層符号化されたストリームを送信する場合、仮想的な受信装置１２が有する仮想デコーダ２１を図２のように想定しただけであると、基本ストリームのみを受信する受信装置で十分にデコードできない場合があった。
【００２０】
本発明はこのような状況に鑑みてなされたものであり、基本ストリームと拡張ストリームからなる、階層符号化されたオーディオストリームを、受信側で確実にデコードできるように、受信側の能力を考慮して多重化するものである。
【課題を解決するための手段】
【００２１】
本発明の一側面の多重化装置は、入力したストリームを、基本ストリームと基本ストリームに対して拡張性を有する拡張ストリームとを含むようにエンコードするエンコード手段と、前記エンコード手段によりエンコードされた前記基本ストリームと前記拡張ストリームとを、それぞれＴＳ（Transport Stream）パケットにパケット化するパケット化手段と、前記パケット化手段によりパケット化された前記ＴＳパケットの多重化のタイミングを制御する制御手段と、前記制御手段により制御されたタイミングで、前記ＴＳパケットを多重化する多重化手段とが設けられており、前記制御手段は、エレメンタリバッファの容量が第１の容量、前記エレメンタリバッファへの入力ビットレートが第１のレートと想定した、前記基本ストリームのみに対応している第１の仮想デコーダを有する第１の仮想的な受信装置と、エレメンタリバッファの容量が第２の容量、前記エレメンタリバッファへの入力ビットレートが第２のレートと想定した、前記基本ストリームと前記拡張ストリームとに対応している第２の仮想デコーダを有する第２の仮想的な受信装置との２つの仮想的な受信装置のそれぞれの前記エレメンタリバッファがオーバーフローしないようなタイミングで、前記ＴＳパケットの多重化のタイミングを制御する。
【００２２】
前記エレメンタリバッファの第１の容量は、第２の容量より小さく、前記エレメンタリバッファへの入力ビットレートである第１のレートは、第２のレートより遅くさせることができる。
【００２３】
前記制御手段は、前記第１の仮想的な受信装置が取得するＴＳパケットを、前記多重化手段により多重化される前記ＴＳパケットのうちの前記基本ストリームを構成するＴＳパケットのみであると想定し、前記第２の仮想的な受信装置が取得するＴＳパケットを、前記多重化手段により多重化される前記基本ストリームと前記拡張ストリームを構成するＴＳパケットであるものと想定して、前記ＴＳパケットの多重化のタイミングを制御させるようにすることができる。
【００２４】
前記第１の仮想的な受信装置と前記第２の仮想的な受信装置は、それぞれ前記エレメンタリバッファの前段にトランスポートバッファをさらに設け、前記制御手段は、前記トランスポートバッファがオーバーフローしないようなタイミングで、前記ＴＳパケットの多重化タイミングを制御させるようにすることができる。
【００２５】
前記制御手段は、前記第１の仮想的な受信装置の前記エレメンタリバッファがオーバーフローおよびアンダーフローしないようなタイミングを計算させた後、さらに、前記第２の仮想的な受信装置の前記エレメンタリバッファがオーバーフローおよびアンダーフローしないようなタイミングを計算し、前記ＴＳパケットの多重化のタイミングを制御させるようにすることができる。
【００２６】
前記制御手段は、前記第１の仮想的な受信装置と、前記第２の仮想的な受信装置との２つの仮想的な受信装置のそれぞれの前記エレメンタリバッファがオーバーフローおよびアンダーフローしないようなタイミングで、前記ＴＳパケットの多重化のタイミングを制御させるようにすることができる。
【００２７】
前記多重化手段により多重化された前記ＴＳパケットを記録媒体に記録させるよう制御する記録制御手段をさらに設けることができる。
【００２８】
前記入力したストリームには、オーディオストリームとビデオストリームのうちの少なくとも一方を含ませるようにすることができる。
【００２９】
本発明の一側面の多重化方法（またはプログラム）は、入力したストリームを、基本ストリームと基本ストリームに対して拡張性を有する拡張ストリームとを含むようにエンコードするエンコードステップと、前記エンコードステップの処理によりエンコードされた前記基本ストリームと前記拡張ストリームとを、それぞれＴＳパケットにパケット化するパケット化ステップと、前記パケット化ステップの処理によりパケット化された前記ＴＳパケットの多重化のタイミングを制御する制御ステップと、前記制御ステップの処理により制御されたタイミングで、前記ＴＳパケットを多重化する多重化ステップとを含み（または含む処理をコンピュータに実行させ）、前記制御ステップの処理は、エレメンタリバッファの容量が第１の容量、前記エレメンタリバッファへの入力ビットレートが第１のレートと想定した、前記基本ストリームのみに対応している第１の仮想デコーダを有する第１の仮想的な受信装置と、エレメンタリバッファの容量が第２の容量、前記エレメンタリバッファへの入力ビットレートが第２のレートと想定した、前記基本ストリームと前記拡張ストリームとに対応している第２の仮想デコーダを有する第２の仮想的な受信装置との２つの仮想的な受信装置のそれぞれの前記エレメンタリバッファがオーバーフローしないようなタイミングで、前記ＴＳパケットの多重化のタイミングを制御する多重化方法（またはプログラム）である。
【００３０】
本発明の一側面においては、入力したストリームが、基本ストリームと拡張ストリームとを含むようにエンコードされ、エンコードされた前記基本ストリームと前記拡張ストリームとが、それぞれＴＳパケットにパケット化され、エレメンタリバッファの容量が第１の容量、前記エレメンタリバッファへの入力ビットレートが第１のレートと想定された、前記基本ストリームのみに対応している第１の仮想デコーダを有する第１の仮想的な受信装置と、エレメンタリバッファの容量が第２の容量、前記エレメンタリバッファへの入力ビットレートが第２のレートと想定された、前記基本ストリームと前記拡張ストリームとに対応している第２の仮想デコーダを有する第２の仮想的な受信装置との２つの仮想的な受信装置のそれぞれの前記エレメンタリバッファがオーバーフローしないようなタイミングで、前記ＴＳパケットの多重化のタイミングが制御されて多重化される。
【００３１】
多重化装置は、独立した装置であってもよいし、送信装置の多重化処理を行うブロックであってもよい。
【発明の効果】
【００３２】
本発明の一側面によれば、ストリームを、受信側の能力を考慮してエンコードし、多重化することができる。特に、本発明の一側面によれば、基本ストリームと拡張ストリームからなる、階層符号化されたオーディオストリームを、受信側で円滑にデコードできるように、エンコードして多重化することができる。
【発明を実施するための最良の形態】
【００３３】
以下に本発明の実施の形態を説明するが、本発明の構成要件と、発明の詳細な説明に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、発明の詳細な説明に記載されていることを確認するためのものである。従って、発明の詳細な説明中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
【００３４】
本発明の一側面の多重化装置（例えば、図４の送信装置１１１または図１４の送信装置１１１）は、第１に、入力したストリームを、基本ストリームと基本ストリームに対して拡張性を有する拡張ストリームとを含むようにエンコードするエンコード手段（例えば、図４または図１４のオーディオエンコーダ１３２）と、前記エンコード手段によりエンコードされた前記基本ストリームと前記拡張ストリームとを、それぞれＴＳ（Transport Stream）パケットにパケット化するパケット化手段（例えば、図４のＴＳパケット化部１３７または図１４のＴＳパケット化処理部４０１）と、前記パケット化手段によりパケット化された前記ＴＳパケットの多重化のタイミングを制御する制御手段（例えば、図４または図１４の制御部１３５）と、前記制御手段により制御されたタイミングで、前記ＴＳパケットを多重化する多重化手段（例えば、図４のＴＳパケット化部１３７または図１４の多重化処理部４０２）とを備え、前記制御手段は、エレメンタリバッファの容量が第１の容量（例えば、ｂｎ０）、前記エレメンタリバッファへの入力ビットレートが第１のレート（例えば、ｒｘｎ０）と想定した、前記基本ストリームのみに対応している第１の仮想デコーダを有する第１の仮想的な受信装置（例えば、ｂｎ０，ｒｘｎ０と想定された仮想的な受信装置１１２）と、エレメンタリバッファの容量が第２の容量（例えば、ｂｎ１）、前記エレメンタリバッファへの入力ビットレートが第２のレート（例えば、ｒｘｎ１）と想定した、前記基本ストリームと前記拡張ストリームとに対応している第２の仮想デコーダを有する第２の仮想的な受信装置（例えば、ｂｎ１，ｒｘｎ１と想定された仮想的な受信装置１１２）との２つの仮想的な受信装置のそれぞれの前記エレメンタリバッファがオーバーフローしないようなタイミングで、前記ＴＳパケットの多重化のタイミングを制御する（例えば、図９のステップＳ１８または図２０のステップＳ２１８）。
【００３５】
この多重化装置の前記制御手段は、前記第１の仮想的な受信装置が取得するＴＳパケットを、前記多重化手段により多重化される前記ＴＳパケットのうちの前記基本ストリームを構成するＴＳパケットのみ（ｔｐ＝０が付されたＴＳパケット）であると想定し、前記第２の仮想的な受信装置が取得するＴＳパケットを、前記多重化手段により多重化される前記基本ストリームと前記拡張ストリームを構成するＴＳパケット（ｔｐ＝０，１が付されたＴＳパケット）であるものと想定して、前記ＴＳパケットの多重化のタイミングを制御する。
【００３６】
本発明の一側面の多重化方法またはプログラムは、入力したストリームを、基本ストリームと基本ストリームに対して拡張性を有する拡張ストリームとを含むようにエンコードするエンコードステップ（例えば、図８のステップＳ１２または図１９のステップＳ２１２）と、前記エンコードステップの処理によりエンコードされた前記基本ストリームと前記拡張ストリームとを、それぞれＴＳパケットにパケット化するパケット化ステップ（例えば、図８のステップＳ１７または図１９のステップＳ２１７）と、前記パケット化ステップの処理によりパケット化された前記ＴＳパケットの多重化のタイミングを制御する制御ステップ（例えば、図９のステップＳ１８または図２０のステップＳ２１８）と、前記制御ステップの処理により制御されたタイミングで、前記ＴＳパケットを多重化する多重化ステップ（例えば、図９のステップＳ１９または図２０のステップＳ２１９）とを含み（または含む処理をコンピュータに実行させ）、前記制御ステップの処理は、エレメンタリバッファの容量が第１の容量（例えば、ｂｎ０）、前記エレメンタリバッファへの入力ビットレートが第１のレート（例えば、ｒｘｎ０）と想定した、前記基本ストリームのみに対応している第１の仮想デコーダを有する第１の仮想的な受信装置（例えば、ｂｎ０，ｒｘｎ０と想定された仮想的な受信装置１１２）と、エレメンタリバッファの容量が第２の容量（例えば、ｂｎ１）、前記エレメンタリバッファへの入力ビットレートが第２のレート（例えば、ｒｘｎ１）と想定した、前記基本ストリームと前記拡張ストリームとに対応している第２の仮想デコーダを有する第２の仮想的な受信装置（例えば、ｂｎ１，ｒｘｎ１と想定された仮想的な受信装置１１２）との２つの仮想的な受信装置のそれぞれの前記エレメンタリバッファがオーバーフローしないようなタイミングで、前記ＴＳパケットの多重化のタイミングを制御する（例えば、図９のステップＳ１８または図２０のステップＳ２１８）。
【００３７】
以下、図を参照して、本発明の第１実施の形態について説明する。
【００３８】
図３は、本発明を適用した送信装置１１１がMPEG（Moving Picture Experts Group）2-TS（Transport stream）（以下、MPEG2-TSと称する）の方式を用いてオーディオストリームを符号化する場合の制約を説明する図である。
【００３９】
この送信装置１１１は、例えば、放送局などのように複数のMPEG2-TSパケットからなるストリームを送信する装置である。例えば、送信装置１１１は、ビデオストリームやオーディオストリームを、受信側の仮想的な受信装置１１２を想定しながらMPEG2-TSの方式を用いて符号化し、実際の受信装置（図示せず）に送信する。また、例えば、送信装置１１１は、仮想的な受信装置１１２を想定しながらMPEG2-TSの方式を用いて符号化（ＴＳパケットを多重化し）、このストリームを、ドライブを介して磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリなどにより構成されるリムーバブルメディアに記録させる（すなわち、この例の場合、送信装置１１１は、リムーバブルメディアにストリームを送信する）。リムーバブルメディアに記録されたストリームは、例えば、実際の受信装置（図示せず）に読み出される。すなわち、送信装置１１１は、リムーバブルメディアを介して図示せぬ受信装置にストリームを送信することも可能な構成とされている。
【００４０】
なお、本実施の形態においては、送信装置１１１が、オーディオストリームを符号化し、これをＴＳパケット化（MPEG2-TSパケットと）し、多重化して送信するものとして説明する。また、本実施の形態では、基本ストリームに対して拡張性を有する拡張ストリームからなる階層符号化されたオーディオストリームを符号化して送信する場合について説明する。ここで、基本オーディオストリームと拡張オーディオストリームの関係としては、基本オーディオストリーム単体だけでオーディオを再生することができ、基本オーディオストリームと拡張オーディオストリームの両方をデコードすると、基本オーディオストリームのみを再生した場合よりも、オーディオの再生品質が高くなったり、また、機能性が高くなったりするものとする。また、基本オーディオストリームの１アクセスユニットは固定長とされる。拡張オーディオストリームの１アクセスユニットは、固定長とは限らず、可変長であることもあり得る。
【００４１】
送信装置１１１は、オーディオストリームを、MPEG2-TSの方式を用いて符号化する。このとき、送信装置１１１は、自分自身のなかで仮想的な受信装置１１２を想定し、送信装置１１１が送信するMPEG2-TSをその仮想的な受信装置１１２が有する仮想デコーダ１２１で復号できるように、MPEG2-TSのオーディオストリームをパケット化し、送信するタイミングを決定する。なお、仮想デコーダ１２１の構成例は、図７を用いて後述する。
【００４２】
図４は、図３の送信装置１１１の構成例を示すブロック図である。
【００４３】
送信装置１１１には、入力部１３１、オーディオエンコーダ１３２、バッファ１３３、抽出情報付加部１３４、制御部１３５、ＰＥＳパケット化部１３６、ＴＳパケット化部１３７、および送信部１３８が設けられている。また、バッファ１３３には、基本バッファ１４１と拡張バッファ１４２が設けられている。
【００４４】
入力部１３１には、送信対象のオーディオストリームが入力される。入力部１３１に入力されたオーディオストリームはオーディオエンコーダ１３２に供給される。
【００４５】
オーディオエンコーダ１３２は、入力部１３１から供給されたオーディオストリームをエンコード（符号化）し、バッファ１３３に供給する。図４のオーディオエンコーダ１３２は、階層符号化に対応したエンコーダである。すなわち、オーディオエンコーダ１３２は、入力されたオーディオストリームを、基本オーディオストリームと拡張オーディオストリームとを含むようにエンコードすることができる。詳細には、オーディオエンコーダ１３２は、オーディオストリームを、基本オーディオストリームと拡張オーディオストリームとを含むようにエンコードし、エンコードした基本オーディオストリームをバッファ１３３の基本バッファ１４１に供給するとともに、拡張オーディオストリームをバッファ１３３の拡張バッファ１４２に供給する。
【００４６】
基本バッファ１４１は、基本オーディオストリームを格納（バッファリング）し、拡張バッファ１４２は、拡張オーディオストリームを格納（バッファリング）する。そして、基本バッファ１４１と拡張バッファ１４２のそれぞれは、制御部１３５からの制御に基づいて、自分自身に格納されているオーディオストリームを読み出し、ＰＥＳパケット化部１３６に供給する。
【００４７】
制御部１３５は、バッファ１３３に格納（バッファリング）されたオーディオストリーム（基本オーディオストリームと拡張オーディオストリーム）を監視したり、ＰＥＳパケット化部１３６、ＴＳパケット化部１３７、および送信部１３８の各部を制御したりする。また、制御部１３５は、ＰＴＳ（Presentation Time Stamp）を管理する。さらに、制御部１３５は、後述する図７の仮想デコーダ１２１のバッファ占有量の計算を行い、ＴＳパケットの送信タイミングを決定（調整）する。すなわち、制御部１３５は、仮想デコーダ１２１のバッファ占有量の計算に基づいて、送信部１３８が送信するＴＳパケットの送信タイミングを調整（制御）する。
【００４８】
ＰＥＳパケット化部１３６は、基本バッファ１４１と拡張バッファ１４２のそれぞれから供給されるオーディオストリームを、制御部１３５からの制御に基づいてＰＥＳパケット化する。具体的には、ＰＥＳパケット化部１３６は、基本バッファ１４１と拡張バッファ１４２のそれぞれを制御して基本オーディオストリームと拡張オーディオストリームのそれぞれを取得し、それぞれのオーディオストリームをＰＥＳパケットにそれぞれパケット化する。このとき、ＰＥＳパケット化部１３６は、制御部１３５から供給されてきたＰＴＳを、各ＰＥＳパケットに格納する。すなわち、ＰＥＳパケット化部１３６から出力されるＰＥＳパケットには、それぞれＰＴＳが格納されている。
【００４９】
なお、ＰＥＳパケット化部１３６は、抽出情報付加部１３４からストリームＩＤ（例えば、stream_id_extension）が供給されてきた場合には、取得した基本オーディオストリームと拡張オーディオストリームのそれぞれを、抽出情報付加部１３４から供給されたストリームＩＤ（例えば、stream_id_extension）のうちの対応する１つを持つＰＥＳパケットにそれぞれパケット化するようにすればよい。各ＰＥＳパケットのそれぞれのストリームＩＤは、対応するＰＥＳパケットの種類を識別するためのものである。ＰＥＳパケットの種類とは、基本オーディオストリームと拡張オーディオストリームのうちのいずれかとなる。例えば、基本オーディオストリームの種類のＰＥＳパケットとは、基本オーディオストリームのうちの少なくとも一部のデータが含まれているＰＥＳパケットを指す。従って、受信側の図３の仮想的な受信装置１１２で、所望のオーディオストリームの種類のＰＥＳパケットを選択するためには、そのＰＥＳパケットに付されているストリームＩＤの値を認識すればよい。
【００５０】
本実施の形態では、上述した各ＰＥＳパケットのそれぞれが所定の順番で連続してＰＥＳパケット化部１３６からＴＳパケット化部１３７に供給されるとする。この場合、結果として複数のＰＥＳパケットからなる１つのストリーム（以下、ＰＥＳパケットストリームと称する）がＰＥＳパケット化部１３６からＴＳパケット化部１３７に供給されることになる。なお、ＰＥＳパケットストリームの具体例については、図５と図６を参照して後述する。
【００５１】
ＴＳパケット化部１３７は、制御部１３５からの制御に基づいて、ＰＥＳパケット化部１３６から供給されたＰＥＳパケットストリームをＴＳパケット（トランスポートストリームパケット）にパケット化する。
【００５２】
抽出情報付加部１３４は、基本オーディオストリームと拡張オーディオストリームのそれぞれの種類のストリームの抽出がデコード側（図３の仮想的な受信装置１１２側）で可能となるように、基本オーディオストリームと拡張オーディオストリームのそれぞれの種類に対して一意に付されたユニークな値のＩＤ（Identification）を、ＴＳパケット化部１３７に供給する。すなわち、抽出情報付加部１３４は、基本オーディオストリームと拡張オーディオストリームのそれぞれを識別するための識別情報（ＩＤ）を、ＴＳパケット化部１３７に供給する。
【００５３】
このＩＤには、例えば、トランスポートパケットヘッダにあるTransport_priorityフラグを用いることができる。抽出情報付加部１３４は、基本オーディオストリームを伝送するトランスポートパケットには、Transport_priority＝１をセットし、拡張オーディオストリームを伝送するトランスポートパケットには、Transport_priority＝０をセットするような情報（抽出情報）を、ＴＳパケット化部１３７に供給する。
【００５４】
なお、抽出情報付加部１３４は、ＴＳパケット化部１３７に抽出情報としてＩＤを供給するだけでなく、ＰＥＳパケット化部１３６にさらに抽出情報を送信するようにしてもよい。例えば、抽出情報付加部１３４は、基本オーディオストリームと拡張オーディオストリームのそれぞれの種類のストリームの抽出がデコード側（例えば、図３の仮想的な受信装置１１２側）で可能となるように、基本オーディオストリームと拡張オーディオストリームのそれぞれの種類に対して一意に付されたユニークな値のＩＤを、ＰＥＳパケット化部１４６に供給する。ＰＥＳパケット化部１４６は、生成したＰＥＳパケットのそれぞれに、抽出情報付加部１３４から供給されたＩＤを付す。
【００５５】
このＩＤについて、本実施の形態では、Stream_idまたはStream_id_extensionを用いる。Stream_idは、MPEG2 systems規格で規定されているＰＥＳパケットヘッダにあるStream_idを指す。また、Stream_id_extensionは、MPEG2 systems規格Amendment2(2003)で規定されているＰＥＳパケットヘッダにあるStream_id_extensionを指す。オーディオストリームがMPEG Audio(MPEG-1/-2 Audio, MPEG AAC)以外のストリームである場合、Stream_id_extensionを採用すると好適である。Stream_id_extensionを用いる場合、MPEG2 systems規格Amendment2(2003)は、Stream_idに「1111 1101」（extended_stream_idを意味する値）をセットすることを規定している。また、MPEG2 systems規格Amendment2(2003)は、ストリームの種類（基本オーディオストリームと拡張オーディオストリーム）を識別するユニークな値のStream_id_extensionの使用ができることを規定している。
【００５６】
なお、実際には、図４の送信装置１１１がオーディオストリーム以外のデータとして、システムデータやビデオデータもデコードしているが、ここでは、オーディオストリームを送信する場合についてのみ説明した。
【００５７】
以上、図４を参照して、送信装置１１１の構成例について説明した。
【００５８】
次に、図５と図６を参照して、図４の送信装置１１１から送信されるＴＳ、即ち、本発明が適用されるＴＳの一例として、基本オーディオストリームと拡張オーディオストリームが多重化されたＴＳ（トランスポートストリーム）の構造を説明する。図５の例において、１段目の基本オーディオストリーム１８１と拡張オーディオストリーム１８２は、図４のオーディオエンコーダ１３２によりエンコードされて出力された状態を示しており、２段目のＰＥＳパケットストリーム１９１は、図４のＰＥＳパケット化部１３６によりＰＥＳパケット化されて出力された状態を示しており、３段目のＴＳ２０１は、図４のＴＳパケット化部１３７によりＴＳパケット化されて出力された状態を示している。
【００５９】
図５の例において、ＴＳ（MPEG2-TS）は、ＰＡＴ(Program Association Table)に対応するＴＳパケット２２１およびＰＭＴ（Program Map Table）に対応するＴＳパケット２２２、並びに、基本オーディオストリーム１８１および拡張オーディオストリーム１８２に対応するＴＳパケット２４１乃至２５０を含むように構成されている。
【００６０】
基本オーディオストリーム１８１と拡張オーディオストリーム１８２とは何れも、所定のオーディオサンプル数を１つの単位として符号化されており、それぞれの単位毎に括弧で示す添え字で区切って示されている。具体的には例えば、基本オーディオストリーム１８１は、ＢＳ(１),ＢＳ(２)，・・・，ＢＳ（ｎ）というように、複数の単位（オーディオアクセスユニット）に分離されて符号化されている。同様に例えば、拡張オーディオストリーム１８２は、Ｅｘｔ１(１),Ｅｘｔ１(２)，・・・，Ｅｘｔ１（ｎ）というように、複数の単位（オーディオアクセスユニット）に分離されて符号化されている。係る基本オーディオストリーム１８１と（第１の）拡張オーディオストリーム１８２とにおいて、添え字の同じもの同士、例えば、ＢＳ(１)とＥｘｔ１(１)とは、同期して図４のオーディオエンコーダ１３２によりエンコードされるとともに、同期して図示せぬ受信装置により再生（デコード）される。なお、ｎは任意の自然数とされる。
【００６１】
図４のＰＥＳパケット化部１３６は、基本オーディオストリーム１８１と拡張オーディオストリーム１８２とを、図５に示されるように、それぞれ別のストリームＩＤのＰＥＳパケットにパケット化する。具体的には、図５の例では、基本オーディオストリーム１８１に対応するＰＥＳパケットのストリームＩＤは、「PESH Id_ex＝ｂ１」と記述されているように「Stream_id_extension＝ｂ１」とされ、一方、拡張オーディオストリーム１８２に対応するＰＥＳパケットのストリームＩＤは、「PESH Id_ex＝ｂ２」と記述されているように「Stream_id_extension＝ｂ２」とされている。なお、ｎ'は任意の自然数とされる。
【００６２】
このようにして、ＰＥＳパケット化部１３６は、図５に示されるＰＥＳパケットストリーム１９１を生成して、ＴＳパケット化部１３７に供給する。
【００６３】
これに対して、ＴＳパケット化部１３７は、ＰＥＳパケットストリーム１９１を構成する各ＰＥＳパケットのそれぞれを、図５の３段目に示されるように、同一のＰＩＤのＴＳパケットのそれぞれにパケット化して多重化する。具体的には、ＴＳパケット化部１３７は、基本オーディオストリーム１８１と拡張オーディオストリーム１８２のそれぞれのＰＥＳパケットを、図５に示されるように、それぞれ別のＩＤを持つトランスポートパケットにパケット化する。図５の例では、基本オーディオストリーム１８１のトランスポートパケットのＩＤは、「ＰＩＤ＝ａ０,ｔｐ＝１」と記述されているように「transport_priority＝１」とされ、一方、拡張オーディオストリーム１８２のトランスポートパケットのＩＤは、「ＰＩＤ＝ａ０,ｔｐ＝０」と記述されているように、「transport_priority＝０」とされている。これにより、ＴＳパケット化部１３７により、トランスポートストリーム（ＴＳ）２０１が生成される（ＴＳパケット化される）。
【００６４】
このように、１本のストリームに対しては同一のＰＩＤが付され、１本のストリームに含まれる基本オーディオストリームおよび拡張オーディオストリームを識別するために、それぞれ異なるｔｐ（transport_priority）が付される。
【００６５】
なお、本実施の形態においては、トランスポートストリームの中で、基本オーディオストリーム、そして拡張オーディオストリームの順番に、同期して再生される符号化単位が並んで符号化されていなければならない（すなわち、トランスポートストリームの中で、ＢＳ(１), Ｅｘｔ１(１)，ＢＳ(２)，Ｅｘｔ１(２)・・・，ＢＳ（ｎ）Ｅｘｔ１(ｎ)の順番に並んで符号化されていなければならない）。
【００６６】
図６は、ＴＳ２８１が、ＰＡＴに対応するＴＳパケット２２１およびＰＭＴに対応するＴＳパケット２２２、並びに、基本オーディオストリーム１８１を含むように構成されている場合の例である。すなわち、図６の例においては、ＴＳ２８１は、基本オーディオストリーム１８１のみを多重化したトランスポートストリームの構造を示している。図５と図６を比較するに、図５から基本オーディオストリームのみを抜き出したものが図６とされている。なお、図中、図５と対応する部分については同一の符号を付してあり、その説明は繰り返しになるので省略する。
【００６７】
図６の例において、１段目の基本オーディオストリーム１８１は、図４のオーディオエンコーダ１３２によりエンコードされて出力された状態を示しており、２段目のＰＥＳパケットストリーム２７１は、図４のＰＥＳパケット化部１３６によりＰＥＳパケット化されて出力された状態を示しており、３段目のＴＳ２８１は、図４のＴＳパケット化部１３７によりＴＳパケット化されて出力された状態を示している。
【００６８】
図４のＰＥＳパケット化部１３６は、基本オーディオストリーム１８１を、図６に示されるように、同一のストリームＩＤのＰＥＳパケットにパケット化する。具体的には、図６の例では、基本オーディオストリーム１８１に対応するＰＥＳパケットのストリームＩＤは、「PESH Id_ex＝ｂ１」と記述されているように「Stream_id_extension＝ｂ１」とされる。このように、ＰＥＳパケット化部１３６は、図６に示されるＰＥＳパケットストリーム２７１を生成して、ＴＳパケット化部１３７に供給する。
【００６９】
これに対して、ＴＳパケット化部１３７は、ＰＥＳパケットストリーム２７１を構成する各ＰＥＳパケットのそれぞれを、図６の３段目に示されるように、同一のＰＩＤのＴＳパケットのそれぞれにパケット化して多重化し、トランスポートストリーム２８１とする。ＴＳパケット化部１３７は、基本オーディオストリーム１８１のそれぞれのＰＥＳパケットを、図６に示されるように、同一のＩＤを持つトランスポートパケット２９１乃至２９６にパケット化する。具体的には、図６の例では、基本オーディオストリーム１８１のトランスポートパケットのＩＤは、「ＰＩＤ＝ａ０,ｔｐ＝１」と記述されているように「transport_priority＝１」とされる。
【００７０】
このように、１本のストリームに対して同一のＰＩＤが付されるとともに、そのストリームに含まれるストリームの種類が基本オーディオストリームのみである場合には、同じｔｐ（transport_priority）が付される。
【００７１】
本実施の形態においては、送信装置１１１が、基本オーディオストリームと拡張オーディオストリームの構造を有する階層化符号化されたオーディオストリームを送信する場合に、仮想的な受信装置１１２（図３）の能力に応じてＴＳパケットの送信のタイミングを調整するようにする。すなわち、仮想的な受信装置１１２が基本オーディオストリームと拡張オーディオストリームの両方に対応した（基本オーディオストリームと拡張オーディオストリームの両方をデコード可能な）仮想的な受信装置である場合であっても、仮想的な受信装置１１２が基本オーディオストリームのみに対応した（基本オーディオストリームのみデコード可能な）受信装置である場合であっても、それらの仮想的な受信装置１１２のバッファがオーバーフローおよびアンダーフローせずにデコード可能となるように、送信装置１１１側で、エンコードしたＴＳパケットを送信するタイミングを調整するようにする。
【００７２】
具体的には、送信装置１１１は、図５に示されるＴＳ２０１をデコード可能な仮想的な受信装置（第１の仮想的な受信装置）と、図６に示されるＴＳ２８１のみをデコード可能な受信装置（第２の仮想的な受信装置）とに対応するように、タイミングを調整して、図５に示されるＴＳ２０１を構成するＴＳパケットを送信するようにする。すなわち、送信装置１１１は、仮想的な受信装置１１２が基本オーディオストリームのみを抽出して復号する場合に、所定のサイズの基本オーディオストリーム用のデコーダバッファをオーバーフローおよびアンダーフローすることがないように、階層化符号化されたオーディオストリームのパケット化タイミング（パケットの送信タイミング）を調整する。
【００７３】
そのために、仮想的な受信装置１１２が、基本オーディオストリームのデコード能力しか持たない場合、すなわち、図６に示される基本オーディオストリーム１８１のＴＳ２８１のみをデコードする能力を有する場合に、仮想的な受信装置１１２が有するオーディオバッファの最低限必要なサイズ（容量）を決め、さらに、そのオーディオバッファへの入力ビットレートの値を決める。
【００７４】
また、仮想的な受信装置１１２が、基本オーディオストリームと拡張オーディオストリームの両方のデコード能力を持つ場合、すなわち、図５に示される基本オーディオストリーム１８１と拡張オーディオストリーム１８２の両方をデコードする能力を有する場合に、仮想的な受信装置１１２が有するオーディオバッファの最低限必要なサイズ（容量）を決め、さらに、そのオーディオバッファへの入力ビットレートの値を決める。
【００７５】
なお、ここで、オーディオバッファのサイズは、図２のエレメンタリバッファ６２のサイズに対応し、オーディオバッファへの入力ビットレートの値は、図２のＲｘｎに対応する。
【００７６】
すなわち、仮想的な受信装置１１２が、基本オーディオストリームをデコードする能力しか有していない場合、または、基本オーディオストリームと拡張オーディオストリームの両方をデコードする能力を有する場合の、２種類の仮想的な受信装置のそれぞれについて、オーディオバッファのサイズとオーディオバッファへの入力ビットレートの値を設定する。
【００７７】
本実施の形態においては、基本オーディオストリームのデコード能力しか有さない仮想的な受信装置１１２のエレメンタリバッファのサイズをＢｎ＝ｂｎ０、オーディオバッファへの入力ビットレートの値（オーディオバッファへのリークレート）をＲｘｎ＝rｘｎ０とする。また、基本オーディオストリームと拡張オーディオストリームの両方をデコードする能力を有する仮想的な受信装置１１２のエレメンタリバッファのサイズをＢｎ＝ｂｎ１、オーディオバッファへの入力ビットレートの値（オーディオバッファへのリークレート）をＲｘｎ＝rｘｎ1とする。また、ｂｎ０＜ｂｎ１、rｘｎ０＜rｘｎ1が成立するものとする。すなわち、エレメンタリバッファの容量ｂｎ０は、容量ｂｎ１より小さく、エレメンタリバッファへの入力ビットレートの値rｘｎ０は、値rｘｎ1より小さいことが成立するものとする。
【００７８】
図７は、基本オーディオストリームと拡張オーディオストリームとを多重化するトランスポートストリームの符号化制約のための仮想的なデコーダ１２１のモデルを説明する図である。すなわち、送信装置１１１が、基本オーディオストリームと拡張オーディオストリームを、MPEG2-TSの方式でエンコードして送信する場合に想定する仮想的な受信装置１１２が有する仮想デコーダ１２１（図３）モデルの構成例が、図７に示されている。換言すれば、図７は、送信装置１１１が基本オーディオストリームと拡張オーディオストリームとをデコードし、パケット化して送信する場合に想定する仮想デコーダ１２１のモデルとされる。
【００７９】
仮想的な受信装置１１２に送信されてきたMPEG2-TSは、仮想デコーダ１２１に供給される。仮想デコーダ１２１に供給されたMPEG2-TSは、図７に示されるように、フィルタ１４１によって、パケットの種類ごとにフィルタリングされる。
【００８０】
具体的には、MPEG2-TSは、複数のパケットにより構成されており、各パケットには、そのパケットを識別するためのPID（Packet Identification）が付されている。フィルタ１４１は、MPEG2-TSを構成する各パケットに付されたPIDに基づいて、ビデオストリームを構成するＴＳパケットを、ビデオストリームを処理するためのビデオデータデコード処理部３５０に供給し、オーディオストリームを構成するＴＳパケットを、オーディオストリームを処理するためのオーディオデータデコード処理部３６０に供給し、システムに関するＴＳパケットを、システムに関するデータを処理するためのシステムデータデコード処理部３７０に供給する。
【００８１】
ビデオストリーム処理部３５０には、トランスポートバッファ（図中、ＴＢｖと記述する）３５１、マルチプレクスバッファ（図中、ＭＢｖと記述する）３５２、エレメンタリバッファ（図中、ＥＢｖと記述する）３５３、ビデオデコーダ（図中、Ｄｖと記述する）３５４、およびアウトプットリオーダリングバッファ（図中、Ｏｖと記述する）３５５が設けられている。
【００８２】
ビデオストリームを構成するＴＳパケットが、フィルタ３４１を介してビデオストリーム処理部３５０に供給されると、トランスポートバッファ３５１に蓄積される。そして、所定のビットレートでマルチプレクスバッファ３５２にデータが供給される。マルチプレクスバッファ３５２は、供給されたデータを蓄積してスムージングした後、所定のビットレートでエレメンタリバッファ３５３にデータを供給する。ビデオデコーダ３５４は、エレメンタリバッファ３５３に蓄積されているビデオアクセスユニットを所定のタイミングで引き抜き、それを復号して出力する。復号されたデータのうちの一部は、アウトプットリオーダリングバッファ３５５を介して端子３５６から出力され、その他のデータは、端子３５７から出力され、再生される。
【００８３】
オーディオデータデコード処理部３６０には、トランスポートプリオリティフィルタ（Transport priority filter）３６１、トランスポートバッファ（図中、ＴＢｎと記述する）３６２、エレメンタリバッファ（図中、Ｂｎと記述する）３６３、およびオーディオデコーダ（図中、Ｄｎと記述する）３６４が設けられている。
【００８４】
オーディオストリームを構成するＴＳパケットが、フィルタ３４１を介してオーディオデータデコード処理部３６０に供給されると、トランスポートプリオリティフィルタ３６１は、仮想デコーダ１２１の能力に応じて、ＴＳパケットのフィルタリングを行う。例えば、トランスポートプリオリティフィルタ３６１は、ＴＳパケットに付されたｔｐの値（図５参照）に基づいて、フィルタリングを行う。トランスポートプリオリティフィルタ３６１によりフィルタリングされたＴＳパケットは、後段のトランスポートバッファ３６２に供給される。トランスポートバッファ３６２は、トランスポートプリオリティフィルタ３６１によりフィルタリングされて供給されてきたＴＳパケットを蓄積する。ここで、トランスポートバッファ３６２のサイズ（容量）は、５１２バイトである。
【００８５】
トランスポートバッファ３６２に蓄積されたＴＳパケットは、仮想デコーダ１２１の能力に応じたレートＲｘｎでエレメンタリバッファ３６３に供給される。Ｒｘｎは、トランスポートバッファ３６２からのLeak rate（リークレート）であり、トランスポートバッファ３６２にデータが入っている場合、データはＲｘｎのレートでトランスポートバッファ３６２からエレメンタリバッファ３６３へ入力される。また、トランスポートバッファ３６２にデータが入っていない場合、Ｒｘｎは０となる。
【００８６】
エレメンタリバッファ３６３は、トランスポートバッファ３６２からＲｘｎのビットレートで供給されたデータを蓄積する。ここで、エレメンタリバッファ３６３のサイズは、オーディオ符号化方法（MPEG1オーディオやMPEG2 AACオーディオなど）によって異なるものとされている。なお、トランスポートバッファ３６２にデータが入っている場合にはトランスポートバッファ３６２から、Ｒｘｎのビットレート（速度）でエレメンタリバッファ３６３に供給されるが、トランスポートバッファ３６２にデータが入っていない場合には、トランスポートバッファ３６２からのデータは、エレメンタリバッファ３６３には供給されない（すなわちＲｘｎ＝０となる）。
【００８７】
オーディオデコーダ３６４は、エレメンタリバッファ３６３に蓄積されているオーディオアクセスユニットを所定のタイミングで引き抜き、それを復号し、端子３６５を介して出力し、再生する。具体的には、オーディオデコーダ３６４は、オーディオアクセスユニットのPTS（Presentation Time Stamp）が、T-STDのシステムタイムクロック上の時間に等しくなったときに、そのオーディオアクセスユニットをエレメンタリバッファ３６３から引き抜く。ここで、オーディオアクセスユニットとは、オーディオストリームを構成する符号化単位であり、また、それが復号単位となる。
【００８８】
ここで、図７のオーディオデコード処理部３６０において、仮想デコーダ１２１の能力に応じて変更する値について説明する。
【００８９】
（１）基本オーディオストリームと拡張オーディオストリームを多重化するトランスポートストリームから基本オーディオストリームを抽出してデコードする場合、または、基本オーディオストリームだけを多重化するトランスポートストリームをデコードする場合に、仮想デコーダ１２１（第１の仮想的な受信装置の第１の仮想デコーダ）は、以下を満たすものとする。
（１−１）トランスポートプリオリティフィルタ３６１は、ｔｐ＝１（Transport_priority＝１）のＴＳパケットだけを選択し、トランスポートバッファ３６２へ供給する。
（１−２）トランスポートバッファ３６２からエレメンタリバッファ３６３への入力ビットレートの値Ｒｘｎをｒｘｎ０とする。
（１−３）エレメンタリバッファ３６３の容量Ｂｎをｂｎ０とする。
【００９０】
（２）基本オーディオストリームと拡張オーディオストリームを多重化するトランスポートストリームから基本オーディオストリームと拡張オーディオストリームの両方をデコードする場合、仮想デコーダ１２１（第２の仮想的な受信装置の第２の仮想デコーダ）は、以下を満たすものとする。
（２−１）トランスポートプリオリティフィルタ３６１は、すべてのトランスポートパケット（ｔｐ＝０およびｔｐ＝１（Transport_priority＝０，１）のＴＳパケット）をトランスポートバッファ３６２へ供給する。
（２−２）トランスポートバッファ３６２からエレメンタリバッファ３６３への入力ビットレートの値Ｒｘｎをｒｘｎ１とする。
（２−３）エレメンタリバッファ３６３の容量Ｂｎをｂｎ１とする。
【００９１】
このように、トランスポートプリオリティフィルタ３６１のフィルタ条件（（１−１）および（２−１）、エレメンタリバッファ３６３への入力ビットレートの値（（１−２）および（２−２））、並びに、エレメンタリバッファ３６３の容量（（１−３）および（２−３））が、仮想デコーダ１２１の能力によって異なるものとなる。送信装置１１１は、この（１）で想定された第１の仮想的な受信装置と、（２）で想定された第２の仮想的な受信装置で、エレメンタリバッファの容量がオーバーフローおよびアンダーフローしないように、送信タイミングを制御してＴＳパケットを送信するようにする。なお、以下において、仮想的な受信装置１１２に含まれる仮想デコーダ１２１に（１）の条件を当てはめたものを、第１の仮想的な受信装置１１２と第１の仮想デコーダ１２１と称し、仮想的な受信装置１１２に含まれる仮想デコーダ１２１に（２）の条件を当てはめたものを、第２の仮想的な受信装置１１２と第２の仮想デコーダ１２１と称する。
【００９２】
また、システムデータデコード処理部３７０には、トランスポートバッファ（図中、TBsysと記述する）３７１、エレメンタリバッファ（図中、Bsys記述する）３７２、およびシステムデコーダ（図中、Dsysと記述する）３７３が設けられている。
【００９３】
システムに関するＴＳパケットが、フィルタ３４１を介してシステムデータデコード処理部３７０に供給されると、トランスポートバッファ３７１に蓄積される。トランスポートバッファ３７１に蓄積されたデータは、エレメンタリバッファ３７２に供給される。システムデコーダ３７３は、エレメンタリバッファ７２に蓄積されているシステムアクセスユニットを所定のタイミングで引き抜き、それを復号し、端子３７４を介して出力する。
【００９４】
なお、システムに関するＴＳパケットには、例えば、図５や図６のＰＡＴのＴＳパケット２２１やＰＭＴのＴＳパケット２２２が含まれる。
【００９５】
このような図７の仮想デコーダ１２１を有する仮想的な受信装置１１２によって正しくデコードされるように、図４の送信装置１１１は、基本オーディオストリームと拡張オーディオストリームのトランスポートストリームをパケット化し、送信するタイミングを決定して符号化する必要がある。
【００９６】
すなわち、送信装置１１１は、例えば図７の仮想デコーダ１２１の中のトランスポートバッファ３６２がオーバーフローすることなく、かつ、エレメンタリバッファ３６３がオーバーフローおよびアンダーフローすることがないように、オーディオストリームのパケット化タイミングを決定し、符号化しなければならない。
【００９７】
そのため、送信装置１１１は、図５の基本オーディオストリームと拡張オーディオストリームとを多重化したトランスポートストリームを、上述した（１）と（２）の条件を満たすように、オーディオストリームのパケット化タイミングを調整する。すなわち、送信装置１１１は、第１の仮想的な受信装置と第２の仮想的な受信装置のそれぞれのバッファがオーバーフローおよびアンダーフローしないようなタイミングで、ＴＳパケットの送信のタイミングを制御する。換言すれば、図７のオーディオデコーダ１２１モデルの、トランスポートバッファ３６２がオーバーフローすることなく、また、エレメンタリバッファ３６３がオーバーフローおよびアンダーフローすることがないように、送信装置１１１は、オーディオストリームのパケット化タイミングを決定し、符号化する。
【００９８】
次に、これまでに説明した送信装置１１１が、仮想的な受信装置１１２の能力を考慮して、オーディオストリームをエンコードおよびパケット化し、送信する場合の処理を説明する。図８と図９は、図４の送信装置１１１における、ＴＳパケット送信処理を説明するフローチャートである。なお、この処理は、送信装置１１１の電源がオンされ、入力部１３１にオーディオストリームが入力されたとき開始される。
【００９９】
ステップＳ１１において、入力部１３１は、オーディオストリームの入力を受け付け、受け付けたオーディオストリームをオーディオエンコーダ１３２に出力する。
【０１００】
ステップＳ１２において、オーディオエンコーダ１３２は、オーディオストリームを、基本オーディオストリームと（基本オーディオストリームに対して拡張性を有する）拡張オーディオストリームとを含むようにエンコードする。その結果、オーディオエンコーダ１３２からは、図５に示される基本オーディオストリーム１８１と拡張オーディオストリーム１８２が（縦に）同期して出力される。
【０１０１】
ステップＳ１３において、オーディオエンコーダ１３２は、エンコードしたオーディオストリームをレベル（ストリームの種類）ごとに分けてそれぞれ出力する。具体的には、オーディオエンコーダ１３２は、基本オーディオストリームをバッファ１３３の基本バッファ１４１に出力し、拡張オーディオストリームをバッファ１３３の拡張バッファ１４２に出力する。
【０１０２】
ステップＳ１４において、基本バッファ１４１と拡張バッファ１４２は、オーディオエンコーダ１３２から供給されたオーディオストリームをそれぞれ格納（バッファリング）する。具体的には、基本バッファ１４１は、オーディオエンコーダ１３２から供給されてきた、エンコードされている基本オーディオストリームを格納し、拡張バッファ１４２は、オーディオエンコーダ１３２から供給されてきた、エンコードされている拡張オーディオストリームを格納する。
【０１０３】
ステップＳ１５において、制御部１３５は、送るべきＰＴＳのオーディオアクセスユニットがあるか否かを判定し、送るべきＰＴＳのオーディオアクセスユニットがバッファ１３３にあると判定するまで処理を待機する。制御部１３５は、バッファ１３３に格納されたオーディオストリーム（基本オーディオストリームと拡張オーディオストリーム）を監視するとともに、ＰＴＳを管理しているので、これらに基づいてステップＳ１５の判定を行う。オーディオアクセスユニット（例えば、ＢＳ（１）、ＢＳ（２）、・・・、ＢＳ（ｎ））のそれぞれは固定長（例えば、時間Ｔ０）とされているので、制御部１３５は、例えば、ＰＴＳ＝Ｔ０×ｊ（ｊは図５の括弧で示される添え字の数）に対応するオーディオアクセスユニット（図５の括弧で示される添え字ｊに対応するオーディオアクセスユニット）が、バッファ１３３に格納されたか否かを判定する。ステップＳ１５において、送るべきＰＴＳのオーディオアクセスユニットがあると判定された場合、制御部１３５は、そのオーディオアクセスユニットに対応するＰＴＳをＰＥＳパケット化部１３６に供給するとともに、ＰＥＳパケット化部１３６にＰＥＳパケット化を指令し、処理をステップＳ１６に進める。
【０１０４】
ＰＥＳパケット化部１３６は、ステップＳ１６において、オーディオアクセスユニットをＰＥＳパケット化する。例えば、ＰＥＳパケット化部１３６は、基本バッファ１４１と拡張バッファ１４２のそれぞれを制御して基本オーディオストリームと拡張オーディオストリームを取得し（ＰＴＳに対応するオーディオアクセスユニットを取得し）、それぞれのオーディオストリームを、ＰＥＳパケットにそれぞれパケット化する。このとき、ＰＥＳパケット化部１３６は、制御部１３５から供給されてきたＰＴＳを、ＰＥＳパケットストリームを構成するＰＥＳパケットのそれぞれに格納する。ＰＥＳパケット化部１３６は、生成したＰＥＳパケット（例えば、図５のＰＥＳパケットストリーム１９１の中で、このステップＳ１６の処理でＰＥＳパケット化したＰＥＳパケット）を、ＴＳパケット化部１３７に供給する。
【０１０５】
ステップＳ１７において、ＴＳパケット化部１３７は、ＰＥＳパケット化部１３６から供給されてきたＰＥＳパケットをＴＳパケット化し、ＴＳパケット化したＴＳパケットを送信部１３８に供給する。具体的には、ＴＳパケット化部１３７は、基本オーディオストリーム１８１と拡張オーディオストリーム１８２のそれぞれのＰＥＳパケットを、図５の３段目に示されるように、それぞれ別のＩＤを持つＴＳパケットにパケット化する。これにより、図５に示されるように、基本オーディオストリーム１８１のＴＳパケットには「ＰＩＤ＝ａ０,ｔｐ＝１」が含まれ、拡張オーディオストリーム１８２のＴＳパケットには「ＰＩＤ＝ａ０,ｔｐ＝０」が含まれる。
【０１０６】
ステップＳ１８において、制御部１３５は、図７の仮想デコーダ１２１のバッファ占有量の計算に基づいて、ＴＳパケットの送信タイミングを決定する。具体的には、制御部１３５は、第１の仮想デコーダと第２の仮想デコーダのバッファ占有量の計算に基づいて（すなわち、２つの条件下における仮想デコーダ１２１のバッファ占有量の計算に基づいて）、ＴＳパケットの送信タイミングを決定し、その送信タイミングでＴＳパケットを送信するよう、送信部１３８を制御する。なお、この図７の仮想デコーダ１２１（第１の仮想デコーダと第２の仮想デコーダ）のバッファ占有量の計算の処理については、図１０と図１２を参照して後述する。
【０１０７】
ステップＳ１９において、送信部１３８は、制御部１３５によるステップＳ１８の処理で決定された送信タイミングで、ＴＳパケット化部１３７から供給されたＴＳパケットを受信側の受信装置に送信する。この受信装置は、図３の仮想的な受信装置１１２ではなく、実際にＴＳパケットを受信する（デコーダを有する）図示せぬ受信装置である。なお、この例では、図示せぬ受信装置に送信するようにしたが、送信部１３８がドライブに送信し、リムーバブルメディアに記録させるようにしてもよい。
【０１０８】
ステップＳ２０において、制御部１３５は、終了するか否かを判定する。例えば、制御部１３５は、入力部１３１へのオーディオストリームの入力が終了した場合や、ユーザによりＴＳパケット送信処理の終了が指令された場合や、１本のオーディオストリームの送信が終了した場合などに、処理を終了すると判定する。ステップＳ２０において、終了しないと判定された場合、処理はステップＳ１１に戻り、それ以降の処理が繰り返される。すなわち、再びオーディオストリームの入力が受け付けられてＴＳパケット化され、仮想デコーダ１２１のバッファ占有量の計算に基づいて送信タイミングが制御されたＴＳパケットが送信される。ステップＳ２０において、終了すると判定された場合、処理は終了される。
【０１０９】
図８と図９の処理により、図７の仮想デコーダ１２１の（２つの条件下における）バッファ占有量の計算に基づいて、送信タイミングが制御されたＴＳパケットが送信されるので、図７の仮想デコーダ１２１モデルに対応するデコーダを有する受信装置（図示せず）であれば、この処理で送信されたＴＳパケットを確実にデコードすることができる。
【０１１０】
次に、図９のステップＳ１８で制御部１３５により実行される、仮想デコーダ（２つの条件下における仮想デコーダ１２１）のバッファ占有量の計算を、図１０乃至図１３を参照して説明する。
【０１１１】
最初に、図１０のフローチャートを参照して、基本オーディオストリームに対するバッファ占有量の計算処理を説明する。なお、この処理は、図４の制御部１３５が、受信側の仮想デコーダ１２１が基本オーディオストリームのみをデコード可能であると想定して、すなわち、受信側の仮想デコーダ１２１が、第１の仮想デコーダであると想定して実行する処理である。換言すれば、制御部１３５は、図６の基本オーディオストリーム１８１のみを送信することを仮定してＴＳパケットのデコード（送信）タイミングを計算する処理である。
【０１１２】
ステップＳ４１において、制御部１３５は、図７の仮想デコーダ１２１（第１の仮想デコーダ）のトランスポートバッファ３６２にｔｐ＝１のＴＳパケットを入れる空きがあれば、ＴＳパケットを送信するよう送信部１３８を制御する。すなわち、トランスポートバッファ３６２に基本オーディオストリームに対応するＴＳパケットを入れる空きがあれば、ＴＳパケットを送信するよう送信部１３８を制御する。
【０１１３】
ステップＳ４２において、制御部１３５は、図７の仮想デコーダ１２１のエレメンタリバッファ３６３（Ｂｎ＝ｂｎ０）に空きがあれば、トランスポートバッファ３６２からＲｘｎ（＝ｒｘｎ０）のビットレートでデータを引き抜き、これをエレメンタリバッファ３６３に供給するものとして計算する。上述したように、第１の仮想デコーダのエレメンタリバッファ３６３への入力ビットレートはＲｘｎ＝ｒｘｎ０であるので、ｒｘｎ０のレートでデータが引き抜かれるものとして計算され、エレメンタリバッファ３６３の記憶容量はＢｎ＝ｂｎ０であるものとして計算される。
【０１１４】
ステップＳ４３において、制御部１３５は、オーディオアクセスユニットのＰＴＳが、仮想デコーダ１２１のシステムタイムクロック上の時間に等しくなったとき、そのオーディオアクセスユニットをエレメンタリバッファ３６３から引き抜き、オーディオデコーダ３６４に供給するものとして計算する。例えば、仮想デコーダ１２１のシステムタイムクロックが、図１１に示されるようにｔ＝ＰＴＳ０（横軸ｔは時刻を示す）となった場合、制御部１３５は、ＰＴＳ＝ＰＴＳ０とされるオーディオアクセスユニットをエレメンタリバッファ３６３から引き抜き、オーディオデコーダ３６４に供給されるものとして計算する。同様に、図１１においてｔ＝ＰＴＳ１となった場合、制御部１３５は、ＰＴＳ＝ＰＴＳ１とされる（ＰＴＳ１が付された）オーディオアクセスユニットをエレメンタリバッファ３６３から引き抜き、オーディオデコーダ３６４に供給されるものとして計算する。その後、処理は終了される。
【０１１５】
なお、図１０の処理は、図９のステップＳ１８の処理を実行する場合に実行される処理であって、繰り返し実行されるものである。
【０１１６】
このように、制御部１３５は、基本オーディオストリームのみをデコード可能なデコーダ（第１の仮想デコーダ）を想定してデコーダのバッファ占有量を計算する。すなわち、制御部１３５は、図７を用いて上述した条件（１）の３つの項目を想定して、第１の仮想デコーダ１２１のバッファ占有量を計算し、ＴＳパケットの送信タイミングを決定する。これにより、基本オーディオストリームのみをデコード可能なデコーダ（実際のデコーダ）は、バッファ占有量をオーバーフローやアンダーフローすることなく、確実に基本オーディオストリームをデコードすることができる。
【０１１７】
次に、図１２のフローチャートを参照して、基本オーディオストリームと拡張オーディオストリームに対するバッファ占有量の計算処理を説明する。なお、この処理は、図４の制御部１３５が、受信側の仮想デコーダ１２１が基本オーディオストリームと拡張オーディオストリームをデコード可能であると想定して、すなわち、受信側の仮想デコーダ１２１が、第２の仮想デコーダであると想定して実行する処理である。換言すれば、制御部１３５は、図５の基本オーディオストリーム１８１および拡張オーディオストリーム１８２を送信することを仮定してＴＳパケットのデコード（送信）タイミングを計算する処理である。
【０１１８】
ステップＳ８１において、制御部１３５は、図７の仮想デコーダ１２１（第２の仮想デコーダ）のトランスポートバッファ３６２にｔｐ＝１のＴＳパケットを入れる空きがあれば、ＴＳパケットを送信するよう送信部１３８を制御し、その上でトランスポートバッファ３６２にｔｐ＝０のＴＳパケットを入れる空きがあれば、そのＴＳパケットを送信するよう送信部１３８を制御する。すなわち、トランスポートバッファ３６２に基本オーディオストリームに対応するＴＳパケットを入れる空きがあれば、ＴＳパケットを送信するよう送信部１３８を制御し（図１０のステップＳ４１の条件を満たし）、さらに、トランスポートバッファ３６２に拡張オーディオストリームのＴＳパケットを入れる空きがあれば、そのＴＳパケットを送信するよう送信部１３８を制御する。
【０１１９】
ステップＳ８２において、制御部１３５は、図７の仮想デコーダ１２１のエレメンタリバッファ３６３（Ｂｎ＝ｂｎ１）に空きがあれば、トランスポートバッファ３６２からＲｘｎ（＝ｒｘｎ１）のビットレートでデータを引き抜き、これをエレメンタリバッファ３６３に供給するものとして計算する。上述したように、第２の仮想デコーダのエレメンタリバッファ３６３への入力ビットレートはＲｘｎ＝ｒｘｎ１であるので、ｒｘｎ１のレートでデータが引き抜かれるものとして計算され、エレメンタリバッファ３６３の記憶容量はＢｎ＝ｂｎ１であるものとして計算される。
【０１２０】
ステップＳ８３において、制御部１３５は、オーディオアクセスユニットのＰＴＳが、仮想デコーダ１２１のシステムタイムクロック上の時間に等しくなったとき、そのオーディオアクセスユニットをエレメンタリバッファ３６３から引き抜き、オーディオデコーダ３６４に供給するものとして計算する。例えば、仮想デコーダ１２１のシステムタイムクロックが、図１１に示されるようにｔ＝ＰＴＳ０（横軸ｔは時刻を示す）となった場合、制御部１３５は、ＰＴＳ＝ＰＴＳ０とされるオーディオアクセスユニットをエレメンタリバッファ３６３から引き抜き、オーディオデコーダ３６４に供給されるものとして計算する。同様に、図１１においてｔ＝ＰＴＳ１となった場合、制御部１３５は、ＰＴＳ＝ＰＴＳ１とされる（ＰＴＳ１が付された）オーディオアクセスユニットをエレメンタリバッファ３６３から引き抜き、オーディオデコーダ３６４に供給されるものとして計算する。その後、処理は終了される。
【０１２１】
なお、図１２の処理は、図９のステップＳ１８の処理を実行する場合に実行される処理であって、繰り返し実行されるものである。すなわち、図９のステップＳ１８の処理を実行する場合に、図１０と図１２の処理が並行して実行される。より具体的には、図９のステップＳ１９の処理を実行する場合に、制御部１３５は、最初に、図１０の処理により基本オーディオストリームに対応するＴＳパケットの送信のタイミングを計算し、さらに、図１２の処理により、基本オーディオストリームおよび拡張オーディオストリームに対応するＴＳパケットの送信のタイミングを計算し、このような処理を繰り返し実行する（再び図１０の処理が実行され、その後、再び図１２の処理が実行される）。
【０１２２】
換言すれば、制御部１３５は、第１の仮想デコーダを有する第１の仮想的な受信装置のエレメンタリバッファがオーバーフローおよびアンダーフローしないようなタイミングを計算した後、さらに、第２の仮想デコーダを有する第２の仮想的な受信装置のエレメンタリバッファがオーバーフローおよびアンダーフローしないようなタイミングを計算し、これらのタイミングを満たすように、ＴＳパケットを送信するよう制御する。
【０１２３】
このように、制御部１３５は、基本オーディオストリームと拡張オーディオストリームをデコード可能な仮想デコーダ（第２の仮想デコーダ）を想定してデコーダのバッファ占有量を計算する。すなわち、制御部１３５は、図７を用いて上述した条件（２）の３つの項目を想定して、第２の仮想デコーダ１２１のバッファ占有量を計算し、ＴＳパケットの送信タイミングを決定する。これにより、基本オーディオストリームと拡張オーディオストリームをデコード可能なデコーダ（実際のデコーダ）は、バッファ占有量をオーバーフローやアンダーフローすることなく、確実に基本オーディオストリームと拡張オーディオストリームをデコードすることができる。
【０１２４】
送信装置１１１の制御部１３５は、図１０と図１２の処理を並行して繰り返し実行し、仮想デコーダ１２１のバッファ占有量を計算することで、ＴＳパケットの送信タイミングを調整（決定する）ようにしたので、基本オーディオストリームのみに対応する第１の仮想デコーダ１２１であっても、基本オーディオストリームと拡張オーディオストリームの両方に対応する第２の仮想デコーダ１２１であっても、デコードを行うことができる。すなわち、実際に送信装置１１１から送信されたＴＳパケットを受信する受信装置が、基本オーディオストリームのみしかデコードできない場合であっても、基本オーディオストリームと拡張オーディオストリームの両方デコードできる場合であっても、それぞれの受信装置が有するバッファをオーバーフローおよびアンダーフローさせることなく、円滑にデコードすることができる。
【０１２５】
例えば、図４の送信装置１１１が基本オーディオストリームと拡張オーディオストリームとに対応するＴＳパケットを実際の図示せぬ受信装置に送信する場合に、制御部１３５が図９のステップＳ１８の処理として図１２の処理のみを実行した場合（すなわち、第２の仮想デコーダを想定した場合）、ＴＳパケットは、図１３Ａに示されるようなタイミングで送信される。図１３Ａの例では、時刻ｔ１，ｔ４，ｔ７で基本オーディオストリームのＴＳパケットが送信され、時刻ｔ２，ｔ５，ｔ８で拡張オーディオストリームのＴＳパケットが送信され、時刻ｔ３，ｔ６，ｔ９でその他のＴＳパケット（図中、ＥＴＣで記述されているパケット）が送信される。このとき、１番目の基本オーディオストリームのＴＳパケット（図５の例の場合、ＴＳパケット２４１）が送信された後、２番目の基本オーディオストリームのＴＳパケット（図５の例の場合、ＴＳパケット２４２）が送信されるまでの時間は時間Ｔ１とされる。
【０１２６】
一方、図４の送信装置１１１が基本オーディオストリームと拡張オーディオストリームとに対応するＴＳパケットを実際の図示せぬ受信装置に送信する場合に、制御部１３５が図９のステップＳ１８の処理として図１２の処理と並行して、さらに図１０の処理を実行した場合（すなわち、第１と第２の仮想デコーダを想定した場合）、ＴＳパケットは、図１３Ｂに示されるようなタイミングで送信される。図１３Ｂの例では、時刻ｔ１１，ｔ１４，ｔ１７で基本オーディオストリームのＴＳパケットが送信され、時刻ｔ１２，ｔ１５，ｔ１８で拡張オーディオストリームのＴＳパケットが送信され、時刻ｔ１３，ｔ１６，ｔ１９でその他のＴＳパケット（図中、ＥＴＣで記述されているパケット）が送信される。このとき、１番目の基本オーディオストリームのＴＳパケット（図５の例の場合、ＴＳパケット２４１）が送信された後、２番目の基本オーディオストリームのＴＳパケット（図５の例の場合、ＴＳパケット２４２）が送信されるまでの時間は時間Ｔ１１とされる。
【０１２７】
図１３Ａと図１３Ｂを比較するに、基本オーディオストリームを送信した後、次の基本オーディオストリームを送信するまでの時間に差（時間Ｔ１１−Ｔ１）が出ている。図１３Ｂに示されるようなタイミングで送信した場合、基本オーディオストリームのみにしか対応していないデコーダであってもバッファ（エレメンタリバッファ３６３）のオーバーフローやアンダーフローが生じることなく、円滑にデコードを行うことができるが、図１３Ａに示されるようなタイミングで送信した場合、基本オーディオストリームのみにしか対応していないデコーダでは、バッファ（エレメンタリバッファ３６３）のオーバーフロー（図１３の例ではオーバーフロー）が生じることがある。このことは、図１３Ａのタイミングで送信するための仮想デコーダ１２１として、基本オーディオストリームと拡張オーディオストリームに対応しているデコーダのみを想定したためである。基本オーディオストリームと拡張オーディオストリームに対応しているデコーダでは、そのエレメンタリバッファ３６３のデータ容量（ｂｎ１）やエレメンタリバッファ３６３への入力ビットレートの値（ｒｘｎ１）が、基本オーディオストリームのみに対応しているデコーダのそれ（ｂｎ０，ｒｘｎ０）と比較して大きい。そのため、基本オーディオストリームのみに対応しているデコーダに、図１３ＡのタイミングでＴＳパケットが送信されてきた場合に、ＴＳパケットのオーバーフローやアンダーフローが生じることになるが、図１２の条件に加えて、図１０を用いて上述した基本オーディオストリームのみに対応する第１の仮想デコーダのバッファ占有量を考慮することで、基本オーディオストリームのみにしか対応していないデコーダであっても円滑にデコードを行うことができる。
【０１２８】
以上により、基本オーディオストリームと拡張オーディオストリームからなる階層化符号化されたオーディオストリームをMPEG2-TSに符号化して送信する場合に、基本オーディオストリームのみにしか対応していないデコーダを有する第１の仮想的な受信装置１１２でも復号できるように、受信側の受信装置の能力を考慮してＴＳパケットを送信することができる。すなわち、仮想的な受信装置１１２が基本オーディオストリームのみしかデコードできないデコーダ（第１の仮想デコーダ）を有していたり、仮想的な受信装置１１２が基本オーディオストリームのみを抽出したデコードする場合に、所定のサイズの基本オーディオストリーム用のデコーダバッファをオーバーフローおよびアンダーフローすることがないように、送信装置１１１側で、階層化符号化されたオーディオストリーム（基本オーディオストリームと拡張オーディオストリームからなるオーディオストリーム）のパケット化（パケットの送信）タイミングを決定するようにしたので、基本オーディオストリームのみを受信側でデコードする場合であっても、円滑にデコードすることができる。
【０１２９】
すなわち、送信装置１１１は、基本オーディオストリームのみしかデコードできないデコーダ（第１の仮想デコーダ）を有する仮想的な第１の受信装置と、基本オーディオストリームおよび拡張オーディオストリームをデコードできるデコーダ（第２の仮想デコーダ）を有する仮想的な第２の受信装置との両方で、トランスポートバッファ３６２がオーバーフローしないように、かつ、エレメンタリバッファの容量がオーバーフローおよびアンダーフローしないように、階層化符号化されたオーディオストリームのＴＳパケットの送信タイミングを決定するようにしたので、基本オーディオストリームのみを受信側でデコードする場合であっても、円滑にデコードすることができる。
【０１３０】
なお、以上の例では、ＴＳパケット化部１３７がＴＳパケット化して多重化し、送信部１３８が、制御部１３５からの制御に基づくタイミングで、多重化されたトランスポートストリームを順次送信するようにしたが、ＴＳパケット化部１３７がＴＳパケット化した複数のＴＳパケットを、制御部１３５からの制御に基づくタイミングで多重化し、送信部は、単にその多重化されたトランスポートストリームを順次送信するようにしてもよい。すなわち、多重化されたＴＳの送信タイミングを制御するようにしてもよいし、ＴＳパケットを多重化するときにその配置（タイミング）を制御するようにしても、同様のＴＳが送信されることになり、このことは等価と考えられる。
【０１３１】
そこで、送信装置１１１のＴＳパケット化部１３７がＴＳパケット化し、多重化するときに、多重化のタイミングを調整する方法を、第２実施の形態として説明する。すなわち、図４の送信装置１１１において、ＴＳパケット化部１３７が、ＰＥＳパケットをＴＳパケット化し、これを多重化する処理について、以下に説明していく。
【０１３２】
図１４は、多重化処理を詳細に説明するための送信装置１１１の構成例である。図中、図４と対応する部分については、同一の符号を付してあり、その説明は繰り返しになるので省略する。
【０１３３】
図１４と図４を比較するに、図１４においては、ＴＳパケット化部１３７に、ＴＳパケット化処理部４０１と多重化処理部４０２とが含まれている。すなわち、図４でも上述したように、ＴＳパケット化部１３７は、ＰＥＳパケットをＴＳパケット化し、その後、ＴＳパケットを多重化してトランスポートストリームとしているので、図１４においては、その機能をＴＳパケット化処理部４０１と多重化処理部４０２とに分けている。
【０１３４】
具体的には、図１４のＴＳパケット化処理部４０１が、ＰＥＳパケット化部１３６から供給されてきたＰＥＳパケット（ＰＥＳパケットストリーム）を、制御部１３５からの制御に基づいてＴＳパケット化し、これを、多重化処理部４０２に供給する。そして、多重化処理部４０２は、ＴＳパケット化処理部４０１から供給されたＴＳパケットを、制御部１３５からの制御に基づいて多重化することで、ＴＳ（トランスポートストリーム）とし、送信部１３８に供給する。
【０１３５】
なお、図１４の送信装置１１１において、ＴＳパケット化部１３７以外の構成は、上述した図４と同様であるので、その説明は省略する。また、本実施の形態では、送信装置１１１の送信部１３８が受信装置に対してMPEG2-TSを送信するものとして説明しているが、送信部１３８がドライブを介して、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリなどにより構成されるリムーバブルメディアに記録させるようにしてもよい。例えば、送信部１３８がリムーバブルメディアにMPEG2-TSを記録させ、図示せぬ受信装置がリムーバブルメディアからMPEG2-TSを読み出すことで、MPEG2-TSが受信装置に送信される。
【０１３６】
次に、図１５を参照して、図１４の送信装置１１１から送信されるＴＳ、すなわち、基本オーディオストリームと拡張オーディオストリームとが多重化されたＴＳの構造を説明する。なお、図中、図５と対応する部分については、同一の符号を付してあり、その説明は繰り返しになるので省略する。
【０１３７】
図１５の例において、１段目の基本オーディオストリーム１８１と拡張オーディオストリーム１８２は、図１４のオーディオエンコーダ１３２によりエンコードされて出力された状態を示しており、２段目のＰＥＳパケットストリーム１９１は、図１４のＰＥＳパケット化部１３６によりＰＥＳパケット化されて出力された状態を示している。そして、３段目の複数のＴＳパケット２００は、図１４のＴＳパケット化部１３７のＴＳパケット化部４０１によりＴＳパケット化されて出力された状態を示しており、４段目のＴＳ２０１は、図１４のＴＳパケット化部１３７の多重化処理部４０２により多重化されて出力された状態を示している。
【０１３８】
すなわち、ＴＳ２０１は、ＴＳパケット化処理部４０１によりＴＳパケット化された複数のＴＳパケット２００が、多重化処理部４０２により多重化されたものである。多重化処理部４０２は、制御部１３５からの制御に基づくタイミングで、ＴＳパケット化された複数のＴＳパケットを多重化し、ＴＳ２０１を生成する。このとき、制御部１３５は、受信側の仮想的な受信装置１１２を想定しながら、ＴＳパケットの多重化のタイミングを制御する。この詳細は、図２１乃至図２４を参照して後述する。
【０１３９】
なお、図１４と図１５では、オーディオストリームについて説明したが、実際には、ビデオストリームやその他のデータ（システムデータ）のＴＳパケットも多重化され、ＴＳとして送信される。この例を、図１６を参照して簡単に説明する。
【０１４０】
オーディオストリームは、上述したように、ステップＳ１０１でオーディオエンコーダ１３２（図１４）に入力されると、ステップＳ１０２でオーディオエンコーダ１３２により符号化され（エンコードされ）、ステップＳ１０３で、基本オーディオＥＳ（基本オーディオエレメンタリストリーム）と、拡張オーディオＥＳ（拡張オーディオエレメンタリストリーム）とにわかれてＰＥＳパケット化部１３６に出力される。ＰＥＳパケット化部１３６は、ステップＳ１０４において、基本オーディオＥＳと拡張オーディオＥＳとをそれぞれＰＥＳパケット化して、１本のオーディオＰＥＳ（複数のＰＥＳパケットからなるオーディオＰＥＳ）とし、ステップＳ１０５において、オーディオＰＥＳをＴＳパケット化部１３７のＴＳパケット化処理部４０１に供給する。ＴＳパケット化処理部４０１は、ステップＳ１０６において、オーディオＰＥＳをＴＳパケット化し、ステップＳ１０７において、複数のＴＳパケットを、ＴＳパケット化部１３７の多重化処理部４０２に供給する。
【０１４１】
ここで、ステップＳ１０３でオーディオエンコーダ１３２から出力される基本オーディオＥＳと拡張オーディオＥＳとは、図１５の基本オーディオストリーム１８１と拡張オーディオストリーム１８２とにそれぞれ対応している。また、ステップＳ１０５でＰＥＳパケット化部１３６から出力されるオーディオＰＥＳは、図１５のＰＥＳパケットストリーム１９１に対応し、ステップＳ１０７でＴＳパケット化部１３７のＴＳパケット化処理部４０１から出力される複数のＴＳパケットは、図１５の複数のＴＳパケット２００に対応する。
【０１４２】
なお、ビデオストリームやその他のＥＳも、オーディオストリームと同様にＴＳパケット化される。ビデオストリームは、例えば、MPEG２，MPEG4-AVCなどMPEGの規格で想定されているストリームである。その他のＥＳには、例えば、グラフィックスストリームやテキストサブタイトル（テキスト字幕データ）などのストリームが含まれる。
【０１４３】
具体的には、ビデオストリームの場合、ステップＳ１１１でビデオストリームがビデオエンコーダ（図示せず）に入力されると、ステップＳ１１２でビデオエンコーダにより符号化され、ステップＳ１１３で出力される。そして、ステップＳ１１４において、ビデオＥＳがＰＥＳパケット化され、ビデオＰＥＳがステップＳ１１５で出力される。また、ステップＳ１１６において、ビデオＰＥＳがＴＳパケット化され、ステップＳ１１７において、複数のＴＳパケットがＴＳパケット化部１３７の多重化処理部４０２に供給される。
【０１４４】
また、その他のＥＳの場合、ステップＳ１３１でその他のＥＳ（既に符号化されているその他のデータのＥＳ）がＰＥＳパケット化部に入力されると、ステップＳ１３２でその他のＥＳがＰＥＳパケット化され、その他のＰＥＳがステップＳ１３３で出力される。また、ステップＳ１３４において、その他のＰＥＳがＴＳパケット化され、ステップＳ１３５において、複数のＴＳパケットがＴＳパケット化部１３７の多重化処理部４０２に供給される。
【０１４５】
そして、ＴＳパケット化部１３７の多重化処理部４０２は、ステップＳ１０７で供給された複数のオーディオのＴＳパケット、ステップＳ１１７で供給された複数のビデオのＴＳパケット、およびステップＳ１３５で供給された複数のその他のＴＳパケットを、ステップＳ１４１において、制御部１３５からの制御に基づくタイミングで多重化し、多重化して生成したMPEG2-TS（ＴＳ）を、ステップＳ１４２において出力する。このとき、図７に示されるような仮想デコーダ１２１（図３）モデルを満たすようにMPEG2-TSが生成される。
【０１４６】
このようにして、オーディオ、ビデオ、およびその他のデータのＴＳパケットが多重化され、MPEG2-TSとして出力される。
【０１４７】
なおこのとき、図１５を用いて説明したように、PAT２２１とPMT２２２も、多重化されるＴＳパケットに含まれる。この場合、PAT２２１とPMT２２２には、ビデオ、オーディオ、および、その他のデータに対応するデータが含まれる。
【０１４８】
次に、多重化されるＴＳパケット、すなわち、図１６のステップＳ１０７、ステップＳ１１７、およびステップＳ１３５の処理で出力されるＴＳパケットの例について、図１７を参照して説明する。
【０１４９】
図１７において、ビデオのＴＳ（複数のビデオのＴＳパケット）４３１は、図１６のステップＳ１１７の処理で出力されるものであり、オーディオのＴＳ（複数のオーディオのＴＳパケット）４３２は、図１６のステップＳ１０７の処理で出力されるものであり、その他のＴＳ（複数のその他のＴＳパケット）４３３は、図１６のステップＳ１３５の処理で出力されるものである。ここで、オーディオのＴＳ４３２は、上述した図１５の複数のＴＳパケット２００に対応している。
【０１５０】
図１７に示されるように、ビデオのＴＳ４３１を構成する複数のＴＳパケットのそれぞれのヘッダには、同一のＰＩＤが付されている。具体的には、ビデオのＴＳ４３１を構成する複数のＴＳパケットのそれぞれのＰＩＤは、ＰＩＤ＝Ｖ０とされている。
【０１５１】
また、オーディオのＴＳ４３２を構成する複数のＴＳパケットのそれぞれのヘッダには、同一のＰＩＤが付されている。具体的には、オーディオのＴＳ４３２を構成する複数のＴＳパケットのそれぞれのＰＩＤは、ＰＩＤ＝ａ０とされている。さらに、基本オーディオストリーム１８１と拡張オーディオストリーム１８２のそれぞれのＴＳパケットには、それぞれ別のＩＤが付されている。図１７の例の場合、基本オーディオストリーム１８１のＴＳパケットには、「ｔｐ＝１」が付され、拡張オーディオストリーム１８２のＴＳパケットには、「ｔｐ＝０」が付されている（上述した図５と同様）。このように、１本のストリームに対しては同一のＰＩＤが付され、１本のストリームに含まれる基本オーディオストリームおよび拡張オーディオストリームを識別するために、それぞれ異なるｔｐ（transport_priority）が付される。
【０１５２】
さらに、その他のＴＳ４３３を構成する複数のＴＳパケットのそれぞれのヘッダには、同一のＰＩＤが付されている。具体的には、その他のＴＳ４３３を構成する複数のＴＳパケットのそれぞれのＰＩＤは、ＰＩＤ＝Ｅ０とされている。なお、図１７においては、その他のＴＳパケットのＰＩＤを１つ（ＰＩＤ＝Ｅ０）としているが、例えば、その他のＴＳパケットに、インタラクティブグラフィックスストリームと、プレゼンテーショングラフィックスストリームなどの２種類のストリームが含まれていた場合には、それぞれの種類のストリームに対して、別々のＰＩＤが割り当てられる。すなわち、その他のＴＳに２種類のストリームが含まれている場合には、その他のＴＳパケットの中で２種類のＰＩＤが割り当てられる。
【０１５３】
このように、ビデオストリームとオーディオストリームとその他のＥＳとで、異なるＰＩＤを付してＴＳパケット化するようにしているので、ＴＳパケットの種類を、ＰＩＤを確認するだけで、識別することができる。また、オーディオストリームのＴＳパケットが基本オーディオストリーム１８１であるか拡張オーディオストリーム１８２であるか否かも、ＴＳパケットのヘッダに付されているｔｐフラグを確認するだけで、識別することができる。
【０１５４】
このようなビデオのＴＳ４３１、オーディオのＴＳ４３２、およびその他のＴＳ４３３が、図１６のステップＳ１４１の処理で多重化され、１本のトランスポートストリームとされる。
【０１５５】
上述したように、送信装置１１１は、トランスポートストリームを送信する場合に、仮想的な受信装置１１２（図３）の能力に応じてＴＳパケットの送信（多重化）のタイミングを調整するようにする。すなわち、仮想的な受信装置１１２が基本オーディオストリームと拡張オーディオストリームの両方に対応した（基本オーディオストリームと拡張オーディオストリームの両方をデコード可能な）仮想的な受信装置である場合であっても、仮想的な受信装置１１２が基本オーディオストリームのみに対応した（基本オーディオストリームのみデコード可能な）受信装置である場合であっても、それらの仮想的な受信装置１１２のバッファがオーバーフローおよびアンダーフローせずにデコード可能となるように、送信装置１１１側で、エンコードしたＴＳパケットを送信する（多重化する）タイミングを調整するようにする。
【０１５６】
ここで、送信装置１１１が想定する仮想的な受信装置１１２について説明する。送信装置１１１は、上述したように、図７に示されるような仮想デコーダ１２１（図３）モデルを想定する。すなわち、送信装置１１１は、基本オーディオストリームと拡張オーディオストリームとをデコードし、パケット化して多重化する場合に、図７の仮想デコーダ１２１のモデルを想定する。
【０１５７】
図７の説明については、上述したので省略するが、図７のオーディオデータデコード処理部３６０の詳細な構成例を、図１８を参照して説明する。なお、この構成例は、図７を用いて上述した条件（１）、条件（２）を当てはめたものをブロック図として図示したものである。具体的には、上述した（１）の条件を当てはめたものが、オーディオデータデコード処理部３６０−１であり、上述した（２）の条件を当てはめたものが、オーディオデータデコード処理部３６０−２である。
【０１５８】
オーディオデータデコード処理部３６０の内部は、図１８に示されるように、基本オーディオデータデコード処理部３６０−１と基本および拡張オーディオデータデコード処理部３６０−２の２系統に分かれている。これは、基本オーディオストリームのみのデコードを対象としたデコーダモデルである基本オーディオデータデコード処理部３６０−１と、基本および拡張オーディオストリームのデコードを対象としたデコーダモデルである基本および拡張オーディオデータデコード処理部３６０−２の２つを一度に検証するためである。
【０１５９】
基本オーディオデータデコード処理部３６０−１には、トランスポートプリオリティフィルタ（図中、transport priority filter (tp=1)と記述する）３６１−１、トランスポートバッファ（図中、ＴＢ１と記述する）３６２−１、エレメンタリバッファ（図中、Ｂ１と記述する）３６３−１、およびオーディオデコーダ（図中、Ｄ１と記述する）３６４−１が設けられている。すなわち、図７のオーディオデータデコード処理部３６０のトランスポートプリオリティフィルタ３６１、トランスポートバッファ３６２、エレメンタリバッファ３６３、およびオーディオデコーダ３６４に、図１８のオーディオデータデコード処理部３６０−１のトランスポートプリオリティフィルタ３６１−１、トランスポートバッファ３６２−１、エレメンタリバッファ３６３−１、およびオーディオデコーダ３６４−１がそれぞれ対応している。
【０１６０】
トランスポートプリオリティフィルタ３６１−１は、ｔｐ＝１（Transport_priority＝１）のＴＳパケットだけを選択し、トランスポートバッファ３６２−１へ供給する。トランスポートバッファ３６２−１は、エレメンタリバッファ３６３−１への入力ビットレートの値（Ｒｘｎ）をＲｘ１としてデータを供給する。エレメンタリバッファ３６３−１は、トランスポートバッファ３６２−１からＲｘ１のビットレートで供給されたデータを蓄積する。ここで、エレメンタリバッファ３６３−１の容量（Ｂｎ）は、Ｂ１とされる。オーディオデコーダ３６４−１は、エレメンタリバッファ３６３−１に蓄積されているオーディオアクセスユニットを所定のタイミングで引き抜き、それを復号し、出力する。具体的には、オーディオデコーダ３６４−１は、オーディオアクセスユニットのＰＴＳが、T-STDのシステムタイムクロック上の時間に等しくなったときに、そのオーディオアクセスユニットをエレメンタリバッファ３６３−１から引き抜く。オーディオデコーダ３６４−１は、取得したオーディオアクセスユニットをデコードし、出力する。
【０１６１】
このように、基本オーディオデータデコード処理部３６０−１は、基本オーディオＥＳのデコードを想定した仮想デコーダである。以下において、仮想デコーダ１２１のオーディオデータデコード処理部３６０が、基本オーディオデータデコード処理部３６０−１に置き換えられているものを、第１の仮想デコーダと称する。すなわち、第１の仮想的な受信装置に設けられている仮想デコーダが、第１の仮想デコーダとされる。
【０１６２】
一方、基本および拡張オーディオデータデコード処理部３６０−２には、トランスポートバッファ（図中、ＴＢ２と記述する）３６２−２、エレメンタリバッファ（図中、Ｂ２＿１と記述する）３６３−２、およびオーディオデコーダ３６４−２が設けられている。すなわち、図７のオーディオデータデコード処理部３６０のトランスポートバッファ３６２、エレメンタリバッファ３６３、およびオーディオデコーダ３６４に、図１８の基本および拡張オーディオデータデコード処理部３６０−２のトランスポートバッファ３６２−２、エレメンタリバッファ３６３−２、およびオーディオデコーダ３６４−２がそれぞれ対応している。ここで、基本および拡張オーディオデータデコード処理部３６０−２に、トランスポートプリオリティフィルタ３６１が設けられていないのは、基本オーディオＥＳと拡張オーディオＥＳの両方を用いて処理するためである。すなわち、基本オーディオＥＳと拡張オーディオＥＳの全て（ｔｐ＝１とｔｐ＝０のオーディオＴＳパケットが全て）基本および拡張オーディオデータデコード処理部３６０−２で処理されるため、フィルタが必要ないからである。
【０１６３】
トランスポートバッファ３６２−２には、基本オーディオＥＳと拡張オーディオＥＳ（ｐ＝１とｔｐ＝０のオーディオＥＳ）が供給される。トランスポートバッファ３６２−２は、エレメンタリバッファ３６３−２への入力ビットレートの値（Ｒｘｎ）をＲｘ２としてデータを供給する。エレメンタリバッファ３６３−２は、トランスポートバッファ３６２−２からＲｘ２のビットレートで供給されたデータを蓄積する。ここで、エレメンタリバッファ３６３−２の容量（Ｂｎ）は、Ｂ２とされる。
【０１６４】
オーディオデコーダ３６４−２は、エレメンタリバッファ３６３−２に蓄積されているオーディオアクセスユニットを所定のタイミングで引き抜き、それを復号し、出力する。具体的には、オーディオデコーダ３６４−２は、オーディオアクセスユニットのＰＴＳが、T-STDのシステムタイムクロック上の時間に等しくなったときに、そのオーディオアクセスユニットをエレメンタリバッファ３６３−２から引き抜く。オーディオデコーダ３６４−２は、取得したオーディオアクセスユニットをデコードし、出力する。
【０１６５】
このように、基本および拡張オーディオデータデコード処理部３６０−２は、基本オーディオＥＳと拡張オーディオＥＳのデコードを想定した仮想デコーダである。以下において、仮想デコーダ１２１のオーディオデータデコード処理部３６０が、基本および拡張オーディオデータデコード処理部３６０−２に置き換えられているものを、第２の仮想デコーダと称する。すなわち、第２の仮想的な受信装置に設けられている仮想デコーダが、第２の仮想デコーダとされる。
【０１６６】
ここまでの仮想デコーダの説明をまとめると、図７を用いて上述した条件（１）が当てはめられた仮想デコーダ１２１、すなわち、仮想デコーダ１２１のオーディオデータデコード処理部３６０が、図１８の基本オーディオデータデコード処理部３６０−１に置き換えられているものが、第１の仮想デコーダである。また、図７を用いて上述した条件（２）が当てはめられた仮想デコーダ１２１、すなわち、仮想デコーダ１２１のオーディオデータデコード処理部３６０が、図１８の基本および拡張オーディオデータデコード処理部３６０−２に置き換えられているものが、第２の仮想デコーダである。
【０１６７】
なお、図１８において、エレメンタリバッファ３６３−１（Ｂ１）のメモリ容量よりも、エレメンタリバッファ３６３−２（Ｂ２）のメモリ容量のほうが大きく、また、エレメンタリバッファ３６３−１（Ｂ１）へのリークレートＲｘ１よりも、エレメンタリバッファ３６３−２へのリークレートＲｘ２のほうがリークレートが大きい。例えば、エレメンタリバッファ３６３−１（Ｂ１）のバッファサイズは４３９７２bytesとされ、エレメンタリバッファ３６３−２のバッファサイズは７１４×２10bytesとされ、リークレートＲｘ１は２Mbpsとされ、リークレートＲｘ２は２９．４Mbpsとされる。
【０１６８】
図１４の送信装置１１１は、図７の仮想デコーダ１２１を有する仮想的な受信装置１２０によって正しくデコードされるように、基本オーディオＴＳパケットと基本および拡張オーディオＴＳパケットの中から、多重化するＴＳパケットを順次決定して、多重化する必要がある。
【０１６９】
すなわち、送信装置１１１は、例えば仮想デコーダ１２１の中のトランスポートバッファ３６２−１（図１８）およびトランスポートバッファ３６２−２がオーバーフローすることなく、かつ、エレメンタリバッファ３６３−１およびエレメンタリバッファ３６３−２がオーバーフローおよびアンダーフローすることがないように、多重化するオーディオのＴＳパケットを決定（調整）し、多重化しなければならない。
【０１７０】
そのため、送信装置１１１は、上述した図７の仮想デコーダ１２１を満たすように、すなわち、図１８の基本オーディオデータデコード処理部３６０−１と基本および拡張オーディオデータデコード処理部３６０−２の両方でデコードできるように、図１５の複数のＴＳパケット２００（基本オーディオストリーム１８１がＴＳパケット化されたＴＳパケットと拡張オーディオストリーム１８２がＴＳパケット化されたＴＳパケットからなる複数のＴＳパケット２００）を多重化してトランスポートストリーム２０１を生成するための多重化のタイミングを調整する。すなわち、送信装置１１１は、第１の仮想的な受信装置（第１の仮想デコーダ、すなわち、基本オーディオデータデコード処理部３６０−１を有する仮想デコーダ１２１）と第２の仮想的な受信装置（第２の仮想デコーダ、すなわち、基本および拡張オーディオデータデコード処理部３６０−２を有する仮想デコーダ１２１）のそれぞれのバッファがオーバーフローおよびアンダーフローしないようなタイミングで、多重化するＴＳパケットを順次決定し、多重化する。
【０１７１】
次に、図１４の送信装置１１１が、仮想的な受信装置１１２の能力を考慮して、オーディオストリームをエンコードおよびＴＳパケット化し、多重化して送信する場合の処理を説明する。図１９と図２０は、図１４の送信装置１１１における、ＴＳパケット送信処理を説明するフローチャートである。なお、この処理は、送信装置１１１の電源がオンされ、入力部１３１にオーディオストリームが入力されたとき開始される。
【０１７２】
ステップＳ２１１乃至２１６の処理は、上述した図８のステップＳ１１乃至ステップＳ１６の処理と同様であるので、その説明は省略し、ステップＳ２１７以降について説明する。
【０１７３】
ステップＳ２１７において、ＴＳパケット化部１３７のＴＳパケット化処理部４０１は、ＰＥＳパケット化部１３６から供給されてきたＰＥＳパケットをＴＳパケット化し、ＴＳパケット化したＴＳパケットを多重化部１３８に供給する。例えば、ＴＳパケット化部１３７は、基本オーディオストリーム１８１と拡張オーディオストリーム１８２のそれぞれのＰＥＳパケットを、図１５の３段目の複数のＴＳパケット２００に示されるように、ＴＳパケット化する。そして、ＴＳパケット化処理部４０１は、基本オーディオストリームのＴＳパケットと拡張オーディオストリームのＴＳパケットを、多重化処理部４０２に供給する。
【０１７４】
このとき、ＴＳパケット化された基本オーディオＴＳパケットと、拡張オーディオＴＳパケットの各ＴＳヘッダには、図１５に示されるように、同一のＰＩＤが付されているとともに、異なるtransport_priorityの値が付されている。図１５の例の場合、基本オーディオＴＳパケットの各ＴＳヘッダには「ＰＩＤ＝ａ０,ｔｐ＝１」が含まれ、拡張オーディオＴＳパケットの各ＴＳヘッダには「ＰＩＤ＝ａ０,ｔｐ＝０」が含まれる。
【０１７５】
ステップＳ２１８において、制御部１３５は、仮想デコーダ１２１のバッファ占有量の計算に基づいて、多重化するＴＳパケットを決定する。具体的には、制御部１３５は、第１の仮想デコーダと第２の仮想デコーダ（図７と図１８参照）のバッファ占有量の計算に基づいて、次に多重化するＴＳパケット（基本オーディオＴＳパケットと拡張オーディオＴＳパケットとのうちのいずれかのＴＳパケット）を決定し、多重化すると決定されたＴＳパケットを多重化するよう、多重化部１３８を制御する。すなわち、制御部１３５は、図１５の複数のオーディオＴＳパケット２００（図１７の複数のオーディオＴＳパケット４３２）を多重化して、トランスポートストリーム２０１を生成するために、多重化するＴＳパケットの順番を決定する。なお、この仮想デコーダ１２１（第１の仮想デコーダと第２の仮想デコーダ）のバッファ占有量の計算の処理については、図２２と図２４を参照して後述する。
【０１７６】
なお、多重化できるＴＳパケットが複数ある場合、制御部１３５は、多重化できるＴＳパケットの中でDTS（Decoding Time Stamp）が早いものから順に多重化するよう制御してもよいし、仮想デコーダ１２１のバッファ占有量が少ないストリームのＴＳパケットから順に多重化するよう制御してもよい。
【０１７７】
また、多重化するＴＳパケットの中に、図１７に示されるようなビデオのＴＳパケット４３１やその他のＴＳパケット４３３が含まれる場合には、制御部１３５は、基本オーディオＴＳパケット、拡張オーディオＴＳパケット、ビデオのＴＳパケット、および、その他のＴＳパケットの中から、多重化するＴＳパケットを決定する。
【０１７８】
ステップＳ２１９において、多重化処理部４０２は、ＴＳパケット化処理部４０１から供給されたＴＳパケットのうち、制御部１３５によるステップＳ２１８の処理で多重化すると決定されたＴＳパケットを多重化する。具体的には、多重化部１３８は、図１５の基本オーディオＴＳパケットと拡張オーディオＴＳパケットのうち、ステップＳ２１９の処理で多重化すると決定されたＴＳパケットを（順次）多重化する。これにより、図１５に示されるように、受信側でデコード可能となるように多重化されたトランスポートストリーム２０１が生成される。多重化処理部４０２は、基本オーディオＴＳパケットと拡張オーディオＴＳパケットとを多重化して生成したトランスポートストリーム２０１を、送信部１３８に供給する。
【０１７９】
ステップＳ２２０において、送信部１３８は、ＴＳパケット化部１３７の多重化処理部４０２から供給されたトランスポートストリーム２０１（図１５）を送信する。送信部１３８は、例えば、図示せぬドライブにトランスポートストリーム２０１を送信して、リムーバブルメディアにトランスポートストリーム（MPEG2-TS）を記録させたり、図示せぬ通信部を制御して、ネットワークを介して、受信装置にトランスポートストリームを送信したりする。この受信装置は、図７を参照して説明した仮想的な受信装置１２０ではなく、実際にMPEG2-TSを受信する（デコーダを有する）受信装置である。
【０１８０】
ステップＳ２２１において、制御部１３５は、終了するか否かを判定する。例えば、制御部１３５は、入力部１３１へのオーディオデータの入力が終了した場合や、ユーザによりＴＳパケット送信処理の終了が指令された場合や、１本のオーディオストリームの送信が終了した場合などに、処理を終了すると判定する。ステップＳ２２１において、終了しないと判定された場合、処理はステップＳ２１１に戻り、それ以降の処理が繰り返される。すなわち、再びオーディオデータの入力が受け付けられてＴＳパケット化され、仮想デコーダ１２１のバッファ占有量の計算に基づいて多重化するＴＳパケットが決定されて多重化され、多重化された結果生成されたトランスポートストリームが送信される。ステップＳ２２１において、終了すると判定された場合、処理は終了される。
【０１８１】
図１９と図２０の処理により、第１の仮想デコーダと第２の仮想デコーダ（仮想デコーダ１２１）のバッファ占有量の計算に基づいて、多重化すると決定されたタイミングでＴＳパケットが多重化されるので、図７と図１８の仮想デコーダ１２１のモデルに対応するデコーダを有する受信装置（図示せず）であれば、この処理で多重化されたトランスポートストリーム（複数のＴＳパケット）を確実にデコード（復号）することができる。
【０１８２】
次に、図２０のステップＳ２１８で制御部１３５により実行される、仮想デコーダ（２つの条件下における仮想デコーダ１２１）のバッファ占有量の計算と、多重化するＴＳパケットの決定の方法について説明する。
【０１８３】
図２０のステップＳ２１８で上述したが、制御部１３５は、第１の仮想デコーダと第２の仮想デコーダを想定し、２つの仮想デコーダのバッファ占有量の計算に基づいて、多重化するＴＳパケットを決定する。この方法を以下に２つ説明する。
【０１８４】
１つ目の方法（以下、方法１と称する）は、オーディオデータデコード処理部３６０（図１８）の全体として、ＴＳパケットの多重化を判定する場合に、基本オーディオデータデコード処理部３６０−１と基本および拡張オーディオデータデコード処理部３６０−２の両方において多重化が可能である場合に、そのＴＳパケットが多重化可能であると判定する方法である。
【０１８５】
すなわち、方法１では、図２１に示されるような条件に従って、任意の時刻における２つの仮想デコーダ（第１の仮想デコーダと第２の仮想デコーダ）のバッファ占有量の計算によりＴＳパケットを多重化できるか否かの判定が行われる。
【０１８６】
図２１において、基本オーディオデータデコード処理部３６０−１を想定した場合のＴＳパケット多重化判定結果が「ＴＳパケット多重化可」（ＴＳパケット多重化可能）であり、基本および拡張オーディオデータデコード処理部３６０−２を想定した場合のＴＳパケット多重化判定結果が「ＴＳパケット多重化可」（ＴＳパケット多重化可能）である場合、ＴＳパケットを多重化できるか否かの判定結果は「ＴＳパケット多重化可」とされる。すなわち、任意の時刻に、送信したいＴＳパケットが、基本オーディオデータデコード処理部３６０−１と、基本および拡張オーディオデータデコード処理部３６０−２との両方で多重化が可能であると判定された場合、そのＴＳパケットは多重化可能であると判定される。
【０１８７】
また、基本オーディオデータデコード処理部３６０−１を想定した場合のＴＳパケット多重化判定結果が「ＴＳパケット多重化不可」であり、基本および拡張オーディオデータデコード処理部３６０−２を想定した場合のＴＳパケット多重化判定結果が「ＴＳパケット多重化可」である場合、ＴＳパケットを多重化できるか否かの判定結果は「ＴＳパケット多重化不可」とされる。すなわち、任意の時刻に、送信したいＴＳパケットが、基本オーディオデータデコード処理部３６０−１で多重化が不可能であると判定された場合、基本および拡張オーディオデータデコード処理部３６０−２で多重化が可能であっても、多重化不可能であると判定される。
【０１８８】
さらに、基本オーディオデータデコード処理部３６０−１を想定した場合のＴＳパケット多重化判定結果が「ＴＳパケット多重化可」であり、基本および拡張オーディオデータデコード処理部３６０−２を想定した場合のＴＳパケット多重化判定結果が「ＴＳパケット多重化不可」である場合、ＴＳパケットを多重化できるか否かの判定結果は「ＴＳパケット多重化不可」とされる。すなわち、任意の時刻に、送信したいＴＳパケットが、基本オーディオデータデコード処理部３６０−１で多重化可能であっても、基本および拡張オーディオデータデコード処理部３６０−２で多重化が不可能であれば、多重化不可能であると判定される。
【０１８９】
また、基本オーディオデータデコード処理部３６０−１を想定した場合のＴＳパケット多重化判定結果が「ＴＳパケット多重化不可」であり、基本および拡張オーディオデータデコード処理部３６０−２を想定した場合のＴＳパケット多重化判定結果が「ＴＳパケット多重化不可」である場合、ＴＳパケットを多重化できるか否かの判定結果は「ＴＳパケット多重化不可」とされる。すなわち、任意の時刻に、送信したいＴＳパケットが、基本オーディオデータデコード処理部３６０−１と、基本および拡張オーディオデータデコード処理部３６０−２との両方で多重化不可能であると判定された場合、そのＴＳパケットは、多重化不可能であると判定される。
【０１９０】
すなわち、方法１では、任意の時刻に、送信したいＴＳパケットが、基本オーディオデータデコード処理部３６０−１と、基本および拡張オーディオデータデコード処理部３６０−２との両方で多重化が可能であると判定された場合にのみ、そのＴＳパケットは多重化可能であると判定される。
【０１９１】
次に、図２１の方法１に対応する、オーディオストリームのバッファ占有量計算処理を説明する。この処理は、上述した図１４の制御部１３５が、第１の仮想デコーダと第２の仮想デコーダの２つの仮想デコーダ１２１を想定し、実行する処理である。また、この処理は、図２０のステップＳ１８において実行される処理の詳細な一例（方法１）である。
【０１９２】
ステップＳ３０１において、制御部１３５は、基本オーディオデータデコード処理部３６０−１のトランスポートバッファ３６２−１にＴＳパケットを入れる空きがあるか否かを判定する。具体的には、制御部１３５は、トランスポートバッファ３６２−１の容量（メモリ容量）と、トランスポートバッファ３６２−１からエレメンタリバッファ３６３−１への入力ビットレートの値Ｒｘ１とに基づいて、ＴＳパケット（１個のＴＳパケットは１８８byte）をトランスポートバッファ３６２−１に入れる空きがあるか否かを判定する。
【０１９３】
ステップＳ３０１において、基本オーディオデータデコード処理部３６０−１のトランスポートバッファ３６２−１にＴＳパケットを入れる空きがあると判定された場合、処理はステップＳ３０２に進み、制御部１３５は、基本および拡張オーディオデータデコード処理部３６０−２のトランスポートバッファ３６２−２にＴＳパケットを入れる空きがあるか否かを判定する。具体的には、制御部１３５は、トランスポートバッファ３６２−２の容量（メモリ容量）と、トランスポートバッファ３６２−２からエレメンタリバッファ３６３−２への入力ビットレートの値Ｒｘ２とに基づいて、ＴＳパケット（１個のＴＳパケットは１８８byte）をトランスポートバッファ３６２−２に入れる空きがあるか否かを判定する。
【０１９４】
ステップＳ３０２において、基本および拡張オーディオデータデコード処理部３６０−２のトランスポートバッファ３６２−２にＴＳパケットを入れる空きがあると判定された場合、処理はステップＳ３０３に進み、制御部１３５は、基本オーディオデータデコード処理部３６０−１のエレメンタリバッファ３６３−１にＴＳパケットを入れる空きがあるか否かを判定する。具体的には、制御部１３５は、トランスポートバッファ３６２−１からエレメンタリバッファ３６３−１への入力ビットレートの値Ｒｘ１、エレメンタリバッファ３６３−１の容量、および、そのＴＳパケットに対応するＰＴＳ（すなわち、オーディオデコーダ３６４−１に引き抜かれるタイミング）に基づいて、ＴＳパケット（１８８byte）をエレメンタリバッファ３６３−１に入れる空きがあるか否かを判定する。
【０１９５】
ステップＳ３０３において、基本オーディオデータデコード処理部３６０−１のエレメンタリバッファ３６３−１にＴＳパケットを入れる空きがあると判定された場合、処理はステップＳ３０４に進み、制御部１３５は、基本および拡張オーディオデータデコード処理部３６０−２のエレメンタリバッファ３６３−２にＴＳパケットを入れる空きがあるか否かを判定する。具体的には、制御部１３５は、トランスポートバッファ３６２−２からエレメンタリバッファ３６３−２への入力ビットレートの値Ｒｘ２、エレメンタリバッファ３６３−２の容量、および、そのＴＳパケットに対応するＰＴＳ（すなわち、オーディオデコーダ３６４−２に引き抜かれるタイミング）に基づいて、ＴＳパケット（１８８byte）をエレメンタリバッファ３６３−２に入れる空きがあるか否かを判定する。
【０１９６】
ステップＳ３０４において、基本および拡張オーディオデータデコード処理部３６０−２のエレメンタリバッファ３６３−２にＴＳパケットを入れる空きがあると判定された場合、処理はステップＳ３０５に進み、制御部１３５は、そのＴＳパケットが多重化可能であると判定する。すなわち、ステップＳ３０４でYESと判定された場合、ステップＳ３０１乃至ステップＳ３０４の処理により、図２１の基本オーディオデータデコード処理部３６０−１を想定した場合のＴＳパケット多重化判定結果と、図２１の基本および拡張オーディオデータデコード処理部３６０−２を想定した場合のＴＳパケット多重化判定結果が、ともに、ＴＳパケット多重化可であるので、そのＴＳパケットが多重化可能であると判定する。より具体的には、図２２のステップＳ３０１とステップＳ３０３の処理が、図２１の「基本オーディオデータデコード処理部３６０−１を想定した場合のＴＳパケット多重化判定結果」に対応しており、この２つの処理がともにYESである場合に、「ＴＳパケット多重化可」であると判定される。また、図２２のステップＳ３０２とステップＳ３０４の処理が、図２１の「基本および拡張オーディオデータデコード処理部３６０−２を想定した場合のＴＳパケット多重化判定結果」に対応しており、この２つの処理がともにYESである場合に、「ＴＳパケット多重化可」であると判定される。
【０１９７】
一方、ステップＳ３０１において、基本オーディオデータデコード処理部３６０−１のトランスポートバッファ３６２−１にＴＳパケットを入れる空きがないと判定された場合、ステップＳ３０２において、基本および拡張オーディオデータデコード処理部３６０−２のトランスポートバッファ３６２−２にＴＳパケットを入れる空きがないと判定された場合、ステップＳ３０３において、基本オーディオデータデコード処理部３６０−１のエレメンタリバッファ３６３−１にＴＳパケットを入れる空きがないと判定された場合、または、ステップＳ３０４において、基本および拡張オーディオデータデコード処理部３６０−２のエレメンタリバッファ３６３−２にＴＳパケットを入れる空きがないと判定された場合、処理はステップＳ３０６に進む。
【０１９８】
ステップＳ３０６において、制御部１３５は、そのＴＳパケットが多重化不可であると判定する。すなわち、基本オーディオデータデコード処理部３６０−１を想定した場合のＴＳパケット多重化判定結果、または、基本および拡張オーディオデータデコード処理部３６０−２を想定した場合のＴＳパケット多重化判定結果のうちの少なくともいずれか一方が「多重化不可」である場合、制御部１３５は、そのＴＳパケットが多重化不可能であると判定する。
【０１９９】
ステップＳ３０５またはステップＳ３０６の処理の後、処理は終了される。なお、図２２において、基本オーディオデータデコード処理部３６０−１のトランスポートバッファ３６２−１と基本および拡張オーディオデータデコード処理部３６０−２のトランスポートバッファ３６２−２とに、ＴＳパケットを入れる空きがあるか否かを判定した後に、基本オーディオデータデコード処理部３６０−１のエレメンタリバッファ３６３−１と基本および拡張オーディオデータデコード処理部３６０−２のエレメンタリバッファ３６３−２とに、ＴＳパケットを入れる空きがあるか否かを判定するようにしたのは、基本オーディオデータデコード処理部３６０−１のエレメンタリバッファ３６３−１にＴＳパケットを入れる空きがあったとしても、基本および拡張オーディオデータデコード処理部３６０−２のトランスポートバッファ３６２−１に空きがなければ、ＴＳパケット多重化不可となるからである。
【０２００】
なお、図２２の処理は、図２０のステップＳ２１８の処理を実行する場合に実行される処理であって、繰り返し実行されるものである。
【０２０１】
このように、制御部１３５は、基本オーディオストリームのみをデコード可能な基本オーディオデータデコード処理部３６０−１を含む第１の仮想デコーダを想定するとともに、基本および拡張オーディオストリームをデコード可能な基本および拡張オーディオデータデコード処理部３６０−２を含む第２の仮想デコーダを想定し、バッファの占有量を計算する。そして、この計算に基づいて、対象となるＴＳパケットが多重化できるか否かを判定する。
【０２０２】
すなわち、制御部１３５は、図１８の基本オーディオデータデコード処理部３６０−１と基本および拡張オーディオデータデコード処理部３６０−２とを想定し、第１の仮想デコーダ１２１のバッファ占有量と第２の仮想デコーダ１２１のバッファ占有量とを計算し、対象となるＴＳパケットが多重化できるか否かを判定する。これにより、基本オーディオストリームのみをデコード可能なデコーダ（実際のデコーダ）、および、基本および拡張オーディオストリームをデコード可能なデコーダ（実際のデコーダ）の両方において、バッファ占有量をオーバーフローやアンダーフローすることなく、確実に基本オーディオストリームをデコードすることができる。
【０２０３】
次に、第１の仮想デコーダと第２の仮想デコーダを想定し、２つの仮想デコーダのバッファ占有量の計算に基づいて、多重化するＴＳパケットを決定する場合の２つ目の方法について説明する。
【０２０４】
２つ目の方法（以下、方法２と称する）は、基本および拡張オーディオストリームの特性を考慮し、オーディオデータデコード処理部３６０（図１８）全体において、ＴＳパケットの多重化を判定する方法である。基本および拡張オーディオストリームの特性とは、基本オーディオデータデコード処理部３６０−１では基本オーディオＴＳパケットのみを処理し、基本および拡張オーディオデータデコード処理部３６０−２では、基本オーディオＴＳパケットと拡張オーディオＴＳパケットの両方を処理することである。方法２を、より詳細に説明すると、対象となるＴＳパケットが拡張オーディオストリームのＴＳパケットである場合、基本および拡張オーディオデータデコード処理部３６０−２において多重化が可能である場合に、そのＴＳパケットが多重化可能であると判定するものである。
【０２０５】
すなわち、方法２では、図２３に示されるような条件に従って、任意の時刻における２つの仮想デコーダ（第１の仮想デコーダと第２の仮想デコーダ）のバッファ占有量の計算によりＴＳパケットを多重化できるか否かの判定が行われる。
【０２０６】
図２３において、基本オーディオデータデコード処理部３６０−１を想定した場合のＴＳパケット多重化判定結果が「ＴＳパケット多重化可」（ＴＳパケット多重化可能）であり、基本および拡張オーディオデータデコード処理部３６０−２を想定した場合のＴＳパケット多重化判定結果が「ＴＳパケット多重化可」（ＴＳパケット多重化可能）である場合、ＴＳパケットを多重化できるか否かの判定結果は「ＴＳパケット多重化可」とされる。すなわち、任意の時刻に、送信したいＴＳパケットが、基本オーディオデータデコード処理部３６０−１と、基本および拡張オーディオデータデコード処理部３６０−２との両方で多重化が可能であると判定された場合、そのＴＳパケットは多重化可能であると判定される。
【０２０７】
また、基本オーディオデータデコード処理部３６０−１を想定した場合のＴＳパケット多重化判定結果が「ＴＳパケット多重化不可」であり、基本および拡張オーディオデータデコード処理部３６０−２を想定した場合のＴＳパケット多重化判定結果が「ＴＳパケット多重化可」である場合、ＴＳパケットを多重化できるか否かの判定結果は「拡張オーディオＴＳパケットのみ多重化可」とされる。すなわち、任意の時刻に、送信したいＴＳパケットが、基本オーディオデータデコード処理部３６０−１で多重化が不可能であると判定され、基本および拡張オーディオデータデコード処理部３６０−２で多重化が可能と判定された場合、そのＴＳパケットが拡張オーディオＴＳパケットであれば多重化可能であると判定され、基本オーディオＴＳパケットであれば多重化不可能であると判定される。
【０２０８】
さらに、基本オーディオデータデコード処理部３６０−１を想定した場合のＴＳパケット多重化判定結果が「ＴＳパケット多重化可」であり、基本および拡張オーディオデータデコード処理部３６０−２を想定した場合のＴＳパケット多重化判定結果が「ＴＳパケット多重化不可」である場合、ＴＳパケットを多重化できるか否かの判定結果は「ＴＳパケット多重化不可」とされる。すなわち、任意の時刻に、送信したいＴＳパケットが、基本オーディオデータデコード処理部３６０−１で多重化可能であっても、基本および拡張オーディオデータデコード処理部３６０−２で多重化が不可能であれば、多重化不可能であると判定される。
【０２０９】
また、基本オーディオデータデコード処理部３６０−１を想定した場合のＴＳパケット多重化判定結果が「ＴＳパケット多重化不可」であり、基本および拡張オーディオデータデコード処理部３６０−２を想定した場合のＴＳパケット多重化判定結果が「ＴＳパケット多重化不可」である場合、ＴＳパケットを多重化できるか否かの判定結果は「ＴＳパケット多重化不可」とされる。すなわち、任意の時刻に、送信したいＴＳパケットが、基本オーディオデータデコード処理部３６０−１と、基本および拡張オーディオデータデコード処理部３６０−２との両方で多重化不可能であると判定された場合、そのＴＳパケットは、多重化不可能であると判定される。
【０２１０】
すなわち、方法２では、任意の時刻に、送信したいＴＳパケットが、基本オーディオデータデコード処理部３６０−１と、基本および拡張オーディオデータデコード処理部３６０−２との両方で多重化が可能であると判定された場合（方法１と同じ条件）に加え、送信したいＴＳパケットが、拡張オーディオＴＳパケットである場合であって、基本および拡張オーディオデータデコード処理部３６０−２で多重化が可能であると判定された場合に、そのＴＳパケットは多重化可能であると判定される。
【０２１１】
次に、図２３の方法２に対応する、基本および拡張オーディオストリームの特性を考慮したバッファ占有量計算処理を説明する。この処理は、上述した図１４の制御部１３５が、第１の仮想デコーダと第２の仮想デコーダの２つの仮想デコーダ１２１を想定し、実行する処理である。また、この処理は、図２０のステップＳ１８において実行される処理の詳細な一例（方法２）である。
【０２１２】
ステップＳ３５１において、制御部１３５は、送るべき（多重化すべき）ＰＴＳのオーディオアクセスユニットを持つＴＳパケットはｔｐ＝１（すなわち、基本オーディオ）のＴＳパケットであるか否かを判定する。すなわち、制御部１３５は、次に多重化するべきＰＴＳのオーディオアクセスユニットを有するＴＳパケットが基本オーディオＴＳパケットであるか否かを判定する。送るべき（多重化すべき）ＰＴＳのオーディオアクセスユニットを持つＴＳパケットがｔｐ＝１（すなわち、基本オーディオ）のＴＳパケットである場合、処理はステップＳ３５２に進む。
【０２１３】
ステップＳ３５２において、制御部１３５は、基本オーディオデータデコード処理部３６０−１のトランスポートバッファ３６２−１にＴＳパケットを入れる空きがあるか否かを判定する。具体的には、制御部１３５は、トランスポートバッファ３６２−１の容量（メモリ容量）と、トランスポートバッファ３６２−１からエレメンタリバッファ３６３−１への入力ビットレートの値Ｒｘ１とに基づいて、ＴＳパケット（１個のＴＳパケットは１８８byte）をトランスポートバッファ３６２−１に入れる空きがあるか否かを判定する。なお、この場合、このＴＳパケットは基本オーディオＴＳパケットとされる。
【０２１４】
ステップＳ３５２において、基本オーディオデータデコード処理部３６０−１のトランスポートバッファ３６２−１にＴＳパケットを入れる空きがあると判定された場合、処理はステップＳ３５３に進み、制御部１３５は、基本および拡張オーディオデータデコード処理部３６０−２のトランスポートバッファ３６２−２にＴＳパケットを入れる空きがあるか否かを判定する。具体的には、制御部１３５は、トランスポートバッファ３６２−２の容量（メモリ容量）と、トランスポートバッファ３６２−２からエレメンタリバッファ３６３−２への入力ビットレートの値Ｒｘ２とに基づいて、ＴＳパケット（１個のＴＳパケットは１８８byte）をトランスポートバッファ３６２−２に入れる空きがあるか否かを判定する。
【０２１５】
ステップＳ３５３において、基本および拡張オーディオデータデコード処理部３６０−２のトランスポートバッファ３６２−２にＴＳパケットを入れる空きがあると判定された場合、処理はステップＳ３５４に進み、制御部１３５は、基本オーディオデータデコード処理部３６０−１のエレメンタリバッファ３６３−１にＴＳパケットを入れる空きがあるか否かを判定する。具体的には、制御部１３５は、トランスポートバッファ３６２−１からエレメンタリバッファ３６３−１への入力ビットレートの値Ｒｘ１、エレメンタリバッファ３６３−１の容量、および、そのＴＳパケットに対応するＰＴＳ（すなわち、オーディオデコーダ３６４−１に引き抜かれるタイミング）に基づいて、ＴＳパケット（１８８byte）をエレメンタリバッファ３６３−１に入れる空きがあるか否かを判定する。
【０２１６】
ステップＳ３５４において、基本オーディオデータデコード処理部３６０−１のエレメンタリバッファ３６３−１にＴＳパケットを入れる空きがあると判定された場合、処理はステップＳ３５５に進み、制御部１３５は、基本および拡張オーディオデータデコード処理部３６０−２のエレメンタリバッファ３６３−２にＴＳパケットを入れる空きがあるか否かを判定する。具体的には、制御部１３５は、トランスポートバッファ３６２−２からエレメンタリバッファ３６３−２への入力ビットレートの値Ｒｘ２、エレメンタリバッファ３６３−２の容量、および、そのＴＳパケットに対応するＰＴＳ（すなわち、オーディオデコーダ３６４−２に引き抜かれるタイミング）に基づいて、ＴＳパケット（１８８byte）をエレメンタリバッファ３６３−２に入れる空きがあるか否かを判定する。
【０２１７】
ステップＳ３５５において、基本および拡張オーディオデータデコード処理部３６０−２のエレメンタリバッファ３６３−２にＴＳパケットを入れる空きがあると判定された場合、処理はステップＳ３５６に進み、制御部１３５は、そのＴＳパケットが多重化可能であると判定する。すなわち、ステップＳ３５５でYESと判定された場合、ステップＳ３５２乃至ステップＳ３５５の処理により、図２３の基本オーディオデータデコード処理部３６０−１を想定した場合のＴＳパケット多重化判定結果と、図２３の基本および拡張オーディオデータデコード処理部３６０−２を想定した場合のＴＳパケット多重化判定結果が、ともに、ＴＳパケット多重化可であるので、そのＴＳパケットが多重化可能であると判定する。より具体的には、図２４のステップＳ３５２とステップＳ３５４の処理が、図２３の「基本オーディオデータデコード処理部３６０−１を想定した場合のＴＳパケット多重化判定結果」のうちの基本オーディオＴＳパケットに対応しており、この２つの処理がともにYESである場合に、「ＴＳパケット多重化可」であると判定される。また、図２４のステップＳ３５３とステップＳ３５５の処理が、図２３の「基本および拡張オーディオデータデコード処理部３６０−２を想定した場合のＴＳパケット多重化判定結果」のうちの基本オーディオＴＳパケットに対応しており、この２つの処理がともにYESである場合に、「ＴＳパケット多重化可」であると判定される。ステップＳ３５６の処理の後、処理は終了される。
【０２１８】
一方、ステップＳ３５１において、送るべき（多重化すべき）ＰＴＳのオーディオアクセスユニットを持つＴＳパケットがｔｐ＝１（すなわち、基本オーディオ）のＴＳパケットではないと判定された場合、すなわち、送るべき（多重化すべき）ＰＴＳのオーディオアクセスユニットを持つＴＳパケットがｔｐ＝０（すなわち、拡張オーディオ）のＴＳパケットである場合、処理はステップＳ３５７に進む。
【０２１９】
ステップＳ３５７において、制御部１３５は、基本および拡張オーディオデータデコード処理部３６０−２のトランスポートバッファ３６２−２にＴＳパケットを入れる空きがあるか否かを判定する。具体的には、制御部１３５は、トランスポートバッファ３６２−２の容量（メモリ容量）と、トランスポートバッファ３６２−２からエレメンタリバッファ３６３−２への入力ビットレートの値Ｒｘ２とに基づいて、ＴＳパケット（１個のＴＳパケットは１８８byte）をトランスポートバッファ３６２−２に入れる空きがあるか否かを判定する。
【０２２０】
ステップＳ３５７において、基本および拡張オーディオデータデコード処理部３６０−２のトランスポートバッファ３６２−２にＴＳパケットを入れる空きがあると判定された場合、処理はステップＳ３５８に進み、制御部１３５は、基本および拡張オーディオデータデコード処理部３６０−２のエレメンタリバッファ３６３−２にＴＳパケットを入れる空きがあるか否かを判定する。具体的には、制御部１３５は、トランスポートバッファ３６２−２からエレメンタリバッファ３６３−２への入力ビットレートの値Ｒｘ２、エレメンタリバッファ３６３−２の容量、および、そのＴＳパケットに対応するＰＴＳ（すなわち、オーディオデコーダ３６４−２に引き抜かれるタイミング）に基づいて、ＴＳパケット（１８８byte）をエレメンタリバッファ３６３−２に入れる空きがあるか否かを判定する。
【０２２１】
ステップＳ３５８において、基本および拡張オーディオデータデコード処理部３６０−２のエレメンタリバッファ３６３−２にＴＳパケットを入れる空きがあると判定された場合、処理はステップＳ３５９に進み、制御部１３５は、そのＴＳパケット（すなわち、拡張オーディオＴＳパケット）が多重化可能であると判定する。すなわち、ステップＳ３５８でYESと判定された場合、ステップＳ３５７とステップＳ３５８の処理により、図２３の基本および拡張オーディオデータデコード処理部３６０−２を想定した場合のＴＳパケット多重化判定結果が、ＴＳパケット多重化可であるので、送信すべき拡張オーディオＴＳパケットが多重化可能であると判定する。より具体的には、図２４のステップＳ３５７とステップＳ３５８の処理が、図２３の「基本および拡張オーディオデータデコード処理部３６０−２を想定した場合のＴＳパケット多重化判定結果」のうちの拡張オーディオＴＳパケットに対応しており、この処理がYESである場合に、拡張オーディオＴＳパケットが「ＴＳパケット多重化可」であると判定される。
【０２２２】
すなわち、ステップＳ３５１の処理で送るべきＰＴＳのオーディオアクセスユニットを持つＴＳパケットが拡張オーディオＴＳパケットである場合、そのＴＳパケットが多重化可能であるか否かは、基本および拡張オーディオデータデコード処理部３６０−２のみで判定されればよい。これは、拡張オーディオＴＳパケットは、基本オーディオデータデコード処理部３６０−１では用いられず、基本および拡張オーディオデータデコード処理部３６０−２によってのみ用いられるからである。そのため、ステップＳ３５１の処理でＮＯと判定された場合には、基本オーディオデータデコード処理部３６０−１についての判定が行われず、ステップＳ３５７とステップＳ３５８の処理だけが行われる。
【０２２３】
このように、図２３に示されるように、基本オーディオデータデコード処理部３６０−１を想定した場合のＴＳパケット多重化判定結果が「ＴＳパケット多重化不可」であっても、基本および拡張オーディオデータデコード処理部３６０−２を想定した場合のＴＳパケット判定結果が「ＴＳパケット多重化可」である場合、送信すべきＰＴＳのオーディオアクセスユニットのＴＳパケットが、拡張オーディオＴＳパケットであれば、多重化可能であると判定される。ステップＳ３５９の処理の後、処理は終了される。
【０２２４】
一方、ステップＳ３５２において、基本オーディオデータデコード処理部３６０−１のトランスポートバッファ３６２−１にＴＳパケットを入れる空きがないと判定された場合、ステップＳ３５３において、基本および拡張オーディオデータデコード処理部３６０−２のトランスポートバッファ３６２−２にＴＳパケットを入れる空きがないと判定された場合、ステップＳ３５４において、基本オーディオデータデコード処理部３６０−１のエレメンタリバッファ３６３−１にＴＳパケットを入れる空きがないと判定された場合、ステップＳ３５５において、基本および拡張オーディオデータデコード処理部３６０−２のエレメンタリバッファ３６３−２にＴＳパケットを入れる空きがないと判定された場合、ステップＳ３５７において、基本および拡張オーディオデータデコード処理部３６０−２のトランスポートバッファ３６２−２にＴＳパケットを入れる空きがないと判定された場合、または、ステップＳ３５８において、基本および拡張オーディオデータデコード処理部３６０−２のエレメンタリバッファ３６３−２にＴＳパケットを入れる空きがないと判定された場合、処理はステップＳ３６０に進む。
【０２２５】
ステップＳ３６０において、制御部１３５は、そのＴＳパケットが多重化不可であると判定する。例えば、この処理が、ステップＳ３５２、ステップＳ３５３、ステップＳ３５４、またはステップＳ３５５の処理でＮＯと判定された後に実行される場合、多重化不可であると判定されるそのＴＳパケットは、基本オーディオＴＳパケットとなる。また、例えば、この処理が、ステップＳ３５７、または、ステップＳ３５８の処理でＮＯと判定された後に実行される場合、多重化不可であると判定されるそのＴＳパケットは、拡張オーディオＴＳパケットとなる。ステップＳ３６０の処理の後、処理は終了される。
【０２２６】
なお、図２４の処理は、図２０のステップＳ２１８の処理を実行する場合に実行される処理であって、繰り返し実行されるものである。
【０２２７】
このように、制御部１３５は、基本オーディオストリームのみをデコード可能な基本オーディオデータデコード処理部３６０−１を含む第１の仮想デコーダを想定するとともに、基本および拡張オーディオストリームをデコード可能な基本および拡張オーディオデータデコード処理部３６０−２を含む第２の仮想デコーダを想定し、バッファの占有量を計算する。そして、この計算に基づいて、対象となるＴＳパケットが多重化できるか否かを判定する。
【０２２８】
すなわち、制御部１３５は、図１８の基本オーディオデータデコード処理部３６０−１と基本および拡張オーディオデータデコード処理部３６０−２とを想定し、第１の仮想デコーダ１２１のバッファ占有量と第２の仮想デコーダ１２１のバッファ占有量とを計算し、対象となるＴＳパケットが多重化できるか否かを判定する。これにより、基本オーディオストリームのみをデコード可能なデコーダ（実際のデコーダ）、および、基本および拡張オーディオストリームをデコード可能なデコーダ（実際のデコーダ）の両方において、バッファ占有量をオーバーフローやアンダーフローすることなく、確実に基本オーディオストリームをデコードすることができる。
【０２２９】
また、制御部１３５は、基本オーディオＴＳパケットを多重化する場合、基本オーディオデータデコード処理部３６０−１を想定した場合のＴＳパケット多重化判定結果、または、基本および拡張オーディオデータデコード処理部３６０−２を想定した場合のＴＳパケット多重化判定結果のうちの少なくともいずれか一方が「多重化不可」であるとき、制御部１３５は、そのＴＳパケットが多重化不可能であると判定し、拡張オーディオＴＳパケットを多重化する場合、基本オーディオデータデコード処理部３６０−１を想定した場合のＴＳパケット多重化判定結果が「多重化不可」であっても、基本および拡張オーディオデータデコード処理部３６０−２を想定した場合のＴＳパケット多重化判定結果が「多重化可能」であれば、制御部１３５は、その拡張オーディオＴＳパケットが多重化可能であると判定する。
【０２３０】
このようにすることで、方法１では、「多重化不可能」と判定される場合であっても、方法２によれば、拡張オーディオＴＳパケットを多重化可能であると判定することができ、より、多重化の制限を広げることができる。
【０２３１】
具体的には、基本オーディオデータデコード処理部３６０−１を想定した場合のＴＳパケット多重化判定結果が「ＴＳパケット多重化不可」とされ、基本および拡張オーディオデータデコード処理部３６０−２を想定した場合のＴＳパケット多重化判定結果が「ＴＳパケット多重化可」とされた場合、方法１では、送信すべき（多重化すべき）ＴＳパケットが、どのようなＴＳパケットであっても「多重化不可」であると判定されるが、方法２では、送信すべき（多重化すべき）ＴＳパケットが、拡張オーディオＴＳパケットであれば「多重化可」であると判定される。そのため、方法２によれば、方法１よりも、多重化の自由度を向上させることができる。
【０２３２】
図１８を用いて上述したエレメンタリバッファ３６３−１（Ｂ１）とエレメンタリバッファ３６３−２（Ｂ２）のサイズの関係（Ｂ１＜Ｂ２）、およびリークレートＲｘ１，Ｒｘ２の関係（Ｒｘ１＜Ｒｘ２）においては、基本オーディオデータデコード処理部３６０−１では多重化不可能ではあるが、基本および拡張オーディオデータデコード処理部３６０−２では多重化可能である場合が起こりうるので（オーディオストリームのビットレートが高いほど、この頻度が上がり）、方法２によれば、多重化の自由度を向上させることができる。
【０２３３】
以上によれば、基本オーディオストリームと拡張オーディオストリームからなる階層化符号化されたオーディオストリームをMPEG2-TSに符号化して送信する場合に、基本オーディオストリームのみにしか対応していないデコーダを有する第１の仮想的な受信装置１１２でも復号できるように、受信側の受信装置の能力を考慮してＴＳパケットを送信することができる。すなわち、仮想的な受信装置１１２が基本オーディオストリームのみしかデコードできないデコーダ（第１の仮想デコーダ）を有していたり、仮想的な受信装置１１２が基本オーディオストリームのみを抽出したデコードする場合に、所定のサイズの基本オーディオストリーム用のデコーダバッファをオーバーフローおよびアンダーフローすることがないように、送信装置１１１側で、階層化符号化されたオーディオストリーム（基本オーディオストリームと拡張オーディオストリームからなるオーディオストリーム）のＴＳパケットの送信タイミングを決定するようにしたので、基本オーディオストリームのみを受信側でデコードする場合であっても、円滑にデコードすることができる。
【０２３４】
具体的には、第１実施の形態においては、基本オーディオストリームと拡張オーディオストリームのＴＳパケットが多重化されたトランスポートストリームの送信のタイミングが、仮想的な受信装置の能力を考慮して調整されるようにし、第２の実施の形態においては、基本オーディオストリームと拡張オーディオストリームのＴＳパケットを、多重化するときに、多重化のタイミングが、仮想的な受信装置の能力を考慮して調整されるようにすることで、結果的に、受信側の能力を考慮したＴＳを送信するようにしたので、受信側において、円滑にデコードすることができる。
【０２３５】
すなわち、送信装置１１１は、基本オーディオストリームのみしかデコードできないデコーダ（第１の仮想デコーダ）を有する仮想的な第１の受信装置と、基本オーディオストリームおよび拡張オーディオストリームをデコードできるデコーダ（第２の仮想デコーダ）を有する仮想的な第２の受信装置との両方で、トランスポートバッファ３６２（図１８のトランスポートバッファ３６２−１とトランスポートバッファ３６２−２）がオーバーフローしないように、かつ、エレメンタリバッファ３６３（図１８のエレメンタリバッファ３６３−１とエレメンタリバッファ３６３−２）の容量がオーバーフローおよびアンダーフローしないように、階層化符号化されたオーディオストリームのＴＳパケットの送信（多重化）タイミングを決定するようにしたので、基本オーディオストリームのみを受信側でデコードする場合であっても、基本および拡張オーディオストリームを受信側でデコードする場合であっても、円滑にデコードすることができる。
【０２３６】
なお、上述した図３乃至図２４の例では、ＰＥＳパケット化部１３６（図４または図１４）が、基本バッファ１４１と拡張バッファ１４２からなるバッファ１３３を制御して、基本オーディオストリームと拡張オーディオストリームのそれぞれを取得し、それぞれのオーディオストリームを、ＰＥＳパケットにそれぞれパケット化して１本のＰＥＳパケットストリーム１９１（図５または図１５）を生成していたが、これに限らず、オーディオエンコーダ１３２が、基本オーディオストリームと拡張オーディオストリームの順番を調整し、並べて１本のエレメンタリストリーム（ＥＳ）として出力するようにしてもよい。
【０２３７】
すなわち、以上の例では、ＰＥＳパケット化部１３６が、別々に入力される基本オーディオストリームと拡張オーディオストリームの順番を考慮して、１本のＰＥＳパケットストリーム１９１（図５または図１５）を生成していたが、オーディオエンコーダが、基本オーディオストリームと拡張オーディオストリームの順番を考慮して、１本のエレメンタリストリーム（ＥＳ）を生成するようにし、これをＰＥＳパケット化部１３６に供給するようにしてもよい。
【０２３８】
この場合、送信装置は、例えば、図２５に示されるような構成とされる。なお、図中、図４や図１４と対応する部分については同一の符号を付してあり、その説明は繰り返しになるので省略する。
【０２３９】
図２５の送信装置４５１において、オーディオエンコーダ４６１は、オーディオストリームをエンコードするとき、基本オーディオストリームと拡張オーディオストリームの順番を考慮して、基本オーディオストリームと拡張オーディオストリームとのそれぞれを、基本バッファ１４１と拡張バッファ１４２にそれぞれ供給する。すなわち、基本バッファ１４１と拡張バッファ１４２からなるバッファ１３３には、オーディオエンコーダ４６１により順番が調整されたオーディオストリームが順次供給されてくるので、バッファ１３３は、それをマージする。これにより、バッファ１３３から出力されるオーディオストリームは、基本オーディオストリームと拡張オーディオストリームの順番が調整された１本のエレメンタリストリーム（ＥＳ）となる。
【０２４０】
例えば、基本オーディオストリームと拡張オーディオストリームのみを生成して送信（多重化）する場合、オーディオエンコーダ４６１は、図２６に示される基本オーディオストリーム１８１と拡張オーディオストリーム１８２の順番をそれぞれ制御して、バッファ１３３の基本バッファ１４１と拡張バッファ１４２とに供給するので、その結果、バッファ１３３からは、基本オーディオストリーム１８１と拡張オーディオストリーム１８２とが１本に合成された（並べられた）エレメンタリストリーム１８３が、ＰＥＳパケット化部１３６に供給される。なお、その後は、図４や図１４と同様に、ＰＥＳパケット化部１３６によりＰＥＳパケットストリーム１９１とされ、ＴＳパケット化部１３７によりＴＳとされる。
【０２４１】
このように、エレメンタリストリーム１８３の時点（バッファ１３３から出力される時点）で、基本オーディオストリームと拡張オーディオストリームが１本とされることで、このエレメンタリストリームの順番が保証されることになるので、ＰＥＳパケット化部１３６は、バッファ１３３から供給されたエレメンタリストリーム１８３を順次ＰＥＳパケット化すればよく、基本オーディオストリームと拡張オーディオストリームの順番を考慮することなく、ＰＥＳパケット化を行うことができる。
【０２４２】
なお、本発明は、オーディオエンコーダを有する送信装置１１１に限らず、エンコードを行う全ての情報処理装置に適用することができる。また、送信装置１１１に限らず、ＴＳパケット化を行い、多重化して、ＴＳを生成する多重化装置に適用することもできる。すなわち、送信装置１１１の多重化処理を行うブロックであってもよいし、独立した多重化装置であってもよい。
【０２４３】
さらに、以上の例では、本発明をオーディオストリームのエンコード、デコードに適用した場合について説明したが、これに限らず、ビデオストリームのエンコード、デコードに適用することもできる。すなわち、本発明は、オーディオストリームまたはビデオストリームなどの各種のストリームに適用することができる。
【０２４４】
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。この場合、上述した処理は、図２７に示されるようなパーソナルコンピュータ５００により実行される。
【０２４５】
図２７において、CPU５０１は、ROM５０２に記憶されているプログラム、または、記憶部５０８からRAM５０３にロードされたプログラムに従って各種の処理を実行する。RAM５０３にはまた、CPU５０１が各種の処理を実行する上において必要なデータなどが適宜記憶される。
【０２４６】
CPU５０１、ROM５０２、およびRAM５０３は、内部バス５０４を介して相互に接続されている。この内部バス５０４にはまた、入出力インターフェース５０５も接続されている。
【０２４７】
入出力インターフェース５０５には、キーボード、マウスなどよりなる入力部５０６、CRT，LCDなどよりなるディスプレイ、スピーカなどよりなる出力部５０７、ハードディスクなどより構成される記憶部５０８、並びに、モデム、ターミナルアダプタなどより構成される通信部５０９が接続されている。通信部５０９は、電話回線やCATVを含む各種のネットワークを介しての通信処理を行う。
【０２４８】
入出力インターフェース５０５にはまた、必要に応じてドライブ５１０が接続され、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリなどによりなるリムーバブルメディア５２１が適宜装着され、それから読み出されたコンピュータプログラムが、必要に応じて記憶部５０８にインストールされる。
【０２４９】
一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、ネットワークや記録媒体からインストールされる。
【０２５０】
この記録媒体は、図２７に示されるように、コンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されているリムーバブルメディア５２１よりなるパッケージメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM５０２や記憶部５０８が含まれるハードディスクなどで構成される。
【０２５１】
なお、本明細書において、コンピュータプログラムを記述するステップは、記載された順序に従って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【図面の簡単な説明】
【０２５２】
【図１】従来、送信装置がMPEG2-TSを用いて符号化する場合における制約を説明する図である。
【図２】図１のデコーダの構成例を示す図である。
【図３】本発明を適用した送信装置がMPEG2-TSの方式を用いてオーディオストリームを符号化する場合の制約を説明する図である。
【図４】図３の送信装置の構成例を示す図である。
【図５】基本オーディオストリームと拡張オーディオストリームが多重化されたＴＳの構造を説明する図である。
【図６】基本オーディオストリームが多重化されたＴＳの構造を説明する図である。
【図７】図３の仮想的なデコーダのモデルを説明する図である。
【図８】ＴＳパケット送信処理を説明するフローチャートである。
【図９】ＴＳパケット送信処理を説明するフローチャートである。
【図１０】基本オーディオストリームに対するバッファ占有量の計算処理を説明するフローチャートである。
【図１１】デコーダのシステムタイムクロックを説明する図である。
【図１２】基本オーディオストリームと拡張オーディオストリームに対するバッファ占有量の計算処理を説明するフローチャートである。
【図１３】ＴＳパケットの送信タイミングを説明する図である。
【図１４】多重化処理を詳細に説明するための送信装置の構成例を示す図である。
【図１５】基本オーディオストリームと拡張オーディオストリームが多重化されたＴＳの構造を説明する図である。
【図１６】ビデオストリーム、オーディオストリーム、およびその他のＥＳが多重化されるまでの流れを説明する図である。
【図１７】ビデオストリーム、オーディオストリーム、およびその他のＥＳがそれぞれＴＳパケット化された例を説明する図である。
【図１８】図７のオーディオデータデコード処理部の詳細な構成例を示す図である。
【図１９】ＴＳパケット送信処理の他の例を説明するフローチャートである。
【図２０】ＴＳパケット送信処理の他の例を説明するフローチャートである。
【図２１】多重化するＴＳパケットを決定する場合の１つ目の方法を示す図である。
【図２２】図２１の方法に対応するオーディオストリームのバッファ占有量計算処理を説明するフローチャートである。
【図２３】多重化するＴＳパケットを決定する場合の２つ目の方法を示す図である。
【図２４】図２３の方法に対応するオーディオストリームのバッファ占有量計算処理を説明するフローチャートである。
【図２５】送信装置の他の構成例を示すブロック図である。
【図２６】図２５の送信装置に対応するストリームの構造を説明する図である。
【図２７】パーソナルコンピュータの構成例を示す図である。
【符号の説明】
【０２５３】
１１１  送信装置，  １１２  仮想的な受信装置，  １２１  仮想デコーダ，  １３１  入力部，  １３２  オーディオエンコーダ，  １３３  バッファ，  １３４  抽出情報付加部，  １３５  制御部，  １３６  ＰＥＳパケット化部，  １３７  ＴＳパケット化部，  １３８  送信部，  １４１  基本バッファ，  １４２  拡張バッファ，  １８１  基本オーディオストリーム，  １８２  拡張オーディオストリーム，  １９１  ＰＥＳパケットストリーム，  ２０１  トランスポートストリーム，  ３４１  ＰＩＤフィルタ，  ３６１  トランスポートプリオリティフィルタ，  ３６２  トランスポートバッファ，  ３６３  エレメンタリバッファ，  ３６４  オーディオデコーダ，  ４０１  ＴＳパケット化処理部，  ４０２  多重化処理部
【図１】
2006197542.tif 000003
【図２】
2006197542.tif 000004
【図３】
2006197542.tif 000005
【図４】
2006197542.tif 000006
【図５】
2006197542.tif 000007
【図６】
2006197542.tif 000008
【図７】
2006197542.tif 000009
【図８】
2006197542.tif 000010
【図９】
2006197542.tif 000011
【図１０】
2006197542.tif 000012
【図１１】
2006197542.tif 000013
【図１２】
2006197542.tif 000014
【図１３】
2006197542.tif 000015
【図１４】
2006197542.tif 000016
【図１５】
2006197542.tif 000017
【図１６】
2006197542.tif 000018
【図１７】
2006197542.tif 000019
【図１８】
2006197542.tif 000020
【図１９】
2006197542.tif 000021
【図２０】
2006197542.tif 000022
【図２１】
2006197542.tif 000023
【図２２】
2006197542.tif 000024
【図２３】
2006197542.tif 000025
【図２４】
2006197542.tif 000026
【図２５】
2006197542.tif 000027
【図２６】
2006197542.tif 000028
【図２７】
2006197542.tif 000029