(57)【特許請求の範囲】
【請求項１】
ストリームの接続部分で発生するオーディオスキューを、前記オーディオスキューに対応するビデオストリームと離れないように多重化したストリームのシームレス再生を行なうシステムターゲットデコーダのオーディオバッファにおいて、
前記接続部分で発生するオーディオスキュー部分であって、前記オーディオバッファにオーディオストリームが入力されるが前記システムターゲットデコーダのビデオバッファにビデオストリームが入力されない期間のデータ蓄積量の増加量に応じて、前記オーディオスキューを、前記オーディオスキューに対応するビデオストリームと離して多重化する場合に比べて、容量を増大させておくことを特徴とするシステムターゲットデコーダのオーディオバッファ。
【請求項２】
請求項１に記載のシステムターゲットデコーダのオーディオバッファにおいて、前記データ蓄積量の増加量を
Ｔ×ＲVideo ×ＲAudio ÷（ＲVideo ＋ＲAudio ）
（但し、Ｔは前記オーディオバッファにオーディオストリームが入力されるが前記ビデオバッファにビデオストリームが入力されない期間と前記オーディオバッファにオーディオストリームが入力されないが前記ビデオバッファにビデオストリームが入力される期間との和、ＲVideo ，ＲAudio はそれぞれビデオストリーム，オーディオストリームの読み出しレート）
として算出することを特徴とするシステムターゲットデコーダのオーディオバッファ。
【請求項３】
ストリームの接続部分で発生するオーディオスキューを、前記オーディオスキューに対応するビデオストリームと離れないように多重化したストリームのシームレス再生を行なう再生方法において、
前記接続部分で発生するオーディオスキュー部分であって、オーディオバッファにオーディオストリームが入力されるがビデオバッファにビデオストリームが入力されない期間のデータ蓄積量の増加量に応じて、前記オーディオスキューを、前記オーディオスキューに対応するビデオストリームと離して多重化した場合に比べて、前記オーディオバッファの容量を増大させておくこと
を特徴とする再生方法。
【請求項４】
ストリームの接続部分で発生するオーディオスキューを、前記オーディオスキューに対応するビデオストリームと離れないように多重化したストリームのシームレス再生を行なう再生装置において、
前記接続部分で発生するオーディオスキュー部分であって、前記再生装置のオーディオバッファにオーディオストリームが入力されるが前記再生装置のビデオバッファにビデオストリームが入力されない期間のデータ蓄積量の増加量に応じて、前記オーディオスキューを、前記オーディオスキューに対応するビデオストリームと離して多重化した場合に比べて、前記オーディオバッファの容量を増大させておくこと
を特徴とする再生装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、システムターゲットデコーダの技術分野に属し、特に、ストリームの接続部分で発生するオーディオスキューをそれに対応するビデオストリームとは離れないように多重化したストリームのシームレス再生を行なうシステムターゲットデコーダにおけるオーディオバッファの容量に関する。
【０００２】
【従来の技術】
ＭＰＥＧ２システム規格では、パケット多重化したストリームから個々のエレメンタリーストリーム（ビデオストリームやオーディオストリーム）を分離し、それらを復号して同期させて表示する過程を規定した仮想的なデコーダモデルとしてのＳＴＤ（システムターゲットデコーダ）を、ＰＳ（プログラムストリーム），ＴＳ（トランスポートストリーム）のそれぞれについて定義している。
しかし、ＭＰＥＧ２システム規格には、複数のストリームを接続してシームレスに再生する方法についての規定はない。
【０００３】
そこで、ＤＶＤ（ディジタルバーサタイルディスク）についての規格のうちのＤＶＤ−Ｖｉｄｅｏ規格では、ユーザーがディレクターズカットやマルチアングルといった操作を行なえるようにすることを目的として、こうしたシームレス再生機能を導入した拡張デコーダモデルとしてのＥ−ＳＴＤ（エクステンデッドシステムターゲットデコーダ）を定義している。
【０００４】
シームレス再生用のストリームは、インターリーブユニットと呼ぶ単位に分割してインターリーブブロックと呼ぶ記録領域に配置される。そして再生時には、それらのインターリーブユニットのうちユーザーに指定されないものはジャンプされ、ユーザーに指定されたものだけが読み出されてＥ−ＳＴＤに連続的に入力される。
【０００５】
このＥ−ＳＴＤでは、ストリームの接続部分で発生するオーディオスキューを、それに対応する（同期再生すべき）ビデオストリームとは離して多重化する記録方式を前提としていた。即ち、例えば図８に示すように、或るストリームＳ１に続くストリームとして、マルチアングルのためにＡｎｇｌｅ１，Ａｎｇｌｅ２，Ａｎｇｌｅ３の３つのインターリーブユニットが用意される場合には、ストリームＳ１とＡｎｇｌｅ１，２，３との接続部分で発生するオーディオスキューを、ストリームＳ１中のビデオストリームとは離してＡｎｇｌｅ１，２，３のほうに多重化していた。
【０００６】
【発明が解決しようとする課題】
しかし、このような記録方式では、図８におけるＡｎｇｌｅ１，Ａｎｇｌｅ２，Ａｎｇｌｅ３中に、復号や表示のための基準時刻が互いに異なるデータが混在してしまうので、その論理構造が不明確になってしまうという問題を生じる。
【０００７】
また、ストリームの境界とは異なる箇所でストリームが切り離されるので、この切り離された１まとまりのデータ（図８におけるストリームＳ１やＡｎｇｌｅ１，２，３）のことを「クリップ」と呼ぶことにすると、図９にも示すように、クリップの境界とストリームの境界とが一致しなくなることにより、境界の意味が不明確になるという問題を生じる。特に、個々のクリップをファイルとしてパーソナルコンピュータ等で管理する場合には、オーディオスキューとそれに対応するビデオストリームとが別々のファイル内に含まれてしまうことになるので、ファイル管理に支障が生じかねない。
【０００８】
これに対し、ストリームの接続部分で発生するオーディオスキューを、それに対応するビデオストリームと離れないように多重化する記録方式を採用すれば、こうした問題を回避することができる。
【０００９】
しかし、後に理由を説明するように、こうした記録方式のストリームのシームレス再生を行なうためのシステムターゲットデコーダとしては、ＭＰＥＧ２システム規格で定義されるＰ−ＳＴＤのハードウェア資源のうちのオーディオバッファの容量を増加させたものか、あるいは、このハードウェア資源はそのままにして、単一のバッファのうちビデオバッファとして割り当てる領域とオーディオバッファとして割り当てる領域とを時間的に変化させるソフトウェア処理を行なうようにしたものが必要になる。
【００１０】
本発明の目的は、このうちのオーディオバッファの容量を増加させたほうのシステムターゲットデコーダにおける、増加すべきオーディオバッファの容量を規定することにある。
【００１１】
【課題を解決するための手段】
本発明は、ストリームの接続部分で発生するオーディオスキューをそれに対応するビオオストリームと離れないように多重化したストリームのシームレス再生を行なうシステムターゲットデコーダのオーディオバッファにおいて、この接続部分で発生するオーディオスキュー部分であって、このオーディオバッファにオーディオストリームが入力されるがこのシステムターゲットデコーダのビデオバッファにビデオストリームが入力されない期間のデータ蓄積量の増加量に応じて、オーディオスキューを、オーディオスキューに対応するビデオストリームと離して多重化する場合に比べて、容量を増大させておくことを特徴としている。
また本発明は、ストリームの接続部分で発生するオーディオスキューを、このオーディオスキューに対応するビデオストリームと離れないように多重化したストリームのシームレス再生を行なう再生方法において、この接続部分で発生するオーディオスキュー部分であって、オーディオバッファにオーディオストリームが入力されるがビデオバッファにビデオストリームが入力されない期間のデータ蓄積量の増加量に応じて、オーディオスキューを、オーディオスキューに対応するビデオストリームと離して多重化した場合に比べて、このオーディオバッファの容量を増大させておくことを特徴とする。
また本発明は、ストリームの接続部分で発生するオーディオスキューを、このオーディオスキューに対応するビデオストリームと離れないように多重化したストリームのシームレス再生を行なう再生装置において、この接続部分で発生するオーディオスキュー部分であって、この再生装置のオーディオバッファにオーディオストリームが入力されるがこの再生装置のビデオバッファにビデオストリームが入力されない期間のデータ蓄積量の増加量に応じて、オーディオスキューを、オーディオスキューに対応するビデオストリームと離して多重化した場合に比べて、このオーディオバッファの容量を増大させておくことを特徴とする。
【００１２】
本発明によれば、オーディオバッファの容量を上記の量だけ増大させたことにより、ストリームの接続部分で発生するオーディオスキューをそれに対応するビデオストリームと離れないように多重化したストリームのシームレス再生を行なうシステムターゲットデコーダシステムに、オーディオバッファをオーバーフローさせることなくシームレス再生を行わせることが可能になる。
また本発明によれば、ストリームの接続部分で発生するオーディオスキューをそれに対応するビデオストリームと離れないように多重化したストリームのシームレス再生を行う再生装置に、オーディオバッファをオーバーフローさせることなくシームレス再生を行わせることが可能になる。
【００１３】
【発明の実施の形態】
最初に、本発明が前提とする記録方式について説明する。
この記録方式は、シームレス再生すべき２つのクリップのうちの先のクリップ（以下クリップＣ１と呼ぶ）中のオーディオストリームの最後のパケットに、クリップＣ１中のビデオストリームのうちの最後のピクチャの表示の終了時と一致した表示時刻のサンプルを含め、且つ、この２つのクリップのうちの後のクリップ（以下クリップＣ２と呼ぶ）中のオーディオストリームの最初のパケットに、クリップＣ２中のビデオストリームのうちの最初のピクチャのパケットの表示の開始時と一致した表示時刻のサンプルを含めることにより、ストリームの接続部分で発生するオーディオスキューをそれに対応するビデオストリームと離れないように多重化するものである。
【００１４】
この記録方式（以下では「クリーンブレーク」と呼ぶことにする。）を、従来の記録方式を例示した図８と関連付けて示すと、図１の通りである。
このクリーンブレークによれば、１つのクリップ中には、復号や表示のための基準時刻が共通なデータのみが存在するようになるので、その論理構造が明確になる。
【００１５】
また、ストリームが境界で切り離されたものがクリップとなるので、図２にも示すようにクリップの境界とストリームの境界とが一致することにより、境界の意味が明確になり、クリップをファイル管理する場合にもオーディオスキューとそれに対応するビデオストリームとが同一のファイル内に含まれるようになる。
【００１６】
次に、本発明を適用したシステムターゲットデコーダの構成の一例について、図３を用いて説明する。
このシステムターゲットデコーダは、ディジタルビデオテープレコーダ用のシステムターゲットデコーダであり、以下「ＤＶＲ−ＳＴＤ」と呼ぶことにする。
【００１７】
図示しないビデオテープから読み出されてＤＶＲ−ＳＴＤに入力されたパケット多重化ストリーム（前述のクリーンブレークによるストリーム）は、デマルチプレクサ１により、エレメンタリーストリームであるビデオストリームとオーディオストリームとサブピクチャストリーム（グラフィックデータ等）とに分離されて、ビデオバッファ２，オーディオバッファ３，グラフィックバッファ４にそれぞれ蓄積される。
【００１８】
ＤＴＳ（デコードタイムスタンプ）の示す復号時刻になると、ビデオストリームのうちのＩピクチャ及びＰピクチャが、ビデオバッファ２からビデオデコーダ５に転送されて復号され、再配列バッファ６に蓄積される。
【００１９】
その後ＰＴＳ（プレゼンテーションタイムスタンプ）の示す表示時刻になると、ビデオストリームのうちのＢピクチャ，オーディオストリーム，サブピクチャストリームが、それぞれビデオバッファ２，オーディオバッファ３，グラフィックバッファ４からビデオデコーダ５，オーディオデコーダ７，グラフィックデコーダ８に転送されて復号及び表示される。このとき、再配列バッファ６に蓄積されたＩピクチャ及びＰピクチャも同時に表示される。
【００２０】
ＳＴＣ生成部９では、入力ストリーム中のＳＣＲ（システムクロックリファレンス）から、基準時刻であるＳＴＣ（システムタイムクロック）の時刻合わせが行われる。
【００２１】
ＳＴＣ＿ｄｅｌｔａ算出部１０では、シームレス再生すべき２つのクリップのうちの先のクリップＣ１中のビデオストリームのうちの最後のフレームのＰＴＳの値ＰＴＳ１ｅｎｄ，後のクリップＣ２中のビデオストリームのうちの最初のフレームのＰＴＳの値ＰＴＳ２ｓｔａｒｔ，クリップＣ１中のビデオストリームのうちの最後のフレームの表示期間Ｔｐｐから、次のようにして、クリップＣ１とクリップＣ２との時間基準の差であるＳＴＣ＿ｄｅｌｔａが算出される。
ＳＴＣ＿ｄｅｌｔａ＝ＰＴＳ１ｅｎｄ−ＰＴＳ２ｓｔａｒｔ＋Ｔｐｐ
【００２２】
加算器１１からは、ＳＴＣ生成部９で生成されたＳＴＣとＳＴＣ＿ｄｅｌｔａ算出部１０で算出されたＳＴＣ＿ｄｅｌｔａとを加算した出力ＳＴＣ’が得られる。
【００２３】
このＤＶＲ−ＳＴＤは、１つのクリップの再生時には、そのクリップ中のＳＣＲにより時刻合わせを行なったＳＴＣを基準時刻として、Ｐ−ＳＴＤと全く同様に動作する。
【００２４】
しかし、シームレス再生時には、クリップＣ１のビデオデータとクリップＣ２のビデオデータとを連続的に表示するために、クリップＣ１からクリップＣ２への移行期間に、図のスイッチＳＷ１，ＳＷ２，ＳＷ３等により基準時刻をＳＴＣとＳＴＣ’との間で切り替える。
例えばこのＤＶＲ−ＳＴＤへのパケット多重化ストリームの入力タイミングは、次のようにして決定される。
（ａ）クリップＣ１が入力され終えてクリップＣ２の入力が開始される時刻までは、クリップＣ１中のＳＣＲにより時刻合わせを行なった基準時刻ＳＴＣによって決定される。
【００２５】
（ｂ）クリップＣ２の入力が開始される時刻から、クリップＣ１中の最後のビデオデータが表示され終える時刻まで（即ちクリップＣ１からクリップＣ２への移行期間）は、基準時刻がＳＴＣ’に切り替えられ、クリップＣ２中のＳＣＲによりＳＴＣの時刻合わせが行われる。
【００２６】
（ｃ）クリップＣ１中の最後のビデオデータが表示され終える時刻になると、ＳＴＣがその時刻でのＳＴＣ’にリセットされ、基準時刻がＳＴＣに切り替えられる。
【００２７】
次に、本発明の特徴となるオーディオバッファ３の容量について、このＤＶＲ−ＳＴＤと前述のＥ−ＳＴＤとを対比しつつ説明する。
Ｅ−ＳＴＤの場合には、図９にも示したようにクリップの境界とストリームの境界とが一致しないことから、先のクリップＣ１及び後のクリップＣ２から分離されたビデオストリーム，オーディオストリームがそれぞれビデオバッファ，オーディオバッファに送られる過程でのビデオストリームとオーディオストリームとの時間軸上での関係は、図４Ａに例示する通りになる。
【００２８】
同図において、時刻ｔａは、クリップＣ１とクリップＣ２との境界であると共に、２つのビデオストリームの境界であり、時刻ｔｂは、２つのオーディオストリームの境界である。ビデオストリームのうちの時刻ｔａのビデオデータとオーディオストリームのうちの時刻ｔｂのオーディオデータとは、同期再生すべき関係にある。オーディオストリームのうちの時刻ｔａからｔｂまでの期間Ｔに送られる部分が、オーディオスキューである。尚、ＲVideo ，ＲAudio はそれぞれビデオテープからのビデオストリーム，オーディオストリームの読み出しレートである。
【００２９】
図４Ｂは、この過程でのビデオバッファの状態を例示するものである。本例では、ビデオバッファへのデータの入力レートＲINとビデオバッファからのデータの出力レートＲOUT とが共にＲVideo と一致しているので、ビデオバッファのデータ蓄積量は一定になっている。また、時刻ｔａのビデオデータは、時刻ｔｂのオーディオデータと同期再生させるために、期間Ｔの間ビデオバッファに蓄積されている。（尚、ＭＰＥＧ２システム規格では、同一データがＰ−ＳＴＤのバッファに１秒を超えて蓄積されることを禁じているので、期間Ｔの長さは１秒が上限となる。）
【００３０】
図４Ｃは、この過程でのオーディオバッファの状態を例示するものである。本例では、オーディオバッファへのデータの入力レートＲINとオーディオバッファからのデータの出力レートＲOUT とが共にＲAudio と一致しているので、オーディオバッファのデータ蓄積量は一定になっている。
【００３１】
これに対し、図３のＤＶＲ−ＳＴＤの場合には、図１にも示したようにクリップの境界とストリームの境界とが一致することから、先のクリップＣ１及び後のクリップＣ２からデマルチプレクサ１により分離されたビデオストリーム，オーディオストリームがそれぞれビデオバッファ２，オーディオバッファ３に送られる過程でのビデオストリームとオーディオストリームとの時間軸上での位置関係を図４Ａと関連付けて示すと、図５Ａの通りになる。
【００３２】
この場合には、時刻ｔａまでのビデオストリームとオーディオストリームとの関係は、Ｅ−ＳＴＤの場合におけると同じになる。しかし時刻ｔａからは、クリップＣ１中の残りのオーディオストリーム（図４Ａの期間Ｔのオーディオスキューに相当する部分であり、図１ではクリップの右端から突出した部分）がＲVideo ＋ＲAudio のレートで図３のオーディオバッファ３に送られ、ビデオバッファ２にはビデオストリームが送られない。そして、そのオーディオストリームの送付が完了した時刻ｔｃが、クリップＣ１とクリップＣ２との境界になる。
【００３３】
時刻ｔｃから時刻ｔｂまでは、クリップＣ２中のビデオストリーム（図１でクリップの左端から突出した部分）がＲVideo ＋ＲAudio のレートで図３のビデオバッファ２に送られ、オーディオバッファ３にはオーディオストリームが送られない。そして、時刻ｔｂからのビデオストリームとオーディオストリームとの関係は、Ｅ−ＳＴＤの場合におけると同じになる。
【００３４】
期間Ｔのうち、時刻ｔａから時刻ｔｃまでの期間ＴA と、時刻ｔｃから時刻ｔｂまでの期間ＴV との内訳は、次の通りになる。
ＴA ＝Ｔ×ＲAudio ÷（ＲVideo ＋ＲAudio ）
ＴV ＝Ｔ×ＲVideo ÷（ＲVideo ＋ＲAudio ）
【００３５】
図５Ｂは、この過程でのビデオバッファ２の状態を、図４Ｂと関連付けて示すものである。時刻ｔａから時刻ｔｃまでの期間ＴA にはデータの入力がないのでデータ蓄積量が減少するが、時刻ｔａからｔｂまでの期間Ｔに必要となるデータは時刻ｔａまでに入力済みなので、この期間Ｔの間にビデオバッファ２がアンダーフローを起こすことはない。そして時刻ｔｃから時刻ｔｂまでの期間ＴV に、出力レートＲOUT ＝ＲVideo よりも大きな入力レートＲIN＝ＲVideo ＋ＲAudio でデータが入力されることにより、時刻ｔｂには、Ｅ−ＳＴＤの場合におけると同じデータ蓄積量にまで増加している。
【００３６】
図５Ｃは、この過程でのオーディオバッファ３の状態を、図４Ｃと関連付けて示すものである。時刻ｔａから時刻ｔｃまでの期間ＴA には、出力レートＲOUT ＝ＲAudio よりも大きな入力レートＲIN＝ＲVideo ＋ＲAudio でデータが入力されるので、データ蓄積量がＥ−ＳＴＤの場合におけるよりも増加する。そして時刻ｔｃから時刻ｔｂまでの期間ＴV にはデータの入力がないので、時刻ｔｂには、Ｅ−ＳＴＤの場合におけると同じデータ蓄積量にまで減少している。
【００３７】
従って、ビデオバッファ２の容量はＥ−ＳＴＤの場合におけると同じであってよいのに対し、オーディオバッファ３の容量は、オーバーフローを起こさないようにするために、Ｅ−ＳＴＤの場合におけるよりも増大させなければならない。その増大すべき量の最小値は、データの最大蓄積量である図５Ｃの時刻ｔｃでのデータ蓄積量と時刻ｔａでのデータ蓄積量との差ＥＯAudio である。この差ＥＯAudio の大きさは、次のようにして算出される。
【００３８】
ＥＯAudio 
＝（ＲIN−ＲOUT ）×ＴA 
＝｛（ＲVideo ＋ＲAudio ）−ＲAudio ｝
×Ｔ×ＲAudio ÷（ＲVideo ＋ＲAudio ）
＝Ｔ×ＲVideo ×ＲAudio ÷（ＲVideo ＋ＲAudio ）
【００３９】
そこで、図３のＤＶＲ−ＳＴＤでは、オーディオバッファ３として、このＥＯAudio だけ容量を増大させたもの（図４Ｃに示したオーディオバッファのデータ蓄積量をＯAudio とするとＯAudio ＋ＥＯAudio の容量のもの）を用いている。これにより、このＤＶＲ−ＳＴＤでは、オーディオバッファ３をオーバーフローさせることなくシームレス再生が行われる。
【００４０】
図６は、このＥＯAudio の大きさとＲAudio の大きさとの関係を、ＲVideo ＋ＲAudio ＝１０Ｍｂｐｓ，１５Ｍｂｐｓのときについてそれぞれグラフ化して示したものである。
【００４１】
また図７は、パケット多重化ストリーム中のオーディオストリームが、ＭＰＥＧオーディオまたはドルビーＡＣ−３により圧縮されたもの（圧縮オーディオ）である場合，ＰＣＭにより符号化されたものである場合のそれぞれについて、ＲVideo ＋ＲAudio ＝５，１０，１５ＭｂｐｓのときのＥＯAudio の好適な大きさの具体例を示したものである。
【００４２】
この図７のうち、圧縮オーディオの場合のＲAudio の大きさ３８４ｋｂｐｓ，４４８ｋｂｐｓは、それぞれＭＰＥＧオーディオ，ドルビーＡＣ−３の最大ビットレートである。またＰＣＭの場合のＲAudio の大きさ７６８ｋｂｐｓは、量子化ビット数１２，チャンネル数２のときサンプリング周波数３２ｋＨｚに相当し（３２×１２×２＝７６８）、１５３６ｋｂｐｓは、量子化ビット数１６，チャンネル数２のときサンプリング周波数４８ｋＨｚに相当する（４８×１６×２＝１５３６）。
【００４３】
尚、以上の例では、オーディオバッファ３の容量を、オーバーフローを起こさないようにするための最小値ＥＯAudio だけ増大させている。しかし、オーディオバッファ３の容量をこの値ＥＯAudio よりも大きい量だけ増大させてもよいことはもちろんである。
【００４４】
また、以上の例では、オーディオバッファ３の容量を増大させている。しかし、時刻ｔａから時刻ｔｂまでのオーディオバッファ３のデータ蓄積量の増加量とビデオバッファ２のデータ蓄積量の減少量とは等しいので、Ｅ−ＳＴＤの場合におけるビデオバッファとオーディオバッファとの容量の総和に等しい容量の単一のバッファを設け、そのバッファのうちのビデオバッファ２として割り当てる領域とオーディオバッファ３として割り当てる領域とを時刻ｔａから時刻ｔｂにかけて変化させるソフトウェア処理を行なうようにしてもよい。
【００４５】
また、以上の例では、ディジタルビデオテープレコーダ用のシステムターゲットデコーダに本発明を適用しているが、それ以外のシステムターゲットデコーダ（例えばＤＶＤ用のシステムターゲットデコーダ）に本発明を適用してもよい。また、本発明は、以上の例に限らず、本発明の要旨を逸脱することなく、その他様々の構成をとりうることはもちろんである。
【００４６】
【発明の効果】
以上のように、本発明によれば、ストリームの接続部分で発生するオーディオスキューをそれに対応するビデオストリームと離れないように多重化したストリームのシームレス再生を行なうシステムターゲットデコーダにおいて増大すべきオーディオバッファの容量を規定したことにより、このシステムターゲットデコーダに、オーディオバッファをオーバーフローさせることなくシームレス再生を行わせることができる。
【図面の簡単な説明】
【図１】クリーンブレークの説明に供給する図である。
【図２】クリーンブレークにおけるクリップの境界とストリームの境界とを示す図である。
【図３】本発明を適用したシステムターゲットデコーダの構成の一例を示すブロック図である。
【図４】Ｅ−ＳＴＤの場合のビデオストリームとオーディオストリームとの時間軸上での関係等を示すタイミングチャートである。
【図５】図３のシステムターゲットデコーダの場合のビデオストリームとオーディオストリームとの時間軸上での関係等を示すタイミングチャートである。
【図６】図３のオーディオバッファの容量の増大量と読み出しレートとの関係を示す図である。
【図７】図３のオーディオバッファの容量の増大量の具体例を示す図である。
【図８】従来のパケット多重記録方式の説明に供給する図である。
【図９】従来のパケット多重記録方式におけるクリップの境界とストリームの境界とを示す図である。
【符号の説明】
１…デマルチプレクサ、  ２…ビデオバッファ、  ３…オーディオバッファ、４…グラフィックバッファ、  ５…ビデオデコーダ、  ６…再配列バッファ、７…オーディオデコーダ、  ８…グラフィックデコーダ、  ９…ＳＴＣ生成部、  １０…ＳＴＣ＿ｄｅｌｔａ算出部
【図１】
0004006840.tif 000002
【図２】
0004006840.tif 000003
【図３】
0004006840.tif 000004
【図４】
0004006840.tif 000005
【図５】
0004006840.tif 000006
【図６】
0004006840.tif 000007
【図７】
0004006840.tif 000008
【図８】
0004006840.tif 000009
【図９】
0004006840.tif 000010