(57)【特許請求の範囲】
【請求項１】
多重符号化データを画像符号化データと音声符号化データに分離するとともに、その画像符号化データと音声符号化データに多重されている指定表示時刻情報を分離する分離手段と、上記分離手段により分離された画像符号化データ及び音声符号化データに含まれているバッファ残量管理情報から上記画像符号化データ及び音声符号化データの復号処理に要する時間を把握して、その画像符号化データ及び音声符号化データの復号処理に要する時間に現在時刻をそれぞれ加算し、各加算時刻と上記分離手段により分離された各指定表示時刻情報を比較して、その画像符号化データ及び音声符号化データの復号処理が指定表示時刻までに完了するか否かを判定し、その画像符号化データ又は音声符号化データの復号処理が指定表示時刻までに完了しない場合に限り、その画像符号化データ及び音声符号化データの双方の復号処理が指定表示時刻までに完了するように各指定表示時刻情報を一律に遅らせる調整処理を行うタイミング制御手段と、上記タイミング制御手段から出力された各指定表示時刻情報と各復号処理に要する時間からバッファリング時間を把握して、その画像符号化データ及び音声符号化データのバッファリングを実行し、その後、その画像符号化データ及び音声符号化データの復号処理を開始する復号手段とを備えたメディア間同期装置。
【請求項２】
分離手段は、タイミング制御手段により修正された指定表示時刻情報を画像符号化データ及び音声符号化データ内のユーザデータ領域に格納して復号手段に出力することを特徴とする請求項１記載のメディア間同期装置。
【請求項３】
多重符号化データを画像符号化データと音声符号化データに分離するとともに、その画像符号化データと音声符号化データに多重されている指定表示時刻情報を分離すると、その画像符号化データ及び音声符号化データに含まれているバッファ残量管理情報から上記画像符号化データ及び音声符号化データの復号処理に要する時間を把握して、その画像符号化データ及び音声符号化データの復号処理に要する時間に現在時刻をそれぞれ加算し、各加算時刻と上記各指定表示時刻情報を比較して、その画像符号化データ及び音声符号化データの復号処理が指定表示時刻までに完了するか否かを判定する一方、その画像符号化データ又は音声符号化データの復号処理が指定表示時刻までに完了しない場合に限り、その画像符号化データ及び音声符号化データの双方の復号処理が指定表示時刻までに完了するように各指定表示時刻情報を一律に遅らせる調整処理を実施し、また、調整処理後の各指定表示時刻情報と各復号処理に要する時間からバッファリング時間を把握して、その画像符号化データ及び音声符号化データのバッファリングを実行し、その後、その画像符号化データ及び音声符号化データの復号処理を開始するメディア間同期方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、多重符号化データを複数の符号化データに分離して復号する際、各復号データの同期を図るメディア間同期装置及びメディア間同期方法に関するものである。
【０００２】
【従来の技術】
図９は例えば特開平８−２７５１５１号公報に示された従来のメディア間同期装置を示す構成図であり、図において、１はＣＡＴＶや衛星チャネル等の媒体から１つの伝送チャネルを選択して、画像符号化データや音声符号化データが多重化された多重符号化データを受信するチューナ、２はチューナ１により受信された多重符号化データを復調する復調装置、３は復調装置２により復調された多重符号化データをＣＰＵ４の指示の下、データバス５を介して、ＲＡＭ６のパケット受信バッファ６ａに転送するインタフェース装置である。
【０００３】
４はＲＡＭ６のパケット受信バッファ６ａに格納された多重符号化データを画像符号化データと音声符号化データに分離するとともに、その画像符号化データのプレゼンテーションタイムスタンプ（以下、ＰＴＳという）と音声符号化データのＰＴＳを参照して、その画像符号化データと音声符号化データの転送タイミングを制御するＣＰＵ、５はデータバス、６はパケット受信バッファ６ａや遅延バッファ６ｂから構成されたＲＡＭ、６ａは多重符号化データを一時的に格納するパケット受信バッファ、６ｂはＣＰＵ４が画像符号化データを転送する際、画像符号化データのバッファリングが実行される遅延バッファ、６ｃはＣＰＵ４が音声符号化データを転送する際、音声符号化データのバッファリングが実行され、また、オーディオデコーダ９が復号処理を実行する際、音声符号化データのバッファリングが実行されるオーディオ用バッファである。
【０００４】
７はビデオデコーダ８が復号処理を実行する際、画像符号化データのバッファリングが実行されるビデオデコードバッファ、８はビデオデコードバッファ７を用いて画像符号化データのバッファリングを実行した後、その画像符号化データの復号処理を実行するビデオデコーダ、９はオーディオ用バッファ６ｃを用いて音声符号化データのバッファリングを実行した後、その音声符号化データの復号処理を実行するオーディオデコーダである。
【０００５】
次に動作について説明する。
まず、チューナ１は、ＣＰＵ４の指示の下、ＣＡＴＶや衛星チャネル等の媒体から１つの伝送チャネルを選択し、画像符号化データや音声符号化データが多重化された多重符号化データを受信する。
【０００６】
復調装置２は、チューナ１が多重符号化データを受信すると、その多重符号化データを復調してインタフェース装置３に出力する。
そして、インタフェース装置３は、復調装置２から多重符号化データを受けると、ＣＰＵ４の指示の下、その多重符号化データをＲＡＭ６のパケット受信バッファ６ａに転送する。
【０００７】
ＣＰＵ４は、多重符号化データがＲＡＭ６のパケット受信バッファ６ａに格納されると、その多重符号化データを画像符号化データと音声符号化データに分離するが、その際、画像符号化データに多重されたＰＴＳ（ＰＴＳはビデオデコーダ８から出力される画像復号データの指定表示時刻を示す）を参照して、どのタイミングで画像符号化データをビデオデコーダ８に転送すれば、指定表示時刻に画像復号データを出力することができるのかを判断する。
同様に、音声符号化データに多重されたＰＴＳ（ＰＴＳはオーディオデコーダ９から出力される音声復号データの指定表示時刻を示す）を参照して、どのタイミングで音声符号化データをオーディオデコーダ９に転送すれば、指定表示時刻に音声復号データを出力することができるのかを判断する。
【０００８】
そして、ＣＰＵ４は、画像符号化データと音声符号化データの転送タイミングを認識すると、その転送時刻になるまで画像符号化データと音声符号化データのバッファリングを実行し（画像符号化データのバッファリングは遅延バッファ６ｂを用いて実行し、音声符号化データのバッファリングはオーディオ用バッファ６ｃを用いて実行する）、転送時刻になると、画像符号化データと音声符号化データをそれぞれビデオデコーダ８とオーディオデコーダ９に転送する。
【０００９】
このようにして、画像符号化データが転送されると、ビデオデコーダ８は、画像符号化データの復号処理を実行するが、その際、バッファのオーバーフローやアンダーフローの発生を防止するため、その画像符号化データに含まれているバッファ残量管理情報（以下、ｖｂｖ＿ｄｅｌａｙ値という）に基づいて画像符号化データのバッファリングを実行し（ビデオデコードバッファ７を用いてバッファリングを実行する）、その後、画像符号化データの復号処理を実行して、その画像復号データを出力する。
なお、画像符号化データのバッファリングを実行してから画像符号化データの復号処理を実行することは、ＭＰＥＧ規格において規定されている。
【００１０】
一方、オーディオデコーダ９は、音声符号化データが転送されると、同様に、音声符号化データの復号処理を実行するが、その際、バッファのオーバーフローやアンダーフローの発生を防止するため、音声符号化データのバッファリングを固定時間だけ実行し（オーディオ用バッファ６ｃを用いてバッファリングを実行する）、その後、音声符号化データの復号処理を実行して、その音声復号データを出力する。
【００１１】
【発明が解決しようとする課題】
従来のメディア間同期装置は以上のように構成されているので、画像復号データと音声復号データの同期を図るためには画像符号化データと音声符号化データのバッファリングを実行する必要があるが、そのバッファリングを実行するためにはビデオデコードバッファ７の他に、遅延バッファ６ｂを設けなければならず、装置構成が増加してしまう課題があった。
【００１２】
この発明は上記のような課題を解決するためになされたもので、特別に遅延バッファを設けることなく、複数の復号データ間の同期を図ることができるメディア間同期装置及びメディア間同期方法を得ることを目的とする。
【００１３】
【課題を解決するための手段】
この発明に係るメディア間同期装置は、分離手段により分離された画像符号化データ及び音声符号化データに含まれているバッファ残量管理情報から画像符号化データ及び音声符号化データの復号処理に要する時間を把握して、その画像符号化データ及び音声符号化データの復号処理に要する時間に現在時刻をそれぞれ加算し、各加算時刻と分離手段により分離された各指定表示時刻情報を比較して、その画像符号化データ及び音声符号化データの復号処理が指定表示時刻までに完了するか否かを判定し、その画像符号化データ又は音声符号化データの復号処理が指定表示時刻までに完了しない場合に限り、その画像符号化データ及び音声符号化データの双方の復号処理が指定表示時刻までに完了するように各指定表示時刻情報を一律に遅らせる調整処理を行うタイミング制御手段を設け、復号手段がタイミング制御手段から出力された各指定表示時刻情報と各復号処理に要する時間からバッファリング時間を把握して、その画像符号化データ及び音声符号化データのバッファリングを実行し、その後、その画像符号化データ及び音声符号化データの復号処理を開始するようにしたものである。
【００１７】
この発明に係るメディア間同期装置は、タイミング制御手段により修正された指定表示時刻情報を画像符号化データ及び音声符号化データ内のユーザデータ領域に格納して復号手段に出力するようにしたものである。
【００１９】
この発明に係るメディア間同期方法は、多重符号化データを画像符号化データと音声符号化データに分離するとともに、その画像符号化データと音声符号化データに多重されている指定表示時刻情報を分離すると、その画像符号化データ及び音声符号化データに含まれているバッファ残量管理情報から画像符号化データ及び音声符号化データの復号処理に要する時間を把握して、その画像符号化データ及び音声符号化データの復号処理に要する時間に現在時刻をそれぞれ加算し、各加算時刻と各指定表示時刻情報を比較して、その画像符号化データ及び音声符号化データの復号処理が指定表示時刻までに完了するか否かを判定する一方、その画像符号化データ又は音声符号化データの復号処理が指定表示時刻までに完了しない場合に限り、その画像符号化データ及び音声符号化データの双方の復号処理が指定表示時刻までに完了するように各指定表示時刻情報を一律に遅らせる調整処理を実施し、調整処理後の各指定表示時刻情報と各復号処理に要する時間からバッファリング時間を把握して、その画像符号化データ及び音声符号化データのバッファリングを実行し、その後、その画像符号化データ及び音声符号化データの復号処理を開始するようにしたものである。
【００２３】
【発明の実施の形態】
以下、この発明の実施の一形態を説明する。
実施の形態１．
図１はこの発明の実施の形態１によるメディア間同期装置を示す構成図であり、図において、１１は多重符号化データを複数の符号化データ（画像符号化データ、音声符号化データ）と複数の指定表示時刻情報（画像符号化データのＰＴＳ、音声符号化データのＰＴＳ）に分離する分離部（分離手段）、１２は画像符号化データのＰＴＳを参照して、画像符号化データの復号処理が指定表示時刻までに完了するか否かを判定し、画像符号化データの復号処理が指定表示時刻までに完了しない場合には、画像符号化データのＰＴＳを修正し、また、音声符号化データのＰＴＳを参照して、音声符号化データの復号処理が指定表示時刻までに完了するか否かを判定し、音声符号化データの復号処理が指定表示時刻までに完了しない場合には、音声符号化データのＰＴＳを修正するタイミング制御部（タイミング制御手段）である。
【００２４】
１３は画像符号化データのバッファリングが実行される画像バッファ（復号手段）、１４は画像符号化データの復号処理の完了が指定表示時刻に一致するように、画像符号化データのＰＴＳを参照して画像符号化データのバッファリングを実行し、その後、画像符号化データの復号処理を実行する画像復号器（復号手段）、１５は音声符号化データのバッファリングが実行される音声バッファ（復号手段）、１６は音声符号化データの復号処理の完了が指定表示時刻に一致するように、音声符号化データのＰＴＳを参照して音声符号化データのバッファリングを実行し、その後、音声符号化データの復号処理を実行する音声復号器（復号手段）である。
なお、図５はこの発明の実施の形態１によるメディア間同期方法を示すフローチャートである。
【００２５】
次に動作について説明する。
まず、分離部１１は、画像符号化データと音声符号化データが多重された多重符号化データを受けると、その多重符号化データを画像符号化データと音声符号化データに分離する（ステップＳＴ１）。
そして、分離部１１は、その画像符号化データを画像復号器１４に出力し、その音声符号化データを音声復号器１６に出力するが、その際、画像符号化データに多重されたＰＴＳと音声符号化データに多重されたＰＴＳも分離し、画像符号化データのＰＴＳと音声符号化データのＰＴＳをタイミング制御部１２に出力する。
【００２６】
タイミング制御部１２は、分離部１１から画像符号化データのＰＴＳと音声符号化データのＰＴＳを受けると、画像符号化データのＰＴＳを参照して、画像符号化データの復号処理が指定表示時刻までに完了するか否かを判定する（ステップＳＴ２）。
即ち、画像復号器１４における復号処理に要する時間は、例えば、画像符号化データに含まれているバッファ残量管理情報であるｖｂｖ＿ｄｅｌａｙ値等から把握することができるので、その復号処理に要する時間を現在時刻に加算して指定表示時刻と比較し、その復号処理が指定表示時刻までに完了するか否かを判定する。
同様にして、音声符号化データのＰＴＳを参照して、音声符号化データの復号処理が指定表示時刻までに完了するか否かを判定する（ステップＳＴ３）。
ただし、音声符号化データのデータ長は一般的に固定長であるため、音声符号化データにバッファ残量管理情報が含まれていなくても（通常、音声符号化データにはバッファ残量管理情報が含まれていない）、復号処理に要する時間を把握することができる。
【００２７】
そして、タイミング制御部１２は、画像符号化データと音声符号化データの復号処理が共に指定表示時刻までに完了する場合には、画像符号化データのＰＴＳと音声符号化データのＰＴＳを修正することなく、それぞれ画像復号器１４、音声復号器１６に出力する（ステップＳＴ４）。
ここで、図２は画像符号化データと音声符号化データの復号処理が共に指定表示時刻までに完了する例を示している（バッファリング等の説明は後述する）。
【００２８】
しかし、画像符号化データの復号処理又は音声符号化データの復号処理の一方が指定表示時刻までに完了しない場合には、一方の復号データのみが指定表示時刻に出力され、他方の復号データが指定表示時刻に出力されず、同期がずれる不具合が発生する。
そこで、タイミング制御部１２は、例えば、図３に示すように、音声符号化データの復号処理が指定表示時刻までに完了しない場合には、画像符号化データのＰＴＳと音声符号化データのＰＴＳを図４に示すように修正して、双方の復号処理が指定表示時刻までに完了するようにする（ステップＳＴ５）。
【００２９】
そして、画像復号器１４は、タイミング制御部１２から画像符号化データのＰＴＳを受けると、画像復号データと音声復号データの同期を図るため、画像符号化データの復号処理を実行する前に、画像符号化データのバッファリングを実行する（ステップＳＴ６）。
即ち、画像符号化データの復号処理の完了が指定表示時刻に一致するように、画像符号化データのＰＴＳを参照して画像符号化データのバッファリングを実行する（画像符号化データのバッファリングは画像バッファ１３を用いて実行する）。
そして、画像復号器１４は、画像符号化データのバッファリングが完了すると、その後、画像符号化データの復号処理を実行して、画像復号データを出力する（ステップＳＴ７）。
【００３０】
なお、図２の例では、画像符号化データを受けた時点から指定表示時刻まで“６”期間あり（ここでは説明の便宜上、横軸１メモリを“１”期間とする）、復号処理に要する期間は“２”期間であるので、バッファリングを“４”期間実行する。
ただし、このバッファリングには、画像バッファ１３のオーバーフローやアンダーフローの発生を防止するために実行するバッファリング、即ち、画像符号化データに含まれているｖｂｖ＿ｄｅｌａｙ値に基づいて実行するバッファリングは含まれていない。
【００３１】
一方、音声復号器１６も、タイミング制御部１２から音声符号化データのＰＴＳを受けると、画像復号データと音声復号データの同期を図るため、音声符号化データの復号処理を実行する前に、音声符号化データのバッファリングを実行する（ステップＳＴ６）。
即ち、音声符号化データの復号処理の完了が指定表示時刻に一致するように、音声符号化データのＰＴＳを参照して音声符号化データのバッファリングを実行する（音声符号化データのバッファリングは音声バッファ１５を用いて実行する）。
そして、音声復号器１６は、音声符号化データのバッファリングが完了すると、その後、音声符号化データの復号処理を実行して、音声復号データを出力する（ステップＳＴ７）。
【００３２】
なお、図２の例では、音声符号化データを受けた時点から指定表示時刻まで“４”期間あり、復号処理に要する期間は“３”期間であるので、バッファリングを“１”期間実行する。ただし、図４の例では、音声符号化データを受けた時点から指定表示時刻まで“３”期間あるが、復号処理に要する期間は“３”期間であるので、バッファリングの実行を中止する。
【００３３】
以上で明らかなように、この実施の形態１によれば、分離部１１により分離された各符号化データの復号処理の完了が各指定表示時刻に一致するように、各ＰＴＳを参照して各符号化データのバッファリングを実行し、その後、各符号化データの復号処理を実行するように構成したので、各復号データの同期を図るためのバッファリングとバッファのオーバーフロー等を防止するためのバッファリングを同一のバッファ（画像バッファ１３、音声バッファ１５）を用いて実行することができるようになり、その結果、特別に遅延バッファを設けることなく、画像復号データと音声復号データの同期を図ることができる効果を奏する。
【００３４】
なお、この実施の形態１では、画像符号化データと音声符号化データが多重されたものについて示したが、これに限るものではなく、例えば、データ放送等で伝送されるデータ等が多重されたものでもよいことは言うまでもない。
【００３５】
実施の形態２．
上記実施の形態１では、画像符号化データの復号処理と音声符号化データの復号処理が共に指定表示時刻よりも前に完了することができる場合でも、特にＰＴＳを修正することなく、指定表示時刻に復号データを出力するものについて示したが（図２を参照）、そのような場合には、指定表示時刻を早めてもバッファのオーバーフロー等の発生を招くことなく、各復号データ間の同期を図ることができる。
【００３６】
そこで、画像符号化データの復号処理と音声符号化データの復号処理が共に指定表示時刻よりも前に完了することができる場合には、タイミング制御部１２が、画像符号化データのＰＴＳと音声符号化データのＰＴＳを早めるように修正する。
図２の例では、音声符号化データのバッファリングを“１”期間実行して、音声復号データの出力を指定表示時刻に合わせており、最大で“１”期間だけ指定表示時刻を早められるので、画像符号化データのＰＴＳと音声符号化データのＰＴＳを“１”期間早める修正を実行する。
【００３７】
実施の形態３．
上記実施の形態１，２では、分離部１１がＰＴＳを含まない画像符号化データと音声符号化データをそれぞれ画像復号器１４、音声復号器１６に出力し、タイミング制御部１２が画像符号化データのＰＴＳと音声符号化データのＰＴＳをそれぞれ画像復号器１４、音声復号器１６に出力するものについて示したが、図６に示すように、分離部１１が多重符号化データを画像符号化データと音声符号化データ（画像符号化データと音声符号化データは、ＰＴＳを含むヘッダが付与されたパケッタイズドエレメンタリストリームＰＥＳの符号化データ型式である）に分離して出力する前に、タイミング制御部１２が画像符号化データのＰＴＳと音声符号化データのＰＴＳを必要に応じて修正し、分離部１１がＰＴＳを含む画像符号化データと音声符号化データをそれぞれ画像復号器１４、音声復号器１６に出力するようにしてもよい。
これにより、上記実施の形態１，２と同様の効果を奏することができる。
【００３８】
実施の形態４．
上記実施の形態１〜３では、画像符号化データのＰＴＳと音声符号化データのＰＴＳを必要に応じて修正して、画像復号器１４と音声復号器１６の復号処理が指定表示時刻までに完了するようにするものについて示したが、ＰＴＳを入力せずに画像符号化データと音声符号化データに含まれているｖｂｖ＿ｄｅｌａｙ値を必要に応じて修正して、画像復号器１４と音声復号器１６の復号処理が指定表示時刻までに完了するようにしてもよい。
ただし、音声符号化データは上述したように固定のデータ長であるため、音声符号化データには通常バッファ残量管理情報が含まれていないが、この実施の形態４では、音声符号化データにもｄｅｌａｙ値（説明の便宜上、このｄｅｌａｙ値の名称もｖｂｖ＿ｄｅｌａｙ値とする）が含まれているものとして説明する。
【００３９】
上記実施の形態１〜３では、画像復号器１４と音声復号器１６のバッファリング時間は、復号処理の完了が指定表示時刻に一致するように調整される（復号に要する時間は、図７に示すように、ｖｂｖ＿ｄｅｌａｙと固定遅延に分けることができ、ｖｂｖ＿ｄｅｌａｙの遅延時間は、ｖｂｖ＿ｄｅｌａｙ値により決定され、固定遅延の遅延時間は既知の一定時間である）。
【００４０】
しかし、この実施の形態４では、ＰＴＳを入力しない関係上、バッファリング時間が分からないため、直ちに復号処理を開始する（復号処理の中には、ｖｂｖ＿ｄｅｌａｙ値を元にしたバッファリング時間が含まれる）。
【００４１】
したがって、タイミング制御部１２がｖｂｖ＿ｄｅｌａｙ値を修正しなければ、図７の場合、バッファリング時間（“３”期間）分早く復号を開始し、復号終了も本来終了すべき時間から“３”期間分早くなるので、図８に示すように、ｖｂｖ＿ｄｅｌａｙ値を＋“３”期間に修正すれば、復号器がＰＴＳを入力せず直ちに復号処理を開始しても、本来終了すべき時間に復号を終了することができる。
【００４２】
実施の形態５．
上記実施の形態４では、画像復号器１４と音声復号器１６の復号処理が指定表示時刻までに完了できない場合、画像符号化データと音声符号化データのｖｂｖ＿ｄｅｌａｙ値を小さく修正するものについて示したが、画像符号化データの復号処理と音声符号化データの復号処理が共に指定表示時刻よりも前に完了することができる場合には、タイミング制御部１２が、画像符号化データと音声符号化データのｖｂｖ＿ｄｅｌａｙ値を大きく修正するようにしてもよい。
【００４３】
実施の形態６．
上記実施の形態３，４のように、画像符号化データ等のＰＴＳやｖｂｖ＿ｄｅｌａｙ値を修正する場合、画像符号化データ等に含まれているＰＴＳやｖｂｖ＿ｄｅｌａｙ値を新たなＰＴＳやｖｂｖ＿ｄｅｌａｙ値に置き換えてもよいが（ＰＴＳやｖｂｖ＿ｄｅｌａｙ値の上書き）、画像符号化データや音声符号化データ内の規定の位置にはユーザデータ領域（自由な目的で使用することができる領域）が存在するので、新たなＰＴＳやｖｂｖ＿ｄｅｌａｙ値をユーザデータ領域に格納して、画像復号器１４等に出力するようにしてもよい。
なお、この場合には、画像復号器１４及び音声復号器１６がユーザデータ領域からＰＴＳやｖｂｖ＿ｄｅｌａｙ値を分離して参照するようにする。
【００４４】
実施の形態７．
上記実施の形態１から実施の形態６では、分離部１１とタイミング制御部１２を別部材で構成するものについて示したが、１個のプロセッサが分離部１１とタイミング制御部１２の機能を実現するようにしてもよい。
【００４５】
【発明の効果】
以上のように、この発明によれば、分離手段により分離された画像符号化データ及び音声符号化データに含まれているバッファ残量管理情報から画像符号化データ及び音声符号化データの復号処理に要する時間を把握して、その画像符号化データ及び音声符号化データの復号処理に要する時間に現在時刻をそれぞれ加算し、各加算時刻と分離手段により分離された各指定表示時刻情報を比較して、その画像符号化データ及び音声符号化データの復号処理が指定表示時刻までに完了するか否かを判定し、その画像符号化データ又は音声符号化データの復号処理が指定表示時刻までに完了しない場合に限り、その画像符号化データ及び音声符号化データの双方の復号処理が指定表示時刻までに完了するように各指定表示時刻情報を一律に遅らせる調整処理を行うタイミング制御手段を設け、復号手段がタイミング制御手段から出力された各指定表示時刻情報と各復号処理に要する時間からバッファリング時間を把握して、その画像符号化データ及び音声符号化データのバッファリングを実行し、その後、その画像符号化データ及び音声符号化データの復号処理を開始するように構成したので、特別に遅延バッファを設けることなく、複数の復号データ間の同期を図ることができる効果がある。
【００４９】
この発明によれば、タイミング制御手段により修正された指定表示時刻情報を画像符号化データ及び音声符号化データ内のユーザデータ領域に格納して復号手段に出力するように構成したので、ユーザデータ領域を有効活用することができる効果がある。
【００５１】
この発明によれば、多重符号化データを画像符号化データと音声符号化データに分離するとともに、その画像符号化データと音声符号化データに多重されている指定表示時刻情報を分離すると、その画像符号化データ及び音声符号化データに含まれているバッファ残量管理情報から画像符号化データ及び音声符号化データの復号処理に要する時間を把握して、その画像符号化データ及び音声符号化データの復号処理に要する時間に現在時刻をそれぞれ加算し、各加算時刻と各指定表示時刻情報を比較して、その画像符号化データ及び音声符号化データの復号処理が指定表示時刻までに完了するか否かを判定する一方、その画像符号化データ又は音声符号化データの復号処理が指定表示時刻までに完了しない場合に限り、その画像符号化データ及び音声符号化データの双方の復号処理が指定表示時刻までに完了するように各指定表示時刻情報を一律に遅らせる調整処理を実施し、調整処理後の各指定表示時刻情報と各復号処理に要する時間からバッファリング時間を把握して、その画像符号化データ及び音声符号化データのバッファリングを実行し、その後、その画像符号化データ及び音声符号化データの復号処理を開始するように構成したので、特別に遅延バッファを設けることなく、複数の復号データ間の同期を図ることができる効果がある。
【図面の簡単な説明】
【図１】  この発明の実施の形態１によるメディア間同期装置を示す構成図である。
【図２】  画像符号化データと音声符号化データの復号処理が共に指定表示時刻までに完了する例を示す説明図である。
【図３】  音声符号化データの復号処理が指定表示時刻までに完了しない例を示す説明図である。
【図４】  画像符号化データと音声符号化データのＰＴＳの修正例を示す説明図である。
【図５】  この発明の実施の形態１によるメディア間同期方法を示すフローチャートである。
【図６】  この発明の実施の形態３によるメディア間同期装置を示す構成図である。
【図７】  復号処理時間の内訳を説明する説明図である。
【図８】  画像符号化データと音声符号化データのｖｂｖ＿ｄｅｌａｙ値の修正例を示す説明図である。
【図９】  従来のメディア間同期装置を示す構成図である。
【符号の説明】
１１  分離部（分離手段）、１２  タイミング制御部（タイミング制御手段）、１３  画像バッファ（復号手段）、１４  画像復号器（復号手段）、１５  音声バッファ（復号手段）、１６  音声復号器（復号手段）。
【図１】
0003895066.tif 000002
【図２】
0003895066.tif 000003
【図３】
0003895066.tif 000004
【図４】
0003895066.tif 000005
【図５】
0003895066.tif 000006
【図６】
0003895066.tif 000007
【図７】
0003895066.tif 000008
【図８】
0003895066.tif 000009
【図９】
0003895066.tif 000010