(57)【特許請求の範囲】
【請求項１】
オーディオ符号化データ、ビデオ符号化データがそれぞれ独立してパケット化され、各パケットには互いに同期して再生するためのシステム管理時刻（以下、ＳＴＣ）に基づく再生時刻管理情報（以下、ＰＴＳ）が付加されたオーディオ・ビデオ多重信号を受け取り、オーディオ・ビデオ復号再生を行うオーディオ・ビデオ復号再生装置において、
前記多重信号をオーディオ符号化データとビデオ符号化データに分離する分離手段と、
この分離手段で分離されたオーディオ符号化データを一時的に保存するオーディオ符号化データ保存手段と、
前記分離手段で分離されたビデオ符号化データを一時的に保存するビデオ符号化データ保存手段と、
前記オーディオ符号化データ保存手段からオーディオ符号化データを取り出して前記ＰＴＳを読み取るオーディオＰＴＳ読み取り手段と、
前記ビデオ符号化データ保存手段からビデオ符号化データを取り出して前記ＰＴＳを読み取るビデオＰＴＳ読み取り手段と、
前記ＳＴＣを生成するＳＴＣ生成手段と、
前記オーディオ符号化データ保存手段からオーディオ符号化データを取り出して、前記ＳＴＣを基準に、前記オーディオＰＴＳに基づいて復号処理を行うオーディオ復号手段と、
前記ビデオ符号化データ保存手段からビデオ符号化データを取り出して、前記ＳＴＣを基準に、前記ビデオＰＴＳに基づいて復号処理を行うビデオ復号手段と、
前記オーディオＰＴＳ読み取り手段及びビデオＰＴＳ読み取り手段で得られたそれぞれのＰＴＳと前記ＳＴＣ生成手段で生成されたＳＴＣとを比較して同期・非同期を検出し、同期が取れているときは復号許可の情報を、同期が取れていないときは復号不許可の情報を前記オーディオ復号手段及びビデオ復号手段に送出する同期制御手段とを具備し、
前記同期制御手段は、前記オーディオ符号化データ、ビデオ符号化データそれぞれについて、最初のＰＴＳを検出したとき、予め設定される第１の固定値ｔ１に対して式（１）
０＜（ＰＴＳ−ＳＴＣ）＜ｔ１  …（１）
を満たす場合にはそのＰＴＳを誤り無しと判断し、式（１）を満たさない場合にはそのＰＴＳを誤り有りと判断して、次のＰＴＳをサーチするようにし、２番目以降のＰＴＳが検出されたとき、予め設定される前記第１の固定値ｔ１とは異なる第２の固定値ｔ２に対して式（３）
｜ＳＴＣ−ＰＴＳ|＜ｔ２  …（３）
を満たす場合には、前記オーディオ復号手段、ビデオ復号手段に復号許可の情報を送るようにし、
前記オーディオ復号手段及びビデオ復号手段は、それぞれ前記復号許可／不許可の情報に基づいて復号処理を開始／停止するようにしたことを特徴とするオーディオ・ビデオ復号再生装置。
【請求項２】
前記同期制御手段は、前記オーディオ符号化データ、ビデオ符号化データそれぞれについて、そのフレーム周期で各ＰＴＳと前記ＳＴＣとを比較することを特徴とする請求項１記載のオーディオ・ビデオ復号再生装置。
【請求項３】
前記同期制御手段は、検出したＰＴＳを誤り無しと判断したとき、式（２）
ＳＴＣ−ＰＴＳ≧０  …（２）
を満たす場合には前記オーディオ復号手段、ビデオ復号手段に復号許可の情報を送り、式（２）を満たしていない場合には前記オーディオ復号手段、ビデオ復号手段に復号不許可の情報を送ることを特徴とする請求項２記載のオーディオ・ビデオ復号再生装置。
【請求項４】
前記オーディオ復号手段は、前記復号不許可の情報が与えられたとき、無音を出力することを特徴とする請求項３記載のオーディオ・ビデオ復号再生装置。
【請求項５】
前記同期制御手段は、２番目以降のＰＴＳについて、前記式（３）を満たさないＰＴＳが連続でＮ回以下ならば前記オーディオ復号手段、ビデオ復号手段を自走させ、前記式（３）を満たさないＰＴＳが連続してＮ（Ｎは予め設定される固定値）回を越える場合には、前記オーディオ符号化データ保存手段、ビデオ符号化データ保存手段にそれぞれ保存されたオーディオ符号化データの先頭まで読み飛ばすことによって保存データをリセットすることを特徴とする請求項１記載のオーディオ・ビデオ復号再生装置。
【請求項６】
前記同期制御手段は、オーディオ復号手段がＭ（Ｍは予め設定される固定値）フレーム連続でＰＴＳを検出することなく自走した場合には、前記オーディオ符号化データ保存手段、ビデオ符号化データ保存手段に蓄えられたオーディオ符号化データ、ビデオ符号化データの先頭まで読み飛ばすことによって保存データをリセットすることを特徴とする請求項１記載のオーディオ・ビデオ復号再生装置。
【請求項７】
２番目以降のＰＴＳを処理する過程で、前記ＦＩＦＯメモリに蓄えられたオーディオ符号化データ、またはビデオ符号化データの先頭まで読み飛ばすことによってリセットした後の処理では、最初のＰＴＳを検出した時と同じ処理に戻ることを特徴とする請求項６記載のオーディオ・ビデオ復号再生装置。
【請求項８】
オーディオ符号化データ、ビデオ符号化データがそれぞれ独立してパケット化され、各パケットには互いに同期して再生するためのシステム管理時刻（以下、ＳＴＣ）に基づく再生時刻管理情報（以下、ＰＴＳ）が付加されたオーディオ・ビデオ多重信号を受け取り、前記多重信号をオーディオ符号化データとビデオ符号化データに分離する分離手段と、
この分離手段で分離されたオーディオ符号化データを一時的に保存するオーディオ符号化データ保存手段と、
前記分離手段で分離されたビデオ符号化データを一時的に保存するビデオ符号化データ保存手段とを備え、
前記オーディオ符号化データ保存手段及びビデオ符号化データ保存手段にそれぞれ保存されたオーディオ符号化データ及びビデオ符号化データの復号再生を行うオーディオ・ビデオ復号再生装置の同期再生方法において、
前記オーディオ符号化データ保存手段からオーディオ符号化データを取り出して前記ＰＴＳを読み取るオーディオＰＴＳ読み取り過程と、
前記ビデオ符号化データ保存手段からビデオ符号化データを取り出して前記ＰＴＳを読み取るビデオＰＴＳ読み取り過程と、
前記ＳＴＣを生成するＳＴＣ生成過程と、
前記オーディオ符号化データ保存手段からオーディオ符号化データを取り出して、前記ＳＴＣを基準に、前記オーディオＰＴＳに基づいて復号処理を行うオーディオ復号過程と、
前記ビデオ符号化データ保存手段からビデオ符号化データを取り出して、前記ＳＴＣを基準に、前記ビデオＰＴＳに基づいて復号処理を行うビデオ復号過程と、
前記オーディオＰＴＳ読み取り過程及びビデオＰＴＳ読み取り過程で得られたそれぞれのＰＴＳと前記ＳＴＣ生成過程で生成されたＳＴＣとを比較して同期・非同期を検出し、同期が取れているときは復号許可の情報を、同期が取れていないときは復号不許可の情報を前記オーディオ復号過程及びビデオ復号過程に送出する同期制御過程とを具備し、
前記同期制御過程は、前記オーディオ符号化データ、ビデオ符号化データそれぞれについて、最初のＰＴＳを検出したとき、予め設定される固定値ｔ１に対して式（１）
０＜（ＰＴＳ−ＳＴＣ）＜ｔ１  …（１）
を満たす場合にはそのＰＴＳを誤り無しと判断し、式（１）を満たさない場合にはそのＰＴＳを誤り有りと判断して、そのＰＴＳを捨てて次のＰＴＳをサーチするようにし、２番目以降のＰＴＳが検出されたとき、予め設定される前記第１の固定値ｔ１とは異なる第２の固定値ｔ２に対して式（３）
｜ＳＴＣ−ＰＴＳ|＜ｔ２  …（３）
を満たす場合には、前記オーディオ復号手段、ビデオ復号手段に復号許可の情報を送るようにし、
前記オーディオ復号過程及びビデオ復号過程は、それぞれ前記復号許可／不許可の情報に基づいて復号処理を開始／停止するようにしたことを特徴とするオーディオ・ビデオ復号再生装置の同期再生方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、オーディオ・ビデオを含むマルチメディア情報のディジタル通信・放送システムにおいて、伝送路誤りが生じても、オーディオ復号出力とビデオ復号出力との同期をとるようになされたオーディオ・ビデオ復号再生装置とその同期再生方法に関する。
【０００２】
【従来の技術】
近年、オーディオ・ビデオの多彩な表現を可能とするマルチメディア情報のディジタル通信、ディジタル放送（衛星放送、地上波放送、ケーブル放送等）の実用化が盛んに進められている。このようなシステムの送信側における信号処理過程では、オーディオ信号とビデオ信号が別々に扱われ、ディジタル処理段階で互いに独立して符号化された後、多重されて伝送される。このため、受信側においては、受信出力からオーディオ符号化データ及びビデオ符号化データを分離した後、互いに独立して復号し、復号されたオーディオ信号とビデオ信号を、互いに同期をとって再生する必要がある。
【０００３】
このように受信側で復号されたオーディオ信号及びビデオ信号の同期を取るために、例えばＭＰＥＧ（Moving Picture Experts Group）２またはＭＰＥＧ４等の方式では、送信側において、オーディオ符号化データ、ビデオ符号化データそれぞれのパケットヘッダにプレゼンテーションタイムスタンプ（以下、ＰＴＳ）を含めるようにしている。このＰＴＳは、パケット内の情報再生タイミングを決定するタイムスタンプで、その値は、オーディオ符号化データ、ビデオ符号化データそれぞれの生成中に動作しているシステムタイムクロック（以下、ＳＴＣ）を基準とする。このため、受信側において、送信側と同じＳＴＣを動作させ、オーディオ符号化データ、ビデオ符号化データそれぞれの復号時にＰＴＳを抽出し、ＳＴＣが示す時刻に基づいて各ＰＴＳによって示される時刻に各符号化データの復号を開始することで、両復号信号の同期再生が実現される。
【０００４】
上記のようなシステムの中で、従来のオーディオ・ビデオ復号再生装置では、（１）ＳＴＣとＰＴＳが最初に所定の関係になった時点でオーディオ復号部及びビデオ復号部に復号許可信号を送り、以降は復号許可を維持する手法、（２）オーディオ符号化データ及びビデオ符号化データの各パケットに含まれるＰＴＳを全てチェックして、所定の関係であれば、オーディオ復号部またはビデオ復号部にそのたびに復号許可信号を送り、所定の関係を満たさなければ、復号不許可信号を送る手法、のいずれかの手法が取られていた。
【０００５】
【発明が解決しようとする課題】
しかしながら、上記のような従来のオーディオ・ビデオ同期再生手法では、伝送路誤りが生じた時の対策が十分になされておらず、伝送路誤りが発生した場合には、誤ったタイミングでオーディオとビデオを再生してしまうことがあった。また、伝送路誤りの影響が大きい場合には、オーディオ及びビデオの出力信号が頻繁に途切れて、品質が極端に劣化してしまうこともあった。
【０００６】
本発明は、上記のような問題を解決するためになされたもので、オーディオ符号データとビデオ符号データをそれぞれ復号する場合に、伝送路誤りによるオーディオ復号出力とビデオ復号出力の同期ずれや再生の途切れを低減することのできるオーディオ・ビデオ復号再生装置とその同期再生方法を提供することを目的とする。
【０００７】
【課題を解決するための手段】
上記の目的を達成するために、本発明に係るオーディオ・ビデオ復号再生装置とその同期再生方法は、以下のように構成される。
【０００８】
（１）オーディオ符号化データ、ビデオ符号化データがそれぞれ独立してパケット化され、各パケットには互いに同期して再生するためのシステム管理時刻（以下、ＳＴＣ）に基づく再生時刻管理情報（以下、ＰＴＳ）が付加されたオーディオ・ビデオ多重信号を受け取り、オーディオ・ビデオ復号再生を行うオーディオ・ビデオ復号再生装置とその同期再生方法において、
前記多重信号をオーディオ符号化データとビデオ符号化データに分離する分離手段と、この分離手段で分離されたオーディオ符号化データを一時的に保存するオーディオ符号化データ保存手段と、前記分離手段で分離されたビデオ符号化データを一時的に保存するビデオ符号化データ保存手段と、前記オーディオ符号化データ保存手段からオーディオ符号化データを取り出して前記ＰＴＳを読み取るオーディオＰＴＳ読み取り手段と、前記ビデオ符号化データ保存手段からビデオ符号化データを取り出して前記ＰＴＳを読み取るビデオＰＴＳ読み取り手段と、前記ＳＴＣを生成するＳＴＣ生成手段と、前記オーディオ符号化データ保存手段からオーディオ符号化データを取り出して、前記ＳＴＣを基準に、前記オーディオＰＴＳに基づいて復号処理を行うオーディオ復号手段と、前記ビデオ符号化データ保存手段からビデオ符号化データを取り出して、前記ＳＴＣを基準に、前記ビデオＰＴＳに基づいて復号処理を行うビデオ復号手段と、前記オーディオＰＴＳ読み取り手段及びビデオＰＴＳ読み取り手段で得られたそれぞれのＰＴＳと前記ＳＴＣ生成手段で生成されたＳＴＣとを比較して同期・非同期を検出し、同期が取れているときは復号許可の情報を、同期が取れていないときは復号不許可の情報を前記オーディオ復号手段及びビデオ復号手段に送出する同期制御手段とを具備し、
前記同期制御手段は、前記オーディオ符号化データ、ビデオ符号化データそれぞれについて、最初のＰＴＳを検出したとき、予め設定される第１の固定値ｔ１に対して式（１）
０＜（ＰＴＳ−ＳＴＣ）＜ｔ１  …（１）
を満たす場合にはそのＰＴＳを誤り無しと判断し、式（１）を満たさない場合にはそのＰＴＳを誤り有りと判断して、次のＰＴＳをサーチするようにし、２番目以降のＰＴＳが検出されたとき、予め設定される前記第１の固定値ｔ１とは異なる第２の固定値ｔ２に対して式（３）
｜ＳＴＣ−ＰＴＳ|＜ｔ２  …（３）
を満たす場合には、前記オーディオ復号手段、ビデオ復号手段に復号許可の情報を送るようにし、前記オーディオ復号手段及びビデオ復号手段は、それぞれ前記復号許可／不許可の情報に基づいて復号処理を開始／停止するようにしたことを特徴とする。
【０００９】
（２）（１）の構成において、前記同期制御手段は、前記オーディオ符号化データ、ビデオ符号化データそれぞれについて、そのフレーム周期で各ＰＴＳと前記ＳＴＣとを比較することを特徴とする。
【００１１】
（３）（１）の構成において、前記同期制御手段は、検出したＰＴＳを誤り無しと判断したとき、式（２）
ＳＴＣ−ＰＴＳ≧０  …（２）
を満たす場合には前記オーディオ復号手段、ビデオ復号手段に復号許可の情報を送り、式（２）を満たしていない場合には前記オーディオ復号手段、ビデオ復号手段に復号不許可の情報を送ることを特徴とする。
【００１２】
（４）（１）の構成において、前記オーディオ復号手段は、前記復号不許可の情報が与えられたとき、無音を出力することを特徴とする。
【００１４】
（５）（１）の構成において、前記同期制御手段は、２番目以降のＰＴＳについて、前記式（３）を満たさないＰＴＳが連続でＮ回以下ならば前記オーディオ復号手段、ビデオ復号手段を自走させ、前記式（３）を満たさないＰＴＳが連続してＮ（Ｎは予め設定される固定値）回を越える場合には、前記オーディオ符号化データ保存手段、ビデオ符号化データ保存手段にそれぞれ保存されたオーディオ符号化データの先頭まで読み飛ばすことによって保存データをリセットすることを特徴とする。
【００１５】
（６）（１）の構成において、前記同期制御手段は、オーディオ復号手段がＭ（Ｍは予め設定される固定値）フレーム連続でＰＴＳを検出することなく自走した場合には、前記オーディオ符号化データ保存手段、ビデオ符号化データ保存手段に蓄えられたオーディオ符号化データ、ビデオ符号化データの先頭まで読み飛ばすことによって保存データをリセットすることを特徴とする。
【００１６】
（７）（１）の構成において、２番目以降のＰＴＳを処理する過程で、前記ＦＩＦＯメモリに蓄えられたオーディオ符号化データ、またはビデオ符号化データの先頭まで読み飛ばすことによってリセットした後の処理では、最初のＰＴＳを検出した時と同じ処理に戻ることを特徴とする。
【００１７】
すなわち、本発明は、最初のＰＴＳを検出した時に、最初のＰＴＳに関する所定の関係を満たしていれば、そのＰＴＳを誤り無しと判断し、所定の関係を満たしていなければ、そのＰＴＳを誤り有りと判断して次のＰＴＳをサーチすることにより、最初のＰＴＳの信頼性を高める。
【００１８】
また、２番目以降のＰＴＳに関しては、２番目以降のＰＴＳに関する所定の関係を満たしていれば、オーディオ復号装置、及びビデオ復号装置に復号許可信号を送り、満たしていなければ復号不許可信号を送ることによって、状況に応じて、オーディオ復号装置、及びビデオ復号装置に許可／不許可を与える条件を変えている。
【００１９】
以上により本発明では、最初のＰＴＳの信頼性を高め、また２番目以降のＰＴＳが誤った時に、その影響を少なくすることにより、オーディオ出力とビデオ出力の同期を取る際の誤り耐性を強くすることができる。
【００２０】
【発明の実施の形態】
以下、図面を参照して、本発明の実施の形態を詳細に説明する。
【００２１】
図１は本発明に係るオーディオ・ビデオ復号再生装置の構成を示すブロック図である。図１において、図示しない受信処理部で得られたオーディオ符号化データ及びビデオ符号化データの多重ストリームは、分離部１でオーディオ符号化データ、ビデオ符号化データに分離される。
【００２２】
オーディオ符号化データは、先読み先出しメモリ（以下、ＦＩＦＯメモリ）２に一旦保存され、要求に応じて順次読み出されてＰＴＳ読み取り部３及びオーディオ復号部４に供給される。ＰＴＳ読み取り部３は、ＦＩＦＯメモリ２からオーディオ符号化データを読み出して各パケットヘッダからＰＴＳを読み取るもので、ここで得られたＰＴＳはオーディオ復号部４及び同期制御部５に供給される。
【００２３】
同様に、ビデオ符号化データは、ＦＩＦＯメモリ６に一旦保存され、要求に応じて順次読み出されてＰＴＳ読み取り部７及びビデオ復号部８に供給される。ＰＴＳ読み取り部７は、ＦＩＦＯメモリ６からビデオ符号化データを読み出して各パケットヘッダからＰＴＳを読み取るもので、ここで得られたＰＴＳはビデオ復号部８及び同期制御部５に供給される。
【００２４】
一方、図示しない受信処理部で生成されるシステムタイムクロック（以下、ＳＴＣ）はＳＴＣ読み取り部９に供給される。このＳＴＣ読み取り部９は、ＳＴＣをカウントすることでシステム内の基準時刻を設定する。この基準時刻情報は同期制御部５に供給される。この同期制御部５は、ＳＴＣ読み取り部９で得られた基準時刻とＰＴＳ読み取り部３、７で得られたＰＴＳが示す再生時刻とを比較する。そして、両者が所定の関係にあれば同期状態、それ以外では非同期状態と判定し、その判定結果に基づいて復号許可／不許可情報をオーディオ復号部４、ビデオ復号部８に送出する。
【００２５】
上記オーディオ復号部４は、同期制御部５から復号許可の情報が送られてきた場合には、ＦＩＦＯメモリ２からオーディオ符号化データを取り込み、ＳＴＣによる基準時刻に基づいてＰＴＳが示す再生時刻にオーディオ符号化データの復号処理を開始し、復号不許可の情報が送られてきた場合には、ＰＴＳの再生時刻によらず、オーディオ符号化データの復号処理を停止する。ここで、オーディオ復号部４は、独自のクロックを持ってフレーム周期で動作し、復号許可の情報が送られてきているにもかかわらず、ＰＴＳ読み取り部３からＰＴＳが送られてこない場合には、自走して復号処理を行う。
【００２６】
同様に、上記ビデオ復号部８は、独自のクロックを持ってフレーム周期で動作しており、同期制御部５から復号許可の情報が送られてきた場合には、ＦＩＦＯメモリ６からビデオ符号化データを取り込み、ＳＴＣによる基準時刻に基づいてＰＴＳが示す再生時刻にビデオ符号化データの復号処理を開始し、復号不許可の情報が送られてきた場合には、ＰＴＳの再生時刻によらず、ビデオ符号化データの復号処理を停止する。ここで、ビデオ復号部８は、独自のクロックを持ってフレーム周期で動作し、復号許可の情報が送られてきているにもかかわらず、ＰＴＳ読み取り部７からＰＴＳが送られてこない場合には、自走して復号処理を行う。
【００２７】
以上のように構成されたオーディオ・ビデオ復号再生装置において、図２を参照してその同期再生動作を説明する。
【００２８】
図２は同期再生動作を説明するためのフローチャートである。尚、ここではオーディオ符号化データを復号する場合について説明するが、当然、同様の処理をビデオ符号化データの復号処理や、その他同期を取る必要のある制御処理に適用することも可能である。
【００２９】
まず、受信された多重符号化データは分離部１でオーディオ符号化データ及びビデオ符号化データに分離され、それぞれの復号系に送られる。このうち、オーディオ符号化データはＦＩＦＯメモリ２に蓄えられる。ここで、分離部１がＦＩＦＯメモリ２に書き込んだオーディオ符号化データの最後のアドレスをライトポインタ、ＰＴＳ読み取り装置３がＦＩＦＯメモリから読み込んだオーディオ符号化データの最後のアドレスをリードポインタと表現する。
【００３０】
ＰＴＳ読み取り装置３は、ライトポインタとリードポインタの値を見て、ＦＩＦＯメモリ２に読み込み可能なオーディオ符号化データが存在する場合には読み込みを開始し、読み込み可能なオーディオ符号化データが存在しない場合には読み込みを停止する。
【００３１】
また、オーディオ復号部４は、独自のクロックを持ってフレーム周期で動作しており、各フレームの先頭でＰＴＳが存在している場合には、同期制御部５からの復号許可／不許可情報をチェックし、ＰＴＳが存在していない場合には自走する。
【００３２】
ここからの動作は、図２のフローチャートを参照して、［過程１］〜［過程５］に分けて説明する。
【００３３】
［過程１］
ＰＴＳ読み取り部３は、ＦＩＦＯメモリ２から順次オーディオ符号化データを読み込んでＰＴＳをサーチする（Ｓ１）。ＰＴＳ読み取り装置３が最初のＰＴＳを検出すると、その値は同期制御部５に送られる。この同期制御部５では、ＳＴＣ読み取り部９から送られてくるＳＴＣに対して、システムごとに決定できる固定値としてｔ１を設定し、次式（１）を判定する（Ｓ２）。
０＜（ＰＴＳ−ＳＴＣ）＜ｔ１  …（１）
ＰＴＳ読み取り部３から送られてきたＰＴＳが式（１）を満たす場合には、そのＰＴＳは誤り無しと判断して［過程２］に進む。ＰＴＳ読み取り部３から送られてきたＰＴＳが式（１）を満たしていない場合には、そのＰＴＳは誤り有りと判断して、次のＰＴＳをサーチし、［過程１］を繰り返す。また、［過程１］中では、同期制御部５は、オーディオ復号部４に対して復号不許可の情報を送る。この結果、オーディオ復号部５は復号処理を停止し、無音を出し続ける。
【００３４】
尚、上記式（１）の意味するところは以下の通りである。
【００３５】
すなわち、ＰＴＳは将来の出力時間を示すものであり、ＰＴＳ検出時には必ず、
０＜（ＰＴＳ−ＳＴＣ）
が成り立つ。また、ＰＴＳがあまりに大きな値である場合、ＦＩＦＯメモリ量の制約などから、システムに破綻をきたす可能性がある。実際、オーディオ符号化データの中に含まれるＰＴＳが誤りなく送られてきた場合には、上記のような破綻をきたすことはない。以上のように、システム上破綻をきたさないような（ＰＴＳ−ＳＴＣ）の上限を求め、ｔ１を決定する。以上から、式（１）を満たさない場合には、ＰＴＳに誤りが生じていると判断するものである。
【００３６】
［過程２］
同期制御部５は、ＳＴＣ読み取り部９から送られてくるＳＴＣの値が、ＰＴＳ読み取り部３から送られてきたＰＴＳの値に対して次式（２）
ＳＴＣ−ＰＴＳ≧０  …（２）
を満たすまで待機し、式（２）を満たした時点で［過程３］に進む（Ｓ３，Ｓ４）。
【００３７】
［過程３］
同期制御部５は、式（２）を満たした後に、オーディオ復号部４に復号許可の情報を与える。この結果、オーディオ復号部４は復号を開始し、復号後、オーディオ信号の出力を開始する（Ｓ５）。
【００３８】
ここで、図３に示すように、１パケット内に複数のオーディオフレームが存在する場合がある。この場合には、ＰＴＳ読み取り部３から送られてきたＰＴＳは、そのパケットの先頭のフレームｉに対応するものであるので、パケット内の２番目以降のフレームｉ＋１とｉ＋２についてはＰＴＳが存在しない。このため、オーディオ復号部４では、２番目以降のフレームについては自走して復号処理を実行する。
【００３９】
これに対し、オーディオ符号化方式が非同期の場合には、図４に示すように、必ずしもパケットの先頭とフレームの先頭が一致するわけではない。この場合には、当該ＰＴＳは、当該パケット内でヘッダが最初に現れるフレームｉに対応するものである。このため、２番目以降のフレームｉ＋１、ｉ＋２についてはＰＴＳが存在しないので、オーディオ復号部４は自走して復号処理を実行する。
【００４０】
尚、上記式（２）の意味するところは以下の通りである。
【００４１】
ビデオと同期を取るためには、ＳＴＣ＝ＰＴＳとなった瞬間に出力を開始することが必要であるが、ＳＴＣ読み取り部９は周期的にＳＴＣを読み込むため、その周期によっては厳密にＳＴＣ＝ＰＴＳとなるＳＴＣをタイミングよく読み込むことは難しい。このため、同期制御部５がオーディオ復号部４に復号許可を与える条件として、式（２）を満足させることで、判断処理に冗長を持たせている。
【００４２】
次のＰＴＳに対して、システムごとまたはデータごとに決定できる固定値としてｔ２を設定し、次式（３）を判定する（Ｓ６，Ｓ７）。
｜ＳＴＣ−ＰＴＳ｜＜ｔ２  …（３）
式（３）を満たす場合には、オーディオ復号部４に復号許可の情報を送る。
【００４３】
オーディオ復号部４は、当該ＰＴＳに対応するパケット内先頭のフレームを復号し、当該パケット内の２番目以降のフレームに関しては自走して、自走したフレーム数ｍをカウント後、［過程３］を繰り返す（Ｓ８，Ｓ９）。尚、自走フレーム数ｍが、システムごとに決定できる固定値Ｍを越える場合には、［過程５］へ進む。当該ＰＴＳが式（３）を満たさない場合には［過程４］へ進む。
【００４４】
また、上記［過程３］の意味するところは以下の通りである。
【００４５】
［過程２］から［過程３］へ遷移する過程において、式（２）の条件のように冗長を持たせており、またＳＴＣ読み取り部９が周期的にＳＴＣを読み込むため、厳密にＳＴＣ＝ＰＴＳとなるタイミングでＳＴＣを読み込むことは難しい。上記を考慮して、システムごと、またはデータごとにｔ２を決定して、条件式（３）のように冗長を持たせている。
【００４６】
１パケット内に存在するオーディオフレーム数には限りがある。そのフレーム数をαとすると、誤りのない正常系では、自走するフレーム数がαを越えることはあり得ない。自走するフレーム数がαを越えるということは、何らかの誤りが発生していることと等価であるため、αをもとにシステムごと、またはデータごとにＭを決定し、連続して自走するフレーム数ｍがＭを越えた場合には［過程５］に進むものとしている。
【００４７】
［過程４］
ここでは、式（３）を満たさないＰＴＳの連続発生回数ｎをカウントし、システムごとに決定できる固定値Ｎを超える場合には［過程５］へ、ｎがＮを越えない場合には［過程３］へ進む（Ｓ１０，Ｓ１１）。
【００４８】
ここで、式（３）を満たさないＰＴＳの連続発生回数をカウントする意味は以下の通りである。
【００４９】
誤りの無い正常系のシステムにおいては、ＰＴＳが式（３）を満たさない場合には即座に、同期が取れていないと判断することができる。しかしながら、無線通信、無線放送などのように、誤りが頻繁に発生するシステムにおいては、ＰＴＳに誤りが入るたびに、実際には同期が取れているにもかかわらず、同期が取れていないと判断してリセット、またはミュートなどの手段を取ってしまうことがあり、出力音の品質が悪くなる。［過程４］のような手段であれば、同期は取れていながらＰＴＳが誤っている場合には、後から来る誤りの無いＰＴＳに対して、式（３）を満たすことになり、誤りのあるＰＴＳの影響を受けずに正常系へと戻ることができる。但し、（Ｎ＋１）回連続で式（３）を満たさない場合には、誤りが原因であれ、同期が取れていないことが原因であれ、［過程５］へと進むことになる。
【００５０】
［過程５］
同期が取れていないと判断してリセットする（Ｓ１２）。リセット後は［過程１］へ戻る。尚、リセット手段は以下の通りである。
【００５１】
（リセット方法）
同期制御部５はオーディオ復号部４に復号不許可の情報を与え、オーディオ復号部４は無音を出す。同時に、図５に示すように、ＦＩＦＯメモリ２のリードポインタをライトポインタまで進める。これによって、分離部１がＦＩＦＯメモリ２に書み込み済みのオーディオ符号化データを全て読み飛ばすことになる。
【００５２】
リセットすることの意味は以下の通りである。
【００５３】
［過程５］へ来る過程においては、実際に同期が取れていない場合と、誤りが頻繁に発生している場合が考えられる。いずれの場合であっても、現状を維持しながら再同期することは難しいため、リセットすることによりリードポインタを初期状態に戻して、［過程１］から同期を取り直す。
【００５４】
以上の［過程１］〜［過程５］を繰り返すことにより、誤りから受ける影響を少なくしながら、同期を保つことができる。
【００５５】
したがって、上記構成によるオーディオ・ビデオ復号再生装置によれば、最初のＰＴＳの信頼性を高め、また２番目以降のＰＴＳが誤った時に、その影響を少なくすることができ、これによってオーディオ出力とビデオ出力の同期を取る際の誤り耐性を強くすることができ、伝送路誤りによるオーディオ復号出力とビデオ復号出力の同期ずれや再生の途切れを低減することができる。
【００５６】
【発明の効果】
以上のように本発明によれば、オーディオ符号データとビデオ符号データをそれぞれ復号する場合に、伝送路誤りによるオーディオ復号出力とビデオ復号出力の同期ずれや再生の途切れを低減することのできるオーディオ・ビデオ復号再生装置とその同期再生方法を提供することができる。
【図面の簡単な説明】
【図１】  本発明の一実施形態におけるオーディオ・ビデオ復号再生装置の構成を示すブロック図。
【図２】  同実施形態のオーディオ符号化データ復号処理の手順を示すフローチャート。
【図３】  同実施形態において、パケット内のＰＴＳとフレームの対応を説明するための図。
【図４】  同実施形態において、非同期符号化方式の場合のパケット内のＰＴＳとフレームの対応を説明するための図。
【図５】  同実施形態において、リセット方法を説明するための図。
【符号の説明】
１…分離部
２…ＦＩＦＯメモリ
３…ＰＴＳ読み取り部
４…オーディオ復号部
５…同期制御部
６…ＦＩＦＯメモリ
７…ＰＴＳ読み取り部
８…ビデオ復号部
９…ＳＴＣ読み取り部
【図１】
0004380930.tif 000002
【図２】
0004380930.tif 000003
【図３】
0004380930.tif 000004
【図４】
0004380930.tif 000005
【図５】
0004380930.tif 000006