(57)【要約】  オーディオＰＴＳ比較部１１０は、オーディオＰＴＳ取得部１０８で取得されたＰＴＳ（以下、現ＰＴＳ）とオーディオＰＴＳ保持部１０９で保持された前回のオーディオフレームにおけるＰＴＳ（以下、前ＰＴＳ）のギャップ判定を行う。ギャップがあると判定された場合、同期制御部１１１は、ギャップを検出したオーディオフレームをフェイルセーフデータとしてデコードするようオーディオ復号部１０３に指示する。
2007099906.tif 000002
【特許請求の範囲】
【請求項１】
所定時間間隔でフレーム単位にフレーム再生時刻情報が付加されたデータストリームを復号して再生出力するものであり、指定された再生開始位置を含む再生開始時間幅に相当するフレームから再生を開始する機能を有する再生装置であって、
フレーム毎に、フレーム再生時刻情報を取得する取得部と、
前記取得部で取得したフレーム再生時刻情報を保持する保持部と、
フレーム毎に、前記取得部で取得した現フレーム再生時刻情報が、前記指定された再生開始時間幅に含まれるか否かを判定し、含まれないと判定された場合はさらに、前記現フレーム再生時刻情報と、前記保持部に保持されている前のフレームにおける前フレーム再生時刻情報との差分が、前記所定時間間隔を超えるか否かを判定する比較部と、
前記比較部で、前記現フレーム再生時刻情報と前記前フレーム再生時刻情報との差分が前記所定時間間隔を超えると判断された場合は、前記現フレーム再生時刻情報が付加されたフレームから再生を開始する再生出力部とを備える
ことを特徴とする再生装置。
【請求項２】
前記データストリームは、所定時間毎に、プログラム参照時刻情報を含むものであり、
さらに、前記プログラム参照時刻情報を取得し、取得した現プログラム参照時刻情報と、前記所定時間前に取得した前プログラム参照時刻情報とを比較して、前記現プログラム参照時刻情報と前記前プログラム参照時刻情報との差分が所定の閾値を超えていた場合は、プログラム参照時刻情報が不連続であることを検出するとともに前記現プログラム参照時刻情報を保持する検出部を備え、
前記比較部は、前記現フレーム再生時刻情報と前記前フレーム再生時刻情報との差分が前記所定時間間隔を超えると判定された場合で、且つ前記検出部で前記現プログラム参照時刻情報が保持されている場合は、さらに、前記現プログラム参照時刻情報と前記現フレーム再生時刻情報との差分が、前記所定時間を超えるか否かを判定し、
前記再生出力部は、前記比較部で、前記現プログラム参照時刻情報と前記現フレーム再生時刻情報との差分が前記所定時間を超えると判定された場合のみ、前記現フレーム再生時刻が付加されたフレームから再生を開始する
ことを特徴とする請求項１記載の再生装置。
【請求項３】
ＭＰＥＧ（Moving Picture Experts Group）規格に準拠するものであり、
前記フレーム再生時刻情報は、ＭＰＥＧ規格で定められたＰＴＳ（Presentation Time Stamp）であり、
前記プログラム参照時刻情報は、ＭＰＥＧ規格で定められたＰＣＲ（Program Clock Reference）である
ことを特徴とする請求項２記載の再生装置。
【請求項４】
フレーム単位に映像再生時刻情報が付加された映像フレームと、フレーム単位で音声再生時刻情報が付加された音声フレームとから成るデータストリームを復号して再生出力するものであり、指定された再生開始位置を含む再生開始時間幅
に相当する映像フレーム及び音声フレームから再生を開始する機能を有する再生装置であって、
映像フレームから映像フレーム再生時刻情報の取得、及び音声フレームから音声フレーム再生時刻情報の取得を行う取得部と、
前記取得部で取得した映像フレームの映像フレーム再生時刻情報が前記指定された再生開始時間幅に含まれるか否かの判定、及び前記取得部で取得した音声フレームの音声フレーム再生時刻情報が前記指定された再生開始時間幅に含まれるか否かの判定を行う比較部と、
映像フレーム及び音声フレームの復号及び再生出力を行う復号部とを備え、
前記取得部で取得した映像フレーム再生時刻情報が前記再生開始時間幅に含まれるか否かを前記比較部が判定するために要する上限時間Ｔｖと、前記取得部で取得した音声フレーム再生時刻情報が前記再生開始時間幅に含まれるか否かを前記比較部が判定するために要する上限時間Ｔａとが設定されており、
（ｉ）上限時間Ｔｖ＞Ｔａを満たすとき、前記復号部は、前記取得部で取得した音声フレーム再生時刻情報が前記再生開始時間幅に含まれず上限時間Ｔａが経過した時に、映像フレームの復号が完了している場合、当該映像フレームを再生出力し、
（ｉｉ）上限時間Ｔｖ＜Ｔａを満たすとき、前記復号部は、前記取得部で取得した映像フレーム再生時刻情報が前記再生開始時間幅に含まれず上限時間Ｔｖが経過した時に、音声フレームの復号が完了している場合、当該音声フレームを再生出力する
ことを特徴とする再生装置。
【請求項５】
所定時間間隔でフレーム単位にフレーム再生時刻情報が付加されたデータストリームを復号し、自装置内のシステム基準クロックと同期して再生する再生装置であって、
フレーム毎に、フレーム再生時刻情報と、前記システム基準クロックが示す時刻とを比較する比較部と、
前記比較部で、フレーム再生時刻情報が、前記システム基準クロックが示す時刻と一致すると判断された場合、当該フレーム再生時刻情報が付加されているフレームを復号して再生出力する復号部と、
前記比較部で、フレーム再生時刻情報が、前記システム基準クロックが示す時刻と一致しないと判断された場合は、当該フレーム再生時刻情報が付加されたフレームを復号して前記システム基準クロックと非同期で再生出力するよう前記復号部に指示する制御部と、
前記制御部の指示により、前記復号部が前記システム基準クロックと非同期で再生出力したフレームをカウントするカウント部とを備え、
前記制御部はさらに、前記比較部で、フレーム再生時刻情報が、前記システム基準クロックが示す時刻と一致しないと判断された場合で、且つ前記カウント部により、所定回数非同期で再生出力されたフレームがカウントされた場合においては、当該フレーム再生時刻情報が付加されたフレームを強制的に前記システム基準クロックと同期させて再生出力するよう前記復号部に指示する強制同期処理を実行する
ことを特徴とする再生装置。
【請求項６】
前記制御部は、前記強制同期処理として、（ｉ）前記比較部で、フレーム再生時刻情報が、前記システム基準クロックが示す時刻を超えると判断された場合で、且つ前記カウント部により、所定回数非同期で再生出力されたフレームがカウントされた場合においては、フレーム再生時刻情報が、システム基準クロックが示す時刻と一致するまで待ってから、当該フレーム再生時刻情報が付加されたフレームを復号して再生出力するよう前記復号部に指示し、（ｉｉ）前記比較部で、フレーム再生時刻情報が、前記システム基準クロックが示す時刻を下回ると判断された場合で、且つ前記カウント部により、所定回数非同期で再生出力されたフレームがカウントされた場合においては、当該フレーム再生時刻情報が付加されたフレームは再生出力しないよう前記復号部に指示する
ことを特徴とする請求項５記載の再生装置。
【請求項７】
前記制御部は、前記比較部で、フレーム再生時刻情報が、前記システム基準クロックが示す時刻を超えると判断された場合で、且つ前記カウント部により、所定回数非同期で再生出力されたフレームがカウントされた場合において、さらに、フレーム再生時刻情報とシステム基準クロックが示す時刻との差分が所定差分ｔ１を超える場合のみ、ｔ１より小さい所定の時間ｔ２だけ待ってから、当該フレーム再生時刻情報が付加されたフレームを復号して再生出力する
ことを特徴とする請求項６記載の再生装置。
【請求項８】
前記フレームは、第１メディアに係る第１メディアフレームと、第２メディアに係る第２メディアフレームに分かれており、前記第１メディアフレームの再生時刻情報に基づいて前記システム基準クロックを決定するものであり、
前記比較部は、フレームについて、第１メディアフレームと第２メディアフレームとを区別して、それぞれのフレーム再生時刻情報とシステム基準クロックが示す時刻とを比較し、
前記カウント部は、フレームのカウントについて、第１メディアフレームと第２メディアフレームとを区別してカウントし、
前記制御部は、前記比較部で、前記フレームの内第１メディアフレームについての再生時刻情報が、前記システム基準クロックと一致しないと判断された場合で、且つ前記カウント部により、所定回数非同期で再生出力された第１メディアフレームがカウントされた場合においては、前記第２メディアフレームの再生時刻情報に基づいて前記システム基準クロックを決定するよう変更する
ことを特徴とする請求項５記載の再生装置。
【請求項９】
請求項１乃至８のいずれか１項に記載の再生装置を備えることを特徴とする携帯電話機。
【請求項１０】
所定時間間隔でフレーム単位にフレーム再生時刻情報が付加されたデータストリームを復号して再生出力するものであり、指定された再生開始位置を含む再生開始時間幅に相当するフレームから再生を開始する機能を有する再生装置における再生方法であって、
フレーム毎に、フレーム再生時刻情報を取得する取得ステップと、
前記取得ステップで取得したフレーム再生時刻情報を保持する保持ステップと、
フレーム毎に、前記取得ステップで取得した現フレーム再生時刻情報が、前記指定された再生開始時間幅に含まれるか否かを判定し、含まれないと判定された場合はさらに、前記現フレーム再生時刻情報と、前記保持ステップで保持されている前のフレームにおける前フレーム再生時刻情報との差分が、前記所定時間間隔を超えるか否かを判定する比較ステップと、
前記比較ステップで、前記現フレーム再生時刻情報と前記前フレーム再生時刻情報との差分が前記所定時間間隔を超えると判断された場合は、前記現フレーム再生時刻情報が付加されたフレームから再生を開始する再生出力ステップとを含む
ことを特徴とする再生方法。
【請求項１１】
所定時間間隔でフレーム単位にフレーム再生時刻情報が付加されたデータストリームを復号し、自装置内のシステム基準クロックと同期して再生する再生装置における再生方法であって、
フレーム毎に、フレーム再生時刻情報と、前記システム基準クロックが示す時刻とを比較する比較ステップと、
前記比較ステップで、フレーム再生時刻情報が、前記システム基準クロックが示す時刻と一致すると判断された場合、当該フレーム再生時刻情報が付加されているフレームを復号して再生出力する第１再生出力ステップと、
前記比較ステップで、フレーム再生時刻情報が、前記システム基準クロックが示す時刻と一致しないと判断された場合は、当該フレーム再生時刻情報が付加されたフレームを復号して前記システム基準クロックと非同期で再生出力する第２再生出力ステップと、
前記第２再生出力ステップで、前記システム基準クロックと非同期で再生出力したフレームをカウントするカウントステップと、
前記比較ステップで、フレーム再生時刻情報が、前記システム基準クロックが示す時刻と一致しないと判断された場合で、且つ前記カウントステップにより、所定回数非同期で再生出力されたフレームがカウントされた場合においては、当該フレーム再生時刻情報が付加されたフレームを強制的に前記システム基準クロックと同期させて再生出力するよう強制同期処理を実行する強制同期処理ステップとを含む
ことを特徴とする再生方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、符号化データを復号して再生出力する再生装置に関し、特にデジタル符号化された映像信号、及び音声信号の各ビットストリームを復号し、両信号を同期再生する同期再生装置に関するものである。
【背景技術】
【０００２】
日本のデジタル放送は、ＡＲＩＢ（Association of Radio Industrial and Businesses）の規格に基づいて行われている。このＡＲＩＢの規格は、ヨーロッパのＤＶＢ（Digital Video Broadcasting）方式の規格を基に作成されたもので、ＭＰＥＧ（Moving Picture Coding Experts Group）２−ＴＳ（Transport Stream）のシステムで、映像及び音声の放送に対応している。【０００３】
ＭＰＥＧ２−ＴＳでは、１８８バイトの固定長のＴＳパケットが複数個集まって、ＴＳストリームが構成される。この１８８バイトのＴＳパケットの長さは、ＡＴＭ（Asynchronous Transfer Mode）セル長との整合性を考慮して決定されている。
ＴＳパケットは、４バイトの固定長のパケットヘッダと、可変長のアダプテーションフィールド及びペイロードで構成される。パケットヘッダには、ＰＩＤ（パケット識別子）や各種のフラグが定義されている。このＰＩＤにより、ＴＳパケットの種類が識別される。【０００４】
ビデオやオーディオなどの個別ストリームが収められたＰＥＳ（Packetized Elementary Stream）パケットは、同じＰＩＤ番号を持つ複数のＴＳパケットに分割されて伝送される。ビデオの符号化には、例えばＭＰＥＧ２方式やワンセグメント放送規格におけるＭＰＥＧ４−ＡＶＣ／Ｈ．２６４方式が用いられる。オーディオの符号化は、例えば、２３Ｃ（MPEG2 Advanced Audio Coding）方式が用いられている。【０００５】
また、字幕などのデータが納められたＰＥＳパケットも、ビデオやオーディオのパケットと同様に、複数のＴＳパケットに分割されて伝送される。
このようなＭＰＥＧ２−ＴＳでは、復号を行う復号器内部の基準信号であるＳＴＣ（System Time Clock）の時間を合わすために、所定時間毎に、ＰＣＲ（Program Clock Reference）が送られる。【０００６】
すなわち、ＴＳパケットには、アダプテーションフィールドが含まれているものがある。アダプテーションフィールドは、個別ストリームに関する付加情報を伝送するためのもので、ここには、オプショナルフィールドに、６バイトのＰＣＲが配される。
復号器内部において、ＳＴＣ（System Time Clock）は、ＳＴＣカウンタでカウントされる。このＳＴＣカウンタの時刻は、ＰＣＲの時刻に基づいて校正される。【０００７】
ＭＰＥＧ２−ＴＳでは、ＡＶ（オーディオ・ビデオ）同期をとるために、アクセスユニット毎（例えば、ビデオの場合にはピクチャ毎、オーディオの場合にはオーディオフレーム毎）にタイムスタンプが付加される。これらのアクセスユニットがＰＥＳ化され、このＰＥＳパケットのヘッダに、再生時刻を指定するＰＴＳ（Presentation Time Stamp）が付加される。【０００８】
このＰＴＳの時刻は、ＳＴＣの値で記述される。復号器では、ＳＴＣの値がＰＣＲと同期して進められる。復号器では、このＳＴＣのカウント値とＰＴＳの値とを比較し、ＳＴＣのカウント値とＰＴＳの値とが一致したら、表示処理やデコード処理を開始するようになっている。これにより、ＳＴＣとの同期再生が行われる。
このように、ＭＰＥＧ２−ＴＳでは、ＰＣＲに同期して進められるＳＴＣのカウント値と、ビデオ及びオーディオのＰＥＳパケットに付加されて送られてくるＰＴＳの値とを比較し、ビデオ、オーディオそれぞれがＳＴＣのカウント値とＰＴＳの値が一致するタイミングで表示処理やデコード処理を開始することにより、ＡＶ同期再生を実現している。【０００９】
放送の録画再生システムとしては、映像提供側からの符号化・多重化したストリームを復号器が蓄積していき、再生の際、蓄積したストリームからオーディオ符号化データ及びビデオ符号化データを分離した後、互いに独立して復号し、復号されたオーディオ信号とビデオ信号を、互いに同期を取って再生を行っている。
蓄積されたストリームのＡＶ同期手法としては、再生オーディオ信号の出力を重視する方法であるオーディオマスタ（例えば、特許文献１参照）が適用されている。オーディオマスタ方式では、各オーディオフレームを出力すると同時に各オーディオフレームの出力時刻を用いてＳＴＣが更新し、このとき各ビデオフレームの表示時刻はＳＴＣと比較され、その比較の結果により各ビデオフレームの表示を早めたり遅らせたりする操作を行っている。【００１０】
一方、再生ビデオ信号の出力を重視する方法であるビデオマスタ（例えば、特許文献２参照）でのＡＶ同期手法もある。
ところで、蓄積されたストリームのＡＶ再生開始の際の制御として、再生開始時間（以下、エントリポイント）を定義し、好きなポイント（時間）から再生を開始する手法がある。【００１１】
上述したエントリポイントによる再生開始時の同期再生方法について説明する。
図２１は同期再生装置の構成を示している。図２１において、同期再生装置は、ストリームを転送する転送部１３０１、入力されたストリームから必要な情報を抽出するシステムデコーダ１３０２、ビデオフレームを復号化するビデオ復号部１３０３、オーディオフレームを復号化するオーディオ復号部１３０４、各構成要素の動作タイミングを制御するための同期制御部１３０５を備える。このように構成された同期再生装置のエントリポイントによる再生開始の動作について説明する。【００１２】
図２１で示されるように、転送部１３０１からエントリポイントを含んだストリームがシステムデコーダ１３０２に転送される。システムデコーダ１３０２は、入力されたストリームからビデオ符号化データとオーディオ符号化データをそれぞれビデオ復号部１３０３とオーディオ復号部１３０４に転送し、オーディオ用ＰＴＳとビデオ用ＰＴＳを同期制御部１３０５に転送する。ビデオ復号部１３０３は、入力されるビデオ符号化データからビデオフレームの復号を行う。オーディオ復号部１３０４は、入力されるオーディオ符号化データからオーディオフレームの復号を行う。同期制御部１３０５は、転送部１３０１とシステムデコーダ１３０２とビデオ復号部１３０３とオーディオ復号部１３０４を制御することで、ビデオフレームとオーディオフレームとの同期出力制御を行う。【００１３】
図２２は同期再生装置を構成する同期制御部１３０５における、エントリポイントによる再生開始の動作手順を示すフローチャートを記載した図である。以下、図２２のフローに従って、同期制御部１３０５の動作を詳しく説明する。
まず、動作が開始されると、ステップ１４０１にて、外部からのエントリポイント値の設定とエントリポイントによる再生開始が通知されると、転送部１３０１と各復号部１３０２、１３０３、１３０４に起動要求を出す。この要求を受けて、転送部１３０１と各デコーダ１３０２、１３０３、１３０４は起動処理を行う。【００１４】
次いで、ステップ１４０２にて、転送部１３０１にデータ供給要求を出す。この要求を受けて転送部１３０１は、エントリポイントを含んだストリームの先頭から転送を行う。システムデコーダ１３０２は、転送部１３０１からデータを受信することで分離抽出を開始する。
ビデオ復号部１３０３は、ステップ１４０３にて、システムデコーダ１３０２から受信したビデオフレーム用ＰＴＳとエントリポイントがある特定のしきい値内で一致するまで、システムデコーダ１３０２から受信したビデオ符号化データからビデオフレームの復号を行う。このときは、まだ復号処理だけを行い、表示出力は行わない。【００１５】
次いで、ステップ１４０３にて、システムデコーダ１３０２から受信したビデオフレーム用ＰＴＳと、エントリポイントがある特定のしきい値内で一致した場合は、ステップ１４０４に移り、ビデオフレーム用ＰＴＳの値で、同期制御部１３０５内のＳＴＣを初期化する。
次いで、ステップ１４０５にて、ビデオ復号部１３０３にビデオフレーム同期出力要求を出す。この要求を受けてビデオ復号部１３０３は、ステップ１４０３にて、システムデコーダ１３０２から受信したビデオフレーム用ＰＴＳとエントリポイントとがある特定のしきい値内で一致したビデオフレームの復号と同時に表示出力も行う。この段階で、初めてビデオフレームの表示出力が行われ、以後、ビデオ復号部１３０３、同期制御部１３０５による、ＳＴＣとシステムデコーダ１３０２から受信するビデオフレーム用ＰＴＳとを用いた同期制御のもとで、システムデコーダ１３０２から受信するビデオ符号化データからのビデオフレームの復号と表示出力を次々に行っていく。【００１６】
次いで、ステップ１４０６にて、システムデコーダ１３０２から受信したオーディオフレーム用ＰＴＳと、ＳＴＣとがある特定のしきい値内で一致するまで処理を続ける。
また、ステップ１４０６にてシステムデコーダ１３０２から受信したオーディオフレーム用ＰＴＳと、ＳＴＣとがある特定のしきい値内で一致した場合、ステップ１４０７に移り、オーディオ復号部１３０４にオーディオフレーム同期出力要求を出す。【００１７】
この要求を受けてオーディオ復号部１３０４は、ステップ１４０６にて、システムデコーダ１３０２から受信したオーディオフレーム用ＰＴＳと、ＳＴＣとがある特定のしきい値内で一致したオーディオフレームの復号と同時にオーディオ出力も行う。この段階で、初めてオーディオフレームのオーディオ出力が行われ、以後、オーディオ復号部１３０４は、同期制御部１３０５による、ＳＴＣとシステムデコーダ１３０２から受信するオーディオフレーム用ＰＴＳとを用いた同期制御のもとで、システムデコーダ１３０２から受信するオーディオ符号化データからのオーディオフレームの復号とオーディオ出力を次々に行っていく。【００１８】
また、特許文献２には、ＭＰＥＧ規格により規定される表示順序情報であるテンポラル・リファレンス（ｔｅｍｐｏｒａｌ ｒｅｆｅｒｅｎｃｅ）を利用して、ビデオフレーム単位、あるいはオーディオフレーム単位の精度で、指定されたエントリポイントに相当するビデオフレームとオーディオフレームを検出できる技術が開示されている。
また、特許文献３には、異常判定用のタイマを設けることによって、所定の時間が経過しても、ビデオフレームあるいはオーディオフレームの一方しか出力準備完了していない場合に、この時点で出力準備完了している、ビデオフレームまたはオーディオフレームの一方だけに出力要求を可能とし、入力されたストリーム中にエントリポイントに相当するビデオフレームとオーディオフレームの一方しか存在しない場合でも、再生開始を正常に行うことが可能な同期再生装置が開示されている。
【特許文献１】特開平７−５０８１８号公報
【特許文献２】特願平９−５１４１４６号公報
【特許文献３】特開２００１−３４６１６６号公報
【発明の開示】
【発明が解決しようとする課題】
【００１９】
そこで、本発明が解決しようとする第１の課題を図２３（ａ）、（ｂ）を用いて説明する。図２３（ａ）、（ｂ）は、電波状態が悪い環境下において記録されたストリーム例を示している。縦軸がＰＴＳで横軸はストリームである。図２３（ａ）は伝送エラーなどによりＰＴＳにビット誤りが発生している場合、図２３（ｂ）は記録時の電波の受信状態が悪いためストリームに抜けが発生した場合を示す。図２３（ａ）においてエントリポイントがＰＴＳ誤りが発生している時間に指定された場合、従来技術ではエントリポイント判定内に一致するＰＴＳが検出できない。図２３（ｂ）も同様、ストリーム抜けが発生した時間にエントリポイントが指定された場合、従来技術ではエントリポイント判定内に一致するＰＴＳが検出できない。結果、再生開始位置が定まらず再生開始ができないという問題がある。【００２０】
次に、本発明が解決しようとする第２の課題を図２４（ａ）、（ｂ）、（ｃ）を用いて説明する。図２４（ａ）は、ＭＰＥＧ２−ＴＳのＴＳパケットを示している。開始フレームの検索を行う対象データ領域を開始フレーム検索対象データと示す。つまり、エントリポイントと一致するフレームの検索は、この開始フレーム検索対象データに対して行うことになる。例えば、開始フレーム検索対象データに対しての検索処理時間をオーディオとビデオで、それぞれＴａ、Ｔｖ（Ｔａ＜Ｔｖ）であるとした場合、タイマＴｅは、オーディオとビデオがともに検索処理が完了する時間が与えられる（図２４（ｂ））。このような場合、図２４（ｃ）のように、検索を開始し、ビデオデータにおいて開始フレーム検索が完了し、出力準備ができたとしても、出力するのはＴｅ後からとなる。【００２１】
すなわち、オーディオデータまたはビデオデータの一方の開始データが見つからない場合の片方のみ出力するためのタイマを、オーディオデータの開始フレーム検索処理時間、ビデオデータの開始フレーム検索処理時間に依らず、一意的な値をとっているため、片方データのみの出力の場合、開始フレーム検索時間が大きいほうに引っ張られて再生開始するという問題がある。【００２２】
さらに、本発明が解決しようとする第３の課題を、図２５を用いて説明する。図２５（ａ） は、オーディオマスタで動作している動画再生装置のビデオ再生データとオーディオ再生データが共に正常に出力されている通常状態において、受信電波が悪い状態で記録されることにより多重化ビットストリームに時間的不連続が発生した場合の例を示す図である。【００２３】
この図２５において、ビデオ再生データ、オーディオ再生データはフレーム単位で示され、各フレームに付記されている数字はＰＴＳを意味する。たとえば映像フレーム２３０１におけるＰＴＳは４２である。また、図２５（ａ）ではオーディオマスタ動作を想定しているため、オーディオの各フレームのＰＴＳ値によりリファレンスクロックは補正される。さらに、映像フレームの表示周期は５、音声フレームの表示周期は３であり、映像フレーム２３０１と映像フレーム２３０２、また、音声フレーム２３０３と音声フレーム２３０４の間に時間飛びが発生している。【００２４】
このとき、オーディオマスタとして動作しているため、オーディオ再生データは不連続点でも連続して再生され、同様にリファレンスクロックもオーディオ再生データ同様、不連続に変化する。それに対し、ビデオ再生データは映像フレーム２３０１でリファレンスクロックと大きく離れ、許容範囲を超えてしまい、非同期で再生を行う自走再生状態となる。これは、たとえば自走状態と判断する許容範囲を１０とすると、映像フレームのＰＴＳは１１３、リファレンスクロックのＳＴＣ値は４７であり、映像フレームのＰＴＳとリファレンスクロックのＳＴＣの差分は６６となり、許容範囲３０を超える。しかし、オーディオも不連続を通過後、ビデオ再生データは映像フレーム２３０３で再びリファレンスクロックと同期が取れ、再度同期再生状態に復帰し同期再生は正常に行われ、なんら問題はない。【００２５】
しかしながら、図２５（ｂ）に示すように、時間飛びが発生している映像フレーム２３０６、映像フレーム２３０７間の時間間隔（図２５（ｂ）では８３）、音声フレーム２３０８と音声フレーム２３０９の時間間隔（図２５（ｂ）では６９）が異なるような状況が発生した場合、図２５（ａ）と同様な自走による制御方式を行うと図２５（ｂ）に示すように、不連続点通過後も許容範囲を超えた状態となり自走モードが継続されることになる。すなわち、図２５（ｂ）に示すようにオーディオが不連続を経過した後も、映像フレーム２３１０以降の映像フレームのＰＴＳとリファレンスクロックのＳＴＣとの差分値が常に１２になっているため、自走状態と判断する許容値１０を超えた状態が継続され、同期状態になることなく自走再生状態が続いてしまう。【００２６】
自走再生状態が続くと、オーディオ、ビデオの同期がとれずリップシンクが合わない状態が続くことになってしまう。
このような状態において、従来例では、一定時間自走モードが継続された場合、ビデオまたはオーディオの再生を停止し再度開始状態に戻してから再生するという方法を行っていた。しかしながら、再生を一旦停止し再開する際は、初期状態に戻るため、起動処理が必要であり、さらにはすでにバッファ等に蓄積されているデータも破棄されるため、再生復帰までの時間がかかり、その間、映像またはオーディオが何も出力されない状態が長時間継続されるという問題が生じる。【００２７】
本発明は上記の問題に鑑みてなされたものであり、エントリポイント指定による再生開始時や再生中に、映像表示時刻や音声表示時刻に時間的不連続が発生するいかなる場合においても、それぞれの場合に応じて最適な映像フレームと音声フレームからの再生開始を行え、また、映像信号と音声信号が途絶えることなく再生が継続できる、再生装置を提供することを目的とする。
【課題を解決するための手段】
【００２８】
本発明は上記課題を解決するために、本発明の第１態様に係る再生装置は、所定時間間隔でフレーム単位にフレーム再生時刻情報が付加されたデータストリームを復号して再生出力するものであり、指定された再生開始位置を含む再生開始時間幅に相当するフレームから再生を開始する機能を有する再生装置であって、フレーム毎に、フレーム再生時刻情報を取得する取得部と、前記取得部で取得したフレーム再生時刻情報を保持する保持部と、フレーム毎に、前記取得部で取得した現フレーム再生時刻情報が、前記指定された再生開始時間幅に含まれるか否かを判定し、含まれないと判定された場合はさらに、前記現フレーム再生時刻情報と、前記保持部に保持されている前のフレームにおける前フレーム再生時刻情報との差分が、前記所定時間間隔を超えるか否かを判定する比較部と、前記比較部で、前記現フレーム再生時刻情報と前記前フレーム再生時刻情報との差分が前記所定時間間隔を超えると判断された場合は、前記現フレーム再生時刻情報が付加されたフレームから再生を開始する再生出力部とを備えることを特徴とする。【００２９】
また、上記課題を解決するために、本発明の第２態様に係る再生装置は、フレーム単位に映像再生時刻情報が付加された映像フレームと、フレーム単位で音声再生時刻情報が付加された音声フレームとから成るデータストリームを復号して再生出力するものであり、指定された再生開始位置を含む再生開始時間幅に相当する映像フレーム及び音声フレームから再生を開始する機能を有する再生装置であって、映像フレームから映像フレーム再生時刻情報の取得、及び音声フレームから音声フレーム再生時刻情報の取得を行う取得部と、前記取得部で取得した映像フレームの映像フレーム再生時刻情報が前記指定された再生開始時間幅に含まれるか否かの判定、及び前記取得部で取得した音声フレームの音声フレーム再生時刻情報が前記指定された再生開始時間幅に含まれるか否かの判定を行う比較部と、映像フレーム及び音声フレームの復号及び再生出力を行う復号部とを備え、前記取得部で取得した映像フレーム再生時刻情報が前記再生開始時間幅に含まれるか否かを前記比較部が判定するために要する上限時間Ｔｖと、前記取得部で取得した音声フレーム再生時刻情報が前記再生開始時間幅に含まれるか否かを前記比較部が判定するために要する上限時間Ｔａとが設定されており、（ｉ）上限時間Ｔｖ＞Ｔａを満たすとき、前記復号部は、前記取得部で取得した音声フレーム再生時刻情報が前記再生開始時間幅に含まれず上限時間Ｔａが経過した時に、映像フレームの復号が完了している場合、当該映像フレームを再生出力し、（ｉｉ）上限時間Ｔｖ＜Ｔａを満たすとき、前記復号部は、前記取得部で取得した映像フレーム再生時刻情報が前記再生開始時間幅に含まれず上限時間Ｔｖが経過した時に、音声フレームの復号が完了している場合、当該音声フレームを再生出力することを特徴とする。【００３０】
また、上記課題を解決するために、本発明の第３態様に係る再生装置は、所定時間間隔でフレーム単位にフレーム再生時刻情報が付加されたデータストリームを復号し、自装置内のシステム基準クロックと同期して再生する再生装置であって、フレーム毎に、フレーム再生時刻情報と、前記システム基準クロックが示す時刻とを比較する比較部と、前記比較部で、フレーム再生時刻情報が、前記システム基準クロックが示す時刻と一致すると判断された場合、当該フレーム再生時刻情報が付加されているフレームを復号して再生出力する復号部と、前記比較部で、フレーム再生時刻情報が、前記システム基準クロックが示す時刻と一致しないと判断された場合は、当該フレーム再生時刻情報が付加されたフレームを復号して前記システム基準クロックと非同期で再生出力するよう前記復号部に指示する制御部と、前記制御部の指示により、前記復号部が前記システム基準クロックと非同期で再生出力したフレームをカウントするカウント部とを備え、前記制御部はさらに、前記比較部で、フレーム再生時刻情報が、前記システム基準クロックが示す時刻と一致しないと判断された場合で、且つ前記カウント部により、所定回数非同期で再生出力されたフレームがカウントされた場合においては、当該フレーム再生時刻情報が付加されたフレームを強制的に前記システム基準クロックと同期させて再生出力するよう前記復号部に指示する強制同期処理を実行することを特徴とする。【００３１】
また、上記課題を解決するために、本発明の携帯電話機は、上記第１の態様〜第３の態様のいずれか１態様に係る再生装置を備えることを特徴とする。
【発明の効果】
【００３２】
第１の態様に係る再生装置によれば、電波状態が悪い環境で録画されたストリーム等、フレームの欠落やエラーのあるストリームの再生開始時において、エントリポイントに対応する（再生開始時間幅に相当する）フレームが欠落していたとしても、当該フレームの近辺の最適なフレームから再生を開始することができる。
第２の態様に係る再生装置によれば、エントリポイントと一致するフレームの検索の際に上限時間を音声フレームと映像フレームで個別管理することで、再生開始時、片方のみのデータしか存在しない場合、開始データ検索時間の長いほうに影響を受けることなくフレームの出力することが可能である。【００３３】
第３の態様に係る再生装置によれば、電波状態が悪い環境で録画されたストリーム等、フレームの欠落やエラーのあるストリームの再生中において、システム基準クロックとの同期ずれを低減することができる。
また、上記第１態様に係る同期再生装置において、前記データストリームは、所定時間毎に、プログラム参照時刻情報を含むものであり、さらに、前記プログラム参照時刻情報を取得し、取得した現プログラム参照時刻情報と、前記所定時間前に取得した前プログラム参照時刻情報とを比較して、前記現プログラム参照時刻情報と前記前プログラム参照時刻情報との差分が所定の閾値を超えていた場合は、プログラム参照時刻情報が不連続であることを検出するとともに前記現プログラム参照時刻情報を保持する検出部を備え、前記比較部は、前記現フレーム再生時刻情報と前記前フレーム再生時刻情報との差分が前記所定時間間隔を超えると判定された場合で、且つ前記検出部で前記現プログラム参照時刻情報が保持されている場合は、さらに、前記現プログラム参照時刻情報と前記現フレーム再生時刻情報との差分が、前記所定時間を超えるか否かを判定し、前記再生出力部は、前記比較部で、前記現プログラム参照時刻情報と前記現フレーム再生時刻情報との差分が前記所定時間を超えると判定された場合のみ、前記現フレーム再生時刻が付加されたフレームから再生を開始することとしてもよい。【００３４】
この構成により、エントリポイントに対応する（再生開始時間幅に相当する）フレームが欠落していた場合、フレームのビット誤りとデータストリームのパケットエラーを区別し、フレームのビット誤りのときのみ、当該フレームの近辺の最適なフレームから再生を開始することができる。
また、上記第１態様に係る同期再生装置は、ＭＰＥＧ（Moving Picture Experts Group）規格に準拠するものであり、前記フレーム再生時刻情報は、ＭＰＥＧ規格で定められたＰＴＳ（Presentation Time Stamp）であり、前記プログラム参照時刻情報は、ＭＰＥＧ規格で定められたＰＣＲ（Program Clock Reference）であることとしてもよい。【００３５】
この構成により、ＭＰＥＧ規格に準拠した再生装置において、フレームの欠落やエラーのあるストリームの再生開始時において、エントリポイントに対応する（再生開始時間幅に相当する）フレームが欠落していたとしても、当該フレームの近辺の最適なフレームから再生を開始することができる。
また、上記第３態様に係る同期再生装置において、前記制御部は、前記強制同期処理として、（ｉ）前記比較部で、フレーム再生時刻情報が、前記システム基準クロックが示す時刻を超えると判断された場合で、且つ前記カウント部により、所定回数非同期で再生出力されたフレームがカウントされた場合においては、フレーム再生時刻情報が、システム基準クロックが示す時刻と一致するまで待ってから、当該フレーム再生時刻情報が付加されたフレームを復号して再生出力するよう前記復号部に指示し、（ｉｉ）前記比較部で、フレーム再生時刻情報が、前記システム基準クロックが示す時刻を下回ると判断された場合で、且つ前記カウント部により、所定回数非同期で再生出力されたフレームがカウントされた場合においては、当該フレーム再生時刻情報が付加されたフレームは再生出力しないよう前記復号部に指示することとしてもよい。【００３６】
この構成により、フレームの欠落やエラーのあるストリームの再生中において、フレームとシステム基準クロックとの同期ずれが起きた場合、フレームを強制的に進める、又は遅らせることにより、同期状態に復帰させることができる。
また、上記第３態様に係る同期再生装置において、前記制御部は、前記比較部で、フレーム再生時刻情報が、前記システム基準クロックが示す時刻を超えると判断された場合で、且つ前記カウント部により、所定回数非同期で再生出力されたフレームがカウントされた場合において、さらに、フレーム再生時刻情報とシステム基準クロックが示す時刻との差分が所定差分ｔ１を超える場合のみ、ｔ１より小さい所定の時間ｔ２だけ待ってから、当該フレーム再生時刻情報が付加されたフレームを復号して再生出力することとしてもよい。【００３７】
この構成により、フレームとシステム基準クロックの同期ずれが大きい場合は、少しずつフレームを強制的に進めることで、ユーザが映像を見たときの違和感をなるべく払拭しながら同期状態に復帰させることができる。
また、上記第３態様に係る同期再生装置において、前記フレームは、第１メディアに係る第１メディアフレームと、第２メディアに係る第２メディアフレームに分かれており、前記第１メディアフレームの再生時刻情報に基づいて前記システム基準クロックを決定するものであり、前記比較部は、フレームについて、第１メディアフレームと第２メディアフレームとを区別して、それぞれのフレーム再生時刻情報とシステム基準クロックが示す時刻とを比較し、前記カウント部は、フレームのカウントについて、第１メディアフレームと第２メディアフレームとを区別してカウントし、前記制御部は、前記比較部で、前記フレームの内第１メディアフレームについての再生時刻情報が、前記システム基準クロックと一致しないと判断された場合で、且つ前記カウント部により、所定回数非同期で再生出力された第１メディアフレームがカウントされた場合においては、前記第２メディアフレームの再生時刻情報に基づいて前記システム基準クロックを決定するよう変更することとしてもよい。【００３８】
この構成により、第１メディアフレーム（例えば、オーディオフレーム）をマスタとしてストリームを再生しているときに、第１メディアフレームにフレーム欠損やエラーがあって第２メディアフレーム（例えば、ビデオフレーム）が正常な場合、不連続の発生していない正常な第２メディアフレームをマスタに切り換えることができる。
【図面の簡単な説明】
【００３９】
【図１】本発明の実施の形態１に係る同期再生装置の構成を示すブロック図である。
【図２】本発明の実施の形態１に係るＭＰＥＧ２−ＴＳストリームのデータ構造図である。
【図３】本発明の実施の形態１に係るＭＰＥＧ２−ＴＳストリームとＰＥＳパケットの関係図である。
【図４】本発明の実施の形態１に係るＰＥＳパケットのデータ構造図である。
【図５】本発明の実施の形態１に係るビデオデータ検索処理を示すフローチャートである。
【図６】本発明の実施の形態１に係るオーディオデータ検索処理を示すフローチャートである。
【図７】本発明の実施の形態１に係る再生処理を示すフローチャートである。
【図８】本発明の実施の形態２に係る同期再生装置の構成を示すブロック図である。
【図９】本発明の実施の形態２に係るタイムアウト処理を示すフローチャートである。
【図１０】本発明の実施の形態３に係る同期再生装置の構成を示すブロック図である。
【図１１】本発明の実施の形態３に係るＰＥＳパケットのデータ構造図である。
【図１２】本発明の実施の形態３に係るビデオデータ検索処理を示すフローチャートである。
【図１３】本発明の実施の形態３に係るオーディオデータ検索処理を示すフローチャートである。
【図１４】本発明の実施の形態４に係る同期制御処理を示すフローチャートである。
【図１５】本発明の実施の形態４に係る同期制御処理を示すタイミングチャートである。
【図１６】本発明の実施の形態５に係る同期制御処理を示すフローチャートである。
【図１７】本発明の実施の形態５に係る同期制御処理を示すタイミングチャートである。
【図１８】本発明の実施の形態６に係る同期制御処理を示すフローチャートである。
【図１９】本発明の実施の形態６に係る同期制御処理を示すタイミングチャートである。
【図２０】本発明に係る携帯電話機を示すブロック図である。
【図２１】従来技術の同期再生装置の構成を示すブロック図である
【図２２】従来技術の同期再生装置の処理を示すフローチャートである。
【図２３】従来技術における再生処理を示す概念図である。
【図２４】従来技術におけるフレーム検索処理を示す概念図である。
【図２５】従来技術における再生中の処理を示す概念図である。
【符号の説明】
【００４０】
１００、８００、１０００              同期再生装置
１０１、８０１、１３０１              転送部
１０２、８０２                        多重分離部
１０３、８０３、１３０４              オーディオ復号部
１０４、８０４、１３０３              ビデオ復号部
１０５、１０８、８０５、８０８        ＰＴＳ取得部
１０６、１０９                        ＰＴＳ保持部
１０７、１１０                        ＰＴＳ比較部
１１１、８１１、１３０５              同期制御部
１１２、８１２、１３１３              リファレンスクロック部
８１３                                オーディオ時間管理部
８１４                                ビデオ時間管理部
１３０２                              システムデコーダ
２０００                              携帯電話機
【発明を実施するための最良の形態】
【００４１】
以下、本発明の実施の形態について、図面を参照して詳細に説明する。
（１．実施の形態１）
（１−１．構成）
図１は実施の形態１に係る同期再生装置１００の構成を示す図である。
図１において、同期再生装置１００は、転送部１０１、多重分離部１０２、オーディオ復号部１０３、ビデオ復号部１０４、オーディオＰＴＳ取得部１０８、オーディオＰＴＳ保持部１０９、オーディオＰＴＳ比較部１１０、ビデオＰＴＳ取得部１０５、ビデオＰＴＳ保持部１０６、ビデオＰＴＳ比較部１０７、同期制御部１１１、及びリファレンスクロック部１１２を備える。【００４２】
転送部１０１は、多重ストリーム（ＭＰＥＧ２−ＴＳストリーム、以下に説明）を多重分離部１０２へ転送するものである。
多重分離部１０２は、多重ストリームからビデオＰＥＳパケット（ＰＥＳパケット、以下に説明）内のＰＥＳヘッダから再生時間情報であるビデオＰＴＳと、ビデオ符号化データを抽出し、ビデオ復号部１０４とビデオＰＴＳ取得部１０５に転送し、また、オーディオＰＥＳパケット内のＰＥＳヘッダから再生時間情報であるオーディオＰＴＳと、オーディオ符号化データを抽出し、オーディオ復号部１０３、オーディオＰＴＳ取得部１０８に転送するものである。【００４３】
オーディオ復号部１０３は、オーディオ符号化データを復号するものである。
ビデオ復号部１０４は、ビデオ符号化データを復号するものである。
オーディオＰＴＳ取得部１０８は、多重分離部１０２で抽出されたオーディオＰＴＳを取得するものである。
オーディオＰＴＳ保持部１０９は、オーディオＰＴＳ取得部１０８で取得したオーディオＰＴＳを保持するものである。【００４４】
オーディオＰＴＳ比較部１１０は、オーディオＰＴＳ取得部１０８で取得したＰＴＳとオーディオＰＴＳ保持部１０９に保持されているオーディオＰＴＳとを比較するものである。
ビデオＰＴＳ取得部１０５は、多重分離部１０２で抽出されたビデオＰＴＳを取得するものである。【００４５】
ビデオＰＴＳ保持部１０６は、ビデオＰＴＳ取得部１０５で取得したビデオＰＴＳを保持するものである。
ビデオＰＴＳ比較部１０７は、ビデオＰＴＳ取得部１０５で取得したビデオＰＴＳとビデオＰＴＳ保持部１０６に保持されているビデオＰＴＳとを比較するものである。
同期制御部１１１は、各構成要素の動作タイミングを制御するものである。【００４６】
リファレンスクロック部１１２は、システム内の基準クロックであるシステムタイムクロック（以下、ＳＴＣ）を管理するものである。
（１−２．データ）
ここで、図２を用いて、ＭＰＥＧ２−ＴＳストリームのデータ構造を説明する。図２において、５０１はＭＰＥＧ２−ＴＳストリームである。ＭＰＥＧ２−ＴＳストリーム５０１は、１８８バイト固定長の複数のＴＳパケットから構成される。ＭＰＥＧ２−ＴＳパケット（TS Packet）５０２はヘッダ（TS Header）５０３とペイロード（Payload）５０４とから成る。【００４７】
ヘッダ５０３はＭＰＥＧ２−ＴＳのパケット５０２の先頭を示すシンクワード（Sync Word）５０５と、ＭＰＥＧ２−ＴＳパケット５０２内のデータ識別しＰＩＤ５０６と、ペイロード５０６が有効かどうか示すアダプレーションフィールドコントロール（Adaptation Field Control）５０７と、アダプテーションフィールド（Adaptation Field）５０８と、その他の制御フラグ（図示せず）から構成される。図３に示すようにＰＥＳパケットは、同一のＰＩＤ値６０１、６０２を持つ複数の固定長ＴＳパケットに分かれて転送される。ここで、図３を用いて、ＰＥＳパケットのデータ構造を説明する。ＰＥＳパケット７０１は、ＰＥＳパケットの先頭を示すパケットスタートコードプリフィックス（Packet Start Code Prefix）７０２と、ＰＥＳパケットデータ７０６に含まれるストリームを識別するためのストリームＩＤ（Stream id）７０３と、ＰＥＳパケットの長さを示すＰＥＳパケット長（PES Packet Length）７０４と、ＰＥＳヘッダ（PES Header）７０５と、ストリームデータが格納されるＰＥＳパケットデータ（PES Packet Data）７０６とから構成される。【００４８】
さらに、ＰＥＳヘッダ７０５には、オプションフィールド（Option fields）７０７とその他の制御フラグ等（図示せず）から構成される。このオプションフィールド７０７内には、ＰＥＳパケット７０１に含まれるストリームの再生時刻情報であるＰＴＳ７０８が格納されている。また、ＰＥＳパケットデータ７０６には、符号化データが格納されている。【００４９】
ここでいう復号処理は、ビデオにおいて、例えば、ＭＰＥＧ４−ＡＶＣ／Ｈ．２６４方式やＭＰＥＧ２／４方式の画像復号化処理が行われ、オーディオにおいて、例えば、２３Ｃなどの復号処理が行われる。
（１−３．動作）
図５、図６及び図７は本実施の形態１による同期再生装置１００におけるエントリポイント再生開始の動作手順を示すフローチャートであり、以下、図５、図６及び図７のフローチャートに従って、再生開始までの動作を詳しく説明する。【００５０】
まず、図５に示す動作は、再生開始指示のあったエントリポイントに対応するビデオフレームを検索し、検索した結果、当該エントリポイントに対応するビデオフレームが欠落していた場合に、当該ビデオフレームの近辺の最適なフレームを決定する動作である。ここで、この最適なビデオフレームのことを「フェイルセーフデータ」と呼ぶ。
外部からビデオ用エントリポイント値が設定されると、ビデオフレーム出力完了フラグが“０”にクリアされて処理が開始する。【００５１】
まず、ステップＳ２０１にて、転送部１０１に対してストリーム供給要求を出す。ここで、この要求を受けて、転送部１０１は、エントリポイントを含んだＭＰＥＧ２−ＴＳ（以下、多重ストリーム）を多重分離部１０２への転送を行う。多重分離部１０２は、バッファを持っており、多重ストリームはそのバッファに格納される。転送部１０１は、多重分離部１０２が持つバッファのオーバーフロー管理も行い、オーバーフローしそうな場合は、多重ストリームの転送を停止し、バッファの空きがでた時点で多重ストリームの転送を再開する。バッファは、以下に記述するオーディオフレームのスキップ処理、復号処理またはビデオフレームのデコード処理によって消費されていくものとする。【００５２】
次いで、ステップＳ２０２にて、多重分離部１０２は、先頭ＰＥＳパケットを検出する。ここで、先頭ＰＥＳパケットは、入力されたストリームにおいてＰＴＳが存在する最初のＰＥＳパケットのことを示す。
次いで、ステップＳ２０３にて、多重分離部１０２は、ビデオ符号化データとビデオＰＴＳを抽出し、ビデオ符号化データを、ビデオ復号部１０４へ転送し、ビデオＰＴＳを、ビデオＰＴＳ取得部１０５へ転送する。【００５３】
次いで、ステップＳ２０４にて、ビデオＰＴＳ取得部１０５は、多重分離部１０２から転送されたＰＴＳを同期制御部１１１へ転送すると同時に、ビデオＰＴＳ保持部１０６へ転送する。
次いで、ステップＳ２０５にて、同期制御部１１１は、外部から指定されたエントリポイント値とビデオＰＴＳ取得部１０５で取得した現ＰＴＳとの比較を行い、エントリポイントに相当するビデオフレームかどうかを判断する。エントリポイントに相当するビデオフレームと判定された場合は、後述するステップＳ２０６に移る。【００５４】
エントリポイントに相当するビデオフレームと判定されなかった場合は、後述するステップＳ２０８に移る。
ここで、エントリポイント判定は次の条件式である（数１）を用いる。（数１）において、ＥＰｖ１は外部から設定されたエントリポイントを、Ｔｖ１はフレーム単位時間、ＰＴＳｎｖ１はステップＳ２０３にて抽出されたビデオＰＴＳを示す。Ｔｖ１はビデオフレームの１フレーム単位時間を使用する。例えば、１フレーム単位時間は、１５ｆｐｓで６６ｍｓ、３０ｆｐｓで３３ｍｓとなる。ただし、この数式はあくまで例であり、これに限定されるものではない。【００５５】
（数１）
ＥＰｖ１−１／２×Ｔｖ１＜ＰＴＳｎｖ１≦ＥＰｖ１＋１／２×１／２×Ｔｖ１
エントリポイント値と現ＰＴＳが一致した場合（ステップＳ２０５：ＹＥＳ）、ステップＳ２０６にて、同期制御部１１１は、ビデオ復号部１０４に対して復号許可信号を通知し、ビデオ復号部１０４は、同期制御部１１１からの復号許可信号によりビデオ符号化データの復号処理を行う。復号化されたビデオフレームは、ビデオ復号部１０４内のフレームバッファに格納される。【００５６】
次いで、ステップＳ２０７にて、ステップ２０６でのビデオの復号処理の完了後、ビデオフレームの出力準備完了フラグを立てる。
一方、エントリポイント値と現ＰＴＳが一致しない場合（ステップＳ２０５：ＮＯ）、ステップＳ２０８にて、ビデオＰＴＳ比較部１０７は、ビデオＰＴＳ取得部１０５で取得されたＰＴＳ（以下、現ＰＴＳ）とビデオＰＴＳ保持部１０６で保持された前回のビデオフレームにおけるＰＴＳ（以下、前ＰＴＳ）のギャップ判定を行う。ギャップ判定には次の条件式である（数２）を用いる。この条件式が成立する場合、後述するステップＳ２０９に移る。逆にギャップと判定されない場合、後述するステップＳ２１０に移る。なお、この処理は、最初のビデオフレームにおいては、ビデオＰＴＳ保持部１０６には前ＰＴＳは保持されていないため行わない。（数２）において、Ｘｖ１は外部から設定される閾値でギャップと判断するための値である。Ｘｖ１は、フレーム周期より大きく与えられるのが望ましい。【００５７】
（数２）
現ＰＴＳ値−前ＰＴＳ値＜０  または、現ＰＴＳ値-前ＰＴＳ値＞Ｘｖ１
ギャップ判定において条件式（２）が成立する場合（ステップＳ２０８：ＹＥＳ）、ステップＳ２０９にて、ギャップを検出したビデオフレームは、フェイルセーフデータであるとし、ステップＳ２０６に移る。【００５８】
一方、ギャップ判定において条件式（２）が成立しない場合（ステップＳ２０８：ＮＯ）、ステップＳ２１０にて、ビデオ復号部１０４は、ビデオＰＴＳ比較部１０７からの指示により、ビデオ符号化データの復号処理を行い、ステップＳ２１１に移る。
次いで、ステップＳ２１１にて、ビデオＰＴＳ保持部１０６は、現ＰＴＳ値を前ＰＴＳとして置き換える。つまり、現ＰＴＳを次のビデオフレームのギャップ処理で使用するため、前ＰＴＳとして保存する。その後、ステップＳ２０３の処理に移り処理を継続する。【００５９】
次に、図５に示す動作は、再生開始指示のあったエントリポイントに対応するオーディオフレームを検索し、検索した結果、当該エントリポイントに対応するオーディオフレームが欠落していた場合に、当該ビデオフレームの近辺の最適なフレームを決定する動作である。ここで、この最適なオーディオフレームのことを「フェイルセーフデータ」と呼ぶ。【００６０】
処理が開始されると、外部からオーディオ用エントリポイント値が設定され、オーディオフレーム出力完了フラグが“０”にクリアされる。
まず、ステップＳ３０１にて、転送部１０１に対してストリーム供給要求を出す。この要求を受けて、転送部１０１は、エントリポイントを含んだ多重ストリームを多重分離部１０２への転送を行う。なお、ここまでの処理は、ビデオフレームの場合と同様な処理である。【００６１】
次いで、ステップＳ３０２にて、多重分離部１０２は、先頭ＰＥＳパケットとして検出する。ここで、先頭ＰＥＳパケットというのは、入力されたストリームのＰＴＳが存在する最初のＰＥＳパケットのことを示す。
次いで、ステップＳ３０３にて、多重分離部１０２は、オーディオ符号化データとオーディオＰＴＳを抽出し、オーディオ符号化データは、オーディオ復号部１０３へ転送され、オーディオＰＴＳは、オーディオＰＴＳ取得部１０８へ転送される。【００６２】
次いでステップＳ３０４にて、オーディオＰＴＳ取得部１０８は、多重分離部１０２から転送されたＰＴＳを同期制御部１１１へ転送するのと同時に、オーディオＰＴＳ保持部１０９へ転送する。
次いでステップＳ３０５にて、同期制御部１１１は、外部から指定されたエントリポイント値とオーディオＰＴＳ取得部１０８で取得した現ＰＴＳとの比較を行い、エントリポイントに相当するオーディオフレームかどうかを判断する。エントリポイントに相当するオーディオフレームと判定された場合は、後述するステップＳ３０６に移る。【００６３】
エントリポイントに相当するオーディオフレームと判定されなかった場合は、後述するステップＳ３０８に移る。
ここで、エントリポイント判定は次の条件式である（数３）を用いる。（数３）において、ＥＰａ１は外部から設定されたエントリポイントを、Ｔａ１はフレーム単位時間、ＰＴＳｎａ１はステップＳ３０３で抽出されたオーディオＰＴＳを示す。Ｔａ１はオーディオフレームの１フレーム単位時間を使用する。例えば、ＡＡＣ２４ｋＨｚの場合、４２ｍｓ、ＡＡＣ４８ｋＨｚの場合、２２ｍｓが与えられる。ただし、この数式はあくまで例であり、これに限定されるものではない。【００６４】
（数３）
ＥＰａ１−１／２×Ｔａ１＜ＰＴＳｎａ１≦ＥＰａ１＋１／２×１／２×Ｔａ１
エントリポイント値と現ＰＴＳが一致した場合（ステップＳ３０５：ＹＥＳ）、ステップＳ３０６にて、同期制御部１１１は、オーディオ復号部１０３に対して復号許可信号を通知し、オーディオ復号部１０３は、同期制御部１１１からの復号許可信号によりオーディオ符号化データの復号処理を行う。復号化されたオーディオフレームは、オーディオ復号部１０３内のフレームバッファに格納される。【００６５】
次いで、ステップＳ３０７にて、ステップＳ３０６でのオーディオの復号処理の完了後、オーディオフレームの出力準備完了フラグを立てる。
一方、エントリポイント値と現ＰＴＳが一致しない場合（ステップＳ３０５：ＮＯ）、ステップＳ３０８にて、オーディオＰＴＳ比較部１１０は、オーディオＰＴＳ取得部１０８で取得されたＰＴＳ（以下、現ＰＴＳ）とオーディオＰＴＳ保持部１０９で保持された前回のオーディオフレームにおけるＰＴＳ（以下、前ＰＴＳ）のギャップ判定を行う。ギャップ判定は次の条件式である（数４）を用いる。この条件式が成立する場合、後述するステップＳ３０９に移る。逆にギャップと判定されない場合、後述するステップＳ３１０に移る。なお、この処理は、最初のオーディオフレームにおいては、オーディオＰＴＳ保持部１０９には前ＰＴＳは保持されていないため行わない。Ｘａ１は外部から設定される閾値で、ギャップと判断するための値である。Ｘａ１は、フレーム周期より大きく与えられるのが望ましい。【００６６】
（数４）
現ＰＴＳ値−前ＰＴＳ値＜０  または、現ＰＴＳ値−前ＰＴＳ値＞Ｘａ１
ギャップ判定において条件式（４）が成立する場合（ステップＳ３０８：ＹＥＳ）、ステップＳ３０９にて、ギャップを検出したオーディオフレームは、フェイルセーフデータであるとし、ステップＳ３０６に移る。【００６７】
一方、ギャップ判定において条件式（４）が成立しない場合（ステップＳ３０８：ＮＯ）、ステップＳ３１０にて、オーディオ復号部１０３は、オーディオＰＴＳ比較部１１０からの指示により、オーディオ符号化データのスキップ処理を行い、ステップＳ３１１に移る。
また、ステップＳ３１１にて、ビデオＰＴＳ保持部１０９は、現ＰＴＳ値と前ＰＴＳを置き換える。つまり、現ＰＴＳを次のオーディオフレームのギャップ処理で使用するため、前ＰＴＳとして保存する。以下、ステップＳ３０３の処理に移り処理を継続する。【００６８】
次に、図７を用いて同期制御部１１１においてビデオフレーム、オーディオフレームの開始データを決定してから再生までの動作を説明する。
ステップＳ４０１にて、ビデオフレームとオーディオフレームがともに出力準備完了になるまで待ち続ける。ビデオフレームとオーディオフレームがともに出力準備完了した場合、ステップＳ４０２に移る。【００６９】
次いで、ステップＳ４０２において、ビデオフレーム、オーディオフレームがともにフェイルセーフデータとなった場合、後述するステップＳ４０５へ移る。逆にそうでないならば、後述するステップＳ４０３へ移る。
フェイルセーフデータでないフレームがある場合（ステップＳ４０２：ＮＯ）で、ステップＳ４０３において、オーディオフレームのみフェイルセーフデータと判定された場合、後述するステップＳ４０８へ移る。逆にそうでないならば、後述するステップＳ４０４へ移る。【００７０】
ステップＳ４０４において、ビデオフレームのみフェイルセーフデータと判定された場合、後述するステップＳ４０６へ移る。逆にそうでないならば、後述するステップＳ４０５へ移る。
ビデオフレームとオーディオフレームともにフェイルセーフデータであった場合（ステップＳ４０２：ＹＥＳ）、またはビデオフレームとオーディオフレームともにフェイルセーフデータではない場合（ステップＳ４０４：ＮＯ）、ステップＳ４０５において、出力準備完了したフレームのオーディオＰＴＳとビデオＰＴＳとの比較を行い、オーディオＰＴＳ値≦ビデオのＰＴＳ値が成立する場合、オーディオマスタで開始すると判断し、後述するステップＳ４０６へ移る。逆に、オーディオのＰＴＳ値≦ビデオのＰＴＳ値が成立しない場合、ビデオマスタで開始すると判断し、後述するステップＳ４０８へ移る。【００７１】
オーディオマスタで開始した場合（ステップＳ４０５：ＹＥＳ）、ステップＳ４０６において、同期制御部１１１は、オーディオ復号部１０３に再生指示を出し、同時に、オーディオのＰＴＳでリファレンスクロック部１１２の補正を行う。なお、オーディオのＰＴＳの補正処理は、オーディオ再生の出力タイミングであるフレーム周期で行う。
次いで、ステップＳ４０７において、同期制御部１１１は、ビデオのＰＴＳとリファレンスクロックで取得したＳＴＣの差分値から同期の合わせこみを行う。ＰＴＳとＳＴＣが一致したと判定された場合、ビデオ復号部１０４に対してビデオフレームの再生指示を出す。【００７２】
一方、ビデオマスタで開始した場合（ステップＳ４０５：ＮＯ）、ステップＳ４０８において、同期制御部１１１は、ビデオ復号部１０４に再生指示を出し、同時に、ビデオのＰＴＳでリファレンスクロック部１１２の補正を行う。なお、ビデオのＰＴＳの補正処理は、ビデオ再生の出力タイミングであるフレーム周期で行う。
次いで、ステップＳ４０９において、同期制御部１１１は、オーディオのＰＴＳとリファレンスクロックで取得したＳＴＣの差分値から同期の合わせこみを行う。ＰＴＳとＳＴＣの差分が一致したと判定された場合、オーディオ復号部１０３に対してオーディオフレームの再生指示を出す。【００７３】
以上のように、本発明の実施の形態１による同期再生装置１００によれば、再生開始時、ストリームのデータ抜けやＰＴＳのビット誤りによる不連続が発生しても、オーディオフレームまたはビデオフレームのＰＴＳのギャップを検出し、エントリポイント検索処理を停止して、エントリポイントに対応するフレームの近辺の最適なフレーム（フェイルセーフデータ）を決定して、当該最適なフレームからの再生開始ができる処理が可能となる。
（２．実施の形態２）
次に、本発明の実施の形態２について説明する。【００７４】
実施の形態２では、エントリポイントと対応するビデオフレーム及びオーディオフレームの検索を行う際、検索に使用する上限時間を決めておき、当該上限時間の経過後はタイムアウトとなるようになっている点で、実施の形態１とは異なる。
以下、実施の形態２について、実施の形態１と異なる点を中心に説明する。
（２−１．構成）
図８は実施の形態２に係る同期再生装置８００の構成を示す図である。【００７５】
同期再生装置８００は、転送部８０１、多重分離部８０２、オーディオ復号部８０３、オーディオＰＴＳ取得部８０８、オーディオＰＴＳ保持部８０９、オーディオＰＴＳ比較部８１０、ビデオ復号部８０４、ビデオＰＴＳ取得部８０５、ビデオＰＴＳ保持部８０６、ビデオＰＴＳ比較部８０７、同期制御部８１１、リファレンスクロック部８１２、オーディオ時間管理部８１３、及びビデオ時間管理部８１４を備える。【００７６】
転送部８０１、多重分離部８０２、オーディオ復号部８０３、オーディオＰＴＳ取得部８０８、オーディオＰＴＳ保持部８０９、オーディオＰＴＳ比較部８１０、ビデオ復号部８０４、ビデオＰＴＳ取得部８０５、ビデオＰＴＳ保持部８０６、ビデオＰＴＳ比較部８０７、同期制御部８１１、及びリファレンスクロック部８１２は、それぞれ、実施の形態１に係る同期再生装置１００における、転送部１０１、多重分離部１０２、オーディオ復号部１０３、オーディオＰＴＳ取得部１０８、オーディオＰＴＳ保持部１０９、オーディオＰＴＳ比較部１１０、ビデオ復号部１０４、ビデオＰＴＳ取得部１０５、ビデオＰＴＳ保持部１０６、ビデオＰＴＳ比較部１０７、同期制御部１１１、及びリファレンスクロック部１１２と同様の機能を有する。【００７７】
オーディオ時間管理部８１３は、予め設定していた時間になった際に同期制御部８１１にオーディオタイムアウト信号を通知するものである。
ビデオ時間管理部８１４は、予め設定していた時間になった際に同期制御部８１１にビデオタイムアウト信号を通知するものである。
オーディオ時間管理部８１３、ビデオ時間管理部８１４に設定できる時間は個別に与えることが可能である。
（２−２．動作）
図９は本実施の形態２における、エントリポイントに対応するフレーム検索時のタイムアウト処理動作を示すフローチャートである。【００７８】
なお、ビデオフレームの開始データ決定までの動作は実施の形態１の図５で示した動作と同様である。
オーディオフレームの開始データ決定までの動作は実施の形態１の図６で示した動作と同様である。また、ビデオフレーム、オーディオフレームの開始データを決定してから再生までの動作は実施の形態１の図７で示した動作と同様である。【００７９】
図９に示す動作は、図５〜７に示す動作に付随して実行される。
ここで、ビデオ時間管理部８１４に設定していた時間をＴｅｖ、オーディオ時間管理部８１３に設定していた時間をＴｅａとする。時間Ｔｅｖ、時間Ｔｅａは、転送されるストリームに対して、エントリポイントと一致するフレームを十分に検出可能な時間が与えられているものとする。【００８０】
ステップＳ９０１にて、同期制御部８１１がオーディオ時間管理部８１３からタイムアウト信号を受信した場合（ステップＳ９０１：ＹＥＳ）、後述するステップＳ９０２に移り、逆にそうでない場合は、後述するステップＳ９０４に移る。
ステップＳ９０２では、同期制御部８１１がビデオフレームの出力準備完了フラグが立っていると判定したならば、後述するステップＳ９０３に移り、そうでないならば処理を終了する。【００８１】
ビデオフレームの出力準備が完了しているのであれば（ステップＳ９０２：ＹＥＳ）、ステップＳ９０３において、同期制御部８１１は、ビデオ復号部８０４に再生指示を出し、同時に、ビデオＰＴＳでリファレンスクロック部８１２の補正を行う。なお、ビデオＰＴＳの補正処理は、ビデオ再生の出力タイミングであるフレーム周期で行う。
オーディオ時間管理部８１３からタイムアウト信号は受信していない（ステップＳ９０１：ＮＯ）が、ステップＳ９０４にて、同期制御部８１１からタイムアウト信号を受信した場合、後述するステップＳ９０５に移り、逆にそうでないならば処理は終了する。【００８２】
ステップＳ９０５では、同期制御部８１１がオーディオの出力準備完了フラグが立っていると判定したならば、後述するステップＳ９０６に移り、そうでないならば処理を終了する。
次いで、ステップＳ９０６において、同期制御部８１１は、オーディオ復号部８０３に再生指示を出し、同時に、オーディオＰＴＳでリファレンスクロック部８１２の補正を行う。なお、オーディオＰＴＳの補正処理は、オーディオ再生の出力タイミングであるフレーム周期で行う。【００８３】
以上のように、本発明の実施の形態２による同期再生装置によれば、エントリポイントと一致するフレームの検索の際に上限時間をオーディオフレームとビデオフレームで個別管理することで、再生開始時、片方のみのデータしか存在しない場合、開始データ検索時間の長いほうに影響を受けることなくフレームの出力することが可能である。例えば、オーディオフレームの開始データ検索時間＜ビデオフレームの開始データ検索時間の場合、ビデオフレームの開始データ発見後、オーディオフレーム側の上限時間経過後に出力することが可能である。
（３．実施の形態３）
次に、本発明の実施の形態３について説明する。【００８４】
実施の形態３では、エントリポイントと対応するビデオフレーム及びオーディオフレームの検索を行う際、ストリームに含まれるＰＣＲ（後述する）を利用する点で、実施の形態１とは異なる。
以下、実施の形態３について、実施の形態１と異なる点を中心に説明する。
（３−１．構成）
図１０は実施の形態３による同期再生装置１０００の構成を示す図である。【００８５】
同期再生装置１０００は、転送部１００１、不連続検出部１００２、多重分離部１００３、オーディオ復号部１００４、オーディオＰＴＳ取得部１００５、オーディオＰＴＳ保持部１００６、オーディオＰＴＳ比較部１００７、ビデオ復号部１００８、ビデオＰＴＳ取得部１００９、ビデオＰＴＳ保持部１０１０、ビデオＰＴＳ比較部１０１１、同期制御部１０１２、及びリファレンスクロック１０１３を備える。【００８６】
転送部１００１、多重分離部１００３、オーディオ復号部１００４、オーディオＰＴＳ取得部１００５、オーディオＰＴＳ保持部１００６、オーディオＰＴＳ比較部１００７、ビデオ復号部１００８、ビデオＰＴＳ取得部１００９、ビデオＰＴＳ保持部１０１０、ビデオＰＴＳ比較部１０１１、同期制御部１０１２、及びリファレンスクロック１０１３は、それぞれ、実施家の形態１に係る同期再生装置１００における、転送部１０１、多重分離部１０２、オーディオ復号部１０３、オーディオＰＴＳ取得部１０８、オーディオＰＴＳ保持部１０９、オーディオＰＴＳ比較部１１０、ビデオ復号部１０４、ビデオＰＴＳ取得部１０５、ビデオＰＴＳ保持部１０６、ビデオＰＴＳ比較部１０７、同期制御部１１１、及びリファレンスクロック部１１２と同様の機能を有する。【００８７】
不連続検出部１００２は、ＭＰＥＧ２−ＴＳストリームに付随するＰＣＲ（後述する）の不連続性を検出するものである。不連続検出部１００２は、所定時間毎に送られてくるＰＣＲに対して、現ＰＣＲと前ＰＣＲとの差分を比較することで不連続を検出し、不連続を検出したときのＰＣＲ値を、ビデオＰＴＳ比較部１０１１及びオーディオＰＴＳ比較部１００７に通知する。また、図示しないが不連続検出部１００２はバッファを有しており、不連続を検出したときのＰＣＲ値を当該バッファで保持する。
（３−２．データ）
ここで、ＭＰＥＧ２−ＴＳストリームに付随するＰＣＲについて、図１２を用いて説明する。【００８８】
ＭＰＥＧ２−ＴＳストリームにおいて、ＳＴＣの時間に合わすために、所定時間ごとに、ＰＣＲ（Program Clock Reference）が送られる。ＴＳパケット５０１においてアダプテーションフィールド５０８が含まれているものがある。アダプテーションフィールド５０８は、個別ストリームに関する付加情報を伝送するもので、さらにアダプテーションフィールド５０８内のオプションフィールド（Option Field）５０９に、６バイトのＰＣＲが配される。
（３−３．動作）
図１２及び図１３は本実施の形態３による同期再生装置１０００におけるエントリポイント再生開始の動作手順を示すフローチャートであり、以下、図１２及び図１３のフローチャートに従って、再生開始までの動作を詳しく説明する。【００８９】
まず、図１２に示す動作は、再生開始指示のあったエントリポイントに対応するビデオフレームを検索し、検索した結果、当該エントリポイントに対応するビデオフレームが欠落していた場合に、当該ビデオフレームの近辺の最適なフレームを決定する動作である。ここで、この最適なビデオフレームのことを「フェイルセーフデータ」と呼ぶ。
外部からビデオ用エントリポイント値が設定され、ビデオフレーム出力完了フラグが“０”クリアされて処理が開始する。【００９０】
まず、ステップＳ１１０１にて、転送部１００１に対してストリーム供給要求を出す。ここで、この要求を受けて、転送部１００１は、エントリポイントを含んだ多重ストリームを不連続検出部１００２への転送を行う。多重分離部１００３は、バッファを持っており、多重ストリームはそのバッファに格納される。転送部１００１は、多重分離部１００３が持つバッファのオーバーフロー管理も行い、オーバーフローしそうな場合は、多重ストリームの転送を停止し、バッファの空きがでた時点で多重ストリームの転送を再開する。バッファは、以下に記述するオーディオフレームのスキップ処理、復号処理またはビデオフレームのデコード処理によって消費されていくものとする。【００９１】
次いで、ステップＳ１１０２にて、不連続検出部１００２は、多重ストリームのＴＳパケットのＰＣＲを検索していき不連続が発生した情報を保持する。なお、不連続の判定は、(数５）に示す。条件が成立した場合、後述するステップＳ１１０３に移る。条件が成立しない場合、後述するステップＳ１１０４に移る。(数５）においての、現ＰＣＲは、今回検出されたＴＳパケットにおけるＰＣＲ、前ＰＣＲは、前回検出されたＴＳパケットにおけるＰＣＲ、Ｙａは閾値である。Ｙａは、ＰＣＲ送出周期より大きく与えられるのが望ましい。【００９２】
（数５）
現ＰＣＲ値−前ＰＣＲ値＜０  または  現ＰＣＲ値−前ＰＣＲ値＞Ｙａ
現ＰＣＲと前ＰＣＲとが不連続である場合（ステップＳ１１０２：ＹＥＳ）、ステップＳ１１０３にて、不連続検出部１００２は、ＴＳパケットの不連続点であるＰＣＲを保持し、またビデオＰＴＳ比較部１０１１に転送する。また、不連続検出部１００２は、多重ストリームを多重分離部１００３に転送する。【００９３】
上述したステップＳ１１０２〜Ｓ１１０３におけるＰＣＲの取得及び判定処理は、転送部１００１からストリームが転送されるたびに実行される。
次いで、ステップＳ１１０４にて、多重分離部１００３は、転送されたＰＥＳパケットが先頭ＰＥＳパケットである場合は、先頭ＰＥＳパケットとして検出する。ここで、先頭ＰＥＳパケットというのは、入力されたストリームのＰＴＳが存在する最初のＰＥＳパケットのことを示す。なお、先頭ＰＥＳパケットに続くＰＥＳパケットについては、当該ステップＳ１１０４で検出はされずにステップＳ１１０５に移る。【００９４】
次いで、ステップＳ１１０５にて、多重分離部１００３は、ビデオ符号化データとビデオＰＴＳを抽出し、ビデオ符号化データは、ビデオ復号部１００８へ転送され、ビデオＰＴＳは、ＰＴＳ取得部１００９へ転送される。
次いで、ステップＳ１１０６にて、ビデオＰＴＳ取得部１００９は、多重分離部１００３から転送されたＰＴＳを同期制御部１０１２へ転送すると同時に、ビデオＰＴＳ保持部１０１０へ転送する。【００９５】
次いで、ステップＳ１１０７にて、同期制御部１０１２は、外部から指定されたエントリポイント値とビデオＰＴＳ取得部１００９が管理する現ＰＴＳを比較し、エントリポイントに相当するビデオフレームかどうかを判断する。エントリポイントに相当するビデオフレームと判定された場合は、後述するステップＳ１１０８に移る。
エントリポイントに相当するビデオフレームと判定されなかった場合は、後述するステップＳ１１１０に移る。【００９６】
ここで、エントリポイント判定は次の条件式である（数６）を用いる。つまり、この条件式が成立する場合、エントリポイントに相当するフレームとして判定する。この条件式において、ＥＰｖ３は外部から設定されたエントリポイントを、Ｔｖ３はフレーム単位時間、ＰＴＳｎｖ３はステップＳ１１０５にて抽出されたビデオＰＴＳを示す。Ｔｖ３はビデオフレームの１フレーム単位時間を使用する。例えば、１フレーム単位時間は、１５ｆｐｓで６６ｍｓ、３０ｆｐｓで３３ｍｓとなる。ただし、この数式はあくまで例であり、これに限定されるものではない。【００９７】
（数６）
ＥＰｖ３−１／２×Ｔｖ３＜ＰＴＳｎｖ１≦ＥＰｖ３＋１／２×１／２×Ｔｖ３
エントリポイント値と現ＰＴＳが一致した場合（ステップＳ１１０７：ＹＥＳ）、ステップＳ１１０８にて、同期制御部１０１２は、ビデオ復号部１００８に対して復号許可信号を通知し、ビデオ復号部１００８は、同期制御部１０１２からの復号許可指示によりビデオ符号化データの復号処理を行う。復号化されたビデオフレームは、ビデオ復号部１００８内のフレームバッファに格納される。【００９８】
次いで、ステップＳ１１０９にて、ステップ１１０８でのビデオの復号処理の完了後、ビデオフレームの出力準備完了フラグを立てる。
一方、エントリポイント値と現ＰＴＳが一致しない場合（ステップＳ１１０７：ＮＯ）、ステップＳ１１１０にて、ビデオＰＴＳ比較部１０１１は、ビデオＰＴＳ取得部１００９で取得されたＰＴＳ（以下、現ＰＴＳ）とビデオＰＴＳ保持部１０１０で保持された前回のビデオフレームにおけるＰＴＳ（以下、前ＰＴＳ）のギャップ判定を行う。ギャップ判定は次の条件式である（数７）を用いる。この条件式が成立する場合、ギャップを検出したフレームとして判定し、後述するステップＳ１１１１に移る。逆にギャップと判定されない場合、後述するステップＳ１１１３に移る。なお、この処理は、最初のビデオフレームにおいては、ビデオＰＴＳ保持部１０１０には前ＰＴＳは保持されていないため、行わない。Ｘｖ３は外部から設定される閾値で、ギャップと判断するための値である。Ｘｖ３は、フレーム周期より大きく与えられるのが望ましい。【００９９】
（数７）
現ＰＴＳ値−前ＰＴＳ値＜０  または、現ＰＴＳ値−前ＰＴＳ値＞Ｘｖ３
ギャップ判定において条件式（２）が成立する場合（ステップＳ１１１０：ＹＥＳ）、ステップＳ１１１１にて、ＰＴＳ比較部１０１１は、ギャップを検出したＰＴＳと不連続検出部１００２で保持されている（ステップＳ１１０３）ＰＣＲとを比較して条件式（数８）が成立した場合（ステップＳ１１１１：ＹＥＳ）、後述するステップＳ１１１３へ移り、成立しない場合、後述するステップＳ１１１２へ移る。Ｚは、ＴＳパケットにおけるＰＣＲの送出周期とオーディオフレームとビデオフレームのインタリーブを想定した値が望ましい。例えば、ワンセグ運用上では、ＭＰＥＧ２ーＴＳにおけるＰＣＲの送出周期は４００ｍｓ以内、オーディオフレームとビデオフレームのインタリーブ間隔は１．５秒程度なので、２秒程度の値を与えるのが妥当である。【０１００】
（数８）
−Ｚ＜ＰＣＲ−現ＰＴＳ値＜Ｚ
条件式（数８）が成立しない場合（ステップＳ１１１１：ＮＯ）、ステップＳ１１１２にて、ギャップを検出したビデオフレームは、フェイルセーフデータであるとし、ステップＳ１１０８に移る。【０１０１】
次いで、ステップ１１１３にて、ビデオ復号部１００８は、ビデオＰＴＳ比較部１０１１からの指示により、ビデオ符号化データの復号処理を行い、ステップＳ１１１４に移る。
次いで、ステップＳ１１１４にて、ビデオＰＴＳ保持部１０１０は、現ＰＴＳ値を前ＰＴＳとして置き換える。つまり、現ＰＴＳを次のビデオフレームのギャップ処理で使用するため、前ＰＴＳとして保存する。以下、ステップＳ１１０５の処理に移り処理を継続する。【０１０２】
次に、図１３に示す動作は、再生開始指示のあったエントリポイントに対応するオーディオフレームを検索し、検索した結果、当該エントリポイントに対応するオーディオフレームが欠落していた場合に、当該オーディオフレームの近辺の最適なフレームを決定する動作である。ここで、この最適なオーディオフレームのことを「フェイルセーフデータ」と呼ぶ。【０１０３】
処理が開始されると、外部からオーディオ用エントリポイント値が設定され、オーディオフレーム出力完了フラグが“０”クリアされる。
まず、ステップＳ１２０１にて、転送部１００１に対してストリーム供給要求を出す。この要求を受けて、転送部１００１は、エントリポイントを含んだ多重ストリームを不連続検出部１００２への転送を行う。【０１０４】
次いで、ステップＳ１２０２にて、不連続検出部１００２は、多重ストリームのＴＳパケットのＰＣＲを検索していき不連続が発生した情報を保持する。なお、不連続の判定は、（数５）に示す。条件が成立した場合、後述するステップＳ１２０３に移る。条件が成立しない場合、ステップＳ１２０４に移る。
現ＰＣＲと前ＰＣＲとが不連続である場合（ステップＳ１１０２：ＹＥＳ）、ステップＳ１２０３にて、不連続検出部１００２は、ＴＳパケットの不連続点であるＰＣＲを保持し、またオーディオ用ＰＴＳ比較部１００７に転送する。また、不連続検出部１００２は、多重ストリームを多重分離部１００３に転送する。【０１０５】
上述したステップＳ１２０２〜Ｓ１２０３におけるＰＣＲの取得及び判定処理は、転送部１００１からストリームが転送されるたびに実行される。
次いで、ステップＳ１２０４にて、多重分離部１００３は、転送されたＰＥＳパケットが先頭ＰＥＳパケットである場合は、先頭ＰＥＳパケットとして検出する。ここで、先頭ＰＥＳパケットというのは、入力されたストリームのＰＴＳが存在する最初のＰＥＳパケットのことを示す。なお、先頭ＰＥＳパケットに続くＰＥＳパケットについては、当該ステップＳ１２０４で検出はされずにステップＳ１２０５に移る。【０１０６】
次いで、ステップＳ１２０５にて、多重分離部１００３は、オーディオ符号化データとオーディオＰＴＳを抽出し、オーディオ符号化データは、オーディオ復号部１００４へ転送され、オーディオＰＴＳは、オーディオＰＴＳ取得部１００５へ転送される。
次いでステップＳ１２０６にて、オーディオＰＴＳ取得部１００５は、多重分離部１００３から転送されたＰＴＳを同期制御部１０１２へ転送するのと同時に、オーディオ保持部１００６へ転送する。【０１０７】
次いでステップＳ１２０７にて、同期制御部１０１２は、外部から指定されたエントリポイント値とオーディオＰＴＳ取得部１００５が管理する現ＰＴＳとの比較を行い、エントリポイントに相当するオーディオフレームかどうかを判断する。エントリポイントに相当するオーディオフレームと判定された場合は、後述するステップＳ１２０８に移る。
逆にエントリポイントに相当するフレームと判定されなかった場合（ステップＳ１２０７：ＮＯ）は、後述するステップＳ１２１０に移る。【０１０８】
ここで、エントリポイント判定は次の条件式である（数９）を用いる。（数９）において、ＥＰａ３は外部から設定されたエントリポイントを、Ｔａ３はフレーム単位時間、ＰＴＳｎａ３はステップ１２０６で抽出されたオーディオＰＴＳを示す。Ｔａ３はオーディオフレームの１フレーム単位時間を使用する。例えば、ＡＡＣ２４ｋＨｚの場合、４２ｍｓ、ＡＡＣ４８ｋＨｚの場合、２２ｍｓが与えられる。ただし、この数式はあくまで例であり、これに限定されるものではない。【０１０９】
（数９）
ＥＰａ３−１／２×Ｔａ３＜ＰＴＳｎａ３≦ＥＰａ３＋１／２×１／２×Ｔａ３
エントリポイント値と現ＰＴＳが一致した場合（ステップＳ１２０７：ＹＥＳ）、ステップＳ１２０８にて、同期制御部１０１２は、オーディオ復号部１００４に対して復号許可信号を通知し、オーディオ復号部１００４は、同期制御部１０１２からの復号許可信号によりオーディオ符号化データの復号処理を行う。復号化されたオーディオフレームは、オーディオ復号部１００４内のフレームバッファに格納される。【０１１０】
ステップＳ１２０９にて、ステップ１２０８でのオーディオの復号処理の完了後、オーディオフレームの出力準備完了フラグを立てる。
一方、エントリポイント値と現ＰＴＳが一致しない場合（ステップＳ１２０７：ＮＯ）、ステップＳ１２１０にて、オーディオＰＴＳ比較部１００７は、オーディオＰＴＳ取得部１００５で取得されたＰＴＳ（以下、現ＰＴＳ）とオーディオＰＴＳ保持部１００６で保持されたＰＴＳ（以下、前ＰＴＳ）のギャップ判定を行う。ギャップ判定は次の条件式である（数１０）を用いる。この条件式が成立する場合、ギャップを検出したオーディオフレームとして判定し、後述するステップＳ１２１１に移る。逆にギャップと判定されない場合、後述するステップＳ１２１３に移る。なお、この処理は、最初のオーディオフレームにおいては、ＰＴＳ保持部１００６には前ＰＴＳは保持されていないため行わない。Ｘａ３は外部から設定される閾値で、ギャップと判断するための値である。Ｘａ３は、フレーム周期より大きく与えられるのが望ましい。【０１１１】
（数１０）
現ＰＴＳ値−前ＰＴＳ値＜０  または、現ＰＴＳ値−前ＰＴＳ値＞Ｘａ３
ギャップ判定において条件式（２）が成立する場合（ステップＳ１２１０：ＹＥＳ）、ステップＳ１２１１にて、オーディオＰＴＳ比較部１００７は、ギャップを検出したＰＴＳと不連続検出部１００２で保持されている（ステップＳ１２０３）ＰＣＲとを比較して条件（数８）が成立した場合（ステップＳ１２１１：ＹＥＳ）、後述するステップ１Ｓ２１２へ移り、成立しない場合、後述するＳ１２１３へ移る。【０１１２】
条件式（数８）が成立しない場合（ステップＳ１２１１：ＮＯ）、ステップＳ１２１２にて、ギャップを検出したオーディオフレームは、フェイルセーフデータであるとし、ステップＳ１２０８に移る。
次いで、ステップＳ１２１３にて、オーディオ復号部１００４は、オーディオＰＴＳ比較部１００７からの指示により、オーディオ符号化データのスキップ処理を行い、ステップＳ１２１４に移る。【０１１３】
次いで、ステップＳ１２１４にて、オーディオＰＴＳ保持部１００６は、現ＰＴＳ値と前ＰＴＳを置き換える。つまり、現ＰＴＳを次のオーディオレームのギャップ処理で使用するため、前ＰＴＳとして保存する。以下、ステップＳ１２０５の処理に移り処理を継続する。
なお、ビデオフレーム、オーディオフレームの開始データを決定してから再生までの動作は、実施の形態１における図７に示す動作と同様である。【０１１４】
以上のように、本発明の実施の形態３による同期再生装置によれば、ＰＣＲを利用してＴＳパケットの不連続検出させることで、ＴＳパケットのデータ抜けの不連続とＰＴＳのビット誤りによる不連続を区別することが可能となる。ＴＳパケットのデータ抜けによる不連続は、外部ブロック（例えば、上位ソフトウェア）で判断可能であるため、データ抜けの部分は、エントリポイントとして指定されないことが想定される。実施の形態３によれば、ＴＳパケットのデータ抜けの不連続は、開始データ検索処理を停止してフェイルセーフデータから再生することなく、検索処理を継続させることができる。
（４．実施の形態４）
次に、本発明の実施の形態４について説明する。【０１１５】
実施の形態４による同期再生装置は、実施の形態１と同様の構成を有しているが、ビデオフレームとオーディオフレームの再生中にフレーム欠損に係る処理を行う点で、実施の形態１と異なる。ここでは、図１に示した同期再生装置１００と同様の部分については説明を省略し、再生中の動作について重点的に説明する。
（４−１．構成）
以下、実施の形態１で説明した構成と異なる点について説明する。【０１１６】
再生中、まず、転送部１０１より転送される多重ストリームは、多重分離部１０２においてビデオＰＥＳデータとオーディオＰＥＳデータに分離される。ビデオＰＥＳデータはビデオＰＴＳと、ビデオ符号化データを抽出後、ビデオ復号部１０４とビデオＰＴＳ取得部１０５に転送される。また、オーディオＰＥＳデータはビデオＰＥＳ同様、オーディオＰＴＳと、オーディオ符号化データを抽出し、オーディオ復号部１０３、オーディオＰＴＳ取得部１０８に転送される。【０１１７】
オーディオ復号部１０３は、独自のクロックを持ってフレーム周期で動作しており、フレーム周期の先頭で１フレーム分の符号化データの取得を行い、同期制御部１１１からの制御信号の状態に応じて復号処理動作を決定する機能を有する。具体的には、同期制御部１１１からの制御信号が復号許可の場合は、復号処理を行って復号結果を出力する。制御信号が復号停止の場合は復号処理を停止し出力を停止する。また、制御信号が破棄の場合は、現フレームの符号化データを破棄、すぐさま次フレームのデータを取得し、次の同期制御部１１１からの制御信号の状態に応じて復号処理動作を決定する。【０１１８】
ビデオ復号部１０４も、オーディオ復号部１０３同様、独自のクロックを持ってフレーム周期で動作しており、フレーム周期の先頭で１フレーム分の符号化データの取得を行い、同期制御部１１１からの制御信号の状態に応じて復号処理動作を決定する機能を有する。具体的には、同期制御部１１１からの制御信号が復号許可の場合は復号処理を行って復号結果を出力し、同時に次のフレームのデータを取得する。制御信号が復号停止の場合は復号処理を停止し出力を停止する。さらに制御信号がデータ破棄の場合は、現フレームの符号化データをデコードした後に次フレームのデータを取得し、次の同期制御部１１１からの制御信号の状態に応じて復号処理動作を決定する。【０１１９】
ここで、データ破棄の場合もデコード処理を行うことの意味するところは以下の通りである。
ＭＰＥＧなどに代表される動画圧縮符号データの復号処理では、前フレームを参照しながら復号処理をする必要がある。そのため、復号処理せずしてフレームデータの破棄を行った場合、破棄したフレームの次のフレームが正常に復号できない可能性があるためである。【０１２０】
オーディオＰＴＳ取得部１０８は、多重分離部１０２から転送されたオーディオＰＴＳを取得し、オーディオ復号部１０３が符号化データを取得するタイミングで、オーディオＰＴＳを同期制御部１１１へ転送する機能を有する。
ビデオＰＴＳ取得部１０５は、多重分離部１０２から転送されたビデオＰＴＳを取得し、ビデオ復号部１０４が符号化データを取得するタイミングで、ビデオＰＴＳを同期制御部１１１へ転送する機能を有する。【０１２１】
同期制御部１１１では、オーディオＰＴＳ取得部１０８からオーディオＰＴＳを取得するとリファレンスクロック部１１２からリファレンスクロック（以下、ＳＴＣとも表記）を取得し、ＳＴＣとＰＴＳを比較することで、オーディオ復号部１０３に制御信号を送信する機能を有する。また、ビデオＰＴＳ取得部１０５からビデオＰＴＳを取得するとリファレンスクロック部１１２からＳＴＣを取得し、ＳＴＣとＰＴＳを比較することで、ビデオ復号部１０４に制御信号を送信する。【０１２２】
また、同期制御部１１１では、マスタとして動作しているデータのＰＴＳがＳＴＣに対し同期している判断した場合に、リファレンスクロックを補正するためのＰＴＳをリファレンスクロック部１１２へ転送する機能を有する。
さらに、同期制御部１１１では、現在のマスタがオーディオであるか、ビデオであるかを管理しているとともに、オーディオ、ビデオがそれぞれリファレンスクロックに対し同期しているか否かを示す同期制御状態を管理している。【０１２３】
リファレンスクロック部１１２は、同期制御部１１１から転送されたＰＴＳを受け内部クロックを補正する機能を有する。
（４−２．動作）
以下、再生中における、同期制御部１１１が行う同期制御処理について図１４を用いて説明を行う。尚、ここではビデオ符号化データの同期制御について説明するが、当然、同様の処理をオーディオ符号化データの復号処理に適用することも可能である。その場合、図１４においてビデオと表記されている部分はオーディオに、オーディオと表記されている部分はビデオに変換すればよい。【０１２４】
図１４に示すように、まず、同期制御部１１１へビデオＰＴＳ取得部１０５からビデオＰＴＳが転送されてきたタイミングで開始する。
同期制御部１１１へビデオＰＴＳ取得部１０５からビデオＰＴＳが転送されてくると、ステップＳ１６０１にてＰＴＳを取得する。
次いで、ステップＳ１６０２にてリファレンスクロック部１１２から現在の時刻であるＳＴＣを取得する。【０１２５】
次いで、ステップＳ１６０３にて次式（数１１）を判定する。
（数１１）
｜ＰＴＳ―ＳＴＣ｜＜ｔ１
ここでｔ１はシステムまたはデータごとに決定できる固定値である。
（数１１）を満たす場合（ステップＳ１６０３：ＹＥＳ）には、そのＰＴＳは同期していると判断し、後述のステップＳ１６０４へ移る。（数１１）を満たしていない場合（ステップＳ１６０３：ＮＯ）には、同期していないと判断し、後述のステップＳ１６０８以降の同期外れ処理へ移る。【０１２６】
ここで、ＰＥＳパケット内には、１パケット内に複数のオーディオフレーム、またはビデオフレームが存在する場合がある。この場合には、多重分離部１０２から送られてきたＰＴＳは、そのパケットの先頭のフレームｉに対応するものであるので、パケット内の２番目以降のフレームｉ＋１とｉ＋２についてはＰＴＳが存在しない。このような場合、ビデオＰＴＳ取得部１０５は、ＰＴＳが存在しないフレームに対し、ビデオフレーム内のフレームレートに関するパラメータあるいは、あらかじめ規定されたフレームレートを用いてＰＴＳ値を補間する。オーディオフレームにおいても同様で、オーディオＰＴＳ取得部１０８が、ＰＴＳが存在しないフレームに対し、オーディオフレーム内のフレームレートに関するパラメータあるいは、あらかじめ規定されたフレームレートを用いてＰＴＳ値を補間する。【０１２７】
尚、上記（数１１）の意味するところは以下の通りである。
ビデオフレームと同期を取るためには、ＳＴＣ＝ＰＴＳとなった瞬間に出力を開始することが必要であるが、リファレンスクロックの読み出し処理はソフトウェアで実現する場合には処理時間にばらつきが発生する可能性があるため、厳密にＳＴＣ＝ＰＴＳとなるＳＴＣをタイミングよく読み込むことは難しい。このため、同期制御部１１１がビデオ復号部１０４に復号許可を与える条件として、（数１１）を満足させることで、判断処理に冗長を持たせている。【０１２８】
（数１１）を満たす場合（ステップＳ１６０３：ＹＥＳ）、ステップＳ１６０４にてビデオ復号部１０４に対し、復号許可信号を送信する。これにより、ビデオ復号部１０４は復号処理を行い復号結果のオーディオ再生データの出力を行う。
次いで、ステップＳ１６０５にて、現在のリファレンスクロックのマスタを取得する。
次いで、ステップＳ１６０６にて、ビデオが現在のマスタであると判定された場合（ステップＳ１６０６：ＹＥＳ）は、リファレンスクロック部１１２へ同期と判定したＰＴＳ値を転送する。リファレンスクロック部１１２では、転送されたＰＴＳをもとに内部クロックの補正処理を行う。【０１２９】
ビデオがマスタではないと判定された場合（ステップＳ１６０６：ＮＯ）には、ステップＳ１６０８へ移行する。
次いで、ステップＳ１６０８にて、ＰＴＳがリファレンスクロックと同期状態であると判断されたため、後述する自走カウンタのクリアと、さらに同期制御状態を同期状態に遷移させ、同期制御処理を終了する。【０１３０】
一方、（数１１）を満たさない場合（ステップＳ１６０３：ＮＯ）、ステップＳ１６０９にて次式（数１２）が成り立つか否かを判定する。
（数１２）
０＜ＳＴＣ―ＰＴＳ＜ｔ２
ここでｔ２はシステムまたはデータごとに決定できる固定値である。【０１３１】
上記（数１２）を満たす場合（ステップＳ１６０９：ＹＥＳ）は、復号化しようとするフレームが再生時刻よりもすでに遅れていることを意味するため、当該フレームを破棄しすぐに次フレームの処理へ遷移することで遅れを取り戻す。すなわち、ステップＳ１６１０にてビデオ復号部１０４に対し、データ破棄を送信し、処理を終了する。
尚、再生時刻よりも既に遅れている場合、本実施例では１フレーム分のデータ破棄を復号部へ指示しているが、ＳＴＣに対する遅れ時間が大きい場合、複数フレーム分のデータ破棄を指示するようにしてもよい。【０１３２】
上記（数１２）を満たさない場合（ステップＳ１６０９：ＮＯ）は、後述するステップＳ１６１１へ移る。
ステップＳ１６１１では、次式（数１３）を判定する。
（数１３）
０＜（ＰＴＳ―ＳＴＣ）＜ｔ３
ここでｔ３はシステムまたはデータごとに決定できる固定値である。【０１３３】
上記（数１３）を満たす場合（ステップＳ１６１１：ＹＥＳ）は、復号化しようとするフレームが再生時刻よりも進んでいることを意味するため、当該フレームの復号化処理を停止させることで進みをなくす。すなわち、ステップＳ１６１２にてビデオ復号部１０４に対し、復号停止を送信する。
次いで、ステップＳ１６１３で、ＰＴＳとＳＴＣの差分時間分だけ待ちを行ったあと、ビデオ復号部１０４に対し、復号許可を送信する。【０１３４】
一方、上記（数１３）を満たさない場合（ステップＳ１６１１：ＮＯ）は、ＰＴＳが誤っているか不連続になっていると想定され、後述するステップＳ１６１４以降の自走処理へ移る。
自走処理では以下の処理を行う。
ステップＳ１６１４では、自走カウンタ値に対し次式（数１４）を判定する。【０１３５】
（数１４）
自走カウンタ＜Ｍ
ここで、自走カウンタとは、判定ステップＳ１６０３、ステップＳ１６０９、ステップＳ１６１１のいずれも満たされない場合に自走処理を行ったフレーム数をカウントするカウンタであり、開始時と判定ステップＳ１６０３が満たされた場合、すなわちＳＴＣとＰＴＳが同期していると判定された場合に０にクリアされるカウンタである。【０１３６】
また、Ｍはシステムまたはデータごとに決定できる固定値である。
（数１４）を満たす場合（ステップＳ１６１４：ＹＥＳ）は、ステップＳ１６１５にてビデオ復号部１０４に対し、復号許可信号を送信し、当該フレームの復号処理と出力処理を行う。
次いで、ステップＳ１６１６にて自走カウンタを１インクリメント行う。【０１３７】
次いで、ステップＳ１６２９にてビデオの同期制御状態を自走状態に遷移させ、同期制御処理を終了する。
一方、（数１４）を満たさない場合（ステップＳ１６１４：ＮＯ）は、ステップＳ１６１７以降の強制同期処理へ移る。
この自走カウンタ導入の意味するところは以下の通りである。【０１３８】
ＳＴＣとＰＴＳの差分が大きい場合、オーディオ、ビデオに時間的な不連続が発生したのか、ＰＴＳ値にエラーが混入されたのかの区別がつかない。そこで、ＳＴＣとＰＴＳの差分が大きいフレームが継続されている状態が、一定フレーム数（上記数式ではＭフレーム）未満の間はＰＴＳ値に誤りがあったと判断し自走処理を行う。しかし、一定フレーム数以上ＳＴＣとＰＴＳの差分が大きいフレームが継続された場合には、時間的な不連続が発生したと判断し強制同期処理へ移行する。【０１３９】
強制同期処理では以下の処理を行う。
まず、ステップＳ１６１７にて、ビデオの再生状態を強制同期状態に遷移させる。
次いで、ステップＳ１６１８にて現在のリファレンスクロックのマスタを取得する。
次いで、ステップＳ１６１９にて、ビデオが現在のマスタかどうかを判定する。
ビデオマスタであると判定された場合（ステップＳ１６１９：ＹＥＳ）、ステップＳ１６２０にてリファレンスクロック部１１２へＰＴＳ値を転送する。リファレンスクロック部１１２では、転送されたＰＴＳをもとに内部クロックの補正処理を行う。すなわち、マスタの場合における強制同期処理とはリファレンスクロックの補正を意味する。【０１４０】
次いで、ステップＳ１６２１にてビデオ復号部１０４に対し、復号許可を送信し処理を終了する。
一方、ビデオマスタでないと判定された場合（ステップＳ１６１９：ＮＯ）は、ステップＳ１６２２へ移る。
ステップＳ１６２２では、マスタの同期状態を取得する。【０１４１】
次いで、ステップＳ１６２３にてマスタの同期制御状態が同期状態かどうかを判定する。
同期状態ではない場合（ステップＳ１６２３：ＹＥＳ）、ステップＳ１６２４にてビデオ復号部１０４に対し、復号許可を送信し処理を終了する。
ここで、マスタの同期制御状態判定の意味するところは以下の通りである。【０１４２】
マスタが同期状態ではなく自走状態、または強制同期状態の場合は、マスタは同期が取れていない状態である。そのため、リファレンスクロックはマスタのＰＴＳによって補正されていないため、信頼できる状態ではない。そのため、マスタが同期状態になるまで待つ必要がある。
一方、同期状態の場合（ステップＳ１６２３：ＮＯ）、ステップＳ１６２５にて次式（数１５）を判定する。【０１４３】
（数１５）
ＰＴＳ＜ＳＴＣ
上記（数１５）を満たす場合（ステップＳ１６２５：ＹＥＳ）、すなわちＰＴＳよりＳＴＣの方が大きい場合は、ＰＴＳは遅れていると判断されるので、ステップＳ１６２６にてビデオ復号部１０４に対し、データ破棄を送信し、処理を終了する。【０１４４】
一方、（数１５）を満たさない場合（ステップＳ１６２５：ＮＯ）、すなわちＳＴＣよりＰＴＳの方が大きい場合は、ステップＳ１６２７にてビデオ復号部１０４に対し、復号停止を送信する。
次いで、ステップＳ１６２８で、ＰＴＳとＳＴＣの差分時間分だけ待ちを行ったあと、ビデオ復号部１０４に対し、復号許可を送信し、処理を終了する。【０１４５】
上記フローチャートにおける強制同期部分の詳細動作を図１５のタイミングチャートを用いて示す。
図１５はビデオストリーム、オーディオのストリームに時間的不連続が発生している場合に、本実施例を適用した場合のタイミングチャートである。
この図１５において、ビデオ再生データ、オーディオ再生データはフレーム単位で示され、各フレームに付記されている数字はＰＴＳを意味する。たとえば、映像フレーム１８０１におけるＰＴＳは４２である。また、図１５ではオーディオマスタ動作を例に挙げているため、オーディオの各フレームのＰＴＳ値によりリファレンスクロックは補正される。また、映像フレームの表示周期は５、音声フレームの表示周期は３であり、映像フレーム１８０１と映像フレーム１８０２、また、音声フレーム１８０３と音声フレーム１８０４の間に時間飛びが発生している。さらに、（数１３）における閾値ｔ３は、ビデオ、オーディオともに１０、（数１４）における自走カウンタの閾値Ｍをビデオに関しては５フレーム、オーディオに関しては３フレームとする。【０１４６】
まず、ビデオ、オーディオ両方の同期制御状態が同期状態で再生している状態において、映像フレーム１８０２にてビデオの不連続が発生する。このとき映像フレーム１８０２とリファレンスクロックの差分は７８であることから、（数１３）における閾値ｔ３＝１０を超えており、また、自走カウンタは０の状態のため、自走処理が行われる。
次に、音声フレーム１８０４において、オーディオの不連続が発生する。オーディオはマスタであるがビデオ同様、同期制御処理を行う。【０１４７】
音声フレーム１８０４とリファレンスクロックの差分は６６であることから、（数１３）における閾値ｔ３＝１０を超えており、また、自走カウンタは０のため、自走処理となる。
オーディオが自走処理の間、リファレンスクロックは補正されず、リファレンスクロック部では内部時計が自走している状態となる。【０１４８】
次に、音声フレーム１８０５にてオーディオの自走カウンタが３となるため、（数１４）を満たさず強制同期処理を行う。現在オーディオマスタであるため、強制同期処理の場合にはリファレンスクロックの補正処理を行う。これによりリファレンスクロックは１２６に補正される。
次に、映像フレーム１８０６での同期制御処理において、オーディオが同期状態に遷移しリファレンスクロックを補正したが、映像フレーム１８０６とリファレンスクロックの差分はまだ１２であり、（数１３）における閾値１０を超えているため、自走処理は継続される。【０１４９】
次に、映像フレーム１８０７にてビデオの自走カウンタが５となるため、（数１４）を満たさず強制同期を行う。映像フレーム１８０７においてＰＴＳとＳＴＣの差分は１２なので、映像フレーム１７０８の復号処理を停止し１２時間分待ちを行う。その間は映像フレーム１８０６が表示され続ける。１２時間分待った後、映像フレーム１８０７は復号され表示される。以後、ビデオはリファレンスクロックと同期しながら再生される。【０１５０】
以上のように、本発明の実施の形態４による同期再生装置によれば、受信電波が悪い状況下などで記録された多重化ストリームにおいて、オーディオストリーム、またはビデオストリーム、あるいはオーディオビデオ両方のストリームに時間的不連続が発生した場合でも、再生を継続でき、さらに不連続点を通過したのちにオーディオフレーム及びビデオフレームの同期再生への復帰を早くすることができる。【０１５１】
さらに、自走カウンタを設け、閾値に応じて自走処理か強制同期処理かを判断できるようにすることにより、伝送エラーなどによるＰＴＳに誤りが混入され、同期が取れない状態であっても不連続と判断せず自走させることでオーディオ、ビデオを途切れなく連続的に再生させることが可能である。
（５．実施の形態５）
次に、本発明の実施の形態５について説明する。【０１５２】
実施の形態５による同期再生装置は、実施の形態４と同様の構成を有しており、基本的な動作は同様であるが、再生中の同期制御において、強制同期処理に変更を加えた点で実施の形態４と異なる。ここでは、実施の形態４と異なる動作について重点的に説明する。
（４−１．動作）
以下、図１６に基づいて実施の形態５における同期生再生装置の動作について説明する。【０１５３】
ここではビデオ符号化データの同期制御について説明するが、当然、同様の処理をオーディオ符号化データの復号処理に適用することも可能である。その場合、図１６においてビデオと表記されている部分はオーディオに、オーディオと表記されている部分はビデオに変換すればよい。
図１６は実施の形態５における同期制御処理を示すフローチャートである。【０１５４】
ステップＳ１７０１〜Ｓ１７１６の処理動作は、それぞれ、実施の形態４における図１４に示すステップＳ１６０１〜Ｓ１６１６と同様のため、説明は省略する。
以下、ステップＳ１７１７の強制同期処理以降について、図１６を用いて詳細に説明する。
まず、ステップＳ１７１７にて、自走と判断されたために、ビデオの同期制御状態を強制同期状態に遷移させる。【０１５５】
次いで、ステップＳ１７１８にて現在のリファレンスクロックのマスタを取得する。
次いで、ステップＳ１７１９にて、ビデオが現在のマスタかどうかを判定する。
ビデオマスタであると判定された場合（ステップＳ１７１９：ＹＥＳ）、ステップＳ１７２０にてリファレンスクロック部１１２へＰＴＳ値を転送する。リファレンスクロック部１１２は、転送されたＰＴＳをもとに内部クロックの補正処理を行う。【０１５６】
次いで、ステップＳ１７２１にてビデオ復号部１０４に対し、復号許可を送信し処理を終了する。
一方、ビデオマスタでないと判定された場合（ステップＳ１７１９：ＮＯ）は、ステップＳ１７２２へ移る。
ステップＳ１７２２では、マスタの同期制御状態を取得する。【０１５７】
次いで、ステップＳ１７２３にてマスタの同期制御状態が同期状態かどうかを判定する。
同期状態でない場合（ステップＳ１７２３：ＹＥＳ）は、ステップＳ１７２４にてビデオ復号部１０４に対し、復号許可を送信し処理を終了する。
マスタが同期状態の場合（ステップＳ１７２３：ＮＯ）、ステップＳ１７２５へ移る。【０１５８】
ステップＳ１７２５において、次式（数１６）を判定する。
（数１６）
ＰＴＳ―ＳＴＣ＜ｔ４
ここでｔ４はシステムまたはデータごとに決定できる固定値である。
（数１６）を満たす場合（ステップＳ１７２５：ＹＥＳ）には、ステップＳ１７２６に移る。【０１５９】
次いで、ステップＳ１７２６では、次式（数１７）を判定する。
（数１７）
ＰＴＳ＜ＳＴＣ
上記（数１７）を満たす場合（ステップＳ１７２６：ＹＥＳ）、すなわちＰＴＳよりＳＴＣの方が大きい場合は、ＰＴＳは遅れていると判断されるので、ステップＳ１７２７にてビデオ復号部１０４に対し、データ破棄を送信し、処理を終了する。【０１６０】
（数１７）を満たさない場合（ステップＳ１７２６：ＮＯ）、すなわちＳＴＣよりＰＴＳの方が大きい場合は、ステップＳ１７２８にてビデオ復号部１０４に対し、復号停止を送信する。
次いで、ステップＳ１７２９で、ＰＴＳとＳＴＣの差分時間分だけ待ちを行ったあと、ビデオ復号部１０４に対し、復号許可を送信し処理を終了する。【０１６１】
一方、（数１６）を満たさない場合（ステップＳ１７２５：ＮＯ）は、まず、ステップＳ１７３０にて自走カウンタをクリアする。
次いで、ステップＳ１７３１にてビデオ復号部１０４に対し、復号停止を送信する。
次いで、ステップＳ１７３２にてｔ５時間分だけ待ちを行ったあと、ビデオ復号部１０４に対し、復号許可を送信する。【０１６２】
尚、（数１７）において、ＰＴＳよりＳＴＣの方が大きい場合、すなわちＰＴＳがＳＴＣより遅れていると判断された場合、本実施例では１フレーム分のデータ破棄を復号部へ指示しているが、複数フレーム分のデータ破棄を指示してもよい。さらに、ＳＴＣとＰＴＳの差分時間分のデータ破棄を行うのではなく、ｔ５時間分のデータを破棄することも可能である。【０１６３】
また、この強制同期処理ステップにおいて、ＰＴＳとＳＴＣの差分値がｔ４以上の場合も、同期制御を行う範囲をｔ５にすることの意味するところは以下の通りである。
すなわち、ステップＳ１７１４における「（数１８）自走カウンタ＜Ｍ」の判定が満たされなかった場合（ステップＳ１７１４：ＮＯ）において、伝送エラーなどの要因によりＰＴＳ値が誤っている場合、あるいは、オーディオストリーム又はビデオストリームの時間的不連続状態が短時間に繰り返されるような場合、ＳＴＣとＰＴＳの差分値に対してステップＳ１７２８の処理を行うと差分値が巨大な値になる可能性がある。結果、長時間の待ち時間が発生、あるいは長時間分のデータが破棄される可能性がある。このような状況を防ぐために導入される。【０１６４】
上記フローチャートにおける強制同期制御の詳細動作を図１７のタイミングチャートを用いて示す。
図１７はビデオストリーム、オーディオビデオのストリームに時間的不連続が繰り返し発生している場合に、本実施例を適用した場合のタイミングチャートである。
この図１７において、ビデオ再生データ、オーディオ再生データはフレーム単位で示され、各フレームに付記されている数字はＰＴＳを意味する。たとえば映像フレーム１９０１におけるＰＴＳは４２である。また、図１７ではオーディオマスタ動作を例に挙げているため、オーディオの各フレームのＰＴＳ値によりリファレンスクロックは補正される。また、映像フレームの表示周期は５、音声フレームの表示周期は３であり、映像フレーム１９０１と映像フレーム１９０２、また、音声フレーム１９０３と音声フレーム１９０４の間に時間飛びが発生している。さらに、映像フレーム１９０５と映像フレーム１９０６、また、音声フレーム１９０８と音声フレーム１９０９の間にも不連続が発生している。【０１６５】
（数１３）における閾値ｔ３は、ビデオ、オーディオともに１０、（数１８）における自走カウンタの閾値Ｍをビデオに関しては５フレーム、オーディオに関しては３フレームとする。また、（数１６）における閾値ｔ４をオーディオ、ビデオともに２０、ＳＴＣとＰＴＳの差分固定時間ｔ５を１０とする。
まず、ビデオ、オーディオ両方の同期制御状態が同期状態で再生している状態において、映像フレーム１９０２にてビデオの不連続が発生する。このとき映像フレーム１９０２とリファレンスクロックの差分は７８であることから、（数１３）における閾値ｔ３＝１０を超えており、また、自走カウンタは０の状態のため、自走処理が行われる。【０１６６】
次に、音声フレーム１９０４において、オーディオの不連続が発生する。オーディオはマスタであるがビデオ同様、同期制御処理を行う。
音声フレーム１９０４とリファレンスクロックの差分が６６であることから、（数１３）における閾値ｔ３＝１０を超えており、また、自走カウンタは０のため、自走処理となる。【０１６７】
オーディオが自走処理の間、リファレンスクロックは補正されず、リファレンスクロック部では内部時計が自走している状態となる。
次に、音声フレーム１９０５にてオーディオの自走カウンタは３となるため、（数１４）を満たさず強制同期処理を行う。現在オーディオがマスタであるため、強制同期処理の場合にはリファレンスクロックの補正処理を行う。これによりリファレンスクロックは１２６に補正される。【０１６８】
次に、映像フレーム１９０６にて再び不連続が発生するが、自走カウンタは３のため自走は継続される。
次に、映像フレーム１９０７にてビデオの自走カウンタが５となるため、（数１８）を満たさず強制同期処理を行う。このとき、映像フレーム１９０７においてＰＴＳは４２５、ＳＴＣは１３３であり、差分が２９２なので、強制同期用閾値ｔ４＝２０を超えている。そのため、待ち時間をｔ５＝１０に変換して映像フレーム１９０７の復号処理を停止し１０時間分待ちを行う。１０時間分待った後、映像フレーム１９０７は復号され表示されるが、次の映像フレーム１９１１でのＰＴＳとＳＴＣの差分は１１となり、まだ閾値１０を超えている。自走カウンタは０の状態のため、自走処理となり再度自走カウンタのカウントアップが始まる。【０１６９】
また、音声フレーム１９０９にてオーディオが再び不連続が発生する。音声フレーム１９０９のＰＴＳとＳＴＣとの差分が３７１であることから、（数１３）における閾値ｔ３＝１０を超えているため、自走処理となる。
音声フレーム１９１０にてオーディオの自走カウンタは３となり、（数１８）を満たさず強制同期処理を行う。現在オーディオがマスタであるため、強制同期処理の場合にはリファレンスクロックの補正処理を行う。これによりリファレンスクロックは４０９に補正される。【０１７０】
次に、映像フレーム１９１２にてビデオの自走カウンタが５となり、（数１８）を満たさず強制同期処理を行う。このとき、映像フレーム１９１２においてＰＴＳは４５０、ＳＴＣは４３９であり、差分が１１なので、（数１３）における閾値ｔ３＝１０を越えているため強制同期処理を行う。すなわち、映像フレーム１９１２の復号処理を停止し１１時間分待ちを行う。１１時間分待った後、映像フレーム１９１２は復号され表示される。以後、ビデオはリファレンスクロックと同期しながら再生される。【０１７１】
以上のように、本発明の実施の形態５による同期再生装置によれば、伝送エラーなどによりストリームにエラーが混入された場合や、オーディオまたは、ビデオのストリーム、あるいはオーディオビデオ両方のストリームに時間的な不連続が繰り返し発生するような場合、あるいは、連続とＰＴＳ誤りが同時に発生するような場合において、ストリームの異常発生部分を停止させることなく再生でき、オーディオ、ビデオの同期再生へ復帰を短時間で行うことできる。【０１７２】
また、強制同期処理を複数回に分けて実行することから、長時間の強制同期処理を行う必要がある場合において、長時間同じフレームが再生出力されっぱなしになる時間を短縮することができ、ユーザが強制同期処理中の映像を視聴したときの違和感を軽減することができる。
（６．実施の形態６）
次に、本発明の実施の形態６について説明する。【０１７３】
実施の形態６による同期再生装置は、実施の形態５と同様の構成を有しており、基本的な動作は同様であるが、再生中の同期制御において、自走処理に変更を加えた点で実施の形態５と異なる。ここでは、実施の形態５と異なる動作について重点的に説明する。
（６−１．動作）
以下、図１８に基づいて実施の形態６における同期生再生装置の動作について説明する。【０１７４】
ここではビデオ符号化データの同期制御について説明するが、当然、同様の処理をオーディオ符号化データの復号処理に適用することも可能である。その場合、図１８においてビデオと表記されている部分はオーディオに、オーディオと表記されている部分はビデオに変換すればよい。
図１８は実施の形態６における同期制御処理を示すフローチャートである。【０１７５】
ステップＳ２００１〜Ｓ２０３３の処理動作は、それぞれ、実施の形態５における図１６に示すステップＳ１７０１〜Ｓ１７３３と同様のため、説明は省略する。
以下、自走処理中のステップＳ２０３４〜Ｓ２０３９の処理について、図２０を用いて詳細に説明する。
まず、ステップＳ２０３４において、次式（数１９）を判定する。【０１７６】
（数１９）
自走カウンタ＞Ｎ
ここでＮはシステムまたはデータごとに決定できる固定値であるが、Ｍよりも小さい。
（数１９）を満たさない場合（ステップＳ２０３４：ＮＯ）には、ステップＳ２０１４に移り、実施の形態５と同じ処理となる。【０１７７】
（数１９）を満たす場合（ステップＳ２０３４：ＹＥＳ）には、ステップＳ２０３５に移る。
ステップＳ２０３５では、現在のリファレンスクロックのマスタを取得する。
次いで、ステップＳ２０３６にて、現在ビデオマスタであると判定された場合、ステップＳ２０３７へ移る。ビデオマスタではない場合はステップＳ２０１５へ移る。【０１７８】
ステップＳ２０３７では、オーディオの同期制御状態を取得する。
次いで、ステップＳ２０３８にて、オーディオの同期制御状態が同期状態でない場合（ステップＳ２０３８：ＮＯ）はステップＳ２０１５へ移り、同期状態である場合（ステップＳ２０３８：ＹＥＳ）、ステップＳ２０３９へ移る。
ステップＳ２０３９では、マスタをオーディオに切り替える。【０１７９】
この自走処理ステップにおいて、自走カウンタがＮ以上になった場合にマスタの切替制御を行うことの意味するところは、以下の通りである。
記録されたストリームにおいて、マスタのストリーム（例えば、オーディオストリーム）のみに不連続が発生し、他方には不連続が発生していない場合、マスタが不連続後の強制同期処理を行うと、リファレンスクロックの補正を行うことになる。すなわち、リファレンスクロックにも不連続が発生することになる。結果、マスタではないストリーム（オーディオがマスタであれば、ビデオストリーム）は、リファレンスクロックに同期するように動作するため、不連続がないストリームにもかかわらず、同期制御処理によりデータの破棄や待ちが発生し連続再生されない。このような他方にのみ、特にマスタに指定されるストリームのみに、不連続がある場合において、不連続がない他方のストリームを滑らかに再生できるようにマスタ切替制御を導入している。【０１８０】
上記図１８のフローチャートにおけるマスタ切替制御を図１９のタイミングチャートを用いて示す。
図１９はオーディオストリームに時間的不連続が発生しており、同期状態中はオーディオマスタで動作している場合に、本実施例を適用した場合のタイミングチャートである。
この図１９において、ビデオ再生データ、オーディオ再生データはフレーム単位で示され、各フレームに付記されている数字はＰＴＳを意味する。たとえば、音声フレーム２１０１におけるＰＴＳは３９である。また、図１９ではオーディオマスタ動作を想定しているため、オーディオの各フレームのＰＴＳ値によりリファレンスクロックは補正される。また、映像フレームの表示周期は５、音声フレームの表示周期は３であり、音声フレーム２１０１と音声フレーム２１０２の間に時間飛びが発生している。ビデオストリームには不連続はない。【０１８１】
さらに、（数１３）における閾値ｔ３は、ビデオ、オーディオともに１０、（数１４）における自走カウンタの閾値Ｍをオーディオに関しては４フレーム、（数１９）におけるマスタ切替の閾値Ｎをオーディオに関しては２フレームとする。
まず、ビデオが同期状態、オーディオがマスタで同期状態にて再生中に、音声フレーム２１０２にてオーディオの不連続が発生する。このとき音声フレーム１８０２とリファレンスクロックの差分は１８であり、また、自走カウンタは０であることから、（数１３）における閾値ｔ３＝１０を超えているため、自走処理が行われる。【０１８２】
次に、音声フレーム２１０３において、自走カウンタが３となり、（数１９）を満たすため、マスタ切替制御を行い、マスタをオーディオからビデオに変更する。映像フレーム２１０６はリファレンスクロックに対し同期しているので、同期状態で出力を行い、リファレンスクロックを補正する。
これに対し、音声フレーム２１０４は、リファレンスクロックに対し差分１８のため自走状態は継続される。この後、音声フレーム２１０５にて、自走カウンタが（数１４）を満たさず強制同期処理を行う。【０１８３】
音声フレーム２１０５においてＰＴＳとＳＴＣの差分が１８なので、音声フレーム２１０５の復号処理を停止し１８時間分待ちを行う。その間、音声出力は無音となる。１８時間分待った後、音声フレーム２１０５は復号され出力される。音声フレーム２１０７において、再び同期状態になるためオーディオマスタへマスタ切替を行い、通常状態に復帰する。このとき、映像フレームは一枚も欠けることなく連続して再生される。【０１８４】
以上のように、本発明の実施の形態６による同期再生装置によれば、受信電波が悪い状況下などで記録された多重化ストリームにおいて、オーディオストリーム、またはビデオストリームの他方のみに不連続があり、特にマスタとして位置づけられるストリームのみに不連続がある場合、マスタではない不連続のないストリームを途切れることなく連続して再生できる。
（７．実施の形態７）
実施の形態７では、本発明に係る携帯電話機について説明する。実施の形態７に係る携帯電話機２０００は、実施の形態１で示した同期再生装置１００を内部に備えている。【０１８５】
図２０は本発明に係る携帯電話機２０００の構成を示すブロック図である。この携帯電話機２０００は、移動通信用の通信用無線部２４０１と、ベースバンド部２４０２と、デジタルテレビ放送を受信するためのＴＶ用無線部２４０３と、ＴＶチューナー２４０５と、各種制御を行うアプリケーション処理部２４０６と入出力部２４０７と、電源部２４１７から構成される。【０１８６】
通信用無線部２４０１及びベースバンド部２４０２は、無線電話通信を行うための信号処理を行うものである。
ＴＶ用無線部２４０３は、デジタルテレビ放送波を受信するものである。
ＴＶチューナー２４０５は、ＴＶ用無線部２４０３で受信したデジタルテレビ放送波の信号処理を行うものである。【０１８７】
アプリケーション処理部２４１３は、通信部２４１３、同期再生装置２４１４、主制御部２４１５、及び蓄積部２４１６を有する。
通信部２４１３は、アプリケーション２４０６と外部との通信を行うインターフェースである。
同期再生装置２４１４は、実施の形態１で示した同期再生装置１００と同様の構成を有するものである。【０１８８】
主制御部２４１５は、携帯電話機２０００の各部を制御するＣＰＵ（Central Processing Unit）である。
蓄積部２４１６は、データを蓄積するメモリであり、特に、ＴＶ無線部２４０３で受信しＴＶチューナー２４０５で信号処理したデジタルテレビ放送データを蓄積する。
入出力部２４０７は、カメラ（ＣＡＭ）２４０８、ＬＣＤ（Liquid Crystal Display）２４０９、マイク（ＭＩＣ）２４１０、ＳＰＫ（スピーカー）２４１１、及びＫＥＹ（キー入力部）２４１２を有する。【０１８９】
カメラ２４０８は、撮像した撮像データを入力するものである。
ＬＣＤ２４０９は、画像や映像を出力するものであり、特に、同期再生装置２４１４で再生出力される映像を出力する。
マイク２４１０は、音を入力するもので、例えば、無線電話通信時に、ユーザの音声を入力するのに用いられる。【０１９０】
スピーカー２４１１は、音を出力するもので、例えば、同期再生装置２４１４で再生出力される音声や、無線電話通信時に通話相手の音声を出力する。
キー入力部２４１２は、ユーザの入力操作を受付けるものである。
ここで、簡単に携帯電話機２０００の動作について説明する。
デジタルテレビ視聴時または記録再生時の本発明の同期再生装置について、図２０を用いて以下に説明を行う。【０１９１】
デジタルテレビ放送視聴に際しては、ＴＶチューナー２４０５で選択されたチャンネルをＴＶ用無線部２４０３にて受信し、アプリケーション処理部２４０６へ多重化ストリーム（ＭＰＥＧ２−ＴＳ）を入力する。アプリケーション処理部２４０６では、チューナーより受け取った多重化ストリームを同期再生装置２４１４へ入力する。同期再生装置２４１４において、入力された多重化ストリームは、図１における転送部１０１へ入力され、多重化データをオーディオ、ビデオデータに分離、復号することで再生が可能となる。【０１９２】
また、放送を記録する場合は、ＴＶチューナー２４０５から入力される多重化ストリームを蓄積部２４１６に蓄積する。ここで、蓄積部２４１６は端末内部のメモリ、または端末から分離可能なメモリ、いずれでもよい。
蓄積された多重化ストリームの再生は、キー入力部２４１２を通じたユーザからのキー操作によって再生が開始され、蓄積部２４１６から多重化ストリームが同期再生装置２４１４へ入力される。同期再生装置２４１４では、入力された多重化ストリームをオーディオデータ、ビデオデータに分離、復号することでの再生が可能となる。【０１９３】
なお、ここでは、携帯電話機２０００に実施の形態１に係る同期再生装置１００を備える例を示したが、同様に、実施の形態２〜６に係る同期再生装置を備えることが可能なことは言うまでもない。
また、ここでは本発明の同期再生装置を適用した携帯電話機を例に挙げたが、本同期再生装置は、オーディオ機器や、映像が再生可能な様々な機器への適用が可能である。
【産業上の利用可能性】
【０１９４】
本発明の同期再生装置は、符号化映像を再生する再生装置に広く適用可能であり、電波状態が悪い環境で録画された等の理由によりフレーム欠損のあるストリームの再生開始時に、最適なフレームから再生開始できる点、及び再生途中に映像信号と音声信号が途切れることなく再生を継続できる点で有用である。
【図１】
2007099906.tif 000003
【図２】
2007099906.tif 000004
【図３】
2007099906.tif 000005
【図４】
2007099906.tif 000006
【図５】
2007099906.tif 000007
【図６】
2007099906.tif 000008
【図７】
2007099906.tif 000009
【図８】
2007099906.tif 000010
【図９】
2007099906.tif 000011
【図１０】
2007099906.tif 000012
【図１１】
2007099906.tif 000013
【図１２】
2007099906.tif 000014
【図１３】
2007099906.tif 000015
【図１４】
2007099906.tif 000016
【図１５】
2007099906.tif 000017
【図１６】
2007099906.tif 000018
【図１７】
2007099906.tif 000019
【図１８】
2007099906.tif 000020
【図１９】
2007099906.tif 000021
【図２０】
2007099906.tif 000022
【図２１】
2007099906.tif 000023
【図２２】
2007099906.tif 000024
【図２３】
2007099906.tif 000025
【図２４】
2007099906.tif 000026
【図２５】
2007099906.tif 000027
【手続補正書】
【提出日】平成20年8月7日(2008.8.7)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
所定時間間隔でフレーム単位にフレーム再生時刻情報が付加されたデータストリームを復号して再生出力するものであり、指定された再生開始位置を含む再生開始時間幅に相当するフレームから再生を開始する機能を有する再生装置であって、
フレーム毎に、フレーム再生時刻情報を取得する取得部と、
前記取得部で取得したフレーム再生時刻情報を保持する保持部と、
フレーム毎に、前記取得部で取得した現フレーム再生時刻情報が、前記指定された再生開始時間幅に含まれるか否かを判定し、含まれないと判定された場合はさらに、前記現フレーム再生時刻情報と、前記保持部に保持されている前のフレームにおける前フレーム再生時刻情報との差分が、前記所定時間間隔を超えるか否かを判定する比較部と、
前記比較部で、前記現フレーム再生時刻情報と前記前フレーム再生時刻情報との差分が前記所定時間間隔を超えると判断された場合は、前記現フレーム再生時刻情報が付加されたフレームから再生を開始する再生出力部とを備える
ことを特徴とする再生装置。
【請求項２】
前記データストリームは、所定時間毎に、プログラム参照時刻情報を含むものであり、
さらに、前記プログラム参照時刻情報を取得し、取得した現プログラム参照時刻情報と、前記所定時間前に取得した前プログラム参照時刻情報とを比較して、前記現プログラム参照時刻情報と前記前プログラム参照時刻情報との差分が所定の閾値を超えていた場合は、プログラム参照時刻情報が不連続であることを検出するとともに前記現プログラム参照時刻情報を保持する検出部を備え、
前記比較部は、前記現フレーム再生時刻情報と前記前フレーム再生時刻情報との差分が前記所定時間間隔を超えると判定された場合で、且つ前記検出部で前記現プログラム参照時刻情報が保持されている場合は、さらに、前記現プログラム参照時刻情報と前記現フレーム再生時刻情報との差分が、前記所定時間を超えるか否かを判定し、
前記再生出力部は、前記比較部で、前記現プログラム参照時刻情報と前記現フレーム再生時刻情報との差分が前記所定時間を超えると判定された場合のみ、前記現フレーム再生時刻が付加されたフレームから再生を開始する
ことを特徴とする請求項１記載の再生装置。
【請求項３】
ＭＰＥＧ（Moving Picture Experts Group）規格に準拠するものであり、
前記フレーム再生時刻情報は、ＭＰＥＧ規格で定められたＰＴＳ（Presentation Time Stamp）であり、
前記プログラム参照時刻情報は、ＭＰＥＧ規格で定められたＰＣＲ（Program Clock Reference）である
ことを特徴とする請求項２記載の再生装置。
【請求項４】
フレーム単位に映像再生時刻情報が付加された映像フレームと、フレーム単位で音声再生時刻情報が付加された音声フレームとから成るデータストリームを復号して再生出力するものであり、指定された再生開始位置を含む再生開始時間幅
に相当する映像フレーム及び音声フレームから再生を開始する機能を有する再生装置であって、
映像フレームから映像フレーム再生時刻情報の取得、及び音声フレームから音声フレーム再生時刻情報の取得を行う取得部と、
前記取得部で取得した映像フレームの映像フレーム再生時刻情報が前記指定された再生開始時間幅に含まれるか否かの判定、及び前記取得部で取得した音声フレームの音声フレーム再生時刻情報が前記指定された再生開始時間幅に含まれるか否かの判定を行う比較部と、
映像フレーム及び音声フレームの復号及び再生出力を行う復号部とを備え、
前記取得部で取得した映像フレーム再生時刻情報が前記再生開始時間幅に含まれるか否かを前記比較部が判定するために要する上限時間Ｔｖと、前記取得部で取得した音声フレーム再生時刻情報が前記再生開始時間幅に含まれるか否かを前記比較部が判定するために要する上限時間Ｔａとが設定されており、
（ｉ）上限時間Ｔｖ＞Ｔａを満たすとき、前記復号部は、前記取得部で取得した音声フレーム再生時刻情報が前記再生開始時間幅に含まれず上限時間Ｔａが経過した時に、映像フレームの復号が完了している場合、当該映像フレームを再生出力し、
（ｉｉ）上限時間Ｔｖ＜Ｔａを満たすとき、前記復号部は、前記取得部で取得した映像フレーム再生時刻情報が前記再生開始時間幅に含まれず上限時間Ｔｖが経過した時に、音声フレームの復号が完了している場合、当該音声フレームを再生出力する
ことを特徴とする再生装置。
【請求項５】
所定時間間隔でフレーム単位にフレーム再生時刻情報が付加されたデータストリームを復号し、自装置内のシステム基準クロックと同期して再生する再生装置であって、
フレーム毎に、フレーム再生時刻情報と、前記システム基準クロックが示す時刻とを比較する比較部と、
前記比較部で、フレーム再生時刻情報が、前記システム基準クロックが示す時刻と一致すると判断された場合、当該フレーム再生時刻情報が付加されているフレームを復号して再生出力する復号部と、
前記比較部で、フレーム再生時刻情報が、前記システム基準クロックが示す時刻と一致しないと判断された場合は、当該フレーム再生時刻情報が付加されたフレームを復号して前記システム基準クロックと非同期で再生出力するよう前記復号部に指示する制御部と、
前記制御部の指示により、前記復号部が前記システム基準クロックと非同期で再生出力したフレームをカウントするカウント部とを備え、
前記制御部はさらに、前記比較部で、フレーム再生時刻情報が、前記システム基準クロックが示す時刻と一致しないと判断された場合で、且つ前記カウント部により、所定回数非同期で再生出力されたフレームがカウントされた場合においては、当該フレーム再生時刻情報が付加されたフレームを強制的に前記システム基準クロックと同期させて再生出力するよう前記復号部に指示する強制同期処理を実行する
ことを特徴とする再生装置。
【請求項６】
前記制御部は、前記強制同期処理として、（ｉ）前記比較部で、フレーム再生時刻情報が、前記システム基準クロックが示す時刻を超えると判断された場合で、且つ前記カウント部により、所定回数非同期で再生出力されたフレームがカウントされた場合においては、フレーム再生時刻情報が、システム基準クロックが示す時刻と一致するまで待ってから、当該フレーム再生時刻情報が付加されたフレームを復号して再生出力するよう前記復号部に指示し、（ｉｉ）前記比較部で、フレーム再生時刻情報が、前記システム基準クロックが示す時刻を下回ると判断された場合で、且つ前記カウント部により、所定回数非同期で再生出力されたフレームがカウントされた場合においては、当該フレーム再生時刻情報が付加されたフレームは再生出力しないよう前記復号部に指示する
ことを特徴とする請求項５記載の再生装置。
【請求項７】
前記制御部は、前記比較部で、フレーム再生時刻情報が、前記システム基準クロックが示す時刻を超えると判断された場合で、且つ前記カウント部により、所定回数非同期で再生出力されたフレームがカウントされた場合において、さらに、フレーム再生時刻情報とシステム基準クロックが示す時刻との差分が所定差分ｔ１を超える場合のみ、ｔ１より小さい所定の時間ｔ２だけ待ってから、当該フレーム再生時刻情報が付加されたフレームを復号して再生出力する
ことを特徴とする請求項６記載の再生装置。
【請求項８】
前記フレームは、第１メディアに係る第１メディアフレームと、第２メディアに係る第２メディアフレームに分かれており、前記第１メディアフレームの再生時刻情報に基づいて前記システム基準クロックを決定するものであり、
前記比較部は、フレームについて、第１メディアフレームと第２メディアフレームとを区別して、それぞれのフレーム再生時刻情報とシステム基準クロックが示す時刻とを比較し、
前記カウント部は、フレームのカウントについて、第１メディアフレームと第２メディアフレームとを区別してカウントし、
前記制御部は、前記比較部で、前記フレームの内第１メディアフレームについての再生時刻情報が、前記システム基準クロックと一致しないと判断された場合で、且つ前記カウント部により、所定回数非同期で再生出力された第１メディアフレームがカウントされた場合においては、前記第２メディアフレームの再生時刻情報に基づいて前記システム基準クロックを決定するよう変更する
ことを特徴とする請求項５記載の再生装置。
【請求項９】
請求項１乃至８のいずれか１項に記載の再生装置を備えることを特徴とする携帯電話機。
【請求項１０】
所定時間間隔でフレーム単位にフレーム再生時刻情報が付加されたデータストリームを復号して再生出力するものであり、指定された再生開始位置を含む再生開始時間幅に相当するフレームから再生を開始する機能を有する再生装置における再生方法であって、
フレーム毎に、フレーム再生時刻情報を取得する取得ステップと、
前記取得ステップで取得したフレーム再生時刻情報を保持する保持ステップと、
フレーム毎に、前記取得ステップで取得した現フレーム再生時刻情報が、前記指定された再生開始時間幅に含まれるか否かを判定し、含まれないと判定された場合はさらに、前記現フレーム再生時刻情報と、前記保持ステップで保持されている前のフレームにおける前フレーム再生時刻情報との差分が、前記所定時間間隔を超えるか否かを判定する比較ステップと、
前記比較ステップで、前記現フレーム再生時刻情報と前記前フレーム再生時刻情報との差分が前記所定時間間隔を超えると判断された場合は、前記現フレーム再生時刻情報が付加されたフレームから再生を開始する再生出力ステップとを含む
ことを特徴とする再生方法。
【請求項１１】
所定時間間隔でフレーム単位にフレーム再生時刻情報が付加されたデータストリームを復号し、自装置内のシステム基準クロックと同期して再生する再生装置における再生方法であって、
フレーム毎に、フレーム再生時刻情報と、前記システム基準クロックが示す時刻とを比較する比較ステップと、
前記比較ステップで、フレーム再生時刻情報が、前記システム基準クロックが示す時刻と一致すると判断された場合、当該フレーム再生時刻情報が付加されているフレームを復号して再生出力する第１再生出力ステップと、
前記比較ステップで、フレーム再生時刻情報が、前記システム基準クロックが示す時刻と一致しないと判断された場合は、当該フレーム再生時刻情報が付加されたフレームを復号して前記システム基準クロックと非同期で再生出力する第２再生出力ステップと、
前記第２再生出力ステップで、前記システム基準クロックと非同期で再生出力したフレームをカウントするカウントステップと、
前記比較ステップで、フレーム再生時刻情報が、前記システム基準クロックが示す時刻と一致しないと判断された場合で、且つ前記カウントステップにより、所定回数非同期で再生出力されたフレームがカウントされた場合においては、当該フレーム再生時刻情報が付加されたフレームを強制的に前記システム基準クロックと同期させて再生出力するよう強制同期処理を実行する強制同期処理ステップとを含む
ことを特徴とする再生方法。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、符号化データを復号して再生出力する再生装置に関し、特にデジタル符号化された映像信号、及び音声信号の各ビットストリームを復号し、両信号を同期再生する同期再生装置に関するものである。
【背景技術】
【０００２】
日本のデジタル放送は、ＡＲＩＢ（Association of Radio Industrial and Businesses）の規格に基づいて行われている。このＡＲＩＢの規格は、ヨーロッパのＤＶＢ（DigitalVideo Broadcasting）方式の規格を基に作成されたもので、ＭＰＥＧ（Moving Picture Coding Experts Group）２−ＴＳ（TransportStream）のシステムで、映像及び音声の放送に対応している。
【０００３】
ＭＰＥＧ２−ＴＳでは、１８８バイトの固定長のＴＳパケットが複数個集まって、ＴＳストリームが構成される。この１８８バイトのＴＳパケットの長さは、ＡＴＭ（AsynchronousTransfer Mode）セル長との整合性を考慮して決定されている。
ＴＳパケットは、４バイトの固定長のパケットヘッダと、可変長のアダプテーションフィールド及びペイロードで構成される。パケットヘッダには、ＰＩＤ（パケット識別子）や各種のフラグが定義されている。このＰＩＤにより、ＴＳパケットの種類が識別される。
【０００４】
ビデオやオーディオなどの個別ストリームが収められたＰＥＳ（Packetized ElementaryStream）パケットは、同じＰＩＤ番号を持つ複数のＴＳパケットに分割されて伝送される。ビデオの符号化には、例えばＭＰＥＧ２方式やワンセグメント放送規格におけるＭＰＥＧ４−ＡＶＣ／Ｈ．２６４方式が用いられる。オーディオの符号化は、例えば、２３Ｃ（MPEG2Advanced Audio Coding）方式が用いられている。
【０００５】
また、字幕などのデータが納められたＰＥＳパケットも、ビデオやオーディオのパケットと同様に、複数のＴＳパケットに分割されて伝送される。
このようなＭＰＥＧ２−ＴＳでは、復号を行う復号器内部の基準信号であるＳＴＣ（System Time Clock）の時間を合わすために、所定時間毎に、ＰＣＲ（ProgramClock Reference）が送られる。
【０００６】
すなわち、ＴＳパケットには、アダプテーションフィールドが含まれているものがある。アダプテーションフィールドは、個別ストリームに関する付加情報を伝送するためのもので、ここには、オプショナルフィールドに、６バイトのＰＣＲが配される。
復号器内部において、ＳＴＣ（System Time Clock）は、ＳＴＣカウンタでカウントされる。このＳＴＣカウンタの時刻は、ＰＣＲの時刻に基づいて校正される。
【０００７】
ＭＰＥＧ２−ＴＳでは、ＡＶ（オーディオ・ビデオ）同期をとるために、アクセスユニット毎（例えば、ビデオの場合にはピクチャ毎、オーディオの場合にはオーディオフレーム毎）にタイムスタンプが付加される。これらのアクセスユニットがＰＥＳ化され、このＰＥＳパケットのヘッダに、再生時刻を指定するＰＴＳ（PresentationTime Stamp）が付加される。
【０００８】
このＰＴＳの時刻は、ＳＴＣの値で記述される。復号器では、ＳＴＣの値がＰＣＲと同期して進められる。復号器では、このＳＴＣのカウント値とＰＴＳの値とを比較し、ＳＴＣのカウント値とＰＴＳの値とが一致したら、表示処理やデコード処理を開始するようになっている。これにより、ＳＴＣとの同期再生が行われる。
このように、ＭＰＥＧ２−ＴＳでは、ＰＣＲに同期して進められるＳＴＣのカウント値と、ビデオ及びオーディオのＰＥＳパケットに付加されて送られてくるＰＴＳの値とを比較し、ビデオ、オーディオそれぞれがＳＴＣのカウント値とＰＴＳの値が一致するタイミングで表示処理やデコード処理を開始することにより、ＡＶ同期再生を実現している。
【０００９】
放送の録画再生システムとしては、映像提供側からの符号化・多重化したストリームを復号器が蓄積していき、再生の際、蓄積したストリームからオーディオ符号化データ及びビデオ符号化データを分離した後、互いに独立して復号し、復号されたオーディオ信号とビデオ信号を、互いに同期を取って再生を行っている。
蓄積されたストリームのＡＶ同期手法としては、再生オーディオ信号の出力を重視する方法であるオーディオマスタ（例えば、特許文献１参照）が適用されている。オーディオマスタ方式では、各オーディオフレームを出力すると同時に各オーディオフレームの出力時刻を用いてＳＴＣが更新し、このとき各ビデオフレームの表示時刻はＳＴＣと比較され、その比較の結果により各ビデオフレームの表示を早めたり遅らせたりする操作を行っている。
【００１０】
一方、再生ビデオ信号の出力を重視する方法であるビデオマスタ（例えば、特許文献２参照）でのＡＶ同期手法もある。
ところで、蓄積されたストリームのＡＶ再生開始の際の制御として、再生開始時間（以下、エントリポイント）を定義し、好きなポイント（時間）から再生を開始する手法がある。
【００１１】
上述したエントリポイントによる再生開始時の同期再生方法について説明する。
図２１は同期再生装置の構成を示している。図２１において、同期再生装置は、ストリームを転送する転送部１３０１、入力されたストリームから必要な情報を抽出するシステムデコーダ１３０２、ビデオフレームを復号化するビデオ復号部１３０３、オーディオフレームを復号化するオーディオ復号部１３０４、各構成要素の動作タイミングを制御するための同期制御部１３０５を備える。このように構成された同期再生装置のエントリポイントによる再生開始の動作について説明する。
【００１２】
図２１で示されるように、転送部１３０１からエントリポイントを含んだストリームがシステムデコーダ１３０２に転送される。システムデコーダ１３０２は、入力されたストリームからビデオ符号化データとオーディオ符号化データをそれぞれビデオ復号部１３０３とオーディオ復号部１３０４に転送し、オーディオ用ＰＴＳとビデオ用ＰＴＳを同期制御部１３０５に転送する。ビデオ復号部１３０３は、入力されるビデオ符号化データからビデオフレームの復号を行う。オーディオ復号部１３０４は、入力されるオーディオ符号化データからオーディオフレームの復号を行う。同期制御部１３０５は、転送部１３０１とシステムデコーダ１３０２とビデオ復号部１３０３とオーディオ復号部１３０４を制御することで、ビデオフレームとオーディオフレームとの同期出力制御を行う。
【００１３】
図２２は同期再生装置を構成する同期制御部１３０５における、エントリポイントによる再生開始の動作手順を示すフローチャートを記載した図である。以下、図２２のフローに従って、同期制御部１３０５の動作を詳しく説明する。
まず、動作が開始されると、ステップ１４０１にて、外部からのエントリポイント値の設定とエントリポイントによる再生開始が通知されると、転送部１３０１と各復号部１３０２、１３０３、１３０４に起動要求を出す。この要求を受けて、転送部１３０１と各デコーダ１３０２、１３０３、１３０４は起動処理を行う。
【００１４】
次いで、ステップ１４０２にて、転送部１３０１にデータ供給要求を出す。この要求を受けて転送部１３０１は、エントリポイントを含んだストリームの先頭から転送を行う。システムデコーダ１３０２は、転送部１３０１からデータを受信することで分離抽出を開始する。
ビデオ復号部１３０３は、ステップ１４０３にて、システムデコーダ１３０２から受信したビデオフレーム用ＰＴＳとエントリポイントがある特定のしきい値内で一致するまで、システムデコーダ１３０２から受信したビデオ符号化データからビデオフレームの復号を行う。このときは、まだ復号処理だけを行い、表示出力は行わない。
【００１５】
次いで、ステップ１４０３にて、システムデコーダ１３０２から受信したビデオフレーム用ＰＴＳと、エントリポイントがある特定のしきい値内で一致した場合は、ステップ１４０４に移り、ビデオフレーム用ＰＴＳの値で、同期制御部１３０５内のＳＴＣを初期化する。
次いで、ステップ１４０５にて、ビデオ復号部１３０３にビデオフレーム同期出力要求を出す。この要求を受けてビデオ復号部１３０３は、ステップ１４０３にて、システムデコーダ１３０２から受信したビデオフレーム用ＰＴＳとエントリポイントとがある特定のしきい値内で一致したビデオフレームの復号と同時に表示出力も行う。この段階で、初めてビデオフレームの表示出力が行われ、以後、ビデオ復号部１３０３、同期制御部１３０５による、ＳＴＣとシステムデコーダ１３０２から受信するビデオフレーム用ＰＴＳとを用いた同期制御のもとで、システムデコーダ１３０２から受信するビデオ符号化データからのビデオフレームの復号と表示出力を次々に行っていく。
【００１６】
次いで、ステップ１４０６にて、システムデコーダ１３０２から受信したオーディオフレーム用ＰＴＳと、ＳＴＣとがある特定のしきい値内で一致するまで処理を続ける。
また、ステップ１４０６にてシステムデコーダ１３０２から受信したオーディオフレーム用ＰＴＳと、ＳＴＣとがある特定のしきい値内で一致した場合、ステップ１４０７に移り、オーディオ復号部１３０４にオーディオフレーム同期出力要求を出す。
【００１７】
この要求を受けてオーディオ復号部１３０４は、ステップ１４０６にて、システムデコーダ１３０２から受信したオーディオフレーム用ＰＴＳと、ＳＴＣとがある特定のしきい値内で一致したオーディオフレームの復号と同時にオーディオ出力も行う。この段階で、初めてオーディオフレームのオーディオ出力が行われ、以後、オーディオ復号部１３０４は、同期制御部１３０５による、ＳＴＣとシステムデコーダ１３０２から受信するオーディオフレーム用ＰＴＳとを用いた同期制御のもとで、システムデコーダ１３０２から受信するオーディオ符号化データからのオーディオフレームの復号とオーディオ出力を次々に行っていく。
【００１８】
また、特許文献２には、ＭＰＥＧ規格により規定される表示順序情報であるテンポラル・リファレンス（ｔｅｍｐｏｒａｌ ｒｅｆｅｒｅｎｃｅ）を利用して、ビデオフレーム単位、あるいはオーディオフレーム単位の精度で、指定されたエントリポイントに相当するビデオフレームとオーディオフレームを検出できる技術が開示されている。
また、特許文献３には、異常判定用のタイマを設けることによって、所定の時間が経過しても、ビデオフレームあるいはオーディオフレームの一方しか出力準備完了していない場合に、この時点で出力準備完了している、ビデオフレームまたはオーディオフレームの一方だけに出力要求を可能とし、入力されたストリーム中にエントリポイントに相当するビデオフレームとオーディオフレームの一方しか存在しない場合でも、再生開始を正常に行うことが可能な同期再生装置が開示されている。
【特許文献１】特開平７−５０８１８号公報
【特許文献２】特願平９−５１４１４６号公報
【特許文献３】特開２００１−３４６１６６号公報
【発明の開示】
【発明が解決しようとする課題】
【００１９】
そこで、本発明が解決しようとする第１の課題を図２３（ａ）、（ｂ）を用いて説明する。図２３（ａ）、（ｂ）は、電波状態が悪い環境下において記録されたストリーム例を示している。縦軸がＰＴＳで横軸はストリームである。図２３（ａ）は伝送エラーなどによりＰＴＳにビット誤りが発生している場合、図２３（ｂ）は記録時の電波の受信状態が悪いためストリームに抜けが発生した場合を示す。図２３（ａ）においてエントリポイントがＰＴＳ誤りが発生している時間に指定された場合、従来技術ではエントリポイント判定内に一致するＰＴＳが検出できない。図２３（ｂ）も同様、ストリーム抜けが発生した時間にエントリポイントが指定された場合、従来技術ではエントリポイント判定内に一致するＰＴＳが検出できない。結果、再生開始位置が定まらず再生開始ができないという問題がある。
【００２０】
次に、本発明が解決しようとする第２の課題を図２４（ａ）、（ｂ）、（ｃ）を用いて説明する。図２４（ａ）は、ＭＰＥＧ２−ＴＳのＴＳパケットを示している。開始フレームの検索を行う対象データ領域を開始フレーム検索対象データと示す。つまり、エントリポイントと一致するフレームの検索は、この開始フレーム検索対象データに対して行うことになる。例えば、開始フレーム検索対象データに対しての検索処理時間をオーディオとビデオで、それぞれＴａ、Ｔｖ（Ｔａ＜Ｔｖ）であるとした場合、タイマＴｅは、オーディオとビデオがともに検索処理が完了する時間が与えられる（図２４（ｂ））。このような場合、図２４（ｃ）のように、検索を開始し、ビデオデータにおいて開始フレーム検索が完了し、出力準備ができたとしても、出力するのはＴｅ後からとなる。
【００２１】
すなわち、オーディオデータまたはビデオデータの一方の開始データが見つからない場合の片方のみ出力するためのタイマを、オーディオデータの開始フレーム検索処理時間、ビデオデータの開始フレーム検索処理時間に依らず、一意的な値をとっているため、片方データのみの出力の場合、開始フレーム検索時間が大きいほうに引っ張られて再生開始するという問題がある。
【００２２】
さらに、本発明が解決しようとする第３の課題を、図２５を用いて説明する。図２５（ａ） は、オーディオマスタで動作している動画再生装置のビデオ再生データとオーディオ再生データが共に正常に出力されている通常状態において、受信電波が悪い状態で記録されることにより多重化ビットストリームに時間的不連続が発生した場合の例を示す図である。
【００２３】
この図２５において、ビデオ再生データ、オーディオ再生データはフレーム単位で示され、各フレームに付記されている数字はＰＴＳを意味する。たとえば映像フレーム２３０１におけるＰＴＳは４２である。また、図２５（ａ）ではオーディオマスタ動作を想定しているため、オーディオの各フレームのＰＴＳ値によりリファレンスクロックは補正される。さらに、映像フレームの表示周期は５、音声フレームの表示周期は３であり、映像フレーム２３０１と映像フレーム２３０２、また、音声フレーム２３０３と音声フレーム２３０４の間に時間飛びが発生している。
【００２４】
このとき、オーディオマスタとして動作しているため、オーディオ再生データは不連続点でも連続して再生され、同様にリファレンスクロックもオーディオ再生データ同様、不連続に変化する。それに対し、ビデオ再生データは映像フレーム２３０１でリファレンスクロックと大きく離れ、許容範囲を超えてしまい、非同期で再生を行う自走再生状態となる。これは、たとえば自走状態と判断する許容範囲を１０とすると、映像フレームのＰＴＳは１１３、リファレンスクロックのＳＴＣ値は４７であり、映像フレームのＰＴＳとリファレンスクロックのＳＴＣの差分は６６となり、許容範囲３０を超える。しかし、オーディオも不連続を通過後、ビデオ再生データは映像フレーム２３０３で再びリファレンスクロックと同期が取れ、再度同期再生状態に復帰し同期再生は正常に行われ、なんら問題はない。
【００２５】
しかしながら、図２５（ｂ）に示すように、時間飛びが発生している映像フレーム２３０６、映像フレーム２３０７間の時間間隔（図２５（ｂ）では８３）、音声フレーム２３０８と音声フレーム２３０９の時間間隔（図２５（ｂ）では６９）が異なるような状況が発生した場合、図２５（ａ）と同様な自走による制御方式を行うと図２５（ｂ）に示すように、不連続点通過後も許容範囲を超えた状態となり自走モードが継続されることになる。すなわち、図２５（ｂ）に示すようにオーディオが不連続を経過した後も、映像フレーム２３１０以降の映像フレームのＰＴＳとリファレンスクロックのＳＴＣとの差分値が常に１２になっているため、自走状態と判断する許容値１０を超えた状態が継続され、同期状態になることなく自走再生状態が続いてしまう。
【００２６】
自走再生状態が続くと、オーディオ、ビデオの同期がとれずリップシンクが合わない状態が続くことになってしまう。
このような状態において、従来例では、一定時間自走モードが継続された場合、ビデオまたはオーディオの再生を停止し再度開始状態に戻してから再生するという方法を行っていた。しかしながら、再生を一旦停止し再開する際は、初期状態に戻るため、起動処理が必要であり、さらにはすでにバッファ等に蓄積されているデータも破棄されるため、再生復帰までの時間がかかり、その間、映像またはオーディオが何も出力されない状態が長時間継続されるという問題が生じる。
【００２７】
本発明は上記の問題に鑑みてなされたものであり、エントリポイント指定による再生開始時や再生中に、映像表示時刻や音声表示時刻に時間的不連続が発生するいかなる場合においても、それぞれの場合に応じて最適な映像フレームと音声フレームからの再生開始を行え、また、映像信号と音声信号が途絶えることなく再生が継続できる、再生装置を提供することを目的とする。
【課題を解決するための手段】
【００２８】
本発明は上記課題を解決するために、本発明の第１態様に係る再生装置は、所定時間間隔でフレーム単位にフレーム再生時刻情報が付加されたデータストリームを復号して再生出力するものであり、指定された再生開始位置を含む再生開始時間幅に相当するフレームから再生を開始する機能を有する再生装置であって、フレーム毎に、フレーム再生時刻情報を取得する取得部と、前記取得部で取得したフレーム再生時刻情報を保持する保持部と、フレーム毎に、前記取得部で取得した現フレーム再生時刻情報が、前記指定された再生開始時間幅に含まれるか否かを判定し、含まれないと判定された場合はさらに、前記現フレーム再生時刻情報と、前記保持部に保持されている前のフレームにおける前フレーム再生時刻情報との差分が、前記所定時間間隔を超えるか否かを判定する比較部と、前記比較部で、前記現フレーム再生時刻情報と前記前フレーム再生時刻情報との差分が前記所定時間間隔を超えると判断された場合は、前記現フレーム再生時刻情報が付加されたフレームから再生を開始する再生出力部とを備えることを特徴とする。
【００２９】
また、上記課題を解決するために、本発明の第２態様に係る再生装置は、フレーム単位に映像再生時刻情報が付加された映像フレームと、フレーム単位で音声再生時刻情報が付加された音声フレームとから成るデータストリームを復号して再生出力するものであり、指定された再生開始位置を含む再生開始時間幅に相当する映像フレーム及び音声フレームから再生を開始する機能を有する再生装置であって、映像フレームから映像フレーム再生時刻情報の取得、及び音声フレームから音声フレーム再生時刻情報の取得を行う取得部と、前記取得部で取得した映像フレームの映像フレーム再生時刻情報が前記指定された再生開始時間幅に含まれるか否かの判定、及び前記取得部で取得した音声フレームの音声フレーム再生時刻情報が前記指定された再生開始時間幅に含まれるか否かの判定を行う比較部と、映像フレーム及び音声フレームの復号及び再生出力を行う復号部とを備え、前記取得部で取得した映像フレーム再生時刻情報が前記再生開始時間幅に含まれるか否かを前記比較部が判定するために要する上限時間Ｔｖと、前記取得部で取得した音声フレーム再生時刻情報が前記再生開始時間幅に含まれるか否かを前記比較部が判定するために要する上限時間Ｔａとが設定されており、（ｉ）上限時間Ｔｖ＞Ｔａを満たすとき、前記復号部は、前記取得部で取得した音声フレーム再生時刻情報が前記再生開始時間幅に含まれず上限時間Ｔａが経過した時に、映像フレームの復号が完了している場合、当該映像フレームを再生出力し、（ｉｉ）上限時間Ｔｖ＜Ｔａを満たすとき、前記復号部は、前記取得部で取得した映像フレーム再生時刻情報が前記再生開始時間幅に含まれず上限時間Ｔｖが経過した時に、音声フレームの復号が完了している場合、当該音声フレームを再生出力することを特徴とする。
【００３０】
また、上記課題を解決するために、本発明の第３態様に係る再生装置は、所定時間間隔でフレーム単位にフレーム再生時刻情報が付加されたデータストリームを復号し、自装置内のシステム基準クロックと同期して再生する再生装置であって、フレーム毎に、フレーム再生時刻情報と、前記システム基準クロックが示す時刻とを比較する比較部と、前記比較部で、フレーム再生時刻情報が、前記システム基準クロックが示す時刻と一致すると判断された場合、当該フレーム再生時刻情報が付加されているフレームを復号して再生出力する復号部と、前記比較部で、フレーム再生時刻情報が、前記システム基準クロックが示す時刻と一致しないと判断された場合は、当該フレーム再生時刻情報が付加されたフレームを復号して前記システム基準クロックと非同期で再生出力するよう前記復号部に指示する制御部と、前記制御部の指示により、前記復号部が前記システム基準クロックと非同期で再生出力したフレームをカウントするカウント部とを備え、前記制御部はさらに、前記比較部で、フレーム再生時刻情報が、前記システム基準クロックが示す時刻と一致しないと判断された場合で、且つ前記カウント部により、所定回数非同期で再生出力されたフレームがカウントされた場合においては、当該フレーム再生時刻情報が付加されたフレームを強制的に前記システム基準クロックと同期させて再生出力するよう前記復号部に指示する強制同期処理を実行することを特徴とする。
【００３１】
また、上記課題を解決するために、本発明の携帯電話機は、上記第１の態様〜第３の態様のいずれか１態様に係る再生装置を備えることを特徴とする。
【発明の効果】
【００３２】
第１の態様に係る再生装置によれば、電波状態が悪い環境で録画されたストリーム等、フレームの欠落やエラーのあるストリームの再生開始時において、エントリポイントに対応する（再生開始時間幅に相当する）フレームが欠落していたとしても、当該フレームの近辺の最適なフレームから再生を開始することができる。
第２の態様に係る再生装置によれば、エントリポイントと一致するフレームの検索の際に上限時間を音声フレームと映像フレームで個別管理することで、再生開始時、片方のみのデータしか存在しない場合、開始データ検索時間の長いほうに影響を受けることなくフレームの出力することが可能である。
【００３３】
第３の態様に係る再生装置によれば、電波状態が悪い環境で録画されたストリーム等、フレームの欠落やエラーのあるストリームの再生中において、システム基準クロックとの同期ずれを低減することができる。
また、上記第１態様に係る同期再生装置において、前記データストリームは、所定時間毎に、プログラム参照時刻情報を含むものであり、さらに、前記プログラム参照時刻情報を取得し、取得した現プログラム参照時刻情報と、前記所定時間前に取得した前プログラム参照時刻情報とを比較して、前記現プログラム参照時刻情報と前記前プログラム参照時刻情報との差分が所定の閾値を超えていた場合は、プログラム参照時刻情報が不連続であることを検出するとともに前記現プログラム参照時刻情報を保持する検出部を備え、前記比較部は、前記現フレーム再生時刻情報と前記前フレーム再生時刻情報との差分が前記所定時間間隔を超えると判定された場合で、且つ前記検出部で前記現プログラム参照時刻情報が保持されている場合は、さらに、前記現プログラム参照時刻情報と前記現フレーム再生時刻情報との差分が、前記所定時間を超えるか否かを判定し、前記再生出力部は、前記比較部で、前記現プログラム参照時刻情報と前記現フレーム再生時刻情報との差分が前記所定時間を超えると判定された場合のみ、前記現フレーム再生時刻が付加されたフレームから再生を開始することとしてもよい。
【００３４】
この構成により、エントリポイントに対応する（再生開始時間幅に相当する）フレームが欠落していた場合、フレームのビット誤りとデータストリームのパケットエラーを区別し、フレームのビット誤りのときのみ、当該フレームの近辺の最適なフレームから再生を開始することができる。
また、上記第１態様に係る同期再生装置は、ＭＰＥＧ（Moving Picture Experts Group）規格に準拠するものであり、前記フレーム再生時刻情報は、ＭＰＥＧ規格で定められたＰＴＳ（PresentationTime Stamp）であり、前記プログラム参照時刻情報は、ＭＰＥＧ規格で定められたＰＣＲ（Program Clock Reference）であることとしてもよい。
【００３５】
この構成により、ＭＰＥＧ規格に準拠した再生装置において、フレームの欠落やエラーのあるストリームの再生開始時において、エントリポイントに対応する（再生開始時間幅に相当する）フレームが欠落していたとしても、当該フレームの近辺の最適なフレームから再生を開始することができる。
また、上記第３態様に係る同期再生装置において、前記制御部は、前記強制同期処理として、（ｉ）前記比較部で、フレーム再生時刻情報が、前記システム基準クロックが示す時刻を超えると判断された場合で、且つ前記カウント部により、所定回数非同期で再生出力されたフレームがカウントされた場合においては、フレーム再生時刻情報が、システム基準クロックが示す時刻と一致するまで待ってから、当該フレーム再生時刻情報が付加されたフレームを復号して再生出力するよう前記復号部に指示し、（ｉｉ）前記比較部で、フレーム再生時刻情報が、前記システム基準クロックが示す時刻を下回ると判断された場合で、且つ前記カウント部により、所定回数非同期で再生出力されたフレームがカウントされた場合においては、当該フレーム再生時刻情報が付加されたフレームは再生出力しないよう前記復号部に指示することとしてもよい。
【００３６】
この構成により、フレームの欠落やエラーのあるストリームの再生中において、フレームとシステム基準クロックとの同期ずれが起きた場合、フレームを強制的に進める、又は遅らせることにより、同期状態に復帰させることができる。
また、上記第３態様に係る同期再生装置において、前記制御部は、前記比較部で、フレーム再生時刻情報が、前記システム基準クロックが示す時刻を超えると判断された場合で、且つ前記カウント部により、所定回数非同期で再生出力されたフレームがカウントされた場合において、さらに、フレーム再生時刻情報とシステム基準クロックが示す時刻との差分が所定差分ｔ１を超える場合のみ、ｔ１より小さい所定の時間ｔ２だけ待ってから、当該フレーム再生時刻情報が付加されたフレームを復号して再生出力することとしてもよい。
【００３７】
この構成により、フレームとシステム基準クロックの同期ずれが大きい場合は、少しずつフレームを強制的に進めることで、ユーザが映像を見たときの違和感をなるべく払拭しながら同期状態に復帰させることができる。
また、上記第３態様に係る同期再生装置において、前記フレームは、第１メディアに係る第１メディアフレームと、第２メディアに係る第２メディアフレームに分かれており、前記第１メディアフレームの再生時刻情報に基づいて前記システム基準クロックを決定するものであり、前記比較部は、フレームについて、第１メディアフレームと第２メディアフレームとを区別して、それぞれのフレーム再生時刻情報とシステム基準クロックが示す時刻とを比較し、前記カウント部は、フレームのカウントについて、第１メディアフレームと第２メディアフレームとを区別してカウントし、前記制御部は、前記比較部で、前記フレームの内第１メディアフレームについての再生時刻情報が、前記システム基準クロックと一致しないと判断された場合で、且つ前記カウント部により、所定回数非同期で再生出力された第１メディアフレームがカウントされた場合においては、前記第２メディアフレームの再生時刻情報に基づいて前記システム基準クロックを決定するよう変更することとしてもよい。
【００３８】
この構成により、第１メディアフレーム（例えば、オーディオフレーム）をマスタとしてストリームを再生しているときに、第１メディアフレームにフレーム欠損やエラーがあって第２メディアフレーム（例えば、ビデオフレーム）が正常な場合、不連続の発生していない正常な第２メディアフレームをマスタに切り換えることができる。
【発明を実施するための最良の形態】
【００３９】
以下、本発明の実施の形態について、図面を参照して詳細に説明する。
（１．実施の形態１）
（１−１．構成）
図１は実施の形態１に係る同期再生装置１００の構成を示す図である。
図１において、同期再生装置１００は、転送部１０１、多重分離部１０２、オーディオ復号部１０３、ビデオ復号部１０４、オーディオＰＴＳ取得部１０８、オーディオＰＴＳ保持部１０９、オーディオＰＴＳ比較部１１０、ビデオＰＴＳ取得部１０５、ビデオＰＴＳ保持部１０６、ビデオＰＴＳ比較部１０７、同期制御部１１１、及びリファレンスクロック部１１２を備える。
【００４０】
転送部１０１は、多重ストリーム（ＭＰＥＧ２−ＴＳストリーム、以下に説明）を多重分離部１０２へ転送するものである。
多重分離部１０２は、多重ストリームからビデオＰＥＳパケット（ＰＥＳパケット、以下に説明）内のＰＥＳヘッダから再生時間情報であるビデオＰＴＳと、ビデオ符号化データを抽出し、ビデオ復号部１０４とビデオＰＴＳ取得部１０５に転送し、また、オーディオＰＥＳパケット内のＰＥＳヘッダから再生時間情報であるオーディオＰＴＳと、オーディオ符号化データを抽出し、オーディオ復号部１０３、オーディオＰＴＳ取得部１０８に転送するものである。
【００４１】
オーディオ復号部１０３は、オーディオ符号化データを復号するものである。
ビデオ復号部１０４は、ビデオ符号化データを復号するものである。
オーディオＰＴＳ取得部１０８は、多重分離部１０２で抽出されたオーディオＰＴＳを取得するものである。
オーディオＰＴＳ保持部１０９は、オーディオＰＴＳ取得部１０８で取得したオーディオＰＴＳを保持するものである。
【００４２】
オーディオＰＴＳ比較部１１０は、オーディオＰＴＳ取得部１０８で取得したＰＴＳとオーディオＰＴＳ保持部１０９に保持されているオーディオＰＴＳとを比較するものである。
ビデオＰＴＳ取得部１０５は、多重分離部１０２で抽出されたビデオＰＴＳを取得するものである。
【００４３】
ビデオＰＴＳ保持部１０６は、ビデオＰＴＳ取得部１０５で取得したビデオＰＴＳを保持するものである。
ビデオＰＴＳ比較部１０７は、ビデオＰＴＳ取得部１０５で取得したビデオＰＴＳとビデオＰＴＳ保持部１０６に保持されているビデオＰＴＳとを比較するものである。
同期制御部１１１は、各構成要素の動作タイミングを制御するものである。
【００４４】
リファレンスクロック部１１２は、システム内の基準クロックであるシステムタイムクロック（以下、ＳＴＣ）を管理するものである。
（１−２．データ）
ここで、図２を用いて、ＭＰＥＧ２−ＴＳストリームのデータ構造を説明する。図２において、５０１はＭＰＥＧ２−ＴＳストリームである。ＭＰＥＧ２−ＴＳストリーム５０１は、１８８バイト固定長の複数のＴＳパケットから構成される。ＭＰＥＧ２−ＴＳパケット（TSPacket）５０２はヘッダ（TS Header）５０３とペイロード（Payload）５０４とから成る。
【００４５】
ヘッダ５０３はＭＰＥＧ２−ＴＳのパケット５０２の先頭を示すシンクワード（Sync Word）５０５と、ＭＰＥＧ２−ＴＳパケット５０２内のデータ識別しＰＩＤ５０６と、ペイロード５０６が有効かどうか示すアダプレーションフィールドコントロール（AdaptationField Control）５０７と、アダプテーションフィールド（Adaptation Field）５０８と、その他の制御フラグ（図示せず）から構成される。図３に示すようにＰＥＳパケットは、同一のＰＩＤ値６０１、６０２を持つ複数の固定長ＴＳパケットに分かれて転送される。ここで、図３を用いて、ＰＥＳパケットのデータ構造を説明する。ＰＥＳパケット７０１は、ＰＥＳパケットの先頭を示すパケットスタートコードプリフィックス（PacketStart Code Prefix）７０２と、ＰＥＳパケットデータ７０６に含まれるストリームを識別するためのストリームＩＤ（Stream id）７０３と、ＰＥＳパケットの長さを示すＰＥＳパケット長（PESPacket Length）７０４と、ＰＥＳヘッダ（PES Header）７０５と、ストリームデータが格納されるＰＥＳパケットデータ（PES PacketData）７０６とから構成される。
【００４６】
さらに、ＰＥＳヘッダ７０５には、オプションフィールド（Option fields）７０７とその他の制御フラグ等（図示せず）から構成される。このオプションフィールド７０７内には、ＰＥＳパケット７０１に含まれるストリームの再生時刻情報であるＰＴＳ７０８が格納されている。また、ＰＥＳパケットデータ７０６には、符号化データが格納されている。
【００４７】
ここでいう復号処理は、ビデオにおいて、例えば、ＭＰＥＧ４−ＡＶＣ／Ｈ．２６４方式やＭＰＥＧ２／４方式の画像復号化処理が行われ、オーディオにおいて、例えば、２３Ｃなどの復号処理が行われる。
（１−３．動作）
図５、図６及び図７は本実施の形態１による同期再生装置１００におけるエントリポイント再生開始の動作手順を示すフローチャートであり、以下、図５、図６及び図７のフローチャートに従って、再生開始までの動作を詳しく説明する。
【００４８】
まず、図５に示す動作は、再生開始指示のあったエントリポイントに対応するビデオフレームを検索し、検索した結果、当該エントリポイントに対応するビデオフレームが欠落していた場合に、当該ビデオフレームの近辺の最適なフレームを決定する動作である。ここで、この最適なビデオフレームのことを「フェイルセーフデータ」と呼ぶ。
外部からビデオ用エントリポイント値が設定されると、ビデオフレーム出力完了フラグが“０”にクリアされて処理が開始する。
【００４９】
まず、ステップＳ２０１にて、転送部１０１に対してストリーム供給要求を出す。ここで、この要求を受けて、転送部１０１は、エントリポイントを含んだＭＰＥＧ２−ＴＳ（以下、多重ストリーム）を多重分離部１０２への転送を行う。多重分離部１０２は、バッファを持っており、多重ストリームはそのバッファに格納される。転送部１０１は、多重分離部１０２が持つバッファのオーバーフロー管理も行い、オーバーフローしそうな場合は、多重ストリームの転送を停止し、バッファの空きがでた時点で多重ストリームの転送を再開する。バッファは、以下に記述するオーディオフレームのスキップ処理、復号処理またはビデオフレームのデコード処理によって消費されていくものとする。
【００５０】
次いで、ステップＳ２０２にて、多重分離部１０２は、先頭ＰＥＳパケットを検出する。ここで、先頭ＰＥＳパケットは、入力されたストリームにおいてＰＴＳが存在する最初のＰＥＳパケットのことを示す。
次いで、ステップＳ２０３にて、多重分離部１０２は、ビデオ符号化データとビデオＰＴＳを抽出し、ビデオ符号化データを、ビデオ復号部１０４へ転送し、ビデオＰＴＳを、ビデオＰＴＳ取得部１０５へ転送する。
【００５１】
次いで、ステップＳ２０４にて、ビデオＰＴＳ取得部１０５は、多重分離部１０２から転送されたＰＴＳを同期制御部１１１へ転送すると同時に、ビデオＰＴＳ保持部１０６へ転送する。
次いで、ステップＳ２０５にて、同期制御部１１１は、外部から指定されたエントリポイント値とビデオＰＴＳ取得部１０５で取得した現ＰＴＳとの比較を行い、エントリポイントに相当するビデオフレームかどうかを判断する。エントリポイントに相当するビデオフレームと判定された場合は、後述するステップＳ２０６に移る。
【００５２】
エントリポイントに相当するビデオフレームと判定されなかった場合は、後述するステップＳ２０８に移る。
ここで、エントリポイント判定は次の条件式である（数１）を用いる。（数１）において、ＥＰｖ１は外部から設定されたエントリポイントを、Ｔｖ１はフレーム単位時間、ＰＴＳｎｖ１はステップＳ２０３にて抽出されたビデオＰＴＳを示す。Ｔｖ１はビデオフレームの１フレーム単位時間を使用する。例えば、１フレーム単位時間は、１５ｆｐｓで６６ｍｓ、３０ｆｐｓで３３ｍｓとなる。ただし、この数式はあくまで例であり、これに限定されるものではない。
【００５３】
（数１）
ＥＰｖ１−１／２×Ｔｖ１＜ＰＴＳｎｖ１≦ＥＰｖ１＋１／２×１／２×Ｔｖ１
エントリポイント値と現ＰＴＳが一致した場合（ステップＳ２０５：ＹＥＳ）、ステップＳ２０６にて、同期制御部１１１は、ビデオ復号部１０４に対して復号許可信号を通知し、ビデオ復号部１０４は、同期制御部１１１からの復号許可信号によりビデオ符号化データの復号処理を行う。復号化されたビデオフレームは、ビデオ復号部１０４内のフレームバッファに格納される。
【００５４】
次いで、ステップＳ２０７にて、ステップ２０６でのビデオの復号処理の完了後、ビデオフレームの出力準備完了フラグを立てる。
一方、エントリポイント値と現ＰＴＳが一致しない場合（ステップＳ２０５：ＮＯ）、ステップＳ２０８にて、ビデオＰＴＳ比較部１０７は、ビデオＰＴＳ取得部１０５で取得されたＰＴＳ（以下、現ＰＴＳ）とビデオＰＴＳ保持部１０６で保持された前回のビデオフレームにおけるＰＴＳ（以下、前ＰＴＳ）のギャップ判定を行う。ギャップ判定には次の条件式である（数２）を用いる。この条件式が成立する場合、後述するステップＳ２０９に移る。逆にギャップと判定されない場合、後述するステップＳ２１０に移る。なお、この処理は、最初のビデオフレームにおいては、ビデオＰＴＳ保持部１０６には前ＰＴＳは保持されていないため行わない。（数２）において、Ｘｖ１は外部から設定される閾値でギャップと判断するための値である。Ｘｖ１は、フレーム周期より大きく与えられるのが望ましい。
【００５５】
（数２）
現ＰＴＳ値−前ＰＴＳ値＜０  または、現ＰＴＳ値-前ＰＴＳ値＞Ｘｖ１
ギャップ判定において条件式（２）が成立する場合（ステップＳ２０８：ＹＥＳ）、ステップＳ２０９にて、ギャップを検出したビデオフレームは、フェイルセーフデータであるとし、ステップＳ２０６に移る。
【００５６】
一方、ギャップ判定において条件式（２）が成立しない場合（ステップＳ２０８：ＮＯ）、ステップＳ２１０にて、ビデオ復号部１０４は、ビデオＰＴＳ比較部１０７からの指示により、ビデオ符号化データの復号処理を行い、ステップＳ２１１に移る。
次いで、ステップＳ２１１にて、ビデオＰＴＳ保持部１０６は、現ＰＴＳ値を前ＰＴＳとして置き換える。つまり、現ＰＴＳを次のビデオフレームのギャップ処理で使用するため、前ＰＴＳとして保存する。その後、ステップＳ２０３の処理に移り処理を継続する。
【００５７】
次に、図５に示す動作は、再生開始指示のあったエントリポイントに対応するオーディオフレームを検索し、検索した結果、当該エントリポイントに対応するオーディオフレームが欠落していた場合に、当該ビデオフレームの近辺の最適なフレームを決定する動作である。ここで、この最適なオーディオフレームのことを「フェイルセーフデータ」と呼ぶ。
【００５８】
処理が開始されると、外部からオーディオ用エントリポイント値が設定され、オーディオフレーム出力完了フラグが“０”にクリアされる。
まず、ステップＳ３０１にて、転送部１０１に対してストリーム供給要求を出す。この要求を受けて、転送部１０１は、エントリポイントを含んだ多重ストリームを多重分離部１０２への転送を行う。なお、ここまでの処理は、ビデオフレームの場合と同様な処理である。
【００５９】
次いで、ステップＳ３０２にて、多重分離部１０２は、先頭ＰＥＳパケットとして検出する。ここで、先頭ＰＥＳパケットというのは、入力されたストリームのＰＴＳが存在する最初のＰＥＳパケットのことを示す。
次いで、ステップＳ３０３にて、多重分離部１０２は、オーディオ符号化データとオーディオＰＴＳを抽出し、オーディオ符号化データは、オーディオ復号部１０３へ転送され、オーディオＰＴＳは、オーディオＰＴＳ取得部１０８へ転送される。
【００６０】
次いでステップＳ３０４にて、オーディオＰＴＳ取得部１０８は、多重分離部１０２から転送されたＰＴＳを同期制御部１１１へ転送するのと同時に、オーディオＰＴＳ保持部１０９へ転送する。
次いでステップＳ３０５にて、同期制御部１１１は、外部から指定されたエントリポイント値とオーディオＰＴＳ取得部１０８で取得した現ＰＴＳとの比較を行い、エントリポイントに相当するオーディオフレームかどうかを判断する。エントリポイントに相当するオーディオフレームと判定された場合は、後述するステップＳ３０６に移る。
【００６１】
エントリポイントに相当するオーディオフレームと判定されなかった場合は、後述するステップＳ３０８に移る。
ここで、エントリポイント判定は次の条件式である（数３）を用いる。（数３）において、ＥＰａ１は外部から設定されたエントリポイントを、Ｔａ１はフレーム単位時間、ＰＴＳｎａ１はステップＳ３０３で抽出されたオーディオＰＴＳを示す。Ｔａ１はオーディオフレームの１フレーム単位時間を使用する。例えば、ＡＡＣ２４ｋＨｚの場合、４２ｍｓ、ＡＡＣ４８ｋＨｚの場合、２２ｍｓが与えられる。ただし、この数式はあくまで例であり、これに限定されるものではない。
【００６２】
（数３）
ＥＰａ１−１／２×Ｔａ１＜ＰＴＳｎａ１≦ＥＰａ１＋１／２×１／２×Ｔａ１
エントリポイント値と現ＰＴＳが一致した場合（ステップＳ３０５：ＹＥＳ）、ステップＳ３０６にて、同期制御部１１１は、オーディオ復号部１０３に対して復号許可信号を通知し、オーディオ復号部１０３は、同期制御部１１１からの復号許可信号によりオーディオ符号化データの復号処理を行う。復号化されたオーディオフレームは、オーディオ復号部１０３内のフレームバッファに格納される。
【００６３】
次いで、ステップＳ３０７にて、ステップＳ３０６でのオーディオの復号処理の完了後、オーディオフレームの出力準備完了フラグを立てる。
一方、エントリポイント値と現ＰＴＳが一致しない場合（ステップＳ３０５：ＮＯ）、ステップＳ３０８にて、オーディオＰＴＳ比較部１１０は、オーディオＰＴＳ取得部１０８で取得されたＰＴＳ（以下、現ＰＴＳ）とオーディオＰＴＳ保持部１０９で保持された前回のオーディオフレームにおけるＰＴＳ（以下、前ＰＴＳ）のギャップ判定を行う。ギャップ判定は次の条件式である（数４）を用いる。この条件式が成立する場合、後述するステップＳ３０９に移る。逆にギャップと判定されない場合、後述するステップＳ３１０に移る。なお、この処理は、最初のオーディオフレームにおいては、オーディオＰＴＳ保持部１０９には前ＰＴＳは保持されていないため行わない。Ｘａ１は外部から設定される閾値で、ギャップと判断するための値である。Ｘａ１は、フレーム周期より大きく与えられるのが望ましい。
【００６４】
（数４）
現ＰＴＳ値−前ＰＴＳ値＜０  または、現ＰＴＳ値−前ＰＴＳ値＞Ｘａ１
ギャップ判定において条件式（４）が成立する場合（ステップＳ３０８：ＹＥＳ）、ステップＳ３０９にて、ギャップを検出したオーディオフレームは、フェイルセーフデータであるとし、ステップＳ３０６に移る。
【００６５】
一方、ギャップ判定において条件式（４）が成立しない場合（ステップＳ３０８：ＮＯ）、ステップＳ３１０にて、オーディオ復号部１０３は、オーディオＰＴＳ比較部１１０からの指示により、オーディオ符号化データのスキップ処理を行い、ステップＳ３１１に移る。
また、ステップＳ３１１にて、ビデオＰＴＳ保持部１０９は、現ＰＴＳ値と前ＰＴＳを置き換える。つまり、現ＰＴＳを次のオーディオフレームのギャップ処理で使用するため、前ＰＴＳとして保存する。以下、ステップＳ３０３の処理に移り処理を継続する。
【００６６】
次に、図７を用いて同期制御部１１１においてビデオフレーム、オーディオフレームの開始データを決定してから再生までの動作を説明する。
ステップＳ４０１にて、ビデオフレームとオーディオフレームがともに出力準備完了になるまで待ち続ける。ビデオフレームとオーディオフレームがともに出力準備完了した場合、ステップＳ４０２に移る。
【００６７】
次いで、ステップＳ４０２において、ビデオフレーム、オーディオフレームがともにフェイルセーフデータとなった場合、後述するステップＳ４０５へ移る。逆にそうでないならば、後述するステップＳ４０３へ移る。
フェイルセーフデータでないフレームがある場合（ステップＳ４０２：ＮＯ）で、ステップＳ４０３において、オーディオフレームのみフェイルセーフデータと判定された場合、後述するステップＳ４０８へ移る。逆にそうでないならば、後述するステップＳ４０４へ移る。
【００６８】
ステップＳ４０４において、ビデオフレームのみフェイルセーフデータと判定された場合、後述するステップＳ４０６へ移る。逆にそうでないならば、後述するステップＳ４０５へ移る。
ビデオフレームとオーディオフレームともにフェイルセーフデータであった場合（ステップＳ４０２：ＹＥＳ）、またはビデオフレームとオーディオフレームともにフェイルセーフデータではない場合（ステップＳ４０４：ＮＯ）、ステップＳ４０５において、出力準備完了したフレームのオーディオＰＴＳとビデオＰＴＳとの比較を行い、オーディオＰＴＳ値≦ビデオのＰＴＳ値が成立する場合、オーディオマスタで開始すると判断し、後述するステップＳ４０６へ移る。逆に、オーディオのＰＴＳ値≦ビデオのＰＴＳ値が成立しない場合、ビデオマスタで開始すると判断し、後述するステップＳ４０８へ移る。
【００６９】
オーディオマスタで開始した場合（ステップＳ４０５：ＹＥＳ）、ステップＳ４０６において、同期制御部１１１は、オーディオ復号部１０３に再生指示を出し、同時に、オーディオのＰＴＳでリファレンスクロック部１１２の補正を行う。なお、オーディオのＰＴＳの補正処理は、オーディオ再生の出力タイミングであるフレーム周期で行う。
次いで、ステップＳ４０７において、同期制御部１１１は、ビデオのＰＴＳとリファレンスクロックで取得したＳＴＣの差分値から同期の合わせこみを行う。ＰＴＳとＳＴＣが一致したと判定された場合、ビデオ復号部１０４に対してビデオフレームの再生指示を出す。
【００７０】
一方、ビデオマスタで開始した場合（ステップＳ４０５：ＮＯ）、ステップＳ４０８において、同期制御部１１１は、ビデオ復号部１０４に再生指示を出し、同時に、ビデオのＰＴＳでリファレンスクロック部１１２の補正を行う。なお、ビデオのＰＴＳの補正処理は、ビデオ再生の出力タイミングであるフレーム周期で行う。
次いで、ステップＳ４０９において、同期制御部１１１は、オーディオのＰＴＳとリファレンスクロックで取得したＳＴＣの差分値から同期の合わせこみを行う。ＰＴＳとＳＴＣの差分が一致したと判定された場合、オーディオ復号部１０３に対してオーディオフレームの再生指示を出す。
【００７１】
以上のように、本発明の実施の形態１による同期再生装置１００によれば、再生開始時、ストリームのデータ抜けやＰＴＳのビット誤りによる不連続が発生しても、オーディオフレームまたはビデオフレームのＰＴＳのギャップを検出し、エントリポイント検索処理を停止して、エントリポイントに対応するフレームの近辺の最適なフレーム（フェイルセーフデータ）を決定して、当該最適なフレームからの再生開始ができる処理が可能となる。
（２．実施の形態２）
次に、本発明の実施の形態２について説明する。
【００７２】
実施の形態２では、エントリポイントと対応するビデオフレーム及びオーディオフレームの検索を行う際、検索に使用する上限時間を決めておき、当該上限時間の経過後はタイムアウトとなるようになっている点で、実施の形態１とは異なる。
以下、実施の形態２について、実施の形態１と異なる点を中心に説明する。
（２−１．構成）
図８は実施の形態２に係る同期再生装置８００の構成を示す図である。
【００７３】
同期再生装置８００は、転送部８０１、多重分離部８０２、オーディオ復号部８０３、オーディオＰＴＳ取得部８０８、オーディオＰＴＳ保持部８０９、オーディオＰＴＳ比較部８１０、ビデオ復号部８０４、ビデオＰＴＳ取得部８０５、ビデオＰＴＳ保持部８０６、ビデオＰＴＳ比較部８０７、同期制御部８１１、リファレンスクロック部８１２、オーディオ時間管理部８１３、及びビデオ時間管理部８１４を備える。
【００７４】
転送部８０１、多重分離部８０２、オーディオ復号部８０３、オーディオＰＴＳ取得部８０８、オーディオＰＴＳ保持部８０９、オーディオＰＴＳ比較部８１０、ビデオ復号部８０４、ビデオＰＴＳ取得部８０５、ビデオＰＴＳ保持部８０６、ビデオＰＴＳ比較部８０７、同期制御部８１１、及びリファレンスクロック部８１２は、それぞれ、実施の形態１に係る同期再生装置１００における、転送部１０１、多重分離部１０２、オーディオ復号部１０３、オーディオＰＴＳ取得部１０８、オーディオＰＴＳ保持部１０９、オーディオＰＴＳ比較部１１０、ビデオ復号部１０４、ビデオＰＴＳ取得部１０５、ビデオＰＴＳ保持部１０６、ビデオＰＴＳ比較部１０７、同期制御部１１１、及びリファレンスクロック部１１２と同様の機能を有する。
【００７５】
オーディオ時間管理部８１３は、予め設定していた時間になった際に同期制御部８１１にオーディオタイムアウト信号を通知するものである。
ビデオ時間管理部８１４は、予め設定していた時間になった際に同期制御部８１１にビデオタイムアウト信号を通知するものである。
オーディオ時間管理部８１３、ビデオ時間管理部８１４に設定できる時間は個別に与えることが可能である。
（２−２．動作）
図９は本実施の形態２における、エントリポイントに対応するフレーム検索時のタイムアウト処理動作を示すフローチャートである。
【００７６】
なお、ビデオフレームの開始データ決定までの動作は実施の形態１の図５で示した動作と同様である。
オーディオフレームの開始データ決定までの動作は実施の形態１の図６で示した動作と同様である。また、ビデオフレーム、オーディオフレームの開始データを決定してから再生までの動作は実施の形態１の図７で示した動作と同様である。
【００７７】
図９に示す動作は、図５〜７に示す動作に付随して実行される。
ここで、ビデオ時間管理部８１４に設定していた時間をＴｅｖ、オーディオ時間管理部８１３に設定していた時間をＴｅａとする。時間Ｔｅｖ、時間Ｔｅａは、転送されるストリームに対して、エントリポイントと一致するフレームを十分に検出可能な時間が与えられているものとする。
【００７８】
ステップＳ９０１にて、同期制御部８１１がオーディオ時間管理部８１３からタイムアウト信号を受信した場合（ステップＳ９０１：ＹＥＳ）、後述するステップＳ９０２に移り、逆にそうでない場合は、後述するステップＳ９０４に移る。
ステップＳ９０２では、同期制御部８１１がビデオフレームの出力準備完了フラグが立っていると判定したならば、後述するステップＳ９０３に移り、そうでないならば処理を終了する。
【００７９】
ビデオフレームの出力準備が完了しているのであれば（ステップＳ９０２：ＹＥＳ）、ステップＳ９０３において、同期制御部８１１は、ビデオ復号部８０４に再生指示を出し、同時に、ビデオＰＴＳでリファレンスクロック部８１２の補正を行う。なお、ビデオＰＴＳの補正処理は、ビデオ再生の出力タイミングであるフレーム周期で行う。
オーディオ時間管理部８１３からタイムアウト信号は受信していない（ステップＳ９０１：ＮＯ）が、ステップＳ９０４にて、同期制御部８１１からタイムアウト信号を受信した場合、後述するステップＳ９０５に移り、逆にそうでないならば処理は終了する。
【００８０】
ステップＳ９０５では、同期制御部８１１がオーディオの出力準備完了フラグが立っていると判定したならば、後述するステップＳ９０６に移り、そうでないならば処理を終了する。
次いで、ステップＳ９０６において、同期制御部８１１は、オーディオ復号部８０３に再生指示を出し、同時に、オーディオＰＴＳでリファレンスクロック部８１２の補正を行う。なお、オーディオＰＴＳの補正処理は、オーディオ再生の出力タイミングであるフレーム周期で行う。
【００８１】
以上のように、本発明の実施の形態２による同期再生装置によれば、エントリポイントと一致するフレームの検索の際に上限時間をオーディオフレームとビデオフレームで個別管理することで、再生開始時、片方のみのデータしか存在しない場合、開始データ検索時間の長いほうに影響を受けることなくフレームの出力することが可能である。例えば、オーディオフレームの開始データ検索時間＜ビデオフレームの開始データ検索時間の場合、ビデオフレームの開始データ発見後、オーディオフレーム側の上限時間経過後に出力することが可能である。
（３．実施の形態３）
次に、本発明の実施の形態３について説明する。
【００８２】
実施の形態３では、エントリポイントと対応するビデオフレーム及びオーディオフレームの検索を行う際、ストリームに含まれるＰＣＲ（後述する）を利用する点で、実施の形態１とは異なる。
以下、実施の形態３について、実施の形態１と異なる点を中心に説明する。
（３−１．構成）
図１０は実施の形態３による同期再生装置１０００の構成を示す図である。
【００８３】
同期再生装置１０００は、転送部１００１、不連続検出部１００２、多重分離部１００３、オーディオ復号部１００４、オーディオＰＴＳ取得部１００５、オーディオＰＴＳ保持部１００６、オーディオＰＴＳ比較部１００７、ビデオ復号部１００８、ビデオＰＴＳ取得部１００９、ビデオＰＴＳ保持部１０１０、ビデオＰＴＳ比較部１０１１、同期制御部１０１２、及びリファレンスクロック１０１３を備える。
【００８４】
転送部１００１、多重分離部１００３、オーディオ復号部１００４、オーディオＰＴＳ取得部１００５、オーディオＰＴＳ保持部１００６、オーディオＰＴＳ比較部１００７、ビデオ復号部１００８、ビデオＰＴＳ取得部１００９、ビデオＰＴＳ保持部１０１０、ビデオＰＴＳ比較部１０１１、同期制御部１０１２、及びリファレンスクロック１０１３は、それぞれ、実施家の形態１に係る同期再生装置１００における、転送部１０１、多重分離部１０２、オーディオ復号部１０３、オーディオＰＴＳ取得部１０８、オーディオＰＴＳ保持部１０９、オーディオＰＴＳ比較部１１０、ビデオ復号部１０４、ビデオＰＴＳ取得部１０５、ビデオＰＴＳ保持部１０６、ビデオＰＴＳ比較部１０７、同期制御部１１１、及びリファレンスクロック部１１２と同様の機能を有する。
【００８５】
不連続検出部１００２は、ＭＰＥＧ２−ＴＳストリームに付随するＰＣＲ（後述する）の不連続性を検出するものである。不連続検出部１００２は、所定時間毎に送られてくるＰＣＲに対して、現ＰＣＲと前ＰＣＲとの差分を比較することで不連続を検出し、不連続を検出したときのＰＣＲ値を、ビデオＰＴＳ比較部１０１１及びオーディオＰＴＳ比較部１００７に通知する。また、図示しないが不連続検出部１００２はバッファを有しており、不連続を検出したときのＰＣＲ値を当該バッファで保持する。
（３−２．データ）
ここで、ＭＰＥＧ２−ＴＳストリームに付随するＰＣＲについて、図１２を用いて説明する。
【００８６】
ＭＰＥＧ２−ＴＳストリームにおいて、ＳＴＣの時間に合わすために、所定時間ごとに、ＰＣＲ（Program Clock Reference）が送られる。ＴＳパケット５０１においてアダプテーションフィールド５０８が含まれているものがある。アダプテーションフィールド５０８は、個別ストリームに関する付加情報を伝送するもので、さらにアダプテーションフィールド５０８内のオプションフィールド（OptionField）５０９に、６バイトのＰＣＲが配される。
（３−３．動作）
図１２及び図１３は本実施の形態３による同期再生装置１０００におけるエントリポイント再生開始の動作手順を示すフローチャートであり、以下、図１２及び図１３のフローチャートに従って、再生開始までの動作を詳しく説明する。
【００８７】
まず、図１２に示す動作は、再生開始指示のあったエントリポイントに対応するビデオフレームを検索し、検索した結果、当該エントリポイントに対応するビデオフレームが欠落していた場合に、当該ビデオフレームの近辺の最適なフレームを決定する動作である。ここで、この最適なビデオフレームのことを「フェイルセーフデータ」と呼ぶ。
外部からビデオ用エントリポイント値が設定され、ビデオフレーム出力完了フラグが“０”クリアされて処理が開始する。
【００８８】
まず、ステップＳ１１０１にて、転送部１００１に対してストリーム供給要求を出す。ここで、この要求を受けて、転送部１００１は、エントリポイントを含んだ多重ストリームを不連続検出部１００２への転送を行う。多重分離部１００３は、バッファを持っており、多重ストリームはそのバッファに格納される。転送部１００１は、多重分離部１００３が持つバッファのオーバーフロー管理も行い、オーバーフローしそうな場合は、多重ストリームの転送を停止し、バッファの空きがでた時点で多重ストリームの転送を再開する。バッファは、以下に記述するオーディオフレームのスキップ処理、復号処理またはビデオフレームのデコード処理によって消費されていくものとする。
【００８９】
次いで、ステップＳ１１０２にて、不連続検出部１００２は、多重ストリームのＴＳパケットのＰＣＲを検索していき不連続が発生した情報を保持する。なお、不連続の判定は、(数５）に示す。条件が成立した場合、後述するステップＳ１１０３に移る。条件が成立しない場合、後述するステップＳ１１０４に移る。(数５）においての、現ＰＣＲは、今回検出されたＴＳパケットにおけるＰＣＲ、前ＰＣＲは、前回検出されたＴＳパケットにおけるＰＣＲ、Ｙａは閾値である。Ｙａは、ＰＣＲ送出周期より大きく与えられるのが望ましい。
【００９０】
（数５）
現ＰＣＲ値−前ＰＣＲ値＜０  または  現ＰＣＲ値−前ＰＣＲ値＞Ｙａ
現ＰＣＲと前ＰＣＲとが不連続である場合（ステップＳ１１０２：ＹＥＳ）、ステップＳ１１０３にて、不連続検出部１００２は、ＴＳパケットの不連続点であるＰＣＲを保持し、またビデオＰＴＳ比較部１０１１に転送する。また、不連続検出部１００２は、多重ストリームを多重分離部１００３に転送する。
【００９１】
上述したステップＳ１１０２〜Ｓ１１０３におけるＰＣＲの取得及び判定処理は、転送部１００１からストリームが転送されるたびに実行される。
次いで、ステップＳ１１０４にて、多重分離部１００３は、転送されたＰＥＳパケットが先頭ＰＥＳパケットである場合は、先頭ＰＥＳパケットとして検出する。ここで、先頭ＰＥＳパケットというのは、入力されたストリームのＰＴＳが存在する最初のＰＥＳパケットのことを示す。なお、先頭ＰＥＳパケットに続くＰＥＳパケットについては、当該ステップＳ１１０４で検出はされずにステップＳ１１０５に移る。
【００９２】
次いで、ステップＳ１１０５にて、多重分離部１００３は、ビデオ符号化データとビデオＰＴＳを抽出し、ビデオ符号化データは、ビデオ復号部１００８へ転送され、ビデオＰＴＳは、ＰＴＳ取得部１００９へ転送される。
次いで、ステップＳ１１０６にて、ビデオＰＴＳ取得部１００９は、多重分離部１００３から転送されたＰＴＳを同期制御部１０１２へ転送すると同時に、ビデオＰＴＳ保持部１０１０へ転送する。
【００９３】
次いで、ステップＳ１１０７にて、同期制御部１０１２は、外部から指定されたエントリポイント値とビデオＰＴＳ取得部１００９が管理する現ＰＴＳを比較し、エントリポイントに相当するビデオフレームかどうかを判断する。エントリポイントに相当するビデオフレームと判定された場合は、後述するステップＳ１１０８に移る。
エントリポイントに相当するビデオフレームと判定されなかった場合は、後述するステップＳ１１１０に移る。
【００９４】
ここで、エントリポイント判定は次の条件式である（数６）を用いる。つまり、この条件式が成立する場合、エントリポイントに相当するフレームとして判定する。この条件式において、ＥＰｖ３は外部から設定されたエントリポイントを、Ｔｖ３はフレーム単位時間、ＰＴＳｎｖ３はステップＳ１１０５にて抽出されたビデオＰＴＳを示す。Ｔｖ３はビデオフレームの１フレーム単位時間を使用する。例えば、１フレーム単位時間は、１５ｆｐｓで６６ｍｓ、３０ｆｐｓで３３ｍｓとなる。ただし、この数式はあくまで例であり、これに限定されるものではない。
【００９５】
（数６）
ＥＰｖ３−１／２×Ｔｖ３＜ＰＴＳｎｖ１≦ＥＰｖ３＋１／２×１／２×Ｔｖ３
エントリポイント値と現ＰＴＳが一致した場合（ステップＳ１１０７：ＹＥＳ）、ステップＳ１１０８にて、同期制御部１０１２は、ビデオ復号部１００８に対して復号許可信号を通知し、ビデオ復号部１００８は、同期制御部１０１２からの復号許可指示によりビデオ符号化データの復号処理を行う。復号化されたビデオフレームは、ビデオ復号部１００８内のフレームバッファに格納される。
【００９６】
次いで、ステップＳ１１０９にて、ステップ１１０８でのビデオの復号処理の完了後、ビデオフレームの出力準備完了フラグを立てる。
一方、エントリポイント値と現ＰＴＳが一致しない場合（ステップＳ１１０７：ＮＯ）、ステップＳ１１１０にて、ビデオＰＴＳ比較部１０１１は、ビデオＰＴＳ取得部１００９で取得されたＰＴＳ（以下、現ＰＴＳ）とビデオＰＴＳ保持部１０１０で保持された前回のビデオフレームにおけるＰＴＳ（以下、前ＰＴＳ）のギャップ判定を行う。ギャップ判定は次の条件式である（数７）を用いる。この条件式が成立する場合、ギャップを検出したフレームとして判定し、後述するステップＳ１１１１に移る。逆にギャップと判定されない場合、後述するステップＳ１１１３に移る。なお、この処理は、最初のビデオフレームにおいては、ビデオＰＴＳ保持部１０１０には前ＰＴＳは保持されていないため、行わない。Ｘｖ３は外部から設定される閾値で、ギャップと判断するための値である。Ｘｖ３は、フレーム周期より大きく与えられるのが望ましい。
【００９７】
（数７）
現ＰＴＳ値−前ＰＴＳ値＜０  または、現ＰＴＳ値−前ＰＴＳ値＞Ｘｖ３
ギャップ判定において条件式（２）が成立する場合（ステップＳ１１１０：ＹＥＳ）、ステップＳ１１１１にて、ＰＴＳ比較部１０１１は、ギャップを検出したＰＴＳと不連続検出部１００２で保持されている（ステップＳ１１０３）ＰＣＲとを比較して条件式（数８）が成立した場合（ステップＳ１１１１：ＹＥＳ）、後述するステップＳ１１１３へ移り、成立しない場合、後述するステップＳ１１１２へ移る。Ｚは、ＴＳパケットにおけるＰＣＲの送出周期とオーディオフレームとビデオフレームのインタリーブを想定した値が望ましい。例えば、ワンセグ運用上では、ＭＰＥＧ２ーＴＳにおけるＰＣＲの送出周期は４００ｍｓ以内、オーディオフレームとビデオフレームのインタリーブ間隔は１．５秒程度なので、２秒程度の値を与えるのが妥当である。
【００９８】
（数８）
−Ｚ＜ＰＣＲ−現ＰＴＳ値＜Ｚ
条件式（数８）が成立しない場合（ステップＳ１１１１：ＮＯ）、ステップＳ１１１２にて、ギャップを検出したビデオフレームは、フェイルセーフデータであるとし、ステップＳ１１０８に移る。
【００９９】
次いで、ステップ１１１３にて、ビデオ復号部１００８は、ビデオＰＴＳ比較部１０１１からの指示により、ビデオ符号化データの復号処理を行い、ステップＳ１１１４に移る。
次いで、ステップＳ１１１４にて、ビデオＰＴＳ保持部１０１０は、現ＰＴＳ値を前ＰＴＳとして置き換える。つまり、現ＰＴＳを次のビデオフレームのギャップ処理で使用するため、前ＰＴＳとして保存する。以下、ステップＳ１１０５の処理に移り処理を継続する。
【０１００】
次に、図１３に示す動作は、再生開始指示のあったエントリポイントに対応するオーディオフレームを検索し、検索した結果、当該エントリポイントに対応するオーディオフレームが欠落していた場合に、当該オーディオフレームの近辺の最適なフレームを決定する動作である。ここで、この最適なオーディオフレームのことを「フェイルセーフデータ」と呼ぶ。
【０１０１】
処理が開始されると、外部からオーディオ用エントリポイント値が設定され、オーディオフレーム出力完了フラグが“０”クリアされる。
まず、ステップＳ１２０１にて、転送部１００１に対してストリーム供給要求を出す。この要求を受けて、転送部１００１は、エントリポイントを含んだ多重ストリームを不連続検出部１００２への転送を行う。
【０１０２】
次いで、ステップＳ１２０２にて、不連続検出部１００２は、多重ストリームのＴＳパケットのＰＣＲを検索していき不連続が発生した情報を保持する。なお、不連続の判定は、（数５）に示す。条件が成立した場合、後述するステップＳ１２０３に移る。条件が成立しない場合、ステップＳ１２０４に移る。
現ＰＣＲと前ＰＣＲとが不連続である場合（ステップＳ１１０２：ＹＥＳ）、ステップＳ１２０３にて、不連続検出部１００２は、ＴＳパケットの不連続点であるＰＣＲを保持し、またオーディオ用ＰＴＳ比較部１００７に転送する。また、不連続検出部１００２は、多重ストリームを多重分離部１００３に転送する。
【０１０３】
上述したステップＳ１２０２〜Ｓ１２０３におけるＰＣＲの取得及び判定処理は、転送部１００１からストリームが転送されるたびに実行される。
次いで、ステップＳ１２０４にて、多重分離部１００３は、転送されたＰＥＳパケットが先頭ＰＥＳパケットである場合は、先頭ＰＥＳパケットとして検出する。ここで、先頭ＰＥＳパケットというのは、入力されたストリームのＰＴＳが存在する最初のＰＥＳパケットのことを示す。なお、先頭ＰＥＳパケットに続くＰＥＳパケットについては、当該ステップＳ１２０４で検出はされずにステップＳ１２０５に移る。
【０１０４】
次いで、ステップＳ１２０５にて、多重分離部１００３は、オーディオ符号化データとオーディオＰＴＳを抽出し、オーディオ符号化データは、オーディオ復号部１００４へ転送され、オーディオＰＴＳは、オーディオＰＴＳ取得部１００５へ転送される。
次いでステップＳ１２０６にて、オーディオＰＴＳ取得部１００５は、多重分離部１００３から転送されたＰＴＳを同期制御部１０１２へ転送するのと同時に、オーディオ保持部１００６へ転送する。
【０１０５】
次いでステップＳ１２０７にて、同期制御部１０１２は、外部から指定されたエントリポイント値とオーディオＰＴＳ取得部１００５が管理する現ＰＴＳとの比較を行い、エントリポイントに相当するオーディオフレームかどうかを判断する。エントリポイントに相当するオーディオフレームと判定された場合は、後述するステップＳ１２０８に移る。
逆にエントリポイントに相当するフレームと判定されなかった場合（ステップＳ１２０７：ＮＯ）は、後述するステップＳ１２１０に移る。
【０１０６】
ここで、エントリポイント判定は次の条件式である（数９）を用いる。（数９）において、ＥＰａ３は外部から設定されたエントリポイントを、Ｔａ３はフレーム単位時間、ＰＴＳｎａ３はステップ１２０６で抽出されたオーディオＰＴＳを示す。Ｔａ３はオーディオフレームの１フレーム単位時間を使用する。例えば、ＡＡＣ２４ｋＨｚの場合、４２ｍｓ、ＡＡＣ４８ｋＨｚの場合、２２ｍｓが与えられる。ただし、この数式はあくまで例であり、これに限定されるものではない。
【０１０７】
（数９）
ＥＰａ３−１／２×Ｔａ３＜ＰＴＳｎａ３≦ＥＰａ３＋１／２×１／２×Ｔａ３
エントリポイント値と現ＰＴＳが一致した場合（ステップＳ１２０７：ＹＥＳ）、ステップＳ１２０８にて、同期制御部１０１２は、オーディオ復号部１００４に対して復号許可信号を通知し、オーディオ復号部１００４は、同期制御部１０１２からの復号許可信号によりオーディオ符号化データの復号処理を行う。復号化されたオーディオフレームは、オーディオ復号部１００４内のフレームバッファに格納される。
【０１０８】
ステップＳ１２０９にて、ステップ１２０８でのオーディオの復号処理の完了後、オーディオフレームの出力準備完了フラグを立てる。
一方、エントリポイント値と現ＰＴＳが一致しない場合（ステップＳ１２０７：ＮＯ）、ステップＳ１２１０にて、オーディオＰＴＳ比較部１００７は、オーディオＰＴＳ取得部１００５で取得されたＰＴＳ（以下、現ＰＴＳ）とオーディオＰＴＳ保持部１００６で保持されたＰＴＳ（以下、前ＰＴＳ）のギャップ判定を行う。ギャップ判定は次の条件式である（数１０）を用いる。この条件式が成立する場合、ギャップを検出したオーディオフレームとして判定し、後述するステップＳ１２１１に移る。逆にギャップと判定されない場合、後述するステップＳ１２１３に移る。なお、この処理は、最初のオーディオフレームにおいては、ＰＴＳ保持部１００６には前ＰＴＳは保持されていないため行わない。Ｘａ３は外部から設定される閾値で、ギャップと判断するための値である。Ｘａ３は、フレーム周期より大きく与えられるのが望ましい。
【０１０９】
（数１０）
現ＰＴＳ値−前ＰＴＳ値＜０  または、現ＰＴＳ値−前ＰＴＳ値＞Ｘａ３
ギャップ判定において条件式（２）が成立する場合（ステップＳ１２１０：ＹＥＳ）、ステップＳ１２１１にて、オーディオＰＴＳ比較部１００７は、ギャップを検出したＰＴＳと不連続検出部１００２で保持されている（ステップＳ１２０３）ＰＣＲとを比較して条件（数８）が成立した場合（ステップＳ１２１１：ＹＥＳ）、後述するステップ１Ｓ２１２へ移り、成立しない場合、後述するＳ１２１３へ移る。
【０１１０】
条件式（数８）が成立しない場合（ステップＳ１２１１：ＮＯ）、ステップＳ１２１２にて、ギャップを検出したオーディオフレームは、フェイルセーフデータであるとし、ステップＳ１２０８に移る。
次いで、ステップＳ１２１３にて、オーディオ復号部１００４は、オーディオＰＴＳ比較部１００７からの指示により、オーディオ符号化データのスキップ処理を行い、ステップＳ１２１４に移る。
【０１１１】
次いで、ステップＳ１２１４にて、オーディオＰＴＳ保持部１００６は、現ＰＴＳ値と前ＰＴＳを置き換える。つまり、現ＰＴＳを次のオーディオレームのギャップ処理で使用するため、前ＰＴＳとして保存する。以下、ステップＳ１２０５の処理に移り処理を継続する。
なお、ビデオフレーム、オーディオフレームの開始データを決定してから再生までの動作は、実施の形態１における図７に示す動作と同様である。
【０１１２】
以上のように、本発明の実施の形態３による同期再生装置によれば、ＰＣＲを利用してＴＳパケットの不連続検出させることで、ＴＳパケットのデータ抜けの不連続とＰＴＳのビット誤りによる不連続を区別することが可能となる。ＴＳパケットのデータ抜けによる不連続は、外部ブロック（例えば、上位ソフトウェア）で判断可能であるため、データ抜けの部分は、エントリポイントとして指定されないことが想定される。実施の形態３によれば、ＴＳパケットのデータ抜けの不連続は、開始データ検索処理を停止してフェイルセーフデータから再生することなく、検索処理を継続させることができる。
（４．実施の形態４）
次に、本発明の実施の形態４について説明する。
【０１１３】
実施の形態４による同期再生装置は、実施の形態１と同様の構成を有しているが、ビデオフレームとオーディオフレームの再生中にフレーム欠損に係る処理を行う点で、実施の形態１と異なる。ここでは、図１に示した同期再生装置１００と同様の部分については説明を省略し、再生中の動作について重点的に説明する。
（４−１．構成）
以下、実施の形態１で説明した構成と異なる点について説明する。
【０１１４】
再生中、まず、転送部１０１より転送される多重ストリームは、多重分離部１０２においてビデオＰＥＳデータとオーディオＰＥＳデータに分離される。ビデオＰＥＳデータはビデオＰＴＳと、ビデオ符号化データを抽出後、ビデオ復号部１０４とビデオＰＴＳ取得部１０５に転送される。また、オーディオＰＥＳデータはビデオＰＥＳ同様、オーディオＰＴＳと、オーディオ符号化データを抽出し、オーディオ復号部１０３、オーディオＰＴＳ取得部１０８に転送される。
【０１１５】
オーディオ復号部１０３は、独自のクロックを持ってフレーム周期で動作しており、フレーム周期の先頭で１フレーム分の符号化データの取得を行い、同期制御部１１１からの制御信号の状態に応じて復号処理動作を決定する機能を有する。具体的には、同期制御部１１１からの制御信号が復号許可の場合は、復号処理を行って復号結果を出力する。制御信号が復号停止の場合は復号処理を停止し出力を停止する。また、制御信号が破棄の場合は、現フレームの符号化データを破棄、すぐさま次フレームのデータを取得し、次の同期制御部１１１からの制御信号の状態に応じて復号処理動作を決定する。
【０１１６】
ビデオ復号部１０４も、オーディオ復号部１０３同様、独自のクロックを持ってフレーム周期で動作しており、フレーム周期の先頭で１フレーム分の符号化データの取得を行い、同期制御部１１１からの制御信号の状態に応じて復号処理動作を決定する機能を有する。具体的には、同期制御部１１１からの制御信号が復号許可の場合は復号処理を行って復号結果を出力し、同時に次のフレームのデータを取得する。制御信号が復号停止の場合は復号処理を停止し出力を停止する。さらに制御信号がデータ破棄の場合は、現フレームの符号化データをデコードした後に次フレームのデータを取得し、次の同期制御部１１１からの制御信号の状態に応じて復号処理動作を決定する。
【０１１７】
ここで、データ破棄の場合もデコード処理を行うことの意味するところは以下の通りである。
ＭＰＥＧなどに代表される動画圧縮符号データの復号処理では、前フレームを参照しながら復号処理をする必要がある。そのため、復号処理せずしてフレームデータの破棄を行った場合、破棄したフレームの次のフレームが正常に復号できない可能性があるためである。
【０１１８】
オーディオＰＴＳ取得部１０８は、多重分離部１０２から転送されたオーディオＰＴＳを取得し、オーディオ復号部１０３が符号化データを取得するタイミングで、オーディオＰＴＳを同期制御部１１１へ転送する機能を有する。
ビデオＰＴＳ取得部１０５は、多重分離部１０２から転送されたビデオＰＴＳを取得し、ビデオ復号部１０４が符号化データを取得するタイミングで、ビデオＰＴＳを同期制御部１１１へ転送する機能を有する。
【０１１９】
同期制御部１１１では、オーディオＰＴＳ取得部１０８からオーディオＰＴＳを取得するとリファレンスクロック部１１２からリファレンスクロック（以下、ＳＴＣとも表記）を取得し、ＳＴＣとＰＴＳを比較することで、オーディオ復号部１０３に制御信号を送信する機能を有する。また、ビデオＰＴＳ取得部１０５からビデオＰＴＳを取得するとリファレンスクロック部１１２からＳＴＣを取得し、ＳＴＣとＰＴＳを比較することで、ビデオ復号部１０４に制御信号を送信する。
【０１２０】
また、同期制御部１１１では、マスタとして動作しているデータのＰＴＳがＳＴＣに対し同期している判断した場合に、リファレンスクロックを補正するためのＰＴＳをリファレンスクロック部１１２へ転送する機能を有する。
さらに、同期制御部１１１では、現在のマスタがオーディオであるか、ビデオであるかを管理しているとともに、オーディオ、ビデオがそれぞれリファレンスクロックに対し同期しているか否かを示す同期制御状態を管理している。
【０１２１】
リファレンスクロック部１１２は、同期制御部１１１から転送されたＰＴＳを受け内部クロックを補正する機能を有する。
（４−２．動作）
以下、再生中における、同期制御部１１１が行う同期制御処理について図１４を用いて説明を行う。尚、ここではビデオ符号化データの同期制御について説明するが、当然、同様の処理をオーディオ符号化データの復号処理に適用することも可能である。その場合、図１４においてビデオと表記されている部分はオーディオに、オーディオと表記されている部分はビデオに変換すればよい。
【０１２２】
図１４に示すように、まず、同期制御部１１１へビデオＰＴＳ取得部１０５からビデオＰＴＳが転送されてきたタイミングで開始する。
同期制御部１１１へビデオＰＴＳ取得部１０５からビデオＰＴＳが転送されてくると、ステップＳ１６０１にてＰＴＳを取得する。
次いで、ステップＳ１６０２にてリファレンスクロック部１１２から現在の時刻であるＳＴＣを取得する。
【０１２３】
次いで、ステップＳ１６０３にて次式（数１１）を判定する。
（数１１）
｜ＰＴＳ―ＳＴＣ｜＜ｔ１
ここでｔ１はシステムまたはデータごとに決定できる固定値である。
（数１１）を満たす場合（ステップＳ１６０３：ＹＥＳ）には、そのＰＴＳは同期していると判断し、後述のステップＳ１６０４へ移る。（数１１）を満たしていない場合（ステップＳ１６０３：ＮＯ）には、同期していないと判断し、後述のステップＳ１６０８以降の同期外れ処理へ移る。
【０１２４】
ここで、ＰＥＳパケット内には、１パケット内に複数のオーディオフレーム、またはビデオフレームが存在する場合がある。この場合には、多重分離部１０２から送られてきたＰＴＳは、そのパケットの先頭のフレームｉに対応するものであるので、パケット内の２番目以降のフレームｉ＋１とｉ＋２についてはＰＴＳが存在しない。このような場合、ビデオＰＴＳ取得部１０５は、ＰＴＳが存在しないフレームに対し、ビデオフレーム内のフレームレートに関するパラメータあるいは、あらかじめ規定されたフレームレートを用いてＰＴＳ値を補間する。オーディオフレームにおいても同様で、オーディオＰＴＳ取得部１０８が、ＰＴＳが存在しないフレームに対し、オーディオフレーム内のフレームレートに関するパラメータあるいは、あらかじめ規定されたフレームレートを用いてＰＴＳ値を補間する。
【０１２５】
尚、上記（数１１）の意味するところは以下の通りである。
ビデオフレームと同期を取るためには、ＳＴＣ＝ＰＴＳとなった瞬間に出力を開始することが必要であるが、リファレンスクロックの読み出し処理はソフトウェアで実現する場合には処理時間にばらつきが発生する可能性があるため、厳密にＳＴＣ＝ＰＴＳとなるＳＴＣをタイミングよく読み込むことは難しい。このため、同期制御部１１１がビデオ復号部１０４に復号許可を与える条件として、（数１１）を満足させることで、判断処理に冗長を持たせている。
【０１２６】
（数１１）を満たす場合（ステップＳ１６０３：ＹＥＳ）、ステップＳ１６０４にてビデオ復号部１０４に対し、復号許可信号を送信する。これにより、ビデオ復号部１０４は復号処理を行い復号結果のオーディオ再生データの出力を行う。
次いで、ステップＳ１６０５にて、現在のリファレンスクロックのマスタを取得する。
次いで、ステップＳ１６０６にて、ビデオが現在のマスタであると判定された場合（ステップＳ１６０６：ＹＥＳ）は、リファレンスクロック部１１２へ同期と判定したＰＴＳ値を転送する。リファレンスクロック部１１２では、転送されたＰＴＳをもとに内部クロックの補正処理を行う。
【０１２７】
ビデオがマスタではないと判定された場合（ステップＳ１６０６：ＮＯ）には、ステップＳ１６０８へ移行する。
次いで、ステップＳ１６０８にて、ＰＴＳがリファレンスクロックと同期状態であると判断されたため、後述する自走カウンタのクリアと、さらに同期制御状態を同期状態に遷移させ、同期制御処理を終了する。
【０１２８】
一方、（数１１）を満たさない場合（ステップＳ１６０３：ＮＯ）、ステップＳ１６０９にて次式（数１２）が成り立つか否かを判定する。
（数１２）
０＜ＳＴＣ―ＰＴＳ＜ｔ２
ここでｔ２はシステムまたはデータごとに決定できる固定値である。
【０１２９】
上記（数１２）を満たす場合（ステップＳ１６０９：ＹＥＳ）は、復号化しようとするフレームが再生時刻よりもすでに遅れていることを意味するため、当該フレームを破棄しすぐに次フレームの処理へ遷移することで遅れを取り戻す。すなわち、ステップＳ１６１０にてビデオ復号部１０４に対し、データ破棄を送信し、処理を終了する。
尚、再生時刻よりも既に遅れている場合、本実施例では１フレーム分のデータ破棄を復号部へ指示しているが、ＳＴＣに対する遅れ時間が大きい場合、複数フレーム分のデータ破棄を指示するようにしてもよい。
【０１３０】
上記（数１２）を満たさない場合（ステップＳ１６０９：ＮＯ）は、後述するステップＳ１６１１へ移る。
ステップＳ１６１１では、次式（数１３）を判定する。
（数１３）
０＜（ＰＴＳ―ＳＴＣ）＜ｔ３
ここでｔ３はシステムまたはデータごとに決定できる固定値である。
【０１３１】
上記（数１３）を満たす場合（ステップＳ１６１１：ＹＥＳ）は、復号化しようとするフレームが再生時刻よりも進んでいることを意味するため、当該フレームの復号化処理を停止させることで進みをなくす。すなわち、ステップＳ１６１２にてビデオ復号部１０４に対し、復号停止を送信する。
次いで、ステップＳ１６１３で、ＰＴＳとＳＴＣの差分時間分だけ待ちを行ったあと、ビデオ復号部１０４に対し、復号許可を送信する。
【０１３２】
一方、上記（数１３）を満たさない場合（ステップＳ１６１１：ＮＯ）は、ＰＴＳが誤っているか不連続になっていると想定され、後述するステップＳ１６１４以降の自走処理へ移る。
自走処理では以下の処理を行う。
ステップＳ１６１４では、自走カウンタ値に対し次式（数１４）を判定する。
【０１３３】
（数１４）
自走カウンタ＜Ｍ
ここで、自走カウンタとは、判定ステップＳ１６０３、ステップＳ１６０９、ステップＳ１６１１のいずれも満たされない場合に自走処理を行ったフレーム数をカウントするカウンタであり、開始時と判定ステップＳ１６０３が満たされた場合、すなわちＳＴＣとＰＴＳが同期していると判定された場合に０にクリアされるカウンタである。
【０１３４】
また、Ｍはシステムまたはデータごとに決定できる固定値である。
（数１４）を満たす場合（ステップＳ１６１４：ＹＥＳ）は、ステップＳ１６１５にてビデオ復号部１０４に対し、復号許可信号を送信し、当該フレームの復号処理と出力処理を行う。
次いで、ステップＳ１６１６にて自走カウンタを１インクリメント行う。
【０１３５】
次いで、ステップＳ１６２９にてビデオの同期制御状態を自走状態に遷移させ、同期制御処理を終了する。
一方、（数１４）を満たさない場合（ステップＳ１６１４：ＮＯ）は、ステップＳ１６１７以降の強制同期処理へ移る。
この自走カウンタ導入の意味するところは以下の通りである。
【０１３６】
ＳＴＣとＰＴＳの差分が大きい場合、オーディオ、ビデオに時間的な不連続が発生したのか、ＰＴＳ値にエラーが混入されたのかの区別がつかない。そこで、ＳＴＣとＰＴＳの差分が大きいフレームが継続されている状態が、一定フレーム数（上記数式ではＭフレーム）未満の間はＰＴＳ値に誤りがあったと判断し自走処理を行う。しかし、一定フレーム数以上ＳＴＣとＰＴＳの差分が大きいフレームが継続された場合には、時間的な不連続が発生したと判断し強制同期処理へ移行する。
【０１３７】
強制同期処理では以下の処理を行う。
まず、ステップＳ１６１７にて、ビデオの再生状態を強制同期状態に遷移させる。
次いで、ステップＳ１６１８にて現在のリファレンスクロックのマスタを取得する。
次いで、ステップＳ１６１９にて、ビデオが現在のマスタかどうかを判定する。
ビデオマスタであると判定された場合（ステップＳ１６１９：ＹＥＳ）、ステップＳ１６２０にてリファレンスクロック部１１２へＰＴＳ値を転送する。リファレンスクロック部１１２では、転送されたＰＴＳをもとに内部クロックの補正処理を行う。すなわち、マスタの場合における強制同期処理とはリファレンスクロックの補正を意味する。
【０１３８】
次いで、ステップＳ１６２１にてビデオ復号部１０４に対し、復号許可を送信し処理を終了する。
一方、ビデオマスタでないと判定された場合（ステップＳ１６１９：ＮＯ）は、ステップＳ１６２２へ移る。
ステップＳ１６２２では、マスタの同期状態を取得する。
【０１３９】
次いで、ステップＳ１６２３にてマスタの同期制御状態が同期状態かどうかを判定する。
同期状態ではない場合（ステップＳ１６２３：ＹＥＳ）、ステップＳ１６２４にてビデオ復号部１０４に対し、復号許可を送信し処理を終了する。
ここで、マスタの同期制御状態判定の意味するところは以下の通りである。
【０１４０】
マスタが同期状態ではなく自走状態、または強制同期状態の場合は、マスタは同期が取れていない状態である。そのため、リファレンスクロックはマスタのＰＴＳによって補正されていないため、信頼できる状態ではない。そのため、マスタが同期状態になるまで待つ必要がある。
一方、同期状態の場合（ステップＳ１６２３：ＮＯ）、ステップＳ１６２５にて次式（数１５）を判定する。
【０１４１】
（数１５）
ＰＴＳ＜ＳＴＣ
上記（数１５）を満たす場合（ステップＳ１６２５：ＹＥＳ）、すなわちＰＴＳよりＳＴＣの方が大きい場合は、ＰＴＳは遅れていると判断されるので、ステップＳ１６２６にてビデオ復号部１０４に対し、データ破棄を送信し、処理を終了する。
【０１４２】
一方、（数１５）を満たさない場合（ステップＳ１６２５：ＮＯ）、すなわちＳＴＣよりＰＴＳの方が大きい場合は、ステップＳ１６２７にてビデオ復号部１０４に対し、復号停止を送信する。
次いで、ステップＳ１６２８で、ＰＴＳとＳＴＣの差分時間分だけ待ちを行ったあと、ビデオ復号部１０４に対し、復号許可を送信し、処理を終了する。
【０１４３】
上記フローチャートにおける強制同期部分の詳細動作を図１５のタイミングチャートを用いて示す。
図１５はビデオストリーム、オーディオのストリームに時間的不連続が発生している場合に、本実施例を適用した場合のタイミングチャートである。
この図１５において、ビデオ再生データ、オーディオ再生データはフレーム単位で示され、各フレームに付記されている数字はＰＴＳを意味する。たとえば、映像フレーム１８０１におけるＰＴＳは４２である。また、図１５ではオーディオマスタ動作を例に挙げているため、オーディオの各フレームのＰＴＳ値によりリファレンスクロックは補正される。また、映像フレームの表示周期は５、音声フレームの表示周期は３であり、映像フレーム１８０１と映像フレーム１８０２、また、音声フレーム１８０３と音声フレーム１８０４の間に時間飛びが発生している。さらに、（数１３）における閾値ｔ３は、ビデオ、オーディオともに１０、（数１４）における自走カウンタの閾値Ｍをビデオに関しては５フレーム、オーディオに関しては３フレームとする。
【０１４４】
まず、ビデオ、オーディオ両方の同期制御状態が同期状態で再生している状態において、映像フレーム１８０２にてビデオの不連続が発生する。このとき映像フレーム１８０２とリファレンスクロックの差分は７８であることから、（数１３）における閾値ｔ３＝１０を超えており、また、自走カウンタは０の状態のため、自走処理が行われる。
次に、音声フレーム１８０４において、オーディオの不連続が発生する。オーディオはマスタであるがビデオ同様、同期制御処理を行う。
【０１４５】
音声フレーム１８０４とリファレンスクロックの差分は６６であることから、（数１３）における閾値ｔ３＝１０を超えており、また、自走カウンタは０のため、自走処理となる。
オーディオが自走処理の間、リファレンスクロックは補正されず、リファレンスクロック部では内部時計が自走している状態となる。
【０１４６】
次に、音声フレーム１８０５にてオーディオの自走カウンタが３となるため、（数１４）を満たさず強制同期処理を行う。現在オーディオマスタであるため、強制同期処理の場合にはリファレンスクロックの補正処理を行う。これによりリファレンスクロックは１２６に補正される。
次に、映像フレーム１８０６での同期制御処理において、オーディオが同期状態に遷移しリファレンスクロックを補正したが、映像フレーム１８０６とリファレンスクロックの差分はまだ１２であり、（数１３）における閾値１０を超えているため、自走処理は継続される。
【０１４７】
次に、映像フレーム１８０７にてビデオの自走カウンタが５となるため、（数１４）を満たさず強制同期を行う。映像フレーム１８０７においてＰＴＳとＳＴＣの差分は１２なので、映像フレーム１７０８の復号処理を停止し１２時間分待ちを行う。その間は映像フレーム１８０６が表示され続ける。１２時間分待った後、映像フレーム１８０７は復号され表示される。以後、ビデオはリファレンスクロックと同期しながら再生される。
【０１４８】
以上のように、本発明の実施の形態４による同期再生装置によれば、受信電波が悪い状況下などで記録された多重化ストリームにおいて、オーディオストリーム、またはビデオストリーム、あるいはオーディオビデオ両方のストリームに時間的不連続が発生した場合でも、再生を継続でき、さらに不連続点を通過したのちにオーディオフレーム及びビデオフレームの同期再生への復帰を早くすることができる。
【０１４９】
さらに、自走カウンタを設け、閾値に応じて自走処理か強制同期処理かを判断できるようにすることにより、伝送エラーなどによるＰＴＳに誤りが混入され、同期が取れない状態であっても不連続と判断せず自走させることでオーディオ、ビデオを途切れなく連続的に再生させることが可能である。
（５．実施の形態５）
次に、本発明の実施の形態５について説明する。
【０１５０】
実施の形態５による同期再生装置は、実施の形態４と同様の構成を有しており、基本的な動作は同様であるが、再生中の同期制御において、強制同期処理に変更を加えた点で実施の形態４と異なる。ここでは、実施の形態４と異なる動作について重点的に説明する。
（４−１．動作）
以下、図１６に基づいて実施の形態５における同期生再生装置の動作について説明する。
【０１５１】
ここではビデオ符号化データの同期制御について説明するが、当然、同様の処理をオーディオ符号化データの復号処理に適用することも可能である。その場合、図１６においてビデオと表記されている部分はオーディオに、オーディオと表記されている部分はビデオに変換すればよい。
図１６は実施の形態５における同期制御処理を示すフローチャートである。
【０１５２】
ステップＳ１７０１〜Ｓ１７１６の処理動作は、それぞれ、実施の形態４における図１４に示すステップＳ１６０１〜Ｓ１６１６と同様のため、説明は省略する。
以下、ステップＳ１７１７の強制同期処理以降について、図１６を用いて詳細に説明する。
まず、ステップＳ１７１７にて、自走と判断されたために、ビデオの同期制御状態を強制同期状態に遷移させる。
【０１５３】
次いで、ステップＳ１７１８にて現在のリファレンスクロックのマスタを取得する。
次いで、ステップＳ１７１９にて、ビデオが現在のマスタかどうかを判定する。
ビデオマスタであると判定された場合（ステップＳ１７１９：ＹＥＳ）、ステップＳ１７２０にてリファレンスクロック部１１２へＰＴＳ値を転送する。リファレンスクロック部１１２は、転送されたＰＴＳをもとに内部クロックの補正処理を行う。
【０１５４】
次いで、ステップＳ１７２１にてビデオ復号部１０４に対し、復号許可を送信し処理を終了する。
一方、ビデオマスタでないと判定された場合（ステップＳ１７１９：ＮＯ）は、ステップＳ１７２２へ移る。
ステップＳ１７２２では、マスタの同期制御状態を取得する。
【０１５５】
次いで、ステップＳ１７２３にてマスタの同期制御状態が同期状態かどうかを判定する。
同期状態でない場合（ステップＳ１７２３：ＹＥＳ）は、ステップＳ１７２４にてビデオ復号部１０４に対し、復号許可を送信し処理を終了する。
マスタが同期状態の場合（ステップＳ１７２３：ＮＯ）、ステップＳ１７２５へ移る。
【０１５６】
ステップＳ１７２５において、次式（数１６）を判定する。
（数１６）
ＰＴＳ―ＳＴＣ＜ｔ４
ここでｔ４はシステムまたはデータごとに決定できる固定値である。
（数１６）を満たす場合（ステップＳ１７２５：ＹＥＳ）には、ステップＳ１７２６に移る。
【０１５７】
次いで、ステップＳ１７２６では、次式（数１７）を判定する。
（数１７）
ＰＴＳ＜ＳＴＣ
上記（数１７）を満たす場合（ステップＳ１７２６：ＹＥＳ）、すなわちＰＴＳよりＳＴＣの方が大きい場合は、ＰＴＳは遅れていると判断されるので、ステップＳ１７２７にてビデオ復号部１０４に対し、データ破棄を送信し、処理を終了する。
【０１５８】
（数１７）を満たさない場合（ステップＳ１７２６：ＮＯ）、すなわちＳＴＣよりＰＴＳの方が大きい場合は、ステップＳ１７２８にてビデオ復号部１０４に対し、復号停止を送信する。
次いで、ステップＳ１７２９で、ＰＴＳとＳＴＣの差分時間分だけ待ちを行ったあと、ビデオ復号部１０４に対し、復号許可を送信し処理を終了する。
【０１５９】
一方、（数１６）を満たさない場合（ステップＳ１７２５：ＮＯ）は、まず、ステップＳ１７３０にて自走カウンタをクリアする。
次いで、ステップＳ１７３１にてビデオ復号部１０４に対し、復号停止を送信する。
次いで、ステップＳ１７３２にてｔ５時間分だけ待ちを行ったあと、ビデオ復号部１０４に対し、復号許可を送信する。
【０１６０】
尚、（数１７）において、ＰＴＳよりＳＴＣの方が大きい場合、すなわちＰＴＳがＳＴＣより遅れていると判断された場合、本実施例では１フレーム分のデータ破棄を復号部へ指示しているが、複数フレーム分のデータ破棄を指示してもよい。さらに、ＳＴＣとＰＴＳの差分時間分のデータ破棄を行うのではなく、ｔ５時間分のデータを破棄することも可能である。
【０１６１】
また、この強制同期処理ステップにおいて、ＰＴＳとＳＴＣの差分値がｔ４以上の場合も、同期制御を行う範囲をｔ５にすることの意味するところは以下の通りである。
すなわち、ステップＳ１７１４における「（数１８）自走カウンタ＜Ｍ」の判定が満たされなかった場合（ステップＳ１７１４：ＮＯ）において、伝送エラーなどの要因によりＰＴＳ値が誤っている場合、あるいは、オーディオストリーム又はビデオストリームの時間的不連続状態が短時間に繰り返されるような場合、ＳＴＣとＰＴＳの差分値に対してステップＳ１７２８の処理を行うと差分値が巨大な値になる可能性がある。結果、長時間の待ち時間が発生、あるいは長時間分のデータが破棄される可能性がある。このような状況を防ぐために導入される。
【０１６２】
上記フローチャートにおける強制同期制御の詳細動作を図１７のタイミングチャートを用いて示す。
図１７はビデオストリーム、オーディオビデオのストリームに時間的不連続が繰り返し発生している場合に、本実施例を適用した場合のタイミングチャートである。
この図１７において、ビデオ再生データ、オーディオ再生データはフレーム単位で示され、各フレームに付記されている数字はＰＴＳを意味する。たとえば映像フレーム１９０１におけるＰＴＳは４２である。また、図１７ではオーディオマスタ動作を例に挙げているため、オーディオの各フレームのＰＴＳ値によりリファレンスクロックは補正される。また、映像フレームの表示周期は５、音声フレームの表示周期は３であり、映像フレーム１９０１と映像フレーム１９０２、また、音声フレーム１９０３と音声フレーム１９０４の間に時間飛びが発生している。さらに、映像フレーム１９０５と映像フレーム１９０６、また、音声フレーム１９０８と音声フレーム１９０９の間にも不連続が発生している。
【０１６３】
（数１３）における閾値ｔ３は、ビデオ、オーディオともに１０、（数１８）における自走カウンタの閾値Ｍをビデオに関しては５フレーム、オーディオに関しては３フレームとする。また、（数１６）における閾値ｔ４をオーディオ、ビデオともに２０、ＳＴＣとＰＴＳの差分固定時間ｔ５を１０とする。
まず、ビデオ、オーディオ両方の同期制御状態が同期状態で再生している状態において、映像フレーム１９０２にてビデオの不連続が発生する。このとき映像フレーム１９０２とリファレンスクロックの差分は７８であることから、（数１３）における閾値ｔ３＝１０を超えており、また、自走カウンタは０の状態のため、自走処理が行われる。
【０１６４】
次に、音声フレーム１９０４において、オーディオの不連続が発生する。オーディオはマスタであるがビデオ同様、同期制御処理を行う。
音声フレーム１９０４とリファレンスクロックの差分が６６であることから、（数１３）における閾値ｔ３＝１０を超えており、また、自走カウンタは０のため、自走処理となる。
【０１６５】
オーディオが自走処理の間、リファレンスクロックは補正されず、リファレンスクロック部では内部時計が自走している状態となる。
次に、音声フレーム１９０５にてオーディオの自走カウンタは３となるため、（数１４）を満たさず強制同期処理を行う。現在オーディオがマスタであるため、強制同期処理の場合にはリファレンスクロックの補正処理を行う。これによりリファレンスクロックは１２６に補正される。
【０１６６】
次に、映像フレーム１９０６にて再び不連続が発生するが、自走カウンタは３のため自走は継続される。
次に、映像フレーム１９０７にてビデオの自走カウンタが５となるため、（数１８）を満たさず強制同期処理を行う。このとき、映像フレーム１９０７においてＰＴＳは４２５、ＳＴＣは１３３であり、差分が２９２なので、強制同期用閾値ｔ４＝２０を超えている。そのため、待ち時間をｔ５＝１０に変換して映像フレーム１９０７の復号処理を停止し１０時間分待ちを行う。１０時間分待った後、映像フレーム１９０７は復号され表示されるが、次の映像フレーム１９１１でのＰＴＳとＳＴＣの差分は１１となり、まだ閾値１０を超えている。自走カウンタは０の状態のため、自走処理となり再度自走カウンタのカウントアップが始まる。
【０１６７】
また、音声フレーム１９０９にてオーディオが再び不連続が発生する。音声フレーム１９０９のＰＴＳとＳＴＣとの差分が３７１であることから、（数１３）における閾値ｔ３＝１０を超えているため、自走処理となる。
音声フレーム１９１０にてオーディオの自走カウンタは３となり、（数１８）を満たさず強制同期処理を行う。現在オーディオがマスタであるため、強制同期処理の場合にはリファレンスクロックの補正処理を行う。これによりリファレンスクロックは４０９に補正される。
【０１６８】
次に、映像フレーム１９１２にてビデオの自走カウンタが５となり、（数１８）を満たさず強制同期処理を行う。このとき、映像フレーム１９１２においてＰＴＳは４５０、ＳＴＣは４３９であり、差分が１１なので、（数１３）における閾値ｔ３＝１０を越えているため強制同期処理を行う。すなわち、映像フレーム１９１２の復号処理を停止し１１時間分待ちを行う。１１時間分待った後、映像フレーム１９１２は復号され表示される。以後、ビデオはリファレンスクロックと同期しながら再生される。
【０１６９】
以上のように、本発明の実施の形態５による同期再生装置によれば、伝送エラーなどによりストリームにエラーが混入された場合や、オーディオまたは、ビデオのストリーム、あるいはオーディオビデオ両方のストリームに時間的な不連続が繰り返し発生するような場合、あるいは、連続とＰＴＳ誤りが同時に発生するような場合において、ストリームの異常発生部分を停止させることなく再生でき、オーディオ、ビデオの同期再生へ復帰を短時間で行うことできる。
【０１７０】
また、強制同期処理を複数回に分けて実行することから、長時間の強制同期処理を行う必要がある場合において、長時間同じフレームが再生出力されっぱなしになる時間を短縮することができ、ユーザが強制同期処理中の映像を視聴したときの違和感を軽減することができる。
（６．実施の形態６）
次に、本発明の実施の形態６について説明する。
【０１７１】
実施の形態６による同期再生装置は、実施の形態５と同様の構成を有しており、基本的な動作は同様であるが、再生中の同期制御において、自走処理に変更を加えた点で実施の形態５と異なる。ここでは、実施の形態５と異なる動作について重点的に説明する。
（６−１．動作）
以下、図１８に基づいて実施の形態６における同期生再生装置の動作について説明する。
【０１７２】
ここではビデオ符号化データの同期制御について説明するが、当然、同様の処理をオーディオ符号化データの復号処理に適用することも可能である。その場合、図１８においてビデオと表記されている部分はオーディオに、オーディオと表記されている部分はビデオに変換すればよい。
図１８は実施の形態６における同期制御処理を示すフローチャートである。
【０１７３】
ステップＳ２００１〜Ｓ２０３３の処理動作は、それぞれ、実施の形態５における図１６に示すステップＳ１７０１〜Ｓ１７３３と同様のため、説明は省略する。
以下、自走処理中のステップＳ２０３４〜Ｓ２０３９の処理について、図２０を用いて詳細に説明する。
まず、ステップＳ２０３４において、次式（数１９）を判定する。
【０１７４】
（数１９）
自走カウンタ＞Ｎ
ここでＮはシステムまたはデータごとに決定できる固定値であるが、Ｍよりも小さい。
（数１９）を満たさない場合（ステップＳ２０３４：ＮＯ）には、ステップＳ２０１４に移り、実施の形態５と同じ処理となる。
【０１７５】
（数１９）を満たす場合（ステップＳ２０３４：ＹＥＳ）には、ステップＳ２０３５に移る。
ステップＳ２０３５では、現在のリファレンスクロックのマスタを取得する。
次いで、ステップＳ２０３６にて、現在ビデオマスタであると判定された場合、ステップＳ２０３７へ移る。ビデオマスタではない場合はステップＳ２０１５へ移る。
【０１７６】
ステップＳ２０３７では、オーディオの同期制御状態を取得する。
次いで、ステップＳ２０３８にて、オーディオの同期制御状態が同期状態でない場合（ステップＳ２０３８：ＮＯ）はステップＳ２０１５へ移り、同期状態である場合（ステップＳ２０３８：ＹＥＳ）、ステップＳ２０３９へ移る。
ステップＳ２０３９では、マスタをオーディオに切り替える。
【０１７７】
この自走処理ステップにおいて、自走カウンタがＮ以上になった場合にマスタの切替制御を行うことの意味するところは、以下の通りである。
記録されたストリームにおいて、マスタのストリーム（例えば、オーディオストリーム）のみに不連続が発生し、他方には不連続が発生していない場合、マスタが不連続後の強制同期処理を行うと、リファレンスクロックの補正を行うことになる。すなわち、リファレンスクロックにも不連続が発生することになる。結果、マスタではないストリーム（オーディオがマスタであれば、ビデオストリーム）は、リファレンスクロックに同期するように動作するため、不連続がないストリームにもかかわらず、同期制御処理によりデータの破棄や待ちが発生し連続再生されない。このような他方にのみ、特にマスタに指定されるストリームのみに、不連続がある場合において、不連続がない他方のストリームを滑らかに再生できるようにマスタ切替制御を導入している。
【０１７８】
上記図１８のフローチャートにおけるマスタ切替制御を図１９のタイミングチャートを用いて示す。
図１９はオーディオストリームに時間的不連続が発生しており、同期状態中はオーディオマスタで動作している場合に、本実施例を適用した場合のタイミングチャートである。
この図１９において、ビデオ再生データ、オーディオ再生データはフレーム単位で示され、各フレームに付記されている数字はＰＴＳを意味する。たとえば、音声フレーム２１０１におけるＰＴＳは３９である。また、図１９ではオーディオマスタ動作を想定しているため、オーディオの各フレームのＰＴＳ値によりリファレンスクロックは補正される。また、映像フレームの表示周期は５、音声フレームの表示周期は３であり、音声フレーム２１０１と音声フレーム２１０２の間に時間飛びが発生している。ビデオストリームには不連続はない。
【０１７９】
さらに、（数１３）における閾値ｔ３は、ビデオ、オーディオともに１０、（数１４）における自走カウンタの閾値Ｍをオーディオに関しては４フレーム、（数１９）におけるマスタ切替の閾値Ｎをオーディオに関しては２フレームとする。
まず、ビデオが同期状態、オーディオがマスタで同期状態にて再生中に、音声フレーム２１０２にてオーディオの不連続が発生する。このとき音声フレーム１８０２とリファレンスクロックの差分は１８であり、また、自走カウンタは０であることから、（数１３）における閾値ｔ３＝１０を超えているため、自走処理が行われる。
【０１８０】
次に、音声フレーム２１０３において、自走カウンタが３となり、（数１９）を満たすため、マスタ切替制御を行い、マスタをオーディオからビデオに変更する。映像フレーム２１０６はリファレンスクロックに対し同期しているので、同期状態で出力を行い、リファレンスクロックを補正する。
これに対し、音声フレーム２１０４は、リファレンスクロックに対し差分１８のため自走状態は継続される。この後、音声フレーム２１０５にて、自走カウンタが（数１４）を満たさず強制同期処理を行う。
【０１８１】
音声フレーム２１０５においてＰＴＳとＳＴＣの差分が１８なので、音声フレーム２１０５の復号処理を停止し１８時間分待ちを行う。その間、音声出力は無音となる。１８時間分待った後、音声フレーム２１０５は復号され出力される。音声フレーム２１０７において、再び同期状態になるためオーディオマスタへマスタ切替を行い、通常状態に復帰する。このとき、映像フレームは一枚も欠けることなく連続して再生される。
【０１８２】
以上のように、本発明の実施の形態６による同期再生装置によれば、受信電波が悪い状況下などで記録された多重化ストリームにおいて、オーディオストリーム、またはビデオストリームの他方のみに不連続があり、特にマスタとして位置づけられるストリームのみに不連続がある場合、マスタではない不連続のないストリームを途切れることなく連続して再生できる。
（７．実施の形態７）
実施の形態７では、本発明に係る携帯電話機について説明する。実施の形態７に係る携帯電話機２０００は、実施の形態１で示した同期再生装置１００を内部に備えている。
【０１８３】
図２０は本発明に係る携帯電話機２０００の構成を示すブロック図である。この携帯電話機２０００は、移動通信用の通信用無線部２４０１と、ベースバンド部２４０２と、デジタルテレビ放送を受信するためのＴＶ用無線部２４０３と、ＴＶチューナー２４０５と、各種制御を行うアプリケーション処理部２４０６と入出力部２４０７と、電源部２４１７から構成される。
【０１８４】
通信用無線部２４０１及びベースバンド部２４０２は、無線電話通信を行うための信号処理を行うものである。
ＴＶ用無線部２４０３は、デジタルテレビ放送波を受信するものである。
ＴＶチューナー２４０５は、ＴＶ用無線部２４０３で受信したデジタルテレビ放送波の信号処理を行うものである。
【０１８５】
アプリケーション処理部２４１３は、通信部２４１３、同期再生装置２４１４、主制御部２４１５、及び蓄積部２４１６を有する。
通信部２４１３は、アプリケーション２４０６と外部との通信を行うインターフェースである。
同期再生装置２４１４は、実施の形態１で示した同期再生装置１００と同様の構成を有するものである。
【０１８６】
主制御部２４１５は、携帯電話機２０００の各部を制御するＣＰＵ（Central Processing Unit）である。
蓄積部２４１６は、データを蓄積するメモリであり、特に、ＴＶ無線部２４０３で受信しＴＶチューナー２４０５で信号処理したデジタルテレビ放送データを蓄積する。
入出力部２４０７は、カメラ（ＣＡＭ）２４０８、ＬＣＤ（Liquid Crystal Display）２４０９、マイク（ＭＩＣ）２４１０、ＳＰＫ（スピーカー）２４１１、及びＫＥＹ（キー入力部）２４１２を有する。
【０１８７】
カメラ２４０８は、撮像した撮像データを入力するものである。
ＬＣＤ２４０９は、画像や映像を出力するものであり、特に、同期再生装置２４１４で再生出力される映像を出力する。
マイク２４１０は、音を入力するもので、例えば、無線電話通信時に、ユーザの音声を入力するのに用いられる。
【０１８８】
スピーカー２４１１は、音を出力するもので、例えば、同期再生装置２４１４で再生出力される音声や、無線電話通信時に通話相手の音声を出力する。
キー入力部２４１２は、ユーザの入力操作を受付けるものである。
ここで、簡単に携帯電話機２０００の動作について説明する。
デジタルテレビ視聴時または記録再生時の本発明の同期再生装置について、図２０を用いて以下に説明を行う。
【０１８９】
デジタルテレビ放送視聴に際しては、ＴＶチューナー２４０５で選択されたチャンネルをＴＶ用無線部２４０３にて受信し、アプリケーション処理部２４０６へ多重化ストリーム（ＭＰＥＧ２−ＴＳ）を入力する。アプリケーション処理部２４０６では、チューナーより受け取った多重化ストリームを同期再生装置２４１４へ入力する。同期再生装置２４１４において、入力された多重化ストリームは、図１における転送部１０１へ入力され、多重化データをオーディオ、ビデオデータに分離、復号することで再生が可能となる。
【０１９０】
また、放送を記録する場合は、ＴＶチューナー２４０５から入力される多重化ストリームを蓄積部２４１６に蓄積する。ここで、蓄積部２４１６は端末内部のメモリ、または端末から分離可能なメモリ、いずれでもよい。
蓄積された多重化ストリームの再生は、キー入力部２４１２を通じたユーザからのキー操作によって再生が開始され、蓄積部２４１６から多重化ストリームが同期再生装置２４１４へ入力される。同期再生装置２４１４では、入力された多重化ストリームをオーディオデータ、ビデオデータに分離、復号することでの再生が可能となる。
【０１９１】
なお、ここでは、携帯電話機２０００に実施の形態１に係る同期再生装置１００を備える例を示したが、同様に、実施の形態２〜６に係る同期再生装置を備えることが可能なことは言うまでもない。
また、ここでは本発明の同期再生装置を適用した携帯電話機を例に挙げたが、本同期再生装置は、オーディオ機器や、映像が再生可能な様々な機器への適用が可能である。
【産業上の利用可能性】
【０１９２】
本発明の同期再生装置は、符号化映像を再生する再生装置に広く適用可能であり、電波状態が悪い環境で録画された等の理由によりフレーム欠損のあるストリームの再生開始時に、最適なフレームから再生開始できる点、及び再生途中に映像信号と音声信号が途切れることなく再生を継続できる点で有用である。
【図面の簡単な説明】
【０１９３】
【図１】本発明の実施の形態１に係る同期再生装置の構成を示すブロック図である。
【図２】本発明の実施の形態１に係るＭＰＥＧ２−ＴＳストリームのデータ構造図である。
【図３】本発明の実施の形態１に係るＭＰＥＧ２−ＴＳストリームとＰＥＳパケットの関係図である。
【図４】本発明の実施の形態１に係るＰＥＳパケットのデータ構造図である。
【図５】本発明の実施の形態１に係るビデオデータ検索処理を示すフローチャートである。
【図６】本発明の実施の形態１に係るオーディオデータ検索処理を示すフローチャートである。
【図７】本発明の実施の形態１に係る再生処理を示すフローチャートである。
【図８】本発明の実施の形態２に係る同期再生装置の構成を示すブロック図である。
【図９】本発明の実施の形態２に係るタイムアウト処理を示すフローチャートである。
【図１０】本発明の実施の形態３に係る同期再生装置の構成を示すブロック図である。
【図１１】本発明の実施の形態３に係るＰＥＳパケットのデータ構造図である。
【図１２】本発明の実施の形態３に係るビデオデータ検索処理を示すフローチャートである。
【図１３】本発明の実施の形態３に係るオーディオデータ検索処理を示すフローチャートである。
【図１４】本発明の実施の形態４に係る同期制御処理を示すフローチャートである。
【図１５】本発明の実施の形態４に係る同期制御処理を示すタイミングチャートである。
【図１６】本発明の実施の形態５に係る同期制御処理を示すフローチャートである。
【図１７】本発明の実施の形態５に係る同期制御処理を示すタイミングチャートである。
【図１８】本発明の実施の形態６に係る同期制御処理を示すフローチャートである。
【図１９】本発明の実施の形態６に係る同期制御処理を示すタイミングチャートである。
【図２０】本発明に係る携帯電話機を示すブロック図である。
【図２１】従来技術の同期再生装置の構成を示すブロック図である
【図２２】従来技術の同期再生装置の処理を示すフローチャートである。
【図２３】従来技術における再生処理を示す概念図である。
【図２４】従来技術におけるフレーム検索処理を示す概念図である。
【図２５】従来技術における再生中の処理を示す概念図である。
【符号の説明】
【０１９４】
１００、８００、１０００              同期再生装置
１０１、８０１、１３０１              転送部
１０２、８０２                        多重分離部
１０３、８０３、１３０４              オーディオ復号部
１０４、８０４、１３０３              ビデオ復号部
１０５、１０８、８０５、８０８        ＰＴＳ取得部
１０６、１０９                        ＰＴＳ保持部
１０７、１１０                        ＰＴＳ比較部
１１１、８１１、１３０５              同期制御部
１１２、８１２、１３１３              リファレンスクロック部
８１３                                オーディオ時間管理部
８１４                                ビデオ時間管理部
１３０２                              システムデコーダ
２０００                              携帯電話機
【手続補正３】
【補正対象書類名】図面
【補正対象項目名】全図
【補正方法】変更
【補正の内容】
【図１】
2007099906.tif 000028
【図２】
2007099906.tif 000029
【図３】
2007099906.tif 000030
【図４】
2007099906.tif 000031
【図５】
2007099906.tif 000032
【図６】
2007099906.tif 000033
【図７】
2007099906.tif 000034
【図８】
2007099906.tif 000035
【図９】
2007099906.tif 000036
【図１０】
2007099906.tif 000037
【図１１】
2007099906.tif 000038
【図１２】
2007099906.tif 000039
【図１３】
2007099906.tif 000040
【図１４】
2007099906.tif 000041
【図１５】
2007099906.tif 000042
【図１６】
2007099906.tif 000043
【図１７】
2007099906.tif 000044
【図１８】
2007099906.tif 000045
【図１９】
2007099906.tif 000046
【図２０】
2007099906.tif 000047
【図２１】
2007099906.tif 000048
【図２２】
2007099906.tif 000049
【図２３】
2007099906.tif 000050
【図２４】
2007099906.tif 000051
【図２５】
2007099906.tif 000052
【国際調査報告】
2007099906.tif 000053
2007099906.tif 000054
2007099906.tif 000055
2007099906.tif 000056