(57)【要約】【課題】映像データや音声データのＰＴＳがずれた場合に適切にずれを吸収できる同期方式を提供することを目的とする。【解決手段】受信装置は、システムクロックを生成するシステムクロック発生装置と、映像データと該映像データに対応する表示時刻情報とを受け取りシステムクロックに基づいて表示時刻情報が示す時刻に映像データを出力する映像同期装置とを含み、映像同期装置は、映像データの表示時刻情報と出力タイミングを示すシステムクロック値とのずれが所定値未満であればシステムクロック値により表示時刻情報を書き替えて、書き替え後の表示時刻情報が示す時刻にシステムクロックに基づいて映像データを出力し、ずれが所定値以上であれば表示時刻情報に基づきシステムクロックを修正して、修正後のシステムクロックに基づいて表示時刻情報が示す時刻に映像データを出力する。【選択図】図４
2010041306.tif 000002
【特許請求の範囲】
【請求項１】
時刻を示す値を有するシステムクロックを生成するシステムクロック発生装置と、
受信したデジタル信号に含まれる表示単位の大きさの映像データと該映像データに対応する表示時刻情報とを受け取り、前記システムクロックに基づいて該表示時刻情報が示す時刻に前記映像データを出力する映像同期装置と
を含み、
前記映像同期装置は、連続するタイミングで順次出力する一連の前記映像データのうち次のタイミングで出力する前記映像データの前記表示時刻情報と前記次のタイミングを示すシステムクロック値とのずれが許容値以上の場合、
前記ずれが所定値未満であれば前記システムクロック値により前記表示時刻情報を書き替えて、前記書き替え後の表示時刻情報が示す時刻に前記システムクロックに基づいて前記映像データを出力し、
前記ずれが前記所定値以上であれば前記表示時刻情報に基づき前記システムクロックを修正して、前記修正後のシステムクロックに基づいて前記表示時刻情報が示す時刻に前記映像データを出力する
ことを特徴とする同期出力装置。
【請求項２】
前記映像同期装置は、前記ずれが前記所定値以上であっても、前記ずれが前記所定値以上である前記映像データを連続して所定個受け取るまでは、次の出力タイミングを示すシステムクロック値により表示時刻情報を書き替えて、前記書き替え後の表示時刻情報が示す時刻に前記システムクロックに基づいて前記映像データを出力し、前記ずれが前記所定値以上である前記映像データを連続して所定個受け取ると、前記表示時刻情報に基づき前記システムクロックを修正して、前記修正後のシステムクロックに基づいて前記表示時刻情報が示す時刻に前記映像データを出力することを特徴とする請求項１記載の同期出力装置。
【請求項３】
前記映像同期装置は、前記ずれが前記許容値以上で前記所定値未満であり、且つ、次のタイミングで出力する前記映像データの前記表示時刻情報が前記次のタイミングを示すシステムクロック値よりも未来を示す場合、連続する前記映像データの少なくとも１つを同一データとして繰り返し出力することを特徴とする請求項１又は２記載の同期出力装置。
【請求項４】
前記映像同期装置は、前記ずれが前記許容値以上で前記所定値未満であり、且つ、次のタイミングで出力する前記映像データの前記表示時刻情報が前記次のタイミングを示すシステムクロック値よりも過去を示す場合、連続する前記映像データの少なくとも１つを破棄して出力しないことを特徴とする請求項１乃至３いずれか一項記載の同期出力装置。
【請求項５】
前記受信したデジタル信号に含まれる表示単位の大きさの音声データと該音声データに対応する表示時刻情報とを受け取り、前記システムクロックに基づいて該表示時刻情報が示す時刻に前記音声データを出力する音声同期装置を更に含み、前記音声同期装置は、連続するタイミングで順次出力するために受け取った第１及び第２の前記音声データのうち第２のタイミングで出力する前記第２の音声データの前記表示時刻情報と前記第２のタイミングを示すシステムクロック値とのずれが許容値以上の場合、前記第１の音声データの前記表示時刻情報と前記第２の音声データの前記表示時刻情報とが連続しないなら前記第２の音声データを破棄して出力せず、前記第１の音声データの前記表示時刻情報と前記第２の音声データの前記表示時刻情報とが連続するなら前記第２の音声データの前記表示時刻情報が示す時刻に前記第２の音声データを出力することを特徴とする請求項１乃至４いずれか一項記載の同期出力装置。
【請求項６】
時刻を示す値を有するシステムクロックを生成し、
表示単位の大きさの映像データと該映像データに対応する表示時刻情報とを受け取り、前記システムクロックに基づいて該表示時刻情報が示す時刻に前記映像データを出力する
各段階を含み、前記映像データを出力する段階は、
連続するタイミングで順次出力する一連の前記映像データのうち次のタイミングで出力する前記映像データの前記表示時刻情報と前記次のタイミングを示すシステムクロック値とのずれが許容値以上の場合、
前記ずれが所定値未満であれば前記システムクロック値により前記表示時刻情報を書き替えて、前記書き替え後の表示時刻情報が示す時刻に前記システムクロックに基づいて前記映像データを出力し、
前記ずれが前記所定値以上であれば前記表示時刻情報に基づき前記システムクロックを修正して、前記修正後のシステムクロックに基づいて前記表示時刻情報が示す時刻に前記映像データを出力する
ことを特徴とする同期確立方法。
【請求項７】
前記映像データを出力する段階は、前記ずれが前記所定値以上であっても、前記ずれが前記所定値以上である前記映像データを連続して所定個受け取るまでは、次の出力タイミングを示すシステムクロック値により表示時刻情報を書き替えて、前記書き替え後の表示時刻情報が示す時刻に前記システムクロックに基づいて前記映像データを出力し、前記ずれが前記所定値以上である前記映像データを連続して所定個受け取ると、前記表示時刻情報に基づき前記システムクロックを修正して、前記修正後のシステムクロックに基づいて前記表示時刻情報が示す時刻に前記映像データを出力することを特徴とする請求項６記載の同期確立方法。
【請求項８】
表示単位の大きさの音声データと該音声データに対応する表示時刻情報とを受け取り、前記システムクロックに基づいて該表示時刻情報が示す時刻に前記音声データを出力する段階を更に含み、前記音声データを出力する段階は、連続するタイミングで順次出力する第１及び第２の前記音声データのうち第２のタイミングで出力する前記第２の音声データの前記表示時刻情報と前記第２のタイミングを示すシステムクロック値とのずれが許容値以上の場合、前記第１の音声データの前記表示時刻情報と前記第２の音声データの前記表示時刻情報とが連続しないなら前記第２の音声データを破棄して出力せず、前記第１の音声データの前記表示時刻情報と前記第２の音声データの前記表示時刻情報とが連続するなら前記第２の音声データの前記表示時刻情報が示す時刻に前記第２の音声データを出力することを特徴とする請求項６又は７記載の同期確立方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本願の開示は、一般に同期出力装置及び同期確立方法に関し、詳しくは受信デジタル信号に含まれる映像データ及び音声データを指定のタイミングで出力する同期出力装置及び同期確立方法に関する。
【背景技術】
【０００２】
地上波デジタル放送やＢＳデジタル放送等のデジタル信号は、映像（ビデオ）データや音声（オーディオ）データ等を一定のサイズで区切ったＴＳ（トランスポートストリーム）パケット（以下単にパケットと呼ぶ）として送信される。この際、映像データのパケットとビデオデータのパケットとを適当な順序で並べてデジタル信号のストリームを構成する。映像又は音声の単一のメディア情報のパケットを、プレゼンテーション単位で複数個纏めることにより、ＰＥＳ（Ｐａｃｋｅｔｉｚｅｄ  Ｅｌｅｍｅｎｔａｒｙ  Ｓｔｒｅａｍ）パケットを構成する。このＰＥＳパケットがメディア情報を表示するための時間管理の単位となる。以降、このＰＥＳパケット等の一塊の表示単位の大きさのデータをフレームと呼ぶ。複数個の映像データのパケットが纏まって１つの映像フレームを形成し、複数個の音声データのパケットが纏まって１つの音声フレームを形成する。それぞれの映像フレーム及び音声フレームには、それぞれの表示時刻を３３ビットにより１／９０ｋＨｚの精度で示す表示時刻情報ＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏｎ  Ｔｉｍｅ  Ｓｔａｍｐ）がヘッダ情報として含まれている。
【０００３】
ある映像フレームのＰＴＳと受信機側のシステムクロックとが一致するタイミングで、その映像フレームのデータを表示する。またある音声フレームのＰＴＳと受信機側のシステムクロックとが一致するタイミングで、その音声フレームのデータを音声出力する。これにより、受信機側でそれぞれ別々に復号化される映像データと音声データとを、同期を取り正しいタイミングで出力再生することが可能となる。
【０００４】
受信したデジタル信号中のＰＴＳは、放送側の機器の誤動作や伝送中のノイズ混入等により、期待される時刻情報からずれた時刻情報となる場合がある。この場合、映像が何も表示されなかったり、映像の途中のシーンで停止したりする。また音声の無音状態が続いたりする。
【０００５】
特許文献１には、既に録画されている映像と音声のデジタル信号を編集する際に表示時刻を補正してＡＶ同期（音声及び映像の同期）を取る方法が開示されている。特許文献２には、デジタル信号の情報内に特別な情報を付加する符号化／復号化システムによりＡＶ同期をとる方法が開示されている。特許文献３には、再生装置のシステムクロックを映像や音声の表示時刻で補正する方法が開示されている。
【０００６】
従来のＡＶ同期方法は、同じ映像あるいは同じ音声を繰り返して出力させる等の単一の方法で同期を取っていた。この場合、映像データ及び音声データのＰＴＳのずれ量が小さい時には直ちに同期が取れる。しかしずれ量が大きい時は、長時間に渡り映像が止まったり、音声の無音状態が続いたりし、表示装置としては好ましくない動作をしてしまう。
【特許文献１】特開２００６−６０７４２号公報
【特許文献２】特開２００５−１５９６７９号公報
【特許文献３】特開２００５−１２３７８９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
以上を鑑みると、映像データや音声データのＰＴＳがずれた場合に適切にずれを吸収できる同期方法が望まれる。
【課題を解決するための手段】
【０００８】
同期出力装置は、時刻を示す値を有するシステムクロックを生成するシステムクロック発生装置と、受信したデジタル信号に含まれる表示単位の大きさの映像データと該映像データに対応する表示時刻情報とを受け取り、前記システムクロックに基づいて該表示時刻情報が示す時刻に前記映像データを出力する映像同期装置とを含み、前記映像同期装置は、連続するタイミングで順次出力する一連の前記映像データのうち次のタイミングで出力する前記映像データの前記表示時刻情報と前記次のタイミングを示すシステムクロック値とのずれが許容値以上の場合、前記ずれが所定値未満であれば前記システムクロック値により前記表示時刻情報を書き替えて、前記書き替え後の表示時刻情報が示す時刻に前記システムクロックに基づいて前記映像データを出力し、前記ずれが前記所定値以上であれば前記表示時刻情報に基づき前記システムクロックを修正して、前記修正後のシステムクロックに基づいて前記表示時刻情報が示す時刻に前記映像データを出力することを特徴とする。
【０００９】
同期確立方法は、時刻を示す値を有するシステムクロックを生成し、表示単位の大きさの映像データと該映像データに対応する表示時刻情報とを受け取り、前記システムクロックに基づいて該表示時刻情報が示す時刻に前記映像データを出力する各段階を含み、前記映像データを出力する段階は、連続するタイミングで順次出力する一連の前記映像データのうち次のタイミングで出力する前記映像データの前記表示時刻情報と前記次のタイミングを示すシステムクロック値とのずれが許容値以上の場合、前記ずれが所定値未満であれば前記システムクロック値により前記表示時刻情報を書き替えて、前記書き替え後の表示時刻情報が示す時刻に前記システムクロックに基づいて前記映像データを出力し、前記ずれが前記所定値以上であれば前記表示時刻情報に基づき前記システムクロックを修正して、前記修正後のシステムクロックに基づいて前記表示時刻情報が示す時刻に前記映像データを出力することを特徴とする。
【発明の効果】
【００１０】
少なくとも１つの実施例によれば、ずれが所定値未満であるか所定値以上であるかに応じて、それぞれの状況に適した異なる方式で映像データとシステムクロックとの同期を確立する。従って、映像データのＰＴＳがずれた場合に適切にずれを吸収することができる。
【発明を実施するための最良の形態】
【００１１】
以下に、本発明の実施例を添付の図面を用いて詳細に説明する。
【００１２】
図１は、デジタル信号の構成の一例を示す図である。映像データは所定のサイズのパケットＶｉｄｅｏ１−１、Ｖｉｄｅｏ１−２、Ｖｉｄｅｏ１−３、Ｖｉｄｅｏ２−１等として送信される。音声データも同様に、所定のサイズのパケットＡｕｄｉｏ１−１、Ａｕｄｉｏ１−２、Ａｕｄｉｏ２−１、Ａｕｄｉｏ２−２、Ａｕｄｉｏ３−１等として送信される。デジタル信号１０は、これらの映像データのパケットや音声データのパケット等を適当な順序で並べたストリームとして構成される。
【００１３】
デジタル信号１０から映像データ１１及び音声データ１２をそれぞれ別個に抽出することにより単一のメディア情報のストリームが形成される。図１に示す例の場合、３つの映像データのパケットで１つの映像フレームを形成し、２つの音声データのパケットで１つの音声フレームを形成する。これらのフレームが、各メディア情報を表示するための時間管理の単位となる。それぞれの映像フレーム及び音声フレームには、それぞれの表示時刻を３３ビットにより１／９０ｋＨｚの精度で示す表示時刻情報ＰＴＳがヘッダ情報として含まれている。
【００１４】
ＭＰＥＧ−２等のデジタル信号の映像データのＰＴＳは、各国毎に採用している規格により定まる一定の間隔で、規則正しく設定される。日本では、等間隔で１秒間に３０フレーム表示するようＰＴＳが設定される。デジタル信号の音声データのＰＴＳは、ＡＣ−３、ＡＡＣ、ＬＰＣＭ、ＭＰＥＧ１−Ｌａｙｅｒ２等の各音声フォーマットによって間隔が異なる。以下に説明する実施例では、映像データ及び音声データのＰＴＳが、期待される時刻からずれた場合、まず映像の連続性を確保しながら映像データとシステムクロックとの同期を確立する。映像データの表示時刻とシステムクロックとの同期を確立したうえで、音声データとシステムクロックとの同期を確立する。
【００１５】
図２は、受信したデジタル信号を復号化して表示装置に出力すると共に再符号化する受信装置の構成の一例を示す図である。受信装置（同期出力装置）２０は、復号化装置２１、ＳＣ発生装置２２、映像同期装置２３、音声同期装置２４、及び符号化装置２５を含む。復号化装置２１は、例えば図１に示されるようなデジタル信号を受信して、受信デジタル信号から映像データと音声データとを別々に復号化する。ＳＣ発生装置２２は、時刻を示す値を有するシステムクロックＳＣを生成する。映像同期装置２３は、復号化装置２１により復号化されたデジタル信号に含まれる映像フレームと当該映像フレームに対応する表示時刻情報ＰＴＳとを受け取り、システムクロックＳＣに基づいて表示時刻情報ＰＴＳが示す時刻に映像フレームを出力する。ここで映像フレームとは、表示単位の大きさの映像データである。出力された映像フレームは、例えば液晶表示装置などの画像表示装置に供給される。音声同期装置２４は、復号化装置２１により復号化されたデジタル信号に含まれる音声フレームと当該音声フレームに対応する表示時刻情報ＰＴＳとを受け取り、システムクロックＳＣに基づいて表示時刻情報ＰＴＳが示す時刻に音声フレームを出力する。ここで音声フレームとは、表示単位の大きさの音声データである。出力された音声フレームは、例えばスピーカなどの音声出力装置に供給される。映像同期装置２３が出力する映像フレームと音声同期装置２４が出力する音声フレームとは、表示装置（出力装置）に供給されると共に、符号化装置２５に供給されてよい。符号化装置２５は、供給される映像データと音声データとを再符号化して、符号化デジタル信号として出力する。この出力された符号化デジタル信号は、例えばＤＶＤ記録装置等に供給されてよい。ＳＣ発生装置２２が生成するシステムクロックＳＣの値は、後程説明するように、映像同期装置２３での処理結果に応じて修正される（補正される）。
【００１６】
図３は、映像同期装置２３が実行する処理の流れの一例を示すフローチャートである。このフローチャートに示す処理を実行することにより、受信映像フレームのＰＴＳが期待される時刻情報からずれた場合に、映像フレームとシステムクロックＳＣとの同期を確立して適切な映像表示を実現する。
【００１７】
新たな映像データ（１つの映像フレーム）が入力されると、ステップＳ１で、システムクロックＳＣと映像データのＰＴＳとが一致するか不一致であるかを判断する。即ち、連続するタイミングで順次出力する一連の映像データのうち、次のタイミングで出力する映像データのＰＴＳと次のタイミングを示すシステムクロック値との間に、ずれが有るか否かを判断する。映像同期装置２３が映像データを受け取る段階では、その映像データのＰＴＳが示す出力すべき時刻は、ＳＣ発生装置２２が発生するシステムクロックＳＣの示す現在の時刻よりも少し先の未来を示している。その後システムクロックＳＣの示す現在の時刻がＰＴＳの示す時刻に一致すると、そのタイミングにおいて、映像同期装置２３は当該映像データを出力する。順次出力する一連の映像データのうち前回出力したタイミングでのシステムクロックＳＣの示す時刻がｎである場合、次のタイミングで出力する映像データのＰＴＳはｎ＋３３ｍｓ（ミリ秒）を示すべきである。映像同期装置２３は、次のタイミングで出力する映像データのＰＴＳと次のタイミングを示すシステムクロック値（ｎ＋３３ｍｓ）との間に、ずれが有るか否かを判断する。
【００１８】
ステップＳ１でずれが無いと判断された場合、ステップＳ２で、映像同期装置２３は内部の状態フラグを０に設定する。次にステップＳ３で、映像同期装置２３は現在の映像データをそのまま出力する。即ち、次のタイミングで出力すべき映像データを、その映像データのＰＴＳが示す時刻で出力する。
【００１９】
ステップＳ１でずれがあると判断された場合、ステップＳ４で、映像同期装置２３はシステムクロックＳＣと映像データのＰＴＳとの差が±１フレーム以内であるか否かを判定する。即ち、次のタイミングで出力する映像データのＰＴＳと次のタイミングを示すシステムクロック値との間にずれがあるが、そのずれが±１フレームの許容値内であるか否かを判定する。
【００２０】
ずれが±１フレーム以内（許容値内）である場合には、映像同期装置２３は第１補正方式を実行する。即ちまずステップＳ５で、映像同期装置２３は内部の状態フラグを１に設定する。次にステップＳ６で、映像同期装置２３は現在の映像データをそのまま出力する。即ち、次のタイミングで出力すべき映像データを、その映像データのＰＴＳが示す時刻で出力する。なお上記の許容範囲±１フレームは限定を意図しない一例であり、例えば±０．５フレームの許容範囲についてステップＳ４で判定を行ない、±０．５フレーム内のずれについて、ステップＳ５及びＳ６の処理を実行するようにしてもよい。
【００２１】
ステップＳ４でずれが±１フレーム以上であると判断された場合、ステップＳ７で、映像同期装置２３はシステムクロックＳＣと映像データのＰＴＳとの差が＋１〜＋３フレームの範囲内であるか否かを判定する。即ち、次のタイミングで出力する映像データのＰＴＳと次のタイミングを示すシステムクロック値との間にずれがあり、そのずれが±１フレームの許容値以上であり且つ所定値（＋３フレーム）未満であるか否かを判定する。
【００２２】
ずれが＋１〜＋３フレームの範囲内である場合には、映像同期装置２３は第２補正方式を実行する。即ちまずステップＳ８で、映像同期装置２３は内部の状態フラグを２に設定する。次にステップＳ９で、次のタイミングで出力すべき映像データのＰＴＳを、次のタイミングを示すシステムクロック値により書き替える。次のステップＳ１０は、ステップＳ７から分岐する時点で既に状態フラグが２の状態であった場合、即ちフローチャートのこの経路を続けて２回以上通過した場合の２回目以降に実行される。例えばステップＳ７とステップＳ８との間で、状態フラグ≠２ならカウンタ値を１に設定し、状態フラグ＝２であればカウンタ値をカウントアップする処理を実行し、このカウント値が２以上であるか否かを判断すればよい。このステップＳ１０では、次のタイミングで出力すべき映像データを例えば２回繰り返す。即ち、ステップＳ９の処理に加え、更に、次のタイミングで出力すべき映像データをコピーし、そのＰＴＳを２回後のタイミング（次の次のタイミング）を示すシステムクロック値により書き替える。なお実際に映像データをコピーするのではなく、一度出力した後に同一の映像データを再度出力するように構成すればよい。
【００２３】
ステップＳ１１で、映像同期装置２３は現在の映像データをそのまま出力する。即ち、次のタイミングで出力すべき映像データを、その映像データのＰＴＳが示す時刻（即ち上記書き替え後のＰＴＳが示す時刻）で出力する。ステップＳ１０を実行していた場合には、更にその次のタイミングにも同一の映像データを出力する。このように、次のタイミングで出力する映像データのＰＴＳが次のタイミングを示すシステムクロック値よりも未来（＋１〜＋３）を示す場合、連続する映像データの少なくとも１つを同一データとして繰り返し出力する。これにより、映像データのＰＴＳとシステムクロックＳＣとを徐々に近づけていく。また上記例のように１フレーム毎に同一の映像データを繰り返すことにより、映像表示の視覚的な連続性を維持しながら、ずれを収束させることができる。なお上記の範囲＋１〜＋３は一例であり、より狭い範囲或いはより広い範囲のずれについて、ステップＳ８乃至Ｓ１１の処理を実行するようにしてもよい。
【００２４】
ステップＳ７でずれが＋１〜＋３フレームの範囲内でないと判断された場合、ステップＳ１２で、映像同期装置２３はシステムクロックＳＣと映像データのＰＴＳとの差が−２〜−１フレームの範囲内であるか否かを判定する。即ち、次のタイミングで出力する映像データのＰＴＳと次のタイミングを示すシステムクロック値との間にずれがあり、そのずれが±１フレームの許容値以上であり且つ所定値（−２フレーム）未満であるか否かを判定する。
【００２５】
ずれが−２〜−１フレームの範囲内である場合には、映像同期装置２３は第３補正方式を実行する。即ちまずステップＳ１３で、映像同期装置２３は内部の状態フラグを３に設定する。次のステップＳ１４は、ステップＳ１２からこの経路に分岐するのが連続して奇数回目（初回も含む）の場合に実行される。連続して奇数回目であるか否かの判断は、例えばステップＳ１２とステップＳ１３との間で、状態フラグ≠３ならカウンタ値を１に設定し、状態フラグ＝３であればカウンタ値をカウントアップする処理を実行し、このカウント値の奇数／偶数を判断すればよい。このステップＳ１４では、次のタイミングで出力すべき映像データのＰＴＳを、次のタイミングを示すシステムクロック値により書き替える。次のステップＳ１５は、ステップＳ１２からこの経路に分岐するのが連続して偶数回目の場合に実行される。このステップＳ１５では、次のタイミングで出力すべき映像データを削除する。即ち、この映像データを出力せずにスキップする。
【００２６】
ステップＳ１６で、この経路が奇数回目の場合には、映像同期装置２３が現在の映像データをそのまま出力する。即ち、奇数回目の場合において、次のタイミングで出力すべき映像データを、その映像データのＰＴＳが示す時刻（即ち上記書き替え後のＰＴＳが示す時刻）で出力する。またステップＳ１６で、この経路が偶数回目の場合には、映像同期装置２３は何も出力しない。何故なら、偶数回目の場合において、次のタイミングで出力すべき映像データは既に削除されているからである。このように、次のタイミングで出力する映像データのＰＴＳが次のタイミングを示すシステムクロック値よりも過去（−２〜−１）を示す場合、連続する映像データの少なくとも１つを破棄してよい。これにより、映像データのＰＴＳとシステムクロックＳＣとを徐々に近づけていく。また上記例のように１フレーム毎に映像データを削除することにより、映像表示の視覚的な連続性を維持しながら、ずれを収束させることができる。なお上記の範囲−２〜−１は一例であり、より狭い範囲或いはより広い範囲のずれについて、ステップＳ１３乃至Ｓ１６の処理を実行するようにしてもよい。
【００２７】
ステップＳ１２でずれが−２〜−１フレームの範囲内でないと判断された場合、映像同期装置２３は第４補正方式を実行する。即ちまずステップＳ１７で、映像同期装置２３は内部の状態フラグを４に設定する。次のステップＳ１８は、ステップＳ１７からこの経路に分岐するのが連続して４回目以内の場合に実行される。例えばステップＳ１２とステップＳ１７との間で、状態フラグ≠４ならカウンタ値を１に設定し、状態フラグ＝４であればカウンタ値をカウントアップする処理を実行し、このカウント値が４以下であるか否かを判断すればよい。このステップＳ１８では、次のタイミングで出力すべき映像データのＰＴＳを、次のタイミングを示すシステムクロック値により書き替える。次のステップＳ１９は、ステップＳ１７からこの経路に分岐するのが連続して５回目の場合に実行される。このステップＳ１９では、ＰＴＳに基づきシステムクロックＳＣを書き替える。即ち、次のタイミングを示すシステムクロック値がＰＴＳと同値となるように修正する。
【００２８】
ステップＳ２０で、映像同期装置２３は現在の映像データをそのまま出力する。即ち、連続４回目までであれば、次のタイミングで出力すべき映像データを、その映像データのＰＴＳが示す時刻（即ち上記書き替え後のＰＴＳが示す時刻）で出力する。連続５回目であれば、次のタイミングで出力すべき映像データを、修正後のシステムクロックＳＣに基づいてその映像データのＰＴＳが示す時刻に出力する。この第４補正方式を適用する場合のようにずれの大きさが異常に大きい場合には、例えばノイズの混入によりＰＴＳが破壊されて全く異なる値になっている、或いは信号伝送の異常により大量のフレームが損失した等が考えられる。ノイズの混入によりＰＴＳが破壊されて全く異なる値になっている場合には、ある程度待てば元の正しいＰＴＳに戻る可能性がある。これを考慮して連続４回目までであればＰＴＳを修正して対応する。しかし大量のフレームが損失した場合等には、いつまで待っても元の正しいＰＴＳに戻る可能性はない。これを考慮して連続４回以内にずれが無くならない場合には、システムクロックＳＣの方を書き替えることにより対応する。
【００２９】
図４は、図３に示した処理内容を纏めた表を示す図である。表の各行は、システムクロックＳＣと映像データのＰＴＳとの差（ずれ）の範囲を分類した場合の各範囲に対応する。表の各列は、特定の範囲にずれが入る場合が連続して起こる場合に連続何回目であるかを示す。ずれが±１フレーム範囲内である場合には、連続何回目であるかに関わらず、補正を行なわない。ずれが＋１〜＋３フレームの範囲内である場合には、初回にＰＴＳを書き替え、２回目以降ではＰＴＳ書き換えと共にリピート処理を行なう。ずれが−２〜−１フレームの範囲内である場合には、初回にＰＴＳを書き替え、２回目にスキップ処理（映像データ破棄）し、３回目にＰＴＳを書き替え、４回目にスキップ処理（映像データ破棄）し、その後同様に処理を行なう。ずれが−２〜＋３フレームの範囲外である場合には、初回から４回目まではＰＴＳを書き替えて対応し、５回目にはシステムクロックＳＣを更新（修正）する。
【００３０】
図５は、＋１〜＋３フレームの範囲内であるようなずれが発生した場合の処理を模式的に示した図である。最上段にはシステムクロックＳＣの値を示してある。この例では、説明を単純にするためにシステムクロックＳＣの値はミリ秒に対応し、初期状態の値０から３３ミリ秒間隔で示した値（０，３３，６６，９９，１３２・・・）が、連続する各映像フレームの出力タイミングに対応する。図５の上から２段目には、１番目から８番目までの映像フレームが示される。映像フレームを表現する四角の枠の上段にはフレームの受け取った順序を示す番号が示され、下段にはそのフレームのＰＴＳの値が示される。図５の最下段には、連続して出力する映像フレームが示される。映像フレームを表現する四角の枠の上段にはフレームの出力順序を示す番号が示され、下段にはそのフレームのＰＴＳの値が示される。
【００３１】
図５に示すように、第１フレームから第３フレームまでは、受け取った映像フレーム（次に出力する映像フレーム）のＰＴＳは、次に出力すべきタイミングを示すシステムクロックＳＣの値（最上段に示すＳＣの値）に一致している。この状態は正常な状態である。第４フレームでは、受け取った映像フレーム（次に出力する映像フレーム）のＰＴＳは１９８であり、次に出力すべきタイミングを示すシステムクロックＳＣの値９９とは異なっている。このずれの大きさは９９であり＋３フレーム分に相当する。従って、図３及び図４に示す第２補正方式（＋１〜＋３フレーム範囲内の場合の処理）が実行される。初回の映像フレーム３０は、そのＰＴＳがＳＣの値（＝９９）に書き替えられ、映像フレーム４０として出力される。連続２回目の映像フレーム３１は、そのＰＴＳがＳＣの値（＝１３２）に書き替えられ、映像フレーム４１として出力される。またこの同一の映像フレーム３１は、リピート処理によりＰＴＳがＳＣの値（＝１６５）に書き替えられ、映像フレーム４２として出力される。以下同様にして、連続３回目の映像フレーム３２は映像フレーム４３及び４４として出力され、連続４回目の映像フレーム３３は映像フレーム４５及び４６として出力される。次に受け取る映像フレーム３４は、そのＰＴＳが次に出力すべきタイミングを示すシステムクロックＳＣの値（＝３３０）に一致している。この状態は正常な状態であり、映像フレーム３４がそのまま映像フレーム４７として出力される。
【００３２】
図６は、−２〜−１フレームの範囲内であるようなずれが発生した場合の処理を模式的に示した図である。図の表示形態は図６と図５とで同様である。
【００３３】
図６に示すように、第１フレームから第３フレームまでは、受け取った映像フレーム（次に出力する映像フレーム）のＰＴＳは、次に出力すべきタイミングを示すシステムクロックＳＣの値（最上段に示すＳＣの値）に一致している。この状態は正常な状態である。第４フレームでは、受け取った映像フレーム（次に出力する映像フレーム）のＰＴＳは３３であり、次に出力すべきタイミングを示すシステムクロックＳＣの値９９とは異なっている。このずれの大きさは６６であり−２フレーム分に相当する。従って、図３及び図４に示す第３補正方式（−２〜−１フレーム範囲内の場合の処理）が実行される。初回の映像フレーム５０は、そのＰＴＳがＳＣの値（＝９９）に書き替えられ、映像フレーム６０として出力される。連続２回目の映像フレーム５１は、スキップ処理により破棄されて、出力されることはない。連続３回目の映像フレーム５２は、そのＰＴＳが次に出力するタイミングのＳＣの値（＝１３２）に書き替えられ、映像フレーム６１として出力される。連続４回目の映像フレーム５３は、スキップ処理により破棄されて、出力されることはない。連続５回目の映像フレーム５４は、そのＰＴＳが次に出力するタイミングのＳＣの値（＝１６５）に書き替えられ、映像フレーム６２として出力される。次に受け取る映像フレーム５５は、そのＰＴＳが次に出力すべきタイミング（出力映像フレーム６２の出力タイミングの次のタイミング）を示すシステムクロックＳＣの値（＝１９８）に一致している。この状態は正常な状態であり、映像フレーム５５がそのまま映像フレーム６３として出力される。
【００３４】
図７は、音声同期装置２４が実行する処理の流れの一例を示すフローチャートである。このフローチャートに示す処理を実行することにより、受信音声フレームのＰＴＳが期待される時刻情報からずれた場合に、音声フレームとシステムクロックＳＣとの同期を確立して適切な音声表示（音声出力）を実現する。
【００３５】
新たな音声データ（１つの音声フレーム）が入力されると、ステップＳ１で、システムクロックＳＣと音声データのＰＴＳとが一致するか不一致であるかを判断する。即ち、連続するタイミングで順次出力する一連の音声データのうち、次のタイミングで出力する音声データのＰＴＳと次のタイミングを示すシステムクロック値との間に、ずれが有るか否かを判断する。音声同期装置２４が音声データを受け取る段階では、その音声データのＰＴＳが示す出力すべき時刻は、ＳＣ発生装置２２が発生するシステムクロックＳＣの示す現在の時刻よりも少し先の未来を示している。その後システムクロックＳＣの示す現在の時刻がＰＴＳの示す時刻に一致すると、そのタイミングにおいて、音声同期装置２４は当該音声データを出力する。順次出力する一連の音声データのうち前回出力したタイミングでのシステムクロックＳＣの示す時刻がｎである場合、次のタイミングで出力する音声データのＰＴＳはｎ＋αミリ秒（αは音声出力間隔）を示すべきである。音声同期装置２４は、次のタイミングで出力する音声データのＰＴＳと次のタイミングを示すシステムクロック値（ｎ＋αミリ秒）との間に、ずれが有るか否かを判断する。
【００３６】
ステップＳ１でずれが無いと判断された場合、ステップＳ２で、音声同期装置２４は内部の状態フラグを０に設定する。次にステップＳ３で、音声同期装置２４は現在の音声データをそのまま出力する。即ち、次のタイミングで出力すべき音声データを、その音声データのＰＴＳが示す時刻で出力する。
【００３７】
ステップＳ１でずれがあると判断された場合、ステップＳ４で、音声同期装置２４はシステムクロックＳＣと音声データのＰＴＳとの差が±１フレーム以内であるか否かを判定する。即ち、次のタイミングで出力する音声データのＰＴＳと次のタイミングを示すシステムクロック値との間にずれがあるが、そのずれが±１フレームの許容値内であるか否かを判定する。
【００３８】
ずれが±１フレーム以内（許容値内）である場合には、音声同期装置２４は第１補正方式を実行する。即ちまずステップＳ５で、音声同期装置２４は内部の状態フラグを１に設定する。次にステップＳ６で、音声同期装置２４は現在の音声データをそのまま出力する。即ち、次のタイミングで出力すべき音声データを、その音声データのＰＴＳが示す時刻で出力する。なお上記の許容範囲±１フレームは限定を意図しない一例であり、例えば±０．５フレームの許容範囲についてステップＳ４で判定を行ない、±０．５フレーム内のずれについて、ステップＳ５及びＳ６の処理を実行するようにしてもよい。
【００３９】
ステップＳ４でずれが±１フレーム以上であると判断された場合、音声同期装置２４は第２補正方式を実行することになり、ステップＳ７に進む。ステップＳ７において、状態フラグ≠２なら連続カウンタのカウンタ値を１に設定し、状態フラグ＝２であれば連続カウンタのカウンタ値をカウントアップする処理を実行する。以上の処理の後に、状態フラグを２に設定する。ステップＳ８で、連続カウンタのカウンタ値が２であり且つシステムクロックＳＣと音声データのＰＴＳとの差が１回目と同じであるか否かを判断する。ＹＥＳの場合には、ステップＳ９で、連続カウンタのカウンタ値を０に設定する。更にステップＳ１０で、音声同期装置２４は現在の音声データをそのまま出力する。即ち、次に出力するデータとして保持されている音声データを、その音声データのＰＴＳが示す時刻で出力する。
【００４０】
ステップＳ８の判定の結果がＮＯの場合には、ステップＳ１１で、音声データを削除する。またこのとき、連続カウンタのカウンタ値が２であるなら、カウンタ値を１に設定する。これにより今回削除した音声データが、次回の処理において第１回目のデータとして取り扱われる。次にステップＳ１２で、音声同期装置２４は何も出力しない。この場合の何も出力しないとは、映像データの場合とは異なり、次に出力すべきであったタイミングにおいて無音状態とすることを意味する。この場合、次回の処理において、「次に出力するタイミング」とは、無音状態とした次のタイミングのことである。
【００４１】
以上の音声データの処理を更に説明するために、連続するタイミングで順次出力するために音声同期装置２４が受け取った第１及び第２の音声フレームを考える。まず、第２のタイミングで出力する第２の音声フレームのＰＴＳと第２のタイミングを示すシステムクロック値とのずれが許容値以上（±１フレーム以上）であるとする。このとき、第１の音声フレームのＰＴＳと第２の音声フレームのＰＴＳとが連続しない（即ち差が上記αでない）ならば、システムクロックＳＣと音声データのＰＴＳとの差が第１の音声フレームの場合の差と同じでないので、図７のステップＳ１１が実行される。即ち、第２の音声データを破棄して出力しない。また第１の音声フレームのＰＴＳと第２の音声フレームのＰＴＳとが連続する（即ち差が上記αである）ならば、第１及び第２の音声フレームが両方共に正常であるか、或いは図７のステップＳ９が実行される場合ということになる。何れの場合にせよ、図７のステップＳ３或いはＳ１０に示されるように、第２の音声データのＰＴＳが示す時刻に第２の音声データを出力することになる。
【００４２】
図８は、図７に示した処理内容を纏めた表を示す図である。表の各行は、システムクロックＳＣと映像データのＰＴＳとの差（ずれ）の範囲を分類した場合の各範囲に対応する。表の各列は、特定の範囲にずれが入る場合が連続して起こる場合に連続何回目であるかを示す。ずれが±１フレーム範囲内である場合には、何回目であるかに関わらず、補正を行なわない。ずれが±１フレームの範囲外である場合には、初回には音声データを削除して、次に出力すべきであったタイミングを無音状態とする。連続２回目には、補正をせずに、次に出力するデータとして保持されている音声データを、その音声データのＰＴＳが示す時刻で出力する。なお図８に示す表において、連続２回目とは、システムクロックＳＣと音声データのＰＴＳとの差が１回目と同じ場合のことを意味する。±１フレーム範囲外のずれが連続して２回発生した２回目において、ＳＣとＰＴＳとの差が１回目と異なるのであれば、今回のデータを１回目のデータとして取り扱う。この場合の処理は図８の表において、「１回目」の欄に示されている。
【００４３】
音声のずれについては、ずれ量が±１フレーム範囲外である場合、速やかに補正する必要がある。範囲外のずれが１回目の場合は、異常な音を出力するよりは無音状態の方が適切であるので、音声データを削除することにより対応する。範囲外のずれが連続２回目であっても、１回目と２回目とでＰＴＳが連続しないのであれば、雑音等によりデータが破壊されている可能性がある。従って、この場合にも、異常な音を出力するよりは無音状態の方が適切であるので、音声データを削除することにより対応する。範囲外のずれが連続２回目であり、１回目と２回目とでＰＴＳが連続する場合は、途中のデータが失われたものの正しいデータが受信できていると判断して、補正を行わないで対応する。
【００４４】
以上、本発明を実施例に基づいて説明したが、本発明は上記実施例に限定されるものではなく、特許請求の範囲に記載の範囲内で様々な変形が可能である。
【図面の簡単な説明】
【００４５】
【図１】デジタル信号の構成の一例を示す図である。
【図２】受信したデジタル信号を復号化して表示装置に出力すると共に再符号化する受信装置の構成の一例を示す図である。
【図３】映像同期装置が実行する処理の流れの一例を示すフローチャートである。
【図４】図３に示した処理内容を纏めた表を示す図である。
【図５】＋１〜＋３フレームの範囲内であるようなずれが発生した場合の処理を模式的に示した図である。
【図６】−２〜−１フレームの範囲内であるようなずれが発生した場合の処理を模式的に示した図である。
【図７】音声同期装置が実行する処理の流れの一例を示すフローチャートである。
【図８】図７に示した処理内容を纏めた表を示す図である。
【符号の説明】
【００４６】
１０  デジタル信号
１１  映像データ
１２  音声データ
２０  受信装置
２１  復号化装置
２２  ＳＣ発生装置
２３  映像同期装置
２４  音声同期装置
２５  符号化装置
【図１】
2010041306.tif 000003
【図２】
2010041306.tif 000004
【図３】
2010041306.tif 000005
【図４】
2010041306.tif 000006
【図５】
2010041306.tif 000007
【図６】
2010041306.tif 000008
【図７】
2010041306.tif 000009
【図８】
2010041306.tif 000010