(57)【要約】【課題】符号化データの伝送時にパケットロスが生じやすい環境であっても、基準クロックの調整を適切に行うことができる復号装置、復号システムおよび復号方法を提供する。【解決手段】復号装置１００は、映像フレームの符号化データおよび映像フレームの符号化データの各々から、フレーム処理時刻を示すＰＴＳを抽出するＴＳ予備処理部１０５と、ローカルタイムの基準となるＳＴＣを生成するＳＴＣ生成部１０１と、ＳＴＣをカウントするＳＴＣ自走カウンタ１２１と、音声フレームの符号化データから抽出されたＰＴＳを用いて、ＳＴＣの調整を行うＳＴＣ調整部１０３と、映像フレームの符号化データから抽出されたＳＴＣとＳＴＣ自走カウンタ１２１のカウント値とに基づいて、当該映像フレームの出力を制御する映像データ出力制御部１１０と、を備える。【選択図】図４
2015198379.tif 000002
【特許請求の範囲】
【請求項１】
圧縮符号化された音声フレームおよび映像フレームの符号化データを受信し、受信した符号化データを復号して音声フレームおよび映像フレームを出力する復号装置であって、
音声フレームの符号化データおよび映像フレームの符号化データの各々から、フレーム処理時刻を示す時刻情報を抽出する抽出部と、
ローカルタイムの基準となる基準クロックを生成するクロック生成部と、
前記基準クロックをカウントする第１カウンタと、
音声フレームの符号化データから抽出された前記時刻情報を用いて、前記基準クロックの調整を行うクロック調整部と、
映像フレームの符号化データから抽出された前記時刻情報と前記第１カウンタのカウント値とに基づいて、当該映像フレームの出力を制御する映像出力制御部と、を備えることを特徴とする復号装置。
【請求項２】
前記クロック調整部は、前記基準クロックの調整として、前記第１カウンタのカウント値の更新と、前記クロック生成部の発振周波数の調整と、の少なくとも一方を行うことを特徴とする請求項１に記載の復号装置。
【請求項３】
前記第１カウンタは、音声フレームの符号化データまたは映像フレームの符号化データから最初に抽出された前記時刻情報が示す値を初期値として前記基準クロックのカウントアップを開始し、
前記クロック調整部は、前記第１カウンタが前記基準クロックのカウントアップを開始した後に音声フレームから抽出された前記時刻情報が示す値を前記第１カウンタのカウント値と比較し、両者の差が予め定めた第１閾値を超えている場合に、音声フレームから抽出された前記時刻情報が示す値により前記第１カウンタのカウント値を更新することを特徴とする請求項２に記載の復号装置。
【請求項４】
前記第１閾値は、（１秒／フレームレート）×（前記基準クロックの周波数の３００分周）で求められる値であることを特徴とする請求項３に記載の復号装置。
【請求項５】
復号装置における実際のフレーム処理速度を表す値をカウントする第２カウンタをさらに備え、
前記クロック調整部は、連続する２つの音声フレームの符号化データから各々抽出された前記時刻情報が示す値の差分を前記第２カウンタのカウント値と比較し、両者の差の絶対値が第２閾値を超える場合に、両者の差の絶対値が前記第２閾値以下となるように前記クロック生成部の発振周波数を調整することを特徴とする請求項２に記載の復号装置。
【請求項６】
連続する２つの音声フレームの符号化データから各々抽出された前記時刻情報が示す値の差分をΔＴ、連続する２つの音声フレームの符号化データのうち先の符号化データから前記時刻情報が抽出されてから後の符号化データから前記時刻情報が抽出されるまでに転送されるデータのバイト量をΔＢとしたときに、前記第２カウンタは、ΔＴ／ΔＢで表されるｔｉｃｋ値を用いてバイト単位のカウントアップを行うことを特徴とする請求項５に記載の復号装置。
【請求項７】
前記映像出力制御部は、映像フレームの符号化データから抽出された前記時刻情報が示す値が前記第１カウンタのカウント値よりも大きい場合は、前記第１カウンタのカウント値が前記時刻情報が示す値に達するまで、当該映像フレームの１つ前の映像フレームを繰り返し出力し、前記第１カウンタのカウント値が前記時刻情報が示す値に達すると当該映像フレームを出力することを特徴とする請求項１〜６のいずれか一項に記載の復号装置。
【請求項８】
前記映像出力制御部は、映像フレームの符号化データから抽出された前記時刻情報が示す値が前記第１カウンタのカウント値よりも小さく、且つ、両者の差が予め定めた第３閾値以下の場合は、当該映像フレームを出力し、映像フレームの符号化データから抽出された前記時刻情報が示す値が前記第１カウンタのカウント値よりも小さく、且つ、両者の差が前記第３閾値を超える場合は、当該映像フレームを破棄することを特徴とする請求項１〜６のいずれか一項に記載の復号装置。
【請求項９】
圧縮符号化された音声フレームおよび映像フレームの符号化データを受信し、受信した符号化データを復号して音声フレームおよび映像フレームを出力する復号システムであって、
音声フレームの符号化データおよび映像フレームの符号化データの各々から、フレーム処理時刻を示す時刻情報をそれぞれ抽出する抽出手段と、
ローカルタイムの基準となる基準クロックを生成するクロック生成手段と、
前記基準クロックをカウントするカウンタと、
音声フレームの符号化データから抽出された前記時刻情報を用いて、前記基準クロックの調整を行うクロック調整手段と、
映像フレームの符号化データから抽出された前記時刻情報と前記カウンタのカウント値とに基づいて、当該映像フレームの出力を制御する映像出力制御手段と、を含むことを特徴とする復号システム。
【請求項１０】
圧縮符号化された音声フレームおよび映像フレームの符号化データを受信し、受信した符号化データを復号して音声フレームおよび映像フレームを出力する復号装置により実行される復号方法であって、
音声フレームの符号化データおよび映像フレームの符号化データの各々から、フレーム処理時刻を示す時刻情報をそれぞれ抽出する工程と、
音声フレームの符号化データから抽出された前記時刻情報を用いて、ローカルタイムの基準となる基準クロックの調整を行う工程と、
映像フレームの符号化データから抽出された前記時刻情報と、前記基準クロックのカウント値とに基づいて、当該映像フレームの出力を制御する工程と、を含むことを特徴とする復号方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、復号装置、復号システムおよび復号方法に関する。
【背景技術】
【０００２】
映像データや音声データを多重化して伝送する国際標準の規格としてＭＰＥＧ２−ＴＳ（トランスポートストリーム）が知られている。ＭＰＥＧ２−ＴＳでは、送信側の動作と受信側の動作が共通のクロック（ＳＴＣ：Ｓｙｓｔｅｍ  Ｔｉｍｅ  Ｃｌｏｃｋ）によって管理される。受信側のＳＴＣと送信側のＳＴＣとの同期（システム同期）を実現するために、送信側は所定周期で自身のＳＴＣのカウント値を時刻参照情報（ＰＣＲ：Ｐｒｏｇｒａｍ  Ｃｌｏｃｋ  Ｒｅｆｅｒｅｎｃｅ）として送り、受信側はこのＰＣＲを用いて自身のＳＴＣを調整する。
【０００３】
しかし、上記のシステム同期を実現する方法は、ストリームの伝送時におけるパケットロスによりＰＣＲを格納したパケット（ＰＣＲパケット）が欠落した場合に、ＳＴＣの調整を適切に行えなくなる虞があるという課題がある。このような課題に対し、特許文献１には、ＴＴＳ（Ｔｉｍｅｓｔａｍｐｅｄ  ＴＳ）パケットにさらにＲＴＰ（Ｒｅａｌ−ｔｉｍｅ  Ｔｒａｎｓｆｅｒ  Ｐｒｏｔｏｃｏｌ）タイムスタンプをヘッダとして付与した新規な構造のパケットを受信し、受信したパケットにＰＣＲパケットが含まれない場合に、受信したパケットからＴＴＳタイムスタンプおよびＲＴＰタイムスタンプを抽出し、抽出したＴＴＳタイムスタンプとＲＴＰタイムスタンプとを用いてＰＣＲパケットを生成する技術が開示されている。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、特許文献１に記載の技術では、新規な構造のパケットを扱うため、専用の送信装置と専用の受信装置を用いることが前提となり、専用の送信装置と専用の受信装置を用いない環境では受信装置側でＰＣＲパケットを生成できない。つまり、特許文献１に記載の技術では、ＰＣＲパケットの欠落によりＳＴＣの調整が適切に行えなくなるという課題をＭＰＥＧ２−ＴＳの枠組みの中で解決することができない。
【課題を解決するための手段】
【０００５】
上述した課題を解決するために、本発明は、圧縮符号化された音声フレームおよび映像フレームの符号化データを受信し、受信した符号化データを復号して音声フレームおよび映像フレームを出力する復号装置であって、音声フレームの符号化データおよび映像フレームの符号化データの各々から、フレーム処理時刻を示す時刻情報を抽出する抽出部と、ローカルタイムの基準となる基準クロックを生成するクロック生成部と、前記基準クロックをカウントする第１カウンタと、音声フレームの符号化データから抽出された前記時刻情報を用いて、前記基準クロックの調整を行うクロック調整部と、映像フレームの符号化データから抽出された前記時刻情報と前記第１カウンタのカウント値とに基づいて、当該映像フレームの出力を制御する映像出力制御部と、を備える。
【発明の効果】
【０００６】
本発明によれば、符号化データの伝送時にパケットロスが生じやすい環境であっても、基準クロックの調整を適切に行うことができるという効果を奏する。
【図面の簡単な説明】
【０００７】
【図１】図１は、ＴＳパケットの構成例を示す図である。
【図２】図２は、ＴＳヘッダの構成例を示す図である。
【図３】図３は、ＳＴＣカウンタの動きを説明する図である。
【図４】図４は、実施形態の復号装置の構成例を示すブロック図である。
【図５】図５は、クロック・リカバリ回路の一例を示す図である。
【図６】図６は、実施形態の復号装置における処理手順の一例を示すフローチャートである。
【図７】図７は、ＳＴＣ自走カウンタの動きを説明する図である。
【図８】図８は、調整用カウンタの動きを説明する図である。
【図９】図９は、映像フレームの出力制御の具体例を説明する図である。
【図１０】図１０は、映像フレームの出力制御の具体例を説明する図である。
【図１１】図１１は、映像フレームの出力制御の具体例を説明する図である。
【発明を実施するための形態】
【０００８】
以下に添付図面を参照して、本発明の実施形態を詳細に説明する。以下で示す実施形態は、ＭＰＥＧ２−ＴＳの形式により圧縮符号化されて伝送される音声フレームおよび映像フレームを受信して復号し、外部に出力する復号装置への適用例である。
【０００９】
（ＭＰＥＧ２−ＴＳの概要）
まず、本実施形態のベースとなるＭＰＥＧ２−ＴＳの概要について説明する。ＭＰＥＧ２システムでは、映像データや音声データなどの符号化ストリームはＥＳ（Ｅｌｅｍｅｎｔａｒｙ  Ｓｔｒｅａｍ）と呼ばれる。そして、このＥＳを同一再生時刻を有するデータ単位（アクセスユニット）に分割したものが、ＰＥＳ（Ｐａｃｅｔｉｚｅｄ  Ｅｌｅｍｅｎｔａｒｙ  Ｓｔｒｅａｍ）と呼ばれる。映像データや音声データのアクセスユニットはフレームである。映像データや音声データを扱う場合、フレーム単位の符号化データ（映像フレームや音声フレームの符号化データ）がＰＥＳパケットとなる。
【００１０】
ＰＥＳパケットには、ＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏｎ  Ｔｉｍｅ  Ｓｔａｍｐ）やＤＴＳ（Ｄｅｃｏｒｄｉｎｇ  Ｔｉｍｅ  Ｓｔａｍｐ）といった時刻情報が付加されている。ＰＴＳおよびＤＴＣは、当該ＰＥＳパケットに格納された映像フレームや音声フレームの処理時刻を示す時刻情報であり、通常は映像と音声の同期再生のために用いられる。受信側では、映像フレームや音声フレームのＤＴＳと一致する時刻に当該フレームの復号を実行し、ＰＴＳと一致する時刻に復号された当該フレームの再生を実行する。これにより、映像と音声の同期再生などが実現される。なお、フレームの再生時刻と復号時刻が一致する場合には、ＤＴＳは省略される。
【００１１】
ＭＰＥＧ２−ＴＳでは、ＰＥＳを固定長（１８８バイト）のＴＳパケットに分割して伝送する。ＴＳパケットの先頭４バイトにはＴＳヘッダが格納される。ＴＳヘッダには、当該ＴＳパケットが何を伝送しているものかを示す１３ビットのＰＩＤ（パケット識別子）が含まれる。同じＰＥＳから分割されたＴＳパケット群は同じＰＩＤを持つため、ＴＳパケットを受信した受信側では、各ＴＳパケットのＰＩＤを用いて元のＰＥＳパケットを復元できる。なお、ＴＳパケットの先頭に４バイトのタイムスタンプを付加して合計１９２バイトにしたものは特にＴＴＳパケット（特許文献１参照）と呼ばれ、主に放送局で用いられている。
【００１２】
上述したＰＴＳやＰＤＳを用いた同期再生を適切に行うには、送信側と受信側のタイミング制御に矛盾が生じないようにそれぞれのローカルタイムを共通化する必要がある。ＭＰＥＧ２−ＴＳでは、送信側と受信側のローカルタイムをＳＴＣと呼ばれる基準クロックによって管理する。ＭＰＥＧ２−ＴＳのＳＴＣ周波数は２７Ｍｈｚと定められている。
【００１３】
送信側では、自身のＳＴＣのカウント値を所定の時間間隔で読み取り、読み取ったＳＴＣのカウント値を時刻参照情報（ＰＣＲ）として、当該時刻に対応するＴＳパケットのＡｄａｐｔａｔｉｏｎ  ｆｉｅｌｄに格納して送信する。受信側では、送信側のローカルタイムを自身のＳＴＣで再現するために、このＰＣＲを参照する。受信側のＳＴＣは、ＰＣＲによるＰＬＬ（ｐｈａｓｅ−ｌｏｃｋｅｄ  ｌｏｏｐ）同期の機能を持つ。ＰＬＬ同期の動作を安定させるために、ＰＣＲの送信間隔は１００ｍｓ以下とするように定められている。
【００１４】
また、ＭＰＥＧ２−ＴＳでは、複数のプログラムを取り扱うことが可能である。ＴＳにどのようなプログラムが存在し、ＴＳに含まれる各ＥＳがどのプログラムに属しているかを示す情報はＰＳＩ（Ｐｒｏｇｒａｍ  Ｓｐｅｃｉｆｉｃ  Ｉｎｆｏｒｍａｔｉｏｎ）と呼ばれる。ＰＳＩには、プログラムに含まれる映像や音声などの各ＰＩＤを格納するＰＭＴ（Ｐｒｏｇｒａｍ  Ｍａｐ  Ｔａｂｌｅ）や、ＴＳ内に含まれるプログラム一覧をＰＭＴのＰＩＤ一覧で格納するＰＡＴ（Ｐｒｏｇｒａｍ  Ａｓｓｏｃｉａｔｉｏｎ  Ｔａｂｌｅ）などがある。ＰＳＩは、映像や音声とは別のＰＩＤを持つＴＳパケットとしてＴＳに挿入される。
【００１５】
ここで、ＴＳパケットの構成例についてさらに詳しく説明する。図１は、ＴＳパケットの構成例を示す図である。ＴＳパケットは、例えば図１に示すように、ＰＭＴパケット、ＰＡＴパケット、ＰＣＲパケット、ＮＵＬＬパケット、およびＮＯＲＭＡＬパケットの５種類に分類することができる。すべてのＴＳパケットは１８８バイトで構成され、先頭の４バイトにＴＳヘッダを有する。
【００１６】
ＰＴＭパケットは、図１（ａ）に示すように、ＴＳヘッダ、Ｐｒｏｇｒａｍ  ｍａｐ  ｓｅｃｔｉｏｎ  ｐａｒａｍｅｔｅｒ、ＣＲＣ３２、およびＰａｄｄｉｎｇから構成される。Ｐｒｏｇｒａｍ  ｍａｐ  ｓｅｃｔｉｏｎ  ｐａｒａｍｅｔｅｒには、プログラムに含まれる映像や音声などの各ＰＩＤが格納される。ＣＲＣ３２には、巡回冗長検査用のデータを格納される。また、ＴＳヘッダを除くデータのバイト数が１８４バイトに満たないため、ＰａｄｄｉｎｇにＮＵＬＬデータ（すべて１）が挿入される。
【００１７】
ＰＡＴパケットは、図１（ｂ）に示すように、ＴＳヘッダ、Ｐｒｏｇｒａｍ  ａｓｓｏｃｉａｔｉｏｎ  ｓｅｃｔｉｏｎ  ｐａｒａｍｅｔｅｒ、ＣＲＣ３２、およびＰａｄｄｉｎｇから構成される。Ｐｒｏｇｒａｍ  ａｓｓｏｃｉａｔｉｏｎ  ｓｅｃｔｉｏｎ  ｐａｒａｍｅｔｅｒには、ＴＳ内に含まれるプログラム一覧がＰＭＴのＰＩＤ一覧で格納される。ＣＲＣ３２には、巡回冗長検査用のデータを格納される。また、ＴＳヘッダを除くデータのバイト数が１８４バイトに満たないため、ＰａｄｄｉｎｇにＮＵＬＬデータが挿入される。
【００１８】
ＰＣＲパケットは、図１（ｃ）に示すように、ＴＳヘッダ、Ａｄａｐｔａｔｉｏｎ  ｆｉｅｌｄ、およびＰａｄｄｉｎｇから構成される。Ａｄａｐｔａｔｉｏｎ  ｆｉｅｌｄには、上述したＳＴＣ再現に用いる４２ビットの時刻参照情報であるＰＣＲが格納される。また、Ａｄａｐｔａｔｉｏｎ  ｆｉｅｌｄのバイト数が１８４バイトに満たないため、ＰａｄｄｉｎｇにＮＵＬＬデータが挿入される。
【００１９】
ＮＵＬＬパケットは、図１（ｄ）に示すように、ＴＳヘッダと、１８４バイトのＮＵＬＬデータのＰａｄｄｉｎｇから構成される。
【００２０】
ＮＯＲＭＡＬパケットは、図１（ｅ）に示すように、ＴＳヘッダと、映像データや音声データが格納される１８４バイトのＰａｙｌｏａｄ（データ部分）から構成される。
【００２１】
図２は、ＴＳヘッダの構成例を示す図である。ＴＳヘッダは、図２に示すように、８ビットのｓｙｎｃ  ｂｙｔｅ、１ビットのｔｒａｎｓｐｏｒｔ  ｅｒｒｏｒ  ｉｎｄｉｃａｔｏｒ、１ビットのｐａｙｌｏａｄ  ｕｎｉｔ  ｓｔａｒｔ  ｉｎｄｉｃａｔｏｒ、１ビットのｔｒａｎｓｐｏｒｔ  ｐｒｉｏｒｉｔｙ、１３ビットのＰＩＤ、２ビットのｔｒａｎｓｐｏｒｔ  ｓｃｒａｍｂｌｉｎｇ  ｃｏｎｔｒｏｌ、２ビットのａｄａｐｔａｔｉｏｎ  ｆｉｅｌｄ  ｃｏｎｔｒｏｌ、および４ビットのｃｏｎｔｉｎｕｉｔｙ  ｃｏｕｎｔｅｒで構成される。
【００２２】
ｓｙｎｃ  ｂｙｔｅは、ＴＳパケットの先頭を表している。ｔｒａｎｓｐｏｒｔ  ｅｒｒｏｒ  ｉｎｄｉｃａｔｏｒは、ＴＳパケット中のビットエラーの有無を表している。ｐａｙｌｏａｄ  ｕｎｉｔ  ｓｔａｒｔ  ｉｎｄｉｃａｔｏｒは、ＴＳパケットのＰａｙｌｏａｄにＰＥＳパケットの先頭が記録されているかどうかを表している。ｔｒａｎｓｐｏｒｔ  ｐｒｉｏｒｉｔｙは、ＴＳパケットの優先度を表している。
【００２３】
ＰＩＤは、上述したようにＴＳパケットのパケット識別子であり、当該ＴＳパケットが属する個別ストリームの属性を表している。ｔｒａｎｓｐｏｒｔ  ｓｃｒａｍｂｌｉｎｇ  ｃｏｎｔｒｏｌは、ＴＳパケットのＰａｙｌｏａｄのスクランブルの有無および種類を表している。ａｄａｐｔａｔｉｏｎ  ｆｉｅｌｄ  ｃｏｎｔｒｏｌは、Ａｄａｐｔａｔｉｏｎ  ｆｉｅｌｄの有無、および、Ｐａｙｌｏａｄの有無を表している。ｃｏｎｔｉｎｕｉｔｙ  ｃｏｕｎｔｅｒは、同一のＰＩＤを有する複数のＴＳパケットの順序を表している。
【００２４】
ＭＰＥＧ２−ＴＳ形式の符号化ストリーム（ＴＳ）を受信し、受信したＴＳのデータを復号して出力する復号装置では、受信したＴＳからＰＡＴやＰＭＴを取得し、目的のプログラムに対応するＰＩＤを判別する。そして、復号装置は、判別したＰＩＤを持つＴＳパケットを取得して、映像フレームの符号化データ（ＰＥＳパケット）や音声フレームの符号化データ（ＰＥＳパケット）を復元する。さらにＰＥＳパケットから各フレームのＰＴＳやＤＴＳを抽出する。
【００２５】
また、復号装置は、図３に示すように、ＴＳから最初に受信したＰＣＲの値をＳＴＣカウンタの初期値に設定する。そして、ＳＴＣ周波数でカウントアップするＳＴＣカウンタのカウント値が映像フレームや音声フレームのＤＴＳに達するとフレームの復号を実行し、ＳＴＣカウンタのカウント値がＰＴＳに達すると、復号された映像フレームや音声フレームを出力する。これにより、映像と音声との同期再生が実現される。
【００２６】
また、復号装置では、定期的に受信されるＰＣＲを用いて、ローカルクロックの基準となるＳＴＣの調整を行う。例えば、復号装置は、受信したＰＣＲの値をＳＴＣカウンタのカウント値と比較し、これらの差分が所定の閾値を超える場合は、ＳＴＣカウンタのカウント値をＰＣＲの値で更新する。また、復号装置は、今回受信したＰＣＲの値と前回受信したＰＣＲの値の差分を求め、この差分が閾値を超えないように、ＳＴＣ周波数を調節する。
【００２７】
（実施形態の概要）
ＭＰＥＧ２−ＴＳの規格に従う従来の復号装置では、上述したように、ＴＳ内に所定間隔で挿入されるＰＣＲを利用してＳＴＣの調整を行う。ＰＣＲの送信間隔は１００ｍｓ以下と定められているが、ＰＣＲの送信間隔が極端に短いと、映像データや音声データの伝送効率が低下する。そのため、ＰＣＲの送信間隔は、１００ｍｓ以下の範囲内で比較的長い間隔に設定される傾向にある。
【００２８】
ＴＳの伝送時にパケットロスなどのエラーが発生しない環境では、最大で１００ｍｓごとにＰＣＲが取得できるため、ＰＣＲを用いたＳＴＣの調整は適切に行えるものと考えられる。しかし、例えば無線通信ネットワークを利用してＴＳの伝送を行う場合など、パケットロスが発生しやすい環境においては、パケットロスによってＰＣＲパケットが失われるとＰＣＲが取得できない間隔が長くなる。このため、例えばＰＣＲによるＰＬＬ同期の動作が不安定になるなど、ＰＣＲを用いたＳＴＣの調整を適切に行えない場合がある。
【００２９】
そこで、本実施形態では、ＰＣＲよりも短い間隔でＴＳに含まれるＰＴＳの値を用いてＳＴＣの調整を行う復号装置を提案する。ＰＴＳは、上述したように、映像フレームや音声フレームのＰＥＳパケットに含まれる、フレーム処理時刻（フレーム再生時刻）を示す時刻情報であり、システムのフレームレートを例えば６０ＦＰＳとすると、ＰＴＳは約１７ｍｓごとにＴＳに含まれることになる。このようにＰＴＳの送信間隔はＰＤＲと比べて十分に短い。
【００３０】
また、本実施形態の復号装置では、映像フレームの再生時刻のずれよりも、音声フレームの再生時刻のずれの方が、ユーザがより感知しやすいという特性を考慮して、特に、音声フレームのＰＥＳパケットに含まれるＰＴＳの値を用いてＳＴＣの調整を行う。音声フレームのＰＴＳの値を用いてＳＴＣを調整することにより、音声フレームは目標とする時刻からずれることなく再生される。一方、映像フレームは、音声フレームのＰＴＳ値を用いて調整されたＳＴＣのカウント値と、映像フレームのＰＴＳ値とを用いて出力を制御することにより、再生時刻に若干のずれが生じたとしても映像としての違和感が極力低減される。これにより、映像や音声の再生にかかるＱｏＳの低下を有効に抑制することができる。
【００３１】
なお、ＰＥＳパケットにふくまれるフレーム処理時刻を示す時刻情報としては、フレーム再生時刻を示すＰＴＳのほかにフレーム復号時刻を示すＤＴＳがあるが、ＤＴＳは上述したように省略される場合もある。このため、本実施形態では、音声フレームのＰＴＳを用いてＳＴＣの調整を行うものとする。ただし、ＰＥＳパケットにＤＴＳが含まれることが保障されるシステムであれば、ＰＴＳの代わりに音声フレームのＤＴＳを用いてＳＴＣの調整を行うようにしてもよい。
【００３２】
（復号装置の構成例）
次に、本実施形態の復号装置の具体的な構成について説明する。本実施形態の復号装置は、ＭＰＥＧ２−ＴＳの形式で圧縮符号化された映像フレームおよび音声フレームの符号化ストリーム（ＴＳ）を例えば無線通信ネットワークを介して受信し、受信した映像フレームおよび音声フレームを復号して外部に出力する。出力された映像フレームは映像として表示装置に表示され、出力された音声フレームはスピーカから音声出力される。なお、ＴＳの送信側は従来の構成と同様である。
【００３３】
図４は、本実施形態の復号装置１００の構成例を示すブロック図である。本実施形態の復号装置１００は、図４に示すように、ＳＴＣ生成部１０１、ＳＴＣカウンタ部１０２、ＳＴＣ調整部１０３、無線通信部１０４、ＴＳ予備処理部１０５、音声フレーム復号部１０６、映像フレーム復号部１０７、音声データ出力部１０８、映像データ出力部１０９、映像データ出力制御部１１０、および各種バッファ（音声フレームバッファ１１１、音声ＰＴＳバッファ１１２、映像フレームバッファ１１３、映像ＰＴＳバッファ１１４、音声復号データバッファ１１５、映像復号データバッファ１１６）を備える。
【００３４】
ＳＴＣ生成部１０１は、クロック生成部の一例であり、復号装置１００のローカルタイムの基準となるＳＴＣ（基準クロック）を生成する。ＳＴＣ生成部１０１は、例えば図５に示すようなＰＬＬ回路として構成されるクロック・リカバリ回路を含む。クロック・リカバリ回路は、ＳＴＣ調整部１０３のＰＷＭ制御（パルス幅変調制御）によってＶＣＯ（電圧制御発振器）の発振周波数が調整されることにより、生成するＳＴＣの周波数（ＳＴＣ周波数）の変動を回復させる機能を持つ。なお、図５に例示した構成のクロック・リカバリ回路は公知のものであるため、詳細な説明を省略する。
【００３５】
ＳＴＣカウンタ部１０２は、復号装置１００のローカルタイムを提供するＳＴＣ自走カウンタ１２１と、ＳＴＣ調整部１０３によるＳＴＣ周波数の調整に用いられる調整用カウンタ１２２とを含む。
【００３６】
ＳＴＣ自走カウンタ１２１は、第１カウンタの一例であり、ＳＴＣ生成部１０１が生成するＳＴＣで駆動され、動作開始後に最初に抽出された音声フレームまたは映像フレームのＰＴＳ値を初期値としてセットし、そこから自走してＳＴＣ周波数でカウントアップする。
【００３７】
調整用カウンタ１２２は、第２カウンタの一例であり、復号装置１００における実際のフレーム処理速度を表す値をカウントする。調整用カウンタ１２２は、後述のｔｉｃｋ値を用いてバイト単位でカウントアップするカウンタであり、ＳＴＣ調整部１０３がＳＴＣ周波数の調整を行うか否かを判断するために用いられる。
【００３８】
ＳＴＣ調整部１０３は、クロック調整部の一例であり、音声フレームのＰＴＳ値を用いてＳＴＣを調整する機能を持つ。ＳＴＣ調整部１０３によるＳＴＣの調整は２種類ある。１つ目は、ＳＴＣカウンタ部１０２に含まれるＳＴＣ自走カウンタ１２１のカウント値の更新であり、２つ目は、ＳＴＣ周波数の調整である。
【００３９】
具体的には、ＳＴＣ調整部１０３は、上記１つ目の調整として、ＳＴＣ自走カウンタ１２１のカウント値と最新の音声フレームのＰＴＳ値とを比較し、両者の差が予め定められた第１閾値を超えた場合に、最新の音声フレームのＰＴＳ値を用いて、ＳＴＣ自走カウンタ１２１のＳＴＣカウント値を更新する。
【００４０】
また、ＳＴＣ調整部１０３は、上記２つ目の調整として、連続する２つの音声フレームのＰＴＳ値の差分と、調整用カウンタ１２２のカウント値とを比較し、両者の差の絶対値が予め定められた第２閾値を超えた場合に、ＳＴＣ周波数の調整（ＳＴＣ生成部１０１に含まれるクロック・リカバリ回路のＶＯＣの発振周波数の調整）を行う。なお、ＳＴＣ調整部１０３による処理の具体例については詳細を後述する。
【００４１】
無線通信部１０４は、無線通信ネットワークに接続してＭＰＥＧ２−ＴＳ形式のストリーム（ＴＳ）を構成するＴＳパケットを受信し、受信したＴＳパケットをＴＳ予備処理部１０５に転送する。なお、無線通信ネットワークとしては、例えば、３Ｇ（３ｒｄ  Ｇｅｎｅｒａｔｉｏｎ）、ＬＴＥ（Ｌｏｎｇ  Ｔｅｒｍ  Ｅｖｏｌｕｔｉｏｎ）、ＷｉＭＡＸ（登録商標）（Ｗｏｒｌｄｗｉｄｅ  Ｉｎｔｅｒｏｐｅｒａｂｉｌｉｔｙ  ｆｏｒ  Ｍｉｃｒｏｗａｖｅ  Ａｃｃｅｓｓ）規格（ＩＥＥＥ８０２．１６）、Ｗｉ−Ｆｉ（登録商標）（ＷｉｒｅｌｅｓｓＦｉｄｅｌｉｔｙ）規格（ＩＥＥＥ８０２．１１）など、任意の規格のものを利用することができる。
【００４２】
なお、本実施形態の復号装置１００は無線通信によって伝送されるＴＳを受信するものとしているが、ネットワークケーブルなどを用いる有線通信によって伝送されるＴＳを受信する構成であってもよい。
【００４３】
ＴＳ予備処理部１０５は、抽出部の一例である。ＴＳ予備処理部１０５は、無線通信部１０４から転送されたＴＳパケットのＰＩＤを解析し、同一のＰＩＤを持つＴＳパケットを用いて音声フレームのＰＥＳパケット、映像フレームのＰＥＳパケットの復元を行う。また、ＴＳ予備処理部１０５は、音声フレームのＰＥＳパケットから音声フレームのＰＴＳ、映像フレームのＰＥＳパケットから映像フレームのＰＴＳをそれぞれ抽出する。そして、ＴＳ予備処理部１０５は、音声フレームのデータ部分（Ｐａｙｌｏａｄ）を音声フレームバッファ１１１に、音声フレームのＰＴＳ値を音声ＰＴＳバッファ１１２に、映像フレームのデータ部分（Ｐａｙｌｏａｄ）を映像フレームバッファ１１３に、映像フレームのＰＴＳ値を映像ＰＴＳバッファ１１４にそれぞれ転送する。さらに、ＴＳ予備処理部１０５は、最初に抽出した音声フレームまたは映像フレームのＰＴＳ値を、ＳＴＣカウンタ部１０２に転送する機能も有する。ＳＴＣカウンタ部１０２のＳＴＣ自走カウンタ１２１は、上述したように、このＰＴＳ値を初期値としてカウントアップを開始する。
【００４４】
また、ＴＳ予備処理部１０５は、連続する２つの音声フレームのＰＥＳパケットからＰＴＳが抽出される間に無線通信部１０４から転送されたバイト量をカウントするバイトカウンタが実装されている。バイトカウンタは、起動後、音声フレームのＰＴＳが抽出されるたびに、１つ前の音声フレームのＰＴＳ抽出から現時点までの間に無線通信部１０４から転送されたバイト量をカウントする。ＴＳ予備処理部１０５は、このバイトカウンタのカウント値をＳＴＣカウンタ部１０２に転送する機能も有する。ＳＴＣカウンタ部１０２では、このバイトカウンタのカウント値を用いて後述のｔｉｃｋ値を計算し、このｔｉｃｋ値を用いて調整用カウンタ１２２によるバイト単位でのカウントアップを行う。
【００４５】
音声フレーム復号部１０６は、音声フレームバッファ１１１を経由して転送された音声データの復号処理を行う。復号された音声復号データ（音声フレーム）は、音声復号データバッファ１１５に転送される。
【００４６】
映像フレーム復号部１０７は、映像フレームバッファ１１３を経由して転送された映像データの復号処理を行う。復号された映像復号データ（映像フレーム）は、映像復号データバッファ１１６に転送される。
【００４７】
音声データ出力部１０８は、音声復号データバッファ１１５に格納された音声復号データ（音声フレーム）を外部に出力する。
【００４８】
映像データ出力部１０９は、映像復号データバッファ１１６に格納された映像復号データ（映像フレーム）を映像データ出力制御部１１０に転送する。
【００４９】
映像データ出力制御部１１０は、映像出力制御部の一例である。映像データ出力制御部１１０は、映像データ出力部１０９から転送された各映像フレームのＰＴＳ値と、ＳＴＣ自走カウンタ１２１のカウント値とを比較し、その比較結果に応じて、映像データ出力部１０９から転送された映像データの出力を制御する。具体的には、映像データ出力制御部１１０は、映像データ出力部１０９から転送された映像データに対し、以下のような出力制御を実施する。
【００５０】
“当該映像フレームのＰＴＳ値＞ＳＴＣ自走カウンタ１２１のカウント値”の場合には、ＳＴＣ自走カウンタ１２１のカウント値が当該映像フレームのＰＴＳ値に到達するまで、１つ前の映像フレームを繰り返して外部に出力する。そして、ＳＴＣ自走カウンタ１２１のカウント値が当該映像フレームのＰＴＳ値に到達すると、当該映像フレームを外部に出力する。
【００５１】
“当該映像フレームのＰＴＳ値＜ＳＴＣ自走カウンタ１２１のカウント値”且つ“ＳＴＣ自走カウンタ１２１のカウント値と当該映像フレームのＰＴＳ値との差≦第３閾値”の場合には、当該映像フレームを外部に出力する。
【００５２】
“当該映像フレームのＰＴＳ値＜ＳＴＣ自走カウンタ１２１のカウント値”且つ“ＳＴＣ自走カウンタ１２１のカウント値と当該映像フレームのＰＴＳ値との差＞第３閾値”の場合には、当該映像フレームを破棄し、次の映像フレームの出力制御を実施する。
【００５３】
（復号装置の動作）
次に、図６を参照しながら、本実施形態の復号装置１００の動作の概要を説明する。図６は、本実施形態の復号装置１００における処理手順の一例を示すフローチャートである。
【００５４】
まず、無線通信部１０４がＴＳパケットの受信を開始する（ステップＳ１）。無線通信部１０４により受信されたＴＳパケットは、ＴＳ予備処理部１０５に順次転送される。なお、本実施形態の復号システム１００は、ＮＯＲＭＡＬ（音声あるいは映像）パケットに対する処理に特徴があるため、以下では、無線通信部１０４により受信されたＴＳパケットがＮＯＲＭＡＬパケットであるものとして説明する。
【００５５】
ＴＳ予備処理部１０５は、無線通信部１０４から転送されたＴＳパケットのＰＩＤをもとに、ＰＥＳパケットをフレーム順に復元する（ステップＳ２）。以下、ステップＳ２で復元された最新のＰＥＳパケットを「処理対象パケット」という。
【００５６】
次に、ＴＳ予備処理部１０５は、処理対象パケットが、プログラムの最初の音声フレームまたは映像フレームであるか否かを判定する（ステップＳ３）。そして、処理対象パケットが最初の音声フレームまたは映像フレームである場合には（ステップＳ３：Ｙｅｓ）、ＴＳ予備処理部１０５は、処理対象パケットからＰＴＳ値を抽出し、抽出したＰＴＳ値をＳＴＣカウンタ部１０２に転送する。これを受けてＳＴＣカウンタ部１０２は、ＴＳ予備処理部１０５から転送された処理対象パケットのＰＴＳ値を、ＳＴＣ自走カウンタ１２１の初期値に設定する（ステップＳ４）。ＳＴＣ自走カウンタ１２１は、初期値が設定されると、ＳＴＣ生成部１０１が生成するＳＴＣのカウントアップを開始する。
【００５７】
一方、処理対象パケットが最初の音声フレームまたは映像フレームではない場合は（ステップＳ３：Ｎｏ）、最初の音声フレームまたは映像フレームに対する処理によってすでにＳＴＣ自走カウンタ１２１のカウントアップが開始されているため、ステップＳ４の処理は行われず、ステップＳ５に処理を移行する。
【００５８】
ステップＳ５では、ＴＳ予備処理部１０５が、処理対象パケットが音声フレームであるか否かを判定する。そして、処理対象パケットが音声フレームである場合は（ステップＳ５：Ｙｅｓ）、ＴＳ予備処理部１０５は、処理対象パケットのＰＴＳ値を抽出し、抽出したＰＴＳ値を音声ＰＴＳバッファ１１２を介してＳＴＣ調整部１０３に転送する。また、ＴＳ予備処理部１０５は、処理対象パケット（音声フレーム）を音声フレームバッファ１１１を介して音声フレーム復号部１０６に転送する。これにより、処理対象パケット（音声フレーム）の復号が開始される（ステップＳ６）。
【００５９】
その後、ＳＴＣ調整部１０３は、（抽出されたＰＴＳ値−ＳＴＣ自走カウンタ１２１のカウント値）＞第１閾値であるか否かを判定する（ステップＳ７）。そして、（抽出されたＰＴＳ値−ＳＴＣ自走カウンタ１２１のカウント値）＞第１閾値である場合には（ステップＳ７：Ｙｅｓ）、ＳＴＣ調整部１０３は、処理対象パケット（音声フレーム）から抽出されたＰＴＳ値により、ＳＴＣ自走カウンタ１２１のカウント値を更新する（ステップＳ８）。一方、“（抽出されたＰＴＳ値−ＳＴＣ自走カウンタ１２１のカウント値）＞第１閾値”ではない場合には（ステップＳ７：Ｎｏ）、ステップＳ９に処理を移行する。
【００６０】
ステップＳ９では、ＳＴＣ調整部１０３が、処理対象パケットから抽出されたＰＴＳ値と、処理対象パケットの１つ前の音声フレームのＰＥＳパケットから抽出されたＰＴＳ値との差分を求め、このＰＴＳ値の差分と調整用カウンタ１２２のカウント値との差の絶対値が第２閾値を超えるか否かを判定する。そして、抽出されたＰＴＳ値の差と調整用カウンタ１２２のカウント値との差分の絶対値が閾値を超える場合には（ステップＳ９：Ｙｅｓ）、ＳＴＣ調整部１０３は、例えばＰＷＭ制御によって、ＳＴＣ生成部１０１に含まれるクロック・リカバリ回路のＶＣＯの発振周波数を調整することによって、ＳＴＣ周波数を調整する（ステップＳ１０）。
【００６１】
一方、上述したＰＴＳ値の差分と調整用カウンタ１２２のカウント値との差の絶対値が第２閾値を超えない場合には（ステップＳ９：Ｎｏ）、ステップＳ１１に処理を移行する。なお、処理対象パケットがプログラムの最初の音声フレームである場合には、ステップＳ９およびステップＳ１０の処理は省略される。
【００６２】
ステップＳ１１では、音声データ出力部１０８が、処理対象パケット（音声フレーム）の復号処理が完了したか否かを判定する。そして、音声データ出力部１０８は、処理対象パケットの復号処理が完了していない場合には（ステップＳ１１：Ｎｏ）、復号処理が完了するまで待機する。一方、処理対象パケットの復号処理が完了した場合には（ステップＳ１１：Ｙｅｓ）、音声データ出力部１０８は、復号された音声フレームを外部に出力した後（ステップＳ１２）、ステップＳ２３に処理を移行する。
【００６３】
また、上述したステップＳ５において、処理対象パケットが音声フレームではない（映像フレームである）と判定された場合には（ステップＳ５：Ｎｏ）、ＴＳ予備処理部１０５は、処理対象パケットのＰＴＳ値を抽出し、抽出したＰＴＳ値を映像ＰＴＳバッファ１１４を介して映像データ出力制御部１１０に転送する。また、ＴＳ予備処理部１０５は、処理対象パケット（映像フレーム）を映像フレームバッファ１１３を介して映像フレーム復号部１０７に転送する。これにより、処理対象パケット（映像フレーム）の復号が開始される（ステップＳ１３）。
【００６４】
次に、映像データ出力部１０９が、処理対象パケット（映像フレーム）の復号処理が完了したか否かを判定する（ステップＳ１４）。そして、映像データ出力部１０９は、処理対象パケットの復号処理が完了していない場合には（ステップＳ１４：Ｎｏ）、復号処理が完了するまで待機する。一方、処理対象パケットの復号処理が完了した場合には（ステップＳ１４：Ｙｅｓ）、映像データ出力部１０９は、復号された映像フレームを映像データ出力制御部１１０に転送し、ステップＳ１５に処理を移行する。
【００６５】
ステップＳ１５では、映像データ出力制御部１１０が、処理対象パケットから抽出されたＰＴＳ値がＳＴＣ自走カウンタ１２１のカウント値以上であるか否かを判定する。そして、処理対象パケットから抽出されたＰＴＳ値がＳＴＣ自走カウンタ１２１のカウント値以上であれば（ステップＳ１５：Ｙｅｓ）、処理対象パケットから抽出されたＰＴＳ値がＳＴＣ自走カウンタ１２１のカウント値と等しいか否かを判定する（ステップＳ１６）。
【００６６】
そして、処理対象パケットから抽出されたＰＴＳ値がＳＴＣ自走カウンタ１２１のカウント値と等しくない、つまり処理対象パケットから抽出されたＰＴＳ値がＳＴＣ自走カウンタ１２１のカウント値よりも大きければ（ステップＳ１６：Ｎｏ）、映像データ出力制御部１１０は、処理対象パケットの１つ前の映像フレームを外部に出力する（ステップＳ１７）。このステップＳ１７の処理は、処理対象パケットから抽出されたＰＴＳ値がＳＴＣ自走カウンタ１２１のカウント値と等しくなるまで続けられる（ステップＳ１８）。そして、処理対象パケットから抽出されたＰＴＳ値がＳＴＣ自走カウンタ１２１のカウント値と等しくなると（ステップＳ１８：Ｙｅｓ）、映像データ出力制御部１１０は、処理対象パケットの映像フレームを外部に出力し（ステップＳ１９）、ステップＳ２３に処理を移行する。
【００６７】
また、映像データ出力制御部１１０は、上述したステップＳ１６において、処理対象パケットから抽出されたＰＴＳ値がＳＴＣ自走カウンタ１２１のカウント値と等しいと判定した場合も（ステップＳ１６：Ｙｅｓ）、ステップＳ１９において処理対象パケットの映像フレームを外部に出力し、ステップＳ２３に処理を移行する。
【００６８】
また、上述したステップＳ１５において、処理対象パケットから抽出されたＰＴＳ値がＳＴＣ自走カウンタ１２１のカウント値よりも小さいと判定された場合は（ステップＳ１５：Ｎｏ）、映像データ出力制御部１１０は、ＳＴＣ自走カウンタ１２１のカウント値とＰＴＳ値との差が第３閾値を超えるか否かを判定する（ステップＳ２０）。そして、ＳＴＣ自走カウンタ１２１のカウント値とＰＴＳ値との差が第３閾値を超える場合は（ステップＳ２０：Ｙｅｓ）、映像データ出力制御部１１０は、処理対象パケットを破棄し（ステップＳ２１）、ステップＳ２３に処理を移行する。一方、ＳＴＣ自走カウンタ１２１のカウント値とＰＴＳ値との差が第３閾値以下であれば（ステップＳ２０：Ｎｏ）、映像データ出力制御部１１０は、処理対象パケットの映像フレームを外部に出力し（ステップＳ２２）、ステップＳ２３に処理を移行する。
【００６９】
ステップＳ２３では、すべてのＴＳパケットの処理が終了したか否かが判定され、未処理のＴＳパケットが残っている場合は（ステップＳ２３：Ｎｏ）、ステップＳ２に戻ってステップＳ２以降の処理が繰り返される。そして、すべてのＴＳパケットの処理が終了すると（ステップＳ２３：Ｙｅｓ）、図６のフローチャートで示す一連の処理手順が終了する。
【００７０】
（ＳＴＣの調整処理）
次に、ＳＴＣ調整部１０３が音声フレームのＰＴＲ値を用いてＳＴＣを調整する処理の具体例について説明する。なお、本実施形態の復号装置１００は、６０ｆｐｓのフレームレートで音声フレームおよび映像フレームの処理を行うものとし、ＳＴＣ生成部１０１が２７ＭｈｚのＳＴＣを生成しているものとする。
【００７１】
＜ＳＴＣ自走カウンタのカウント値の更新＞
まず、ＳＴＣ自走カウンタ１２１のカウント値を更新する処理の具体例について、図７を参照しながら説明する。図７は、ＳＴＣカウンタ部１０２に含まれるＳＴＣ自走カウンタ１２１の動きを説明する図である。
【００７２】
図７に示すように、動作開始後に最初に抽出された音声フレームまたは映像フレームのＰＴＳ値が“１００”であった場合、ＳＴＣカウンタ部１０２は、ＳＴＣ自走カウンタ１２１の初期値を“１００”に設定する。ＳＴＣ自走カウンタ１２１は、初期値が設定されるとＳＴＣのカウントを開始し、ＳＴＣの立ち上がりが検出されるごとにカウント値をインクリメント（カウントアップ）する。
【００７３】
この後、ＴＳ予備処理部１０５は、音声フレームのＰＥＳパケットが受信されるごとに、当該音声フレームのＰＴＳ値を抽出してＳＴＣ調整部１０３に転送する。ＳＴＣ調整部１０３では、抽出された音声フレームのＰＴＳ値とＳＴＣ自走カウンタ１２１のカウント値とを比較して、両者の差が第１閾値を超えるかどうかを判定する。そして、両者の差が第１閾値を超える場合は、抽出された音声フレームのＰＴＳ値により、ＳＴＣ自走カウンタ１２１のカウント値を更新する。
【００７４】
本実施形態では、第１閾値を以下のように求めて予め設定しておくものとする。
第１閾値＝（１ｓｅｃ／フレームレート）×（ＳＴＣ周波数の３００分周）
ここで、本例ではフレームレートが６０ｆｐｓ、ＳＴＣ周波数が２７Ｍｈｚであるので、第１閾値＝（１ｓｅｃ／６０ｆｐｓ）×（２７ＭＨｚ／３００）＝１５となる。
【００７５】
図７に示す例では、ＳＴＣ自走カウンタ１２１のカウント値が“１０６７”のときに抽出された音声フレームのＰＴＳ値が“２０００”となっており、これらの差である３３が第１閾値の１５を超える。このため、音声フレームのＰＴＳ値である“２０００”を用いてＳＴＣ自走カウンタ１２１のカウント値が更新される。なお、抽出された音声フレームのＰＴＳ値とＳＴＣ自走カウンタ１２１のカウント値との差が第１閾値以下であれば、音声フレームのＰＴＳ値を用いたＳＴＣ自走カウンタ１２１のカウント値の更新は行われない。
【００７６】
このように、本実施形態の復号装置１００では、ＳＴＣ調整部１０３が音声フレームのＰＴＳ値を用いてＳＴＣ自走カウンタ１２１のカウント値の更新の要否を判定する構成である。このため、従来技術のように、１００ｍｓ以下の送信間隔でＴＳに挿入されるＰＣＲパケットを用いてＳＴＣの調整を行う場合と比べて、ＳＴＣ自走カウンタ１２１のカウント値の更新の要否を高い頻度で判定することとなり、ＴＳ伝送時のパケットロスによりＰＣＲパケットが失われる可能性のある環境であっても、ＳＴＣの調整を適切に行うことができる。
【００７７】
なお、本実施形態では、上述したように、音声フレームのＰＥＳパケットが受信されるたびに音声フレームのＰＴＳ値を抽出して、ＳＴＣ自走カウンタ１２１のカウント値との差が第１閾値を超えるか否か（ＳＴＣ自走カウンタ１２１のカウント値の更新の要否）を判定している。しかし、この判定は必ずしも音声フレームのＰＥＳパケットが受信されるたびに行う必要はない。例えば音声フレームの１０フレームごとなど、予め指定された間隔で音声フレームのＰＴＳ値を抽出し、上記の判定を行うように構成してもよい。
【００７８】
＜ＳＴＣ周波数の調整＞
次に、ＳＴＣ周波数を調整する処理の具体例について説明する。
【００７９】
上述したように、本実施形態の復号装置１００では、ＴＳ予備処理部１０５バイトカウンタが実装されており、連続する２つの音声フレームのＰＥＳパケットからＰＴＳが抽出される間に無線通信部１０４から転送されたバイト量をカウントしている。バイトカウンタのカウント値は、ＴＳ予備処理部１０５からＳＴＣカウンタ部１０２に転送される。
【００８０】
バイトカウンタのカウント値は、例えば以下のように計算することができる。すなわち、ＴＳ予備処理部１０５は、１つ前の音声フレームのＰＥＳパッケトを復元してＰＴＳを抽出した時点から、現時点の音声フレームのＰＥＳパケットを復元してＰＴＳを抽出するまでの間に、無線通信部１０４から転送されたＴＳパケットのパケット数をカウントする。ＴＳパケットは１８８バイトで固定であるため、バイトカウンタのカウント値は、転送されたＴＳパケットのパケット数×１８８バイトとなる。
【００８１】
ＴＳ予備処理部１０５からバイトカウンタのカウント値が転送されたＳＴＣカウンタ部１０２は、このバイトカウンタのカウント値を用いて、バイト単位のｔｉｃｋ値を計算し、このｔｉｃｋ値を用いて調整用カウンタ１２２をバイト単位でカウントアップする。そして、ＳＴＣカウンタ部１０２は、調整用カウンタ１２２のカウント値をＳＴＣ調整部１０３に転送する。
【００８２】
ＳＴＣカウンタ部１０２では、例えば以下のようにバイト単位のｔｉｃｋ値を計算する。すなわち、連続する２つの音声フレーム（ここでは、これら２つの音声フレームを便宜上、１番目の音声フレームおよび２番目の音声フレームと呼ぶ。）のＰＴＳ値の差分（絶対値）をΔＴ、１番目の音声フレームのＰＴＳ値が抽出された時点から、２番目の音声フレームのＰＴＳ値が抽出されるまでの間に転送されたバイト量（バイトカウンタのカウント値）をΔＢとしたとき、バイト単位のｔｉｃｋ値は、ΔＴ／ΔＢで計算できる。
【００８３】
ＳＴＣカウンタ部１０２では、ｔｉｃｋ値の計算に用いた１番目の音声フレームおよび２番目のフレームに続く次の音声フレーム（３番目の音声フレーム）のＰＴＳ値が抽出されると、その時点でＴＳ予備処理部１０５から転送されるバイトカウンタのカウント値（２番目の音声フレームのＰＴＳ値が抽出された時点から、３番目の音声フレームのＰＴＳ値が抽出されるまでの間に転送されたバイト量）に上記ｔｉｃｋ値を乗算した値を、調整用カウンタ１２２のカウント値としてＳＴＣ調整部１０３に転送する。
【００８４】
ＳＴＣ調整部１０３では、３番目の音声フレームのＰＴＳ値が抽出されると、２番目の音声フレームのＰＴＳ値と３番目の音声フレームのＰＴＳ値との差分を調整用カウンタ１２２のカウント値と比較して、両者の差の絶対値が第２閾値を超えるか否かを判定する。そして、両者の差の絶対値が第２閾値を超える場合は、例えばＰＷＭ制御によりＳＴＣ生成部１０１に含まれるクロック・リカバリ回路のＶＣＯの発振周波数を調整することによって、ＳＴＣ周波数を調整する。
【００８５】
その後、ＳＴＣカウンタ部１０２とＳＴＣ調整部１０３は、音声フレームのＰＴＳ値が抽出されるたびに上記の処理を繰り返すことで、ＳＴＣ周波数に変動が生じた場合にこれを調整する。
【００８６】
ここで、ＰＷＭ制御によりＶＣＯの発振周波数を調整することでＳＴＣ周波数を調整する方法について説明する。連続する２つの音声フレームから抽出されたＰＴＳ値の差分と調整用カウンタ１２２のカウント値との差の絶対値が第２閾値を超える場合、ＳＴＣ調整部１０３は、次回の判定時にこれらの差の絶対値が第２閾値を超えなくなるように、以下のようにＰＷＭ制御を行う。
【００８７】
連続する２つの音声フレームから抽出されたＰＴＳ値の差分よりも、調整用カウンタ１２２のカウント値が大きい場合は、復号装置１００の処理速度が速いと判断できる。すなわち、調整用カウンタ１２２は、ｔｉｃｋ値を用いてバイト単位でカウントアップされるものであり、復号装置１００の実際のフレーム処理速度を表す値をカウントしている。このため、連続する２つの音声フレームから抽出されたＰＴＳ値の差分よりも、調整用カウンタ１２２のカウント値が大きい場合は、復号装置１００の処理速度が速くなっていると判断できる。したがって、この場合は、ＳＴＣ調整部１０３は、ＰＷＭ制御のデューティ比を、Ｌ＿ＬＥＶＥＬ側が長くなるように変更する。これにより、ＳＴＣ生成部１０１に含まれるクロック・リカバリ回路では、ＶＣＯの発振周波数が遅くなるように調整され、復号装置１００の処理速度を速くするように変動したＳＴＣ周波数を、適切に調整することができる。
【００８８】
一方、連続する２つの音声フレームから抽出されたＰＴＳ値の差分よりも、調整用カウンタ１２２のカウント値が小さい場合は、復号装置１００の処理速度が遅いと判断できる。したがって、この場合は、ＳＴＣ調整部１０３は、ＰＷＭ制御のデューティ比を、Ｈ＿ＬＥＶＥＬ側が長くなるように変更する。これにより、ＳＴＣ生成部１０１に含まれるクロック・リカバリ回路では、ＶＣＯの発振周波数が速くなるように調整され、復号装置１００の処理速度を遅くするように変動したＳＴＣ周波数を、適切に調整することができる。
【００８９】
ところで、上述した第２閾値は、例えば８０ｍｓに定めることが有効である。これは、一般的に８０ｍｓ程度の音声遅延時間に対しては人間が違和感を感じないとされているためである。第２閾値を８０ｍｓに設定することにより、音声フレームの出力のタイミングが８０ｍｓ以上ずれることがないようにＳＴＣ周波数を調整することができ、違和感のない音声を出力することができる。
【００９０】
ここで、ＳＴＣ調整部１０３がＳＴＣ周波数を調整する処理の具体例について、図８を参照しながら説明する。図８は、ＳＴＣカウンタ部１０２に含まれる調整用カウンタ１２２の動きを説明する図である。
【００９１】
図８に示すように、１番目の音声フレームのＰＴＳ値として“１００”、２番目の音声フレームのＰＴＳ値として“２００”、３番目の音声フレームのＰＴＳ値として“３００”がそれぞれ抽出されたものとする。ＴＳ予備処理部１０５は、それぞれの音声フレームのＰＳＴ値を抽出した時点で、抽出したＰＴＳ値をＳＴＣカウンタ部１０２およびＳＴＣ調整部１０３に転送する。また、ＴＳ予備処理部１０５は、２番目の音声フレームのＰＴＳ値を抽出した時点では、１番目の音声フレームのＰＴＳ値を抽出してからバイトカウンタでカウントしたカウント値（図８の例では４つのＴＳパケットが転送されているため、４×１８８＝７５２）をＳＴＣカウンタ部１０２に転送する。また、ＴＳ予備処理部１０５は、３番目の音声フレームのＰＴＳ値を抽出した時点では、２番目の音声フレームのＰＴＳ値を抽出してからバイトカウンタでカウントしたカウント値（図８の例では４つのＴＳパケットが転送されているため、４×１８８＝７５２）をＳＴＣカウンタ部１０２に転送する。
【００９２】
ＳＴＣカウンタ部１０２では、ＴＳ予備処理部１０５から２番目の音声フレームのＰＴＳ値とバイトカウンタのカウント値が転送されると、先に転送された１番目の音声フレームのＰＴＳ値と２番目の音声フレームのＰＴＳ値との差分（絶対値）ΔＴ（図８の例では２００−１００＝１００）と、バイトカウンタのカウント値ΔＢ（図８の例では７５２）とから、ｔｉｃｋ値ΔＴ／ΔＢ＝１００／７５２≒０．１３３を求める。
【００９３】
その後、ＳＴＣカウンタ部１０２は、ＴＳ予備処理部１０５から３番目の音声フレームのＰＴＳ値とバイトカウンタのカウント値が転送されると、この時点で転送されたバイトカウンタのカウント値（図８の例では７５２）に、先に計算したｔｉｃｋ値（０．１３３）を乗算した値（７５２×０．１３３≒１００）で調整用カウンタ１２２のカウント値をカウントアップし、この調整用カウンタ１２２のカウント値をＳＴＣ調整部１０３に転送する。また、ＳＴＣカウンタ部１０２は、この時点で、ＴＳ予備処理部１０５から転送されたバイトカウンタのカウント値ΔＢを用いて、次に調整用カウンタ１２２をカウントアップするためのｔｉｃｋ値ΔＴ／ΔＢを計算する。
【００９４】
ＳＴＣ調整部１０３では、ＴＳ予備処理部１０５から３番目の音声フレームのＰＴＳ値が転送され、ＳＴＣカウンタ部１０２から調整用カウンタ１２２のカウント値が転送されると、先に転送された２番目の音声フレームのＰＴＳ値と３番目の音声フレームのＰＴＳ値との差分（図８の例では３００−２００＝１００）と、調整用カウンタ１２２のカウント値（上記の例では１００）とを比較する。そして、ＳＴＣ調整部１０３は、これらの差の絶対値が第２閾値を超えるか否かを判定し、これらの差の絶対値が第２閾値を超える場合はＳＴＣ周波数の調整を行う。本例では、両者の差は０であり、第２閾値である８０ｍｓを超えないため、ＳＴＣ周波数の調整は行われない。両者の差の絶対値が第２閾値である８０ｍｓを超える場合は、上述したＰＷＭ制御によって、ＳＴＣ周波数の調整が行われることになる。
【００９５】
その後、音声フレームのＰＴＳ値が抽出されるたびに、ＳＴＣカウンタ部１０２およびＳＴＣ調整部１０３によって上記の処理が繰り返され、ＳＴＣ周波数の調整が行われる。
【００９６】
このように、本実施形態の復号装置１００では、ＳＴＣ調整部１０３が音声フレームのＰＴＳ値を用いてＳＴＣ周波数の調整の要否を判定する構成である。このため、従来技術のように、１００ｍｓ以下の送信間隔でＴＳに挿入されるＰＣＲパケットを用いてＳＴＣの調整を行う場合と比べて、ＳＴＣ周波数の調整の要否を高い頻度で判定することとなり、ＴＳ伝送時のパケットロスによりＰＣＲパケットが失われる可能性のある環境であっても、ＳＴＣの調整を適切に行うことができる。
【００９７】
また、ΔＴ／ΔＢで計算されるｔｉｃｋ値は、“連続する２つの音声フレームの再生時刻差／連続する２つの音声フレーム間で転送されるバイト量”であり、音声フレームのデータ転送に要する１バイトごとの所要時間（つまり１バイト単位でのフレーム処理速度）を表している。そして、調整用カウンタ１２２はこのｔｉｃｋ値を用いてバイト単位でカウントアップする構成であるため、２つの音声フレームのＰＴＳ値の差分と調整用カウンタ１２２のカウント値とを比較することによって、目標とするフレーム処理速度と実際のフレーム処理速度との差を判断できる。そして、この差が第２閾値を超えないようにＳＴＣ周波数を調整することによって、音声と映像の安定的な同期再生を実現できる。
【００９８】
なお、本実施形態では、上述したように、音声フレームのＰＥＳパケットが受信されるたびに１つ前の音声フレームのＰＴＳ値との差分を求め、ＰＴＳ値の差分と調整用カウンタ１２２のカウント値との差の絶対値が第２閾値を超えるか否か（ＳＴＣ周波数の調整の要否）を判定している。しかし、この判定は必ずしも音声フレームのＰＥＳパケットが受信されるたびに行う必要はない。例えば音声フレームの１０フレームごとなど、予め指定された間隔で音声フレームのＰＴＳ値を抽出し、上記の判定を行うように構成してもよい。
【００９９】
（映像フレームの出力制御）
次に、図９〜図１１を参照しながら、映像データ出力部１１０が映像フレームのＰＴＳ値とＳＴＣ自走カウンタ１２１のカウント値とに基づいて映像フレームの出力を制御する処理の具体例について説明する。図９〜図１１は、映像データ出力部１１０が映像フレームの出力を制御する３つのパターンをそれぞれ示している。
【０１００】
まず、図９のパターンについて説明する。図９の例では、動作開始後の最初のフレームが映像フレームであり、そのＰＴＳ値が“１００”であるため、ＳＴＣ自走カウンタ１２１の初期値が“１００”に設定され、ＳＴＣ自走カウンタ１２１がＳＴＣのカウントアップを開始する。
【０１０１】
その後、音声フレームのＰＴＳ値が抽出されると、ＳＴＣ調整部１０３が、抽出された音声フレームのＰＴＳ値とＳＴＣ自走カウンタ１２１のカウント値とを比較し、両者の差が第１閾値（例えば１５）を超えるか否かを判定する。そして、両者の差が第１閾値を超える場合は、抽出された音声フレームのＰＴＳ値によりＳＴＣ自走カウンタ１２１のカウント値を更新する。図９の比較１では、音声フレームのＰＴＳ値とＳＴＣ自走カウンタ１２１のカウント値はともに“２００”であり、両者の差は第１閾値以下であるため、ＳＴＣ自走カウンタ１２１のカウント値の更新は行われない。
【０１０２】
また、映像データ出力制御部１１０は、復号が完了した映像フレームのＰＴＳ値をＳＴＣ自走カウンタ１２１のカウント値と比較し、両者が一致するとその映像フレームを外部に出力する。図９の比較２では、映像フレームのＰＴＳ値とＳＴＣ自走カウンタ１２１のカウント値がともに“３００”であり、両者が一致している。このため、映像データ出力制御部１１０は、この映像フレームを外部に出力する。
【０１０３】
また、図９の比較３では、映像フレームのＰＴＳ値は“１０００”、ＳＴＣ自走カウンタ１２１のカウント値は“９５０”であり、映像フレームのＰＴＳ値がＳＴＣ自走カウンタ１２１のカウント値よりも大きい。このため、映像データ出力制御部１１０は、ＳＴＣ自走カウンタ１２１のカウント値が“１０００”になるまで、ＰＴＳ値が“１０００”の映像フレームの１つ前の映像フレームを外部に出力し続ける。そして、ＳＴＣ自走カウンタ１２１のカウント値が“１０００”になった段階で、映像データ出力制御部１１０は、ＰＴＳ値が“１０００”の映像フレームを外部に出力する。
【０１０４】
本実施形態の復号装置１００では、映像データ出力制御部１１０が以上のように映像フレームの出力制御を行うことで、フレーム処理速度が若干遅くなった場合でも１つ前の映像フレームを出力し続けて映像フレームの不連続を防ぎ、映像を閲覧するユーザの違和感を低減することができる。また、この映像フレームの出力制御は、音声フレームのＰＴＳ値に基づいて調整されるＳＴＣ自走カウンタ１２１のカウント値を用いて行われるため、映像と音声の同期再生を適切に実施できる。なお、ＳＴＣ周波数は上述したように音声フレームのＰＴＳ値を用いて適宜調整されるため、フレーム処理速度が極端に遅くなることが有効に抑制される。
【０１０５】
次に、図１０のパターンについて説明する。図１０の例では、図９の例と同様に、動作開始後の最初のフレームが映像フレームであり、そのＰＴＳ値が“１００”であるため、ＳＴＣ自走カウンタ１２１の初期値が“１００”に設定され、ＳＴＣ自走カウンタ１２１がＳＴＣのカウントアップを開始する。
【０１０６】
その後、音声フレームのＰＴＳ値が抽出されると、ＳＴＣ調整部１０３が、抽出された音声フレームのＰＴＳ値とＳＴＣ自走カウンタ１２１のカウント値とを比較し、両者の差が第１閾値（例えば１５）を超えるか否かを判定する。そして、両者の差が第１閾値を超える場合は、抽出された音声フレームのＰＴＳ値によりＳＴＣ自走カウンタ１２１のカウント値を更新する。図１０の比較１では、図９の比較１と同様に、音声フレームのＰＴＳ値とＳＴＣ自走カウンタ１２１のカウント値はともに“２００”であり、両者の差は第１閾値以下であるため、ＳＴＣ自走カウンタ１２１のカウント値の更新は行われない。
【０１０７】
また、映像データ出力制御部１１０は、復号が完了した映像フレームのＰＴＳ値をＳＴＣ自走カウンタ１２１のカウント値と比較し、両者が一致するとその映像フレームを外部に出力する。図１０の比較２では、図９の比較２と同様に、映像フレームのＰＴＳ値とＳＴＣ自走カウンタ１２１のカウント値がともに“３００”であり、両者が一致している。このため、映像データ出力制御部１１０は、この映像フレームを外部に出力する。
【０１０８】
また、図１０の比較３では、映像フレームのＰＴＳ値は“１０００”、ＳＴＣ自走カウンタ１２１のカウント値は“１０３０”であり、映像フレームのＰＴＳ値がＳＴＣ自走カウンタ１２１のカウント値よりも小さい。このため、映像データ出力制御部１１０は、映像フレームのＰＴＳ値とＳＴＣ自走カウンタ１２１のカウント値との差の絶対値が第３閾値を超えるか否かを判定する。ここで、第３閾値は、映像フレームの許容遅延時間×ＳＴＣの３００分周の計算で求まる値を予め設定しておく。例えば、映像フレームの許容遅延時間を５０ｍｓとした場合、第３閾値は、５０ｍｓ×（２７Ｍｈｚ／３００）＝４５である。
【０１０９】
図１０の比較３では、映像フレームのＰＴＳ値とＳＴＣ自走カウンタ１２１のカウント値との差の絶対値は“３０”であり、第３閾値の４５以下である。このため、映像データ出力制御部１１０は、この映像フレームを外部に出力する。
【０１１０】
本実施形態の復号装置１００では、映像データ出力制御部１１０が以上のように映像フレームの出力制御を行うことで、フレーム処理速度が若干速くなった場合でも映像フレームの許容遅延時間内であれば映像フレームを出力して映像フレームの不連続を防ぎ、映像を閲覧するユーザの違和感を低減することができる。また、この映像フレームの出力制御は、音声フレームのＰＴＳ値に基づいて調整されるＳＴＣ自走カウンタ１２１のカウント値を用いて行われるため、映像と音声の同期再生を適切に実施できる。なお、ＳＴＣ周波数は上述したように音声フレームのＰＴＳ値を用いて適宜調整されるため、フレーム処理速度が極端に速くなることが有効に抑制される。
【０１１１】
次に、図１１のパターンについて説明する。図１１の例では、図９や図１０の例と同様に、動作開始後の最初のフレームが映像フレームであり、そのＰＴＳ値が“１００”であるため、ＳＴＣ自走カウンタ１２１の初期値が“１００”に設定され、ＳＴＣ自走カウンタ１２１がＳＴＣのカウントアップを開始する。
【０１１２】
その後、音声フレームのＰＴＳ値が抽出されると、ＳＴＣ調整部１０３が、抽出された音声フレームのＰＴＳ値とＳＴＣ自走カウンタ１２１のカウント値とを比較し、両者の差が第１閾値（例えば１５）を超えるか否かを判定する。そして、両者の差が第１閾値を超える場合は、抽出された音声フレームのＰＴＳ値によりＳＴＣ自走カウンタ１２１のカウント値を更新する。図１１の比較１では、図９や図１０の比較１と同様に、音声フレームのＰＴＳ値とＳＴＣ自走カウンタ１２１のカウント値はともに“２００”であり、両者の差は第１閾値以下であるため、ＳＴＣ自走カウンタ１２１のカウント値の更新は行われない。
【０１１３】
また、映像データ出力制御部１１０は、復号が完了した映像フレームのＰＴＳ値をＳＴＣ自走カウンタ１２１のカウント値と比較し、両者が一致するとその映像フレームを外部に出力する。図１１の比較２では、図９や図１０の比較２と同様に、映像フレームのＰＴＳ値とＳＴＣ自走カウンタ１２１のカウント値がともに“３００”であり、両者が一致している。このため、映像データ出力制御部１１０は、この映像フレームを外部に出力する。
【０１１４】
また、図１１の比較３では、映像フレームのＰＴＳ値は“１０００”、ＳＴＣ自走カウンタ１２１のカウント値は“１０５０”であり、映像フレームのＰＴＳ値がＳＴＣ自走カウンタ１２１のカウント値よりも小さい。このため、映像データ出力制御部１１０は、映像フレームのＰＴＳ値とＳＴＣ自走カウンタ１２１のカウント値との差の絶対値が第３閾値を超えるか否かを判定する。図１１の比較３では、映像フレームのＰＴＳ値とＳＴＣ自走カウンタ１２１のカウント値との差の絶対値は“５０”であり、第３閾値の４５を超えている。このため、映像データ出力制御部１１０は、この映像フレームを破棄し、次の映像フレームの出力制御を行う。
【０１１５】
本実施形態の復号装置１００では、映像データ出力制御部１１０が以上のように映像フレームの出力制御を行うことで、フレーム処理速度が若干速くなって映像フレームの許容遅延時間を超えた場合は映像フレームを破棄して映像音声の不一致を防ぎ、ユーザの違和感を低減することができる。また、この映像フレームの出力制御は、音声フレームのＰＴＳ値に基づいて調整されるＳＴＣ自走カウンタ１２１のカウント値を用いて行われるため、映像と音声の同期再生を適切に実施できる。
【０１１６】
以上、具体的な例を挙げながら詳細に説明したように、本実施形態の復号装置１００では、従来のＳＴＣの調整に用いていたＰＣＲよりも短い時間間隔でＴＳに含まれる音声フレームのＰＴＳ値を用いてＳＴＣの調整を行うようにしている。このため、ＴＳ伝送時にパケットロスが生じやすい環境であっても、ＳＴＣの調整を適切に行うことができる。さらに、本実施形態の復号装置１００では、音声フレームのＰＴＳ値を用いて調整されるＳＴＣ自走カウンタ１２１のカウント値と音声フレームのＰＴＳ値とに基づいて映像フレームの出力制御を行うため、映像音声の同期再生を適切に行って、ＱｏＳの低下を有効に抑制することができる。
【０１１７】
なお、本実施形態では、音声フレームおよび映像フレームの形式としてＭＰＥＧ２−ＴＳの形式を例示したが、本発明が適用可能な形式はこれに限らない。伝送される符号化ストリームにフレーム処理速度を示す時刻情報が十分な頻度で含まれる形式であれば、本発明を有効に適用することができる。
【０１１８】
本実施形態は、次に示される捉え方が可能である。すなわち、本実施形態の復号装置１００は、映像フレームの符号化データおよび映像フレームの符号化データの各々から、フレーム処理時刻を示すＰＴＳを抽出するＴＳ予備処理部１０５と、ローカルタイムの基準となるＳＴＣを生成するＳＴＣ生成部１０１と、ＳＴＣをカウントするＳＴＣ自走カウンタ１２１と、音声フレームの符号化データから抽出されたＰＴＳを用いて、ＳＴＣの調整を行うＳＴＣ調整部１０３と、映像フレームの符号化データから抽出されたＳＴＣとＳＴＣ自走カウンタ１２１のカウント値とに基づいて、当該映像フレームの出力を制御する映像データ出力制御部１１０と、を備える。
【０１１９】
なお、上述した復号装置１００に含まれるＳＴＣカウンタ部１０２、ＳＴＣ調整部１０３、ＴＳ予備処理部１０５、音声フレーム復号部１０６、映像フレーム復号部１０７、音声データ出力部１０８、映像データ出力部１０９、および映像データ出力制御部１１０の各機能的な構成要素は、例えばソフトウェアによって実現することができる。すなわち、復号装置１００を、例えば、ＣＰＵなどのプロセッサやＲＡＭなどの主記憶部、ＲＯＭやＨＤＤなどの補助記憶部を備える通常のコンピュータシステムを含むハードウェア構成とする。そして、この復号装置１００のコンピュータシステム上で、所定のプログラム（ソフトウェア）を実行することにより、復号装置１００の上述した各部を実現することができる。
【０１２０】
復号装置１００の上述した各部を実現するためのプログラムは、例えば、上述した各部を含むモジュール構成となっている。そして、ＣＰＵなどのプロセッサが、ＲＡＭなどの主記憶部をワークエリアとして利用して上記プログラムを実行することによって、上述した各部が主記憶部上に生成される。
【０１２１】
上記プログラムは、実行環境である復号装置１００（コンピュータ）によってインストール可能な形式または実行可能な形式のファイルで記録され提供される。また、上記プログラムを、例えば、インターネットなどのネットワークに接続された機器に格納し、復号装置１００がネットワーク経由でこのプログラムをダウンロードする構成としてもよい。また、上記プログラムをＲＯＭなどに予め組み込んで提供する構成としてもよい。
【０１２２】
なお、本実施形態の復号装置１００の上述した各部は、その一部または全部をＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）やＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）などのハードウェアを用いて実現することもできる。
【０１２３】
以上、本発明の実施形態を説明したが、本発明は、上述した実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で様々な変形や変更を加えて具体化することができる。例えば、上述した実施形態では、復号装置１００を単一の装置として説明したが、復号装置１００に含まれる機能を複数の装置に分散して配置し、これら複数の装置が連携して動作する復号システムとして構成することもできる。例えば、映像・音声フレームの復号や出力を行う装置と、上述したＴＳ予備処理部１０５に相当する機能を持つ装置とを分離し、これらが連携して上述した復号装置１００と同様に動作する構成としてもよい。
【符号の説明】
【０１２４】
１００  復号装置
１０１  ＳＴＣ生成部
１０２  ＳＴＣカウンタ部
１０３  ＳＴＣ調整部
１０４  無線通信部
１０５  ＴＳ予備処理部
１０６  音声フレーム復号部
１０７  映像フレーム復号部
１０８  音声データ出力部
１０９  映像データ出力部
１１０  映像データ出力制御部
１２１  ＳＴＣ自走カウンタ
１２２  調整用カウンタ
【先行技術文献】
【特許文献】
【０１２５】
【特許文献１】特許第５０９２４９３号公報
【図１】
2015198379.tif 000003
【図２】
2015198379.tif 000004
【図３】
2015198379.tif 000005
【図４】
2015198379.tif 000006
【図５】
2015198379.tif 000007
【図６】
2015198379.tif 000008
【図７】
2015198379.tif 000009
【図８】
2015198379.tif 000010
【図９】
2015198379.tif 000011
【図１０】
2015198379.tif 000012
【図１１】
2015198379.tif 000013