(57)【要約】  入力信号から映像ストリーム信号，音声ストリーム信号およびシステムクロックを分離する分離手段と、前記映像ストリーム信号をデコードして、映像データを生成する映像デコーダと、前記音声ストリーム信号をデコードして、音声データを生成する音声デコーダと、前記システムクロックに同期して前記映像データを出力する映像出力部と、前記システムクロックに同期して前記音声データを出力する音声出力部と、前記映像出力部から出力された映像フレームを加工する映像調整手段と、前記映像調整手段で前記映像フレームを加工する時間に応じて、前記音声出力部に入力される前記システムクロックを遅延させる音声出力調整部と、を有するように構成する。これにより、音声出力遅延用バッファを使用することなく映像と音声の同期を取ることが可能になる。
2009157078.tif 000002
【特許請求の範囲】
【請求項１】
入力信号から映像ストリーム信号，音声ストリーム信号およびシステムクロックを分離する分離手段と、
前記映像ストリーム信号をデコードして、映像データを生成する映像デコーダと、
前記音声ストリーム信号をデコードして、音声データを生成する音声デコーダと、
前記システムクロックに同期して前記映像データを出力する映像出力部と、
前記システムクロックに同期して前記音声データを出力する音声出力部と、
前記映像出力部から出力された映像フレームを加工する映像調整手段と、
前記映像調整手段で前記映像フレームを加工する時間に応じて、前記音声出力部に入力される前記システムクロックを遅延させる音声出力調整部と、
を有することを特徴とする映像音声データ出力装置。
【請求項２】
入力信号から映像ストリーム信号，音声ストリーム信号およびシステムクロックを分離する分離手段と、
前記映像ストリーム信号をデコードして、映像データを生成する映像デコーダと、
前記音声ストリーム信号をデコードして、音声データおよび音声タイムスタンプ信号を生成する音声デコーダと、
前記システムクロックに同期して前記映像データを出力する映像出力部と、
前記システムクロックおよび前記音声タイムスタンプ信号に同期して前記音声データを出力する音声出力部と、
前記映像出力部から出力された映像フレームを加工する映像調整手段と、
前記映像調整手段で前記映像フレームを加工する時間に応じて、前記音声出力部に入力される前記音声タイムスタンプ信号を遅延させる音声出力調整部と、
を有することを特徴とする映像音声データ出力装置。
【請求項３】
請求項１または２に記載の映像音声データ出力装置において、
前記分離手段は、前記入力信号から分離した時刻同期データから前記システムクロックを生成するシステムクロック生成部をさらに含むこと特徴とする映像音声データ出力装置。
【請求項４】
請求項１乃至３のいずれか１項に記載の映像音声データ出力装置において、さらに、
前記分離手段および前記映像デコーダの間に設けられた映像用バッファと、
前記分離手段および前記音声デコーダの間に設けられた音声用バッファと、を備え、
前記音声用バッファは、前記映像用バッファによる前記映像ストリームのバッファ時間に加えて、前記音声出力調整部による前記音声データの出力タイミングの遅延に対応した時間だけの前記音声ストリーム信号をバッファできる容量を有することを特徴とする映像音声データ出力装置。
【請求項５】
請求項１乃至４のいずれか１項に記載の映像音声データ出力装置において、さらに、
前記音声出力部から出力された音声出力を加工する音声調整手段と、
前記音声調整手段で前記音声出力を加工する時間に応じて、前記映像出力部に入力される前記システムクロックを遅延させる映像出力調整部と、を有することを特徴とする映像音声データ出力装置。
【請求項６】
請求項１乃至４のいずれか１項に記載の映像音声データ出力装置において、
前記映像デコーダは、前記映像ストリーム信号をデコードして、前記映像データと共に映像タイムスタンプ信号を生成し、
前記映像出力部は、前記システムクロックおよび前記映像タイムスタンプ信号に同期して前記音声データを出力し、
前記映像音声データ出力装置は、さらに、
前記音声出力部から出力された音声出力を加工する音声調整手段と、
前記音声調整手段で前記音声出力を加工する時間に応じて、前記映像出力部に入力される前記映像タイムスタンプ信号を遅延させる映像出力調整部と、を有することを特徴とする映像音声データ出力装置。
【請求項７】
請求項１乃至６のいずれか１項に記載の映像音声データ出力装置を備えたことを特徴とするデジタルテレビ放送受信機。
【請求項８】
請求項７に記載のデジタルテレビ放送受信機において、
前記入力信号は、ＴＳストリーム信号であり、
前記分離手段は、ＴＳデマルチプレクサであることを特徴とするデジタルテレビ放送受信機。
【請求項９】
入力信号から映像ストリーム信号，音声ストリーム信号およびシステムクロックを分離する工程と、
分離された前記映像ストリーム信号をデコードして、映像データを生成する工程と、
分離された前記音声ストリーム信号をデコードして、音声データを生成する工程と、
分離された前記システムクロックに同期して前記映像データを出力する工程と、
出力された前記映像データを加工する工程と、
前記映像データを加工する時間に応じて、前記システムクロックを遅延させ、前記音声データの出力タイミングを調整する工程と、
を有することを特徴とする映像音声データ出力方法。
【請求項１０】
入力信号から映像ストリーム信号，音声ストリーム信号およびシステムクロックを分離する工程と、
分離された前記映像ストリーム信号をデコードして、映像データを生成する工程と、
分離された前記音声ストリーム信号をデコードして、音声データとタイムスタンプ信号を生成する工程と、
出力された前記映像データを加工する工程と、
前記映像データを加工する時間に応じて、前記タイムスタンプ信号を遅延させ、前記音声データの出力タイミングを調整する工程と、
を有することを特徴とする映像音声データ出力方法。
【請求項１１】
コンピュータに、
入力信号から映像ストリーム信号，音声ストリーム信号およびシステムクロックを分離させる手順と、
分離された前記映像ストリーム信号をデコードして、映像データを生成させる手順と、
分離された前記音声ストリーム信号をデコードして、音声データとタイムスタンプ信号を生成させる手順と、
出力された前記映像データを加工させる手順と、
前記映像データを加工する時間に応じて、前記タイムスタンプ信号を遅延させ、前記音声データの出力タイミングを調整させる手順と、
を実行させることを特徴とする映像音声データ出力プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この出願は、映像音声データ出力装置および映像音声データ出力方法に関し、特に、デジタルテレビ放送受信機における映像データおよび音声データを同期させて出力する映像音声データ出力装置および映像音声データ出力方法に関する。
【背景技術】
【０００２】
従来、例えば、デジタルテレビ放送は、映像と音声のデータをそれぞれ圧縮し、それらを多重化したストリームを放送波に載せて（デジタル変調して）伝送している。【０００３】
図１はデジタルテレビ放送受信機の一例の全体構成を概略的に示すブロック図である。図１において、参照符号１はアンテナ、２はチューナ、３はデジタル復調部、４はＴＳ（Transport Stream）デマルチプレクサ、５は映像デコーダ、６は映像出力部、７は音声デコーダ、そして、８は音声出力部を示している。【０００４】
図１に示されるように、デジタルテレビ放送受信機は、アンテナ１およびチューナ２で所定の放送波を受信する。この受信信号は、例えば、ＯＦＤＭ（Orthogonal frequency division multiplex：直交周波数分割多重方式）やＱＰＳＫ（Quadrature Phase Shift Keying：四位相偏移変調）により変調されており、それをデジタル復調部３によりデジタル復調してＴＳ信号を得る。【０００５】
復調されたＴＳ信号は、ＴＳデマルチプレクサ４に供給され、映像ストリームおよび音声ストリームが分離される。映像ストリームは、映像デコーダ５および映像出力部６を介して映像出力（映像フレームデータ）として出力され、また、音声ストリームは、音声デコーダ７および音声出力部８を介して音声出力（ＰＣＭ（Pulse Code Modulation）データ）として出力される。【０００６】
そして、映像出力部６からの映像出力は、表示装置（表示手段）により表示され、また、音声出力部８からの音声出力は、スピーカ（音声出力手段）により出力される。【０００７】
ところで、従来、例えば、デジタルテレビ放送受信機においてのＡＶ同期（音声（Audio）データと映像（Video）データの同期）は、映像データおよび音声データに付加されているタイムスタンプをシステム時刻に応じて出力することで実現している。【０００８】
図２は従来の映像音声データ出力装置（同期調整装置）の一例を示すブロック図である。【０００９】
図２に示されるように、ＴＳデマルチプレクサ４は、映像および音声が多重化されたストリーム（ＴＳ信号）から映像ストリームおよび音声ストリームを分離する。ＴＳ信号には、送信側と受信側の時刻同期を取るためのＰＣＲ（Program Clock Reference）が所定の時間間隔で含まれていて、そのＰＣＲを元に受信側のＳＴＣ生成部９で連続したシステム時間ＳＴＣ（System Time Clock）を生成する。【００１０】
映像ストリームは、映像ストリーム用バッファ５１１を介して映像デコーダ５に供給され、また、音声ストリームは、音声ストリーム用バッファ７１１を介して音声デコーダ７に供給される。【００１１】
ここで、映像ストリームおよび音声ストリームには、それぞれフレーム等の単位毎に出力時刻のタイムスタンプＰＴＳ（Presentation Time Stamp）が付加されている。これらのＰＴＳ（映像ＰＴＳおよび音声ＰＴＳ）情報は、それぞれ映像および音声ストリームと関連付けたまま映像ＰＴＳ用バッファ５１２および音声ＰＴＳ用バッファ７１２を介して映像デコーダ５および音声デコーダ７に供給される。【００１２】
映像デコーダ５は、映像ストリームをデコードした映像フレームデータを、映像フレームデータ用バッファ５２１を介して映像出力部６に供給し、また、音声デコーダ７は、音声ストリームをデコードしたＰＣＭデータ（音声データ）を、ＰＣＭデータ用バッファ７２１を介して音声出力部８に供給する。【００１３】
なお、図２では、各ＰＴＳ情報がデコーダに入力されているが、これは、例えば、映像フレームのデコード順が必ずしも出力の順番とは一致しないためである。すなわち、デコード処理によって、フレームの出力順が決まった段階で、フレームに付随させていたＰＴＳの順序もきちんとした時間順に並べ替えられるようになっている。【００１４】
また、音声のデコード処理では、フレームデータの並べ替えは起こらないものがほとんどであるが、コーデックタイプによっては、デコード開始時に先頭の数フレームを出力しない場合もあり、それに応じて出力フレームデータとＰＴＳ情報を合わせるために、先頭の数フレーム分のＰＴＳ情報を削除することも必要になる。【００１５】
映像デコーダ５および音声デコーダ７から出力された映像ＰＴＳおよび音声ＰＴＳは、それぞれ映像ＰＴＳ用バッファ５２２および音声ＰＴＳ用バッファ７２２を介して映像出力部６および音声出力部８に供給される。【００１６】
そして、映像出力部６および音声出力部８は、映像および音声の各フレームデータに対応するＰＴＳ時刻とＳＴＣ時刻とを比較し、ＳＴＣ時刻がＰＴＳ時刻に到達した時に、対応するフレームデータを出力する。【００１７】
すなわち、例えば、デジタルテレビ放送受信機では、ＳＴＣ時刻に基づいて映像と音声のそれぞれのフレームデータをＰＴＳ時刻で出力することによって、ＡＶ同期を取るようになっている。【００１８】
図３は従来の映像音声データ出力装置の他の例を示すブロック図である。
図３と図２との比較から明らかなように、図３に示す映像音声データ出力装置は、図２の映像音声データ出力装置において、映像出力部６の後段に画質調整部１１を設けると共に、音声出力部８の後段に音声出力遅延用バッファ１２を設けたものである。【００１９】
すなわち、図３の映像音声データ出力装置は、映像出力部６の後段に画質調整部１１を設け、映像出力部６からの映像出力（映像フレーム）に対してＩＰ変換やノイズ軽減処理等の画質調整を行うようになっている。このように、画質調整部１１により映像出力部６からの映像出力に対してＩＰ変換やノイズ軽減処理を行うと、その画質調整に要する時間だけ映像出力が遅延することになる。【００２０】
そこで、図３の映像音声データ出力装置では、音声出力部８の後段に音声出力遅延用バッファ１２を設け、画質調整部１１による映像出力の遅延時間分だけ音声出力部８からの音声出力を遅延させてＡＶ同期を取るようになっている。【００２１】
図４は図３に示す映像音声データ出力装置の動作を説明するためのタイミング図であり、映像出力部６からの映像出力と画質調整部１１からの映像出力との間に処理遅延として１００ｍsec.のオフセットがある場合を示している。【００２２】
図４に示されように、映像出力部６からの映像出力と画質調整部１１からの画質調整後の映像出力との間の１００ｍsec.のオフセットは、音声出力部８からの音声出力を音声出力遅延用バッファ１２により１００ｍsec.遅延させることにより相殺され、ＡＶ同期を取るようになっている。【００２３】
ここで、画質調整部１１における画質調整処理に１００ｍsec.の時間を要する場合、例えば、音声出力データ（ＰＣＭデータ）のフォーマットが４４．１ｋＨｚ，２チャンネル，１６ｂｉｔとすると、同期調整に必要となる音声出力遅延用バッファ１２の容量は次のようになる。
100×44.1×2×16=141,120ｂｉｔ  →  17.23ｋbyte    …（ａ）【００２４】
すなわち、画質調整部１１による１００ｍsec.の遅延を音声出力遅延用バッファ１２により吸収するために音声出力遅延用バッファ１２の容量は、１７．２３ｋbyte以上の容量が必要なことが分かる。【００２５】
この音声出力遅延用バッファ１２は、さらに画質調整時間が長くなったり、音声データのサンプリング周波数が高くなったり、或いは、チャンネル数や１サンプルのビット数が多くなれば、それらに応じて容量を増大しなければならない。【００２６】
図５は図３に示す映像音声データ出力装置におけるＳＴＣ生成部９の例を示すブロック図であり、図６は図３に示す映像音声データ出力装置におけるＡＶ出力タイミング生成回路１０の例を示すブロック図である。ここで、図６に示すＡＶ出力タイミング生成回路１０は、図３における映像ＰＴＳ用バッファ５２２および映像出力部６、並びに、音声ＰＴＳ用バッファ７２２および音声出力部８に相当する。【００２７】
図５に示されるように、ＳＴＣ生成部９は、例えば、上位３３ビットのカウンタ９１と下位９ビットのカウンタ９２によって構成される。カウンタの初期値は、最初にＰＣＲを検出したタイミングで、そのＰＣＲ（上位３３ビットのベース部（ＰＣＲ_base(33bit)部）と下位９ビットのエクステンション部（ＰＣＲ_ex(9bit)）の値にセットされ、その後は２７ＭＨｚのクロックによってカウントされる。【００２８】
下位９ビットのカウンタ９２は、２７ＭＨｚのクロックで動作する０〜２９９の巡回カウンタとして構成され、そのカウンタ値が２９９になった時点で上位３３ビットのカウンタ９１がカウントアップされる。そのため、上位３３ビットのカウンタ９１は、２７ＭＨｚ／３００＝９０ｋＨｚでカウントアップ動作するカウンタとなっている。そして、ＳＴＣ_base(33bit)のカウント値は、映像出力部６および音声出力部８に供給されてＳＴＣ時刻として利用される。【００２９】
図６に示されるように、ＡＶ出力タイミング生成回路１０において、映像出力および音声出力の時刻を示すＰＴＳ値は、それぞれＦＩＦＯ（First-In First-Out）に格納され、そこから取り出したＰＴＳ値よりもＳＴＣ時刻（ＳＴＣ_base）が超えた場合に、その比較したＰＴＳ値に該当するフレームの出力が開始される。【００３０】
すなわち、映像フレーム出力イネーブル信号および音声フレーム出力イネーブル信号が有効になった時点が、それぞれ映像フレームおよび音声フレームの出力開始時刻となる。そして、映像フレーム出力イネーブル信号が有効になった後、それぞれのＦＩＦＯのＰＴＳ値が次の値に更新される。【００３１】
なお、映像出力のフレームデータは時間的に離散であるため、映像フレーム出力イネーブル信号が有効になった時刻で各映像フレームが出力される。一方、音声出力のＰＣＭデータは時間的に連続であるため、最初に出力を開始するとき以外は、音声フレーム出力時刻の監視用に用いられ、その出力時刻がずれていた場合には、音声出力データのスキップ処理やリピート出力処理を行って、ＳＴＣ_baseとの同期を取ることになる。【００３２】
ところで、従来、例えば、ＩＰ変換やノイズ軽減処理等の画質調整によりビデオ出力が遅れると、そのビデオ出力の遅れ分だけ遅延バッファを用いて音声出力を遅らせてビデオ出力と音声出力との同期を取るようにした映像音声データ出力装置が提案されている（例えば、特許文献１〜４参照）。【００３３】
【特許文献１】特開２００７−０８２１５５号公報
【特許文献２】特開２００２−３４４８９８号公報
【特許文献３】特開平０６−２３７４４３号公報
【特許文献４】特開２００３−２８４０６６号公報
【発明の開示】
【発明が解決しようとする課題】
【００３４】
上述したように、従来、例えば、デジタルテレビ放送受信機において、ＩＰ変換やノイズ軽減処理等の画質調整を行うと、その調整時間の分だけ映像出力が遅延していた。そのため、映像と音声のＡＶ同期（リップシンク）を取るには、映像出力の遅れた分だけ音声出力を遅延させる必要があった。【００３５】
通常、音声出力の遅延は、音声出力データを音声出力遅延用バッファに一定時間格納してから出力するため、音声の多チャンネル化や画質調整の複雑化に伴って、音声出力遅延用バッファの容量も増大する傾向にあった。【００３６】
さらに、音声データに関しても、サラウンド処理等を行う場合もあるため、接続するＡＶアンプ等によって音声データの遅延量を調整することも必要になっていた。【００３７】
本出願は、上述した従来技術における課題に鑑み、出力遅延用バッファを使用することなく映像と音声の同期を取ることができる映像音声データ出力装置および同期調整方法の提供を目的とする。
【課題を解決するための手段】
【００３８】
第１の実施形態によれば、分離手段と、映像デコーダと、音声デコーダと、映像出力部と、音声出力部と、映像調整手段と、音声出力調整部と、を有する映像音声データ出力装置が提供される。
分離手段は、入力信号から映像ストリーム信号，音声ストリーム信号およびシステムクロックを分離し、映像デコーダは、映像ストリーム信号をデコードして、映像データを生成し、そして、音声デコーダは、音声ストリーム信号をデコードして、音声データを生成する。
また、映像出力部は、システムクロックに同期して映像データを出力し、音声出力部は、システムクロックに同期して音声データを出力する。さらに、映像調整手段は、映像出力部から出力された映像フレームを加工し、そして、音声出力調整部は、映像調整手段で映像フレームを加工する時間に応じて、音声出力部に入力されるシステムクロックを遅延させる。【００３９】
第２の実施形態によれば、分離手段と、映像デコーダと、音声デコーダと、映像出力部と、音声出力部と、映像調整手段と、音声出力調整部と、を有する映像音声データ出力装置が提供される。
分離手段は、入力信号から映像ストリーム信号，音声ストリーム信号およびシステムクロックを分離し、映像デコーダは、映像ストリーム信号をデコードして、映像データを生成し、そして、音声デコーダは、音声ストリーム信号をデコードして、音声データおよび音声タイムスタンプ信号を生成する。
また、映像出力部は、システムクロックに同期して映像データを出力し、音声出力部は、システムクロックおよび音声タイムスタンプ信号に同期して前記音声データを出力する。さらに、映像調整手段は、映像出力部から出力された映像フレームを加工し、そして、音声調整手段は、映像調整手段で映像フレームを加工する時間に応じて、音声出力部に入力される前記音声タイムスタンプ信号を遅延させる。【００４０】
第３の実施形態によれば、入力信号から映像ストリーム信号，音声ストリーム信号およびシステムクロックを分離する工程と、分離された前記映像ストリーム信号をデコードして、映像データを生成する工程と、分離された前記音声ストリーム信号をデコードして、音声データを生成する工程と、分離された前記システムクロックに同期して前記映像データを出力する工程と、出力された前記映像データを加工する工程と、前記映像データを加工する時間に応じて、前記システムクロックを遅延させ、前記音声データの出力タイミングを調整する工程と、を有することを特徴とする映像音声データ出力方法が提供される。【００４１】
第４の実施形態によれば、入力信号から映像ストリーム信号，音声ストリーム信号およびシステムクロックを分離する工程と、分離された前記映像ストリーム信号をデコードして、映像データを生成する工程と、分離された前記音声ストリーム信号をデコードして、音声データとタイムスタンプ信号を生成する工程と、出力された前記映像データを加工する工程と、前記映像データを加工する時間に応じて、前記タイムスタンプ信号を遅延させ、前記音声データの出力タイミングを調整する工程と、を有することを特徴とする映像音声データ出力方法が提供される。【００４２】
第５の実施形態によれば、コンピュータに、入力信号から映像ストリーム信号，音声ストリーム信号およびシステムクロックを分離させる手順と、分離された前記映像ストリーム信号をデコードして、映像データを生成させる手順と、分離された前記音声ストリーム信号をデコードして、音声データとタイムスタンプ信号を生成させる手順と、出力された前記映像データを加工させる手順と、前記映像データを加工する時間に応じて、前記タイムスタンプ信号を遅延させ、前記音声データの出力タイミングを調整させる手順と、を実行させることを特徴とする映像音声データ出力プログラムが提供される。
【発明の効果】
【００４３】
各実施形態によれば、出力遅延用バッファを使用することなく映像と音声の同期を取ることができる映像音声データ出力装置および同期調整方法を提供することができる。
【図面の簡単な説明】
【００４４】
【図１】デジタルテレビ放送受信機の一例の全体構成を概略的に示すブロック図である。
【図２】従来の映像音声データ出力装置の一例を示すブロック図である。
【図３】従来の映像音声データ出力装置の他の例を示すブロック図である。
【図４】図３に示す映像音声データ出力装置の動作を説明するためのタイミング図である。
【図５】図３に示す映像音声データ出力装置におけるＳＴＣ生成部の例を示すブロック図である。
【図６】図３に示す映像音声データ出力装置におけるＡＶ出力タイミング生成回路の例を示すブロック図である。
【図７】第１実施例の映像音声データ出力装置を示すブロック図である。
【図８】図７に示す映像音声データ出力装置の動作を説明するためのタイミング図である。
【図９】図７に示す映像音声データ出力装置におけるＳＴＣの生成を説明するための図である。
【図１０】図７に示す映像音声データ出力装置におけるＡＶ出力タイミング生成回路の例を示すブロック図である。
【図１１】第２実施例の映像音声データ出力装置を示すブロック図である。
【図１２】図１１に示す映像音声データ出力装置の動作を説明するためのタイミング図である。
【図１３】図１１に示す映像音声データ出力装置におけるＡＶ出力タイミング生成回路の例を示すブロック図である。
【図１４】第３実施例の映像音声データ出力装置を示すブロック図である。
【図１５】第４実施例の映像音声データ出力装置を示すブロック図である。
【図１６】第５実施例の映像音声データ出力装置を示すブロック図である。
【図１７】第６実施例の映像音声データ出力装置を示すブロック図である。
【図１８】第７実施例の映像音声データ出力装置を示すブロック図である。
【図１９】図１８の第７実施例の映像音声データ出力装置におけるＰＴＳ時刻調整による映像出力の処理を説明するためのフローチャートである。
【図２０】図１８の第７実施例の映像音声データ出力装置におけるＰＴＳ時刻調整による音声出力の処理を説明するためのフローチャートである。
【符号の説明】
【００４５】
１    アンテナ
２    チューナ
３    デジタル復調部
４    ＴＳデマルチプレクサ
５    映像（ビデオ）デコーダ
６    映像出力部
７    音声（オーディオ）デコーダ
８    音声出力部
９    ＳＴＣ生成部
１０，１０ａ，１０ｂ    ＡＶ出力タイミング生成回路
１１    画質調整部
１２    音声出力遅延用バッファ
１３    サラウンド処理部
２１，２２，２４，２５，２７〜３０，３２，３３，３５，３６    加算器
２３    α生成部
２６    β生成部
３１，３４    ｔ生成部
５１１    映像ストリーム用バッファ
５１２，５２２    映像ＰＴＳ用バッファ
５２１    映像フレームデータ用バッファ
７１１    音声ストリーム用バッファ
７１２，７２２    音声ＰＴＳ用バッファ
７２１    ＰＣＭデータ用バッファ
【発明を実施するための最良の形態】
【００４６】
以下、映像音声データ出力装置および映像音声データ出力方法の実施例を、添付図面を参照して説明する。【００４７】
図７は第１実施例の映像音声データ出力装置を示すブロック図である。なお、本実施例の映像音声データ出力装置は、例えば、図１に示すデジタルテレビ放送受信機に適用することができる。すなわち、ＴＳデマルチプレクサ４には、例えば、図１のアンテナ１およびチューナ２で受信した信号をデジタル復調部３によりデジタル復調したＴＳ信号が供給される。【００４８】
図７に示されるように、ＴＳデマルチプレクサ４は、供給されたＴＳ信号を映像ストリームと音声ストリームに分離する。映像ストリームは、映像ストリーム用バッファ５１１を介して映像デコーダ５に供給され、そこでデコードされた映像フレームデータは、映像フレームデータ用バッファ５２１を介して映像出力部６に供給される。【００４９】
音声ストリームは、音声ストリーム用バッファ７１１を介して音声デコーダ７に供給され、そこでデコードされたＰＣＭデータは、ＰＣＭデータ用バッファ７２１を介して音声出力部８に供給される。【００５０】
映像ストリームおよび音声ストリームには、フレーム等の単位毎に出力時刻のタイムスタンプＰＴＳが付加されている。映像デコーダ５および音声デコーダ７から出力された映像ＰＴＳ（映像タイムスタンプ信号）および音声ＰＴＳ（音声タイムスタンプ信号）は、それぞれ映像ＰＴＳ用バッファ５２２および音声ＰＴＳ用バッファ７２２を介して映像出力部６および音声出力部８に供給される。【００５１】
映像出力部６の後段には、画質調整部１１が設けられ、映像出力部６からの映像出力に対してＩＰ変換やノイズ軽減処理等の画質調整を行うようになっている。なお、画質調整部１１から出力される映像出力には、映像出力部６からの映像出力に対するＩＰ変換やノイズ軽減処理等の画質調整に要する時間だけ遅延が含まれることになる。【００５２】
図７と前述した図３との比較から明らかなように、本第１実施例の映像音声データ出力装置において、音声出力部８の後段には音声出力遅延用バッファ（１２）は設けられておらず、代わりに、音声出力部８に入力するＳＴＣ（システムクロック）に対してオフセットを与えるための加算器２１が設けられている。【００５３】
本第１実施例の映像音声データ出力装置では、画質調整部１１による映像出力の遅延を、加算器２１により音声出力部８に入力するＳＴＣにオフセットを与え、これにより音声出力部８からの音声出力を遅延して出力させて画質調整部１１からの映像出力との同期を取るようになっている。【００５４】
すなわち、映像出力部６および音声出力部８は、映像および音声の各フレームデータに対応するＰＴＳ時刻とＳＴＣ時刻とを比較し、ＳＴＣ時刻がＰＴＳ時刻に到達した時に、対応するフレームデータを出力するようになっている。そこで、映像出力部６にはそのままＳＴＣを供給し、音声出力部８に対してのみ加算器２１によりオフセット（負のオフセット）を与えたＳＴＣを供給して、音声出力部８からの音声出力と画質調整部１１からの映像出力とのＡＶ同期を取るようになっている。【００５５】
なお、本第１実施例の映像音声データ出力装置において、ＳＴＣにオフセットを与えて音声出力部８からの音声出力を遅延させるために、例えば、音声ストリーム用バッファ７１１の容量を、音声出力の遅延に応じて増大する。ただし、この音声ストリーム用バッファ７１１の容量増大は、音声デコーダ７によりデコードされる前の圧縮された音声ストリームであるため、前述した図３における音声出力遅延用バッファ１２の容量増大よりも十分に小さくすることができる。【００５６】
図８は図７に示す映像音声データ出力装置の動作を説明するためのタイミング図であり、映像出力部６からの映像出力と画質調整部１１からの映像出力との間に処理遅延として１００ｍsec.のオフセットがある場合を示している。【００５７】
図８に示されように、映像出力部６からの映像出力と画質調整部１１からの画質調整後の映像出力との間の１００ｍsec.のオフセットは、音声出力部８に入力するＳＴＣに対して１００ｍsec.のオフセットを与えることにより、音声出力部８からの音声出力を遅延して出力させ、ＡＶ同期を取るようになっている。【００５８】
ここで、上述したように、オフセットが与えられたＳＴＣによる音声出力部８からの音声出力の遅延に対応して音声ストリーム用バッファ７１１の容量を増大させることになる。具体的に、音声出力部８からの音声出力を１００ｍsec.遅延させる場合、例えば、音声ストリームが１２８ｋbpsで圧縮されているとすると、音声ストリーム用バッファ７１１の増加容量は次のようになる。
100×128＝12,800ｂｉｔ  →  1.56ｋbyte    …（ｂ）【００５９】
これは、前述した従来例における音声出力遅延用バッファ１２に必要とされる１７．２３ｋbyteの約１／１１に相当する。すなわち、音声ストリームは、圧縮されたデータなので音声ストリーム用バッファ７１１の容量増加は、従来例における音声出力遅延用バッファ１２の容量よりも十分小さなものとすることができる。【００６０】
さらに、従来例の音声出力遅延用バッファを用いる場合には、音声出力遅延用バッファ１２に対して音声データの入出力を行うためのデータ転送のトラフィックが必要となるが、このトラフィックも削除することができ、消費電力の削減も行うことができる。【００６１】
図９は図７に示す映像音声データ出力装置におけるＳＴＣの生成（映像用ＳＴＣ_video(33bit)および音声用ＳＴＣ_audio(33bit)）を説明するための図である。【００６２】
図９に示されるように、本第１実施例の映像音声データ出力装置において、ＳＴＣ生成部９からのＳＴＣ（ＳＴＣ_base(33bit)のカウント値）は、Ｄフリップフロップを介して映像出力部６へ供給されると共に、加算器２１でオフセットが加算された後、Ｄフリップフロップを介して音声出力部８へ供給される。ここで、ＳＴＣ_base（ＳＴＣ_base(33bit))は、図５を参照して説明したＳＴＣ生成部９により生成された信号である。【００６３】
すなわち、画質調整部１１で画質調整処理に要する時間（例えば、１００ｍsec）だけ加算器９によりＳＴＣ時刻を調整（例えば、ＳＴＣ_baseから１００ｍsec.のオフセット分だけ減算）し、その調整されたＳＴＣを音声出力部８に与えるようになっている。【００６４】
ここで、［ＳＴＣ_base−オフセット］の演算処理によって、ＳＴＣ_audioを音声出力部８に与えるタイミングがずれるが、これを映像出力部６に与えるタイミングと合わせるために、ＤフリップフロップによりＳＴＣ_baseを遅延させただけのＳＴＣ_videoを生成して映像出力部６に供給するようになっている。【００６５】
図１０は図７に示す映像音声データ出力装置におけるＡＶ出力タイミング生成回路１０ａの例を示すブロック図である。ここで、図１０に示すＡＶ出力タイミング生成回路１０ａは、図７における映像ＰＴＳ用バッファ５２２および映像出力部６、並びに、音声ＰＴＳ用バッファ７２２および音声出力部８に相当する。【００６６】
図１０と前述した図６との比較から明らかなように、本第１実施例の映像音声データ出力装置では、映像フレーム出力イネーブル信号および音声フレーム出力イネーブル信号を生成するためにそれぞれ異なるＳＴＣ（映像用ＳＴＣ_video(33bit)および音声用ＳＴＣ_audio(33bit)）が使用されている。【００６７】
すなわち、図９を参照して説明した映像用ＳＴＣ_video(33bit)および音声用ＳＴＣ_audio(33bit)により、それぞれ映像ＰＴＳ(33bit)および音声ＰＴＳ(33bit)が処理され、映像フレーム出力イネーブル信号および音声フレーム出力イネーブル信号が生成される。【００６８】
ここで、音声フレーム（ＰＣＭ信号）を出力させるための音声フレーム出力イネーブル信号は、映像用ＳＴＣ_video(33bit)に対する音声用ＳＴＣ_audio(33bit)の遅延時間（例えば、１００ｍsec.）に応じて、映像フレームを出力させるための映像フレーム出力イネーブル信号よりも遅延（例えば、１００ｍsec.）されることになる。これにより、例えば、映像出力部６の後段に設けた画質調整部１１による映像フレームの遅延時間を相殺して、画質調整部１１からの映像出力および音声出力部７からの音声出力のＡＶ同期を取るようになっている。【００６９】
図１１は第２実施例の映像音声データ出力装置を示すブロック図である。
図１１と前述した図３との比較から明らかなように、本第２実施例の映像音声データ出力装置において、音声出力部８の後段には音声出力遅延用バッファ（１２）は設けられておらず、代わりに、音声出力部８に入力する音声ＰＴＳに対してオフセットを与えるための加算器２２が設けられている。【００７０】
本第２実施例の映像音声データ出力装置では、画質調整部１１による映像出力の遅延を、加算器２２により音声出力部８に入力する音声ＰＴＳにオフセットを与える。これにより音声出力部８からの音声出力を遅延して出力させ、画質調整部１１からの映像出力との同期を取る。【００７１】
すなわち、映像出力部６および音声出力部８は、映像および音声の各フレームデータに対応するＰＴＳ時刻とＳＴＣ時刻とを比較し、ＳＴＣ時刻がＰＴＳ時刻に到達した時に、対応するフレームデータを出力するようになっている。そこで、映像出力部６にはそのままＰＴＳを供給し、音声出力部８に対してのみ加算器２２によりオフセット（正のオフセット）を与えたＰＴＳを供給して、音声出力部８からの音声出力と画質調整部１１からの映像出力とのＡＶ同期を取るようになっている。【００７２】
なお、本第２実施例の映像音声データ出力装置においても、ＰＴＳ（音声用ＰＴＳ）にオフセットを与えて音声出力部８からの音声出力を遅延させるために、例えば、音声ストリーム用バッファ７１１の容量を、音声出力の遅延時間（映像出力の遅延時間）に応じて増大する。ただし、この音声ストリーム用バッファ７１１の容量増大は、音声デコーダ７によりデコードされる前の圧縮された音声ストリームであるため、前述した図３における音声出力遅延用バッファ１２の容量増大よりも十分に小さくすることができるのは前述した通りである。【００７３】
図１２は図１１に示す映像音声データ出力装置の動作を説明するためのタイミング図であり、映像出力部６からの映像出力と画質調整部１１からの映像出力との間に処理遅延として１００ｍsec.のオフセットがある場合を示している。【００７４】
図１２に示されように、映像出力部６からの映像出力と画質調整部１１からの画質調整後の映像出力との間の１００ｍsec.のオフセットは、音声出力部８に入力するＰＴＳ（音声用ＰＴＳ）にオフセットを与えて、例えば、３００の位置で本来の２００の位置の音声フレームを出力させることでＡＶ同期を取るようになっている。【００７５】
図１３は図１１に示す映像音声データ出力装置におけるＡＶ出力タイミング生成回路の例を示すブロック図である。ここで、図１３に示すＡＶ出力タイミング生成回路１０ｂは、図１１における映像ＰＴＳ用バッファ５２２および映像出力部６、並びに、音声ＰＴＳ用バッファ７２２，加算器２２および音声出力部８に相当する。【００７６】
図１３と前述した図６との比較から明らかなように、本第２実施例の映像音声データ出力装置では、音声フレーム出力イネーブル信号を生成するためにＦＩＦＯとＤフリップフロップとの間にオフセットを加算する加算器２２を追加するようになっている。【００７７】
すなわち、加算器２２により音声ＰＴＳにオフセットを加えることで、映像フレーム出力イネーブル信号に対して音声フレーム出力イネーブル信号を遅延させ、画質調整部１１から出力される映像フレームおよび音声出力部７からの音声出力のＡＶ同期を取るようになっている。【００７８】
このように、上述した第１および第２実施例によれば、音声出力遅延用バッファ（１２）を使用することなく、画質調整部１１による遅延時間分だけ音声出力を遅らせてＡＶ同期を取ることができる。【００７９】
また、音声出力部８の後段に音声遅延用バッファ１２を用いる場合、音声遅延用バッファ１２に対する音声データの入出力を行うためのデータ転送のトラフィックが必要であったが、このトラフィックも削除することができ、消費電力を削減することも可能になる。【００８０】
ここで、音声デコーダ７の出力をバッファリングしないで、直接音声出力部８に供給することも考えられるが、映像処理側で何らかのエラーが起こった場合でもＡＶ同期を保つために音声データのスキップ処理やリピート処理が必要となるため、音声デコーダ７の出力のバッファリングはある程度必要となる。【００８１】
また、画質調整のためのオフセット時間は、画質調整の処理時間が決まれば一意に決めることができ、動作処理中に変動するものではない。ただし、後述するように、画像サイズによって処理時間が変化するような場合は、オフセット値はその画像サイズに応じた値となる。【００８２】
このとき、放送中に画像サイズの変化が起こるのであれば、放送中に映像出力のタイミングがずれるのは許されないので、オフセット時間は処理時間の一番長い時間に設定する。そして、画質調整時間がオフセットに満たない場合の画像サイズを処理する場合、映像データもオフセット時間になるまで遅延させることになる。これも音声出力を遅延させたように、遅延バッファを用いるのではなく、映像出力に与えるＳＴＣ時刻かＰＴＳ時刻を調整することで実現することができる。【００８３】
さらに、音声出力の後段にサラウンド処理等による遅延が見込まれる場合は、その固定時間ｔを加味して音声出力に与えるＳＴＣ時刻またはＰＴＳ時刻を（offset-ｔ）時間だけ調整することになる。【００８４】
以下、これらの実施例を、図面を参照して詳述する。
図１４は第３実施例の映像音声データ出力装置を示すブロック図であり、また、図１５は第４実施例の映像音声データ出力装置を示すブロック図である。この第３および第４実施例は、画像サイズによって処理時間が変化する場合の調整機能を有する映像音声データ出力装置の例を示すものである。【００８５】
ここで、図１４に示す第３実施例の映像音声データ出力装置は、映像出力部６および音声出力部８に供給するＳＴＣを制御するものであり、また、図１５に示す第４実施例の映像音声データ出力装置は、映像出力部６および音声出力部８に供給するＰＴＳを制御するものである。【００８６】
まず、画質調整に要する最大時間をオフセットとする。具体的に、画質調整に要する最大時間は、テレビ放送受信機が想定している受信ストリームの内、その画像の最大サイズ（例えば、ハイビジョン放送の１９２０×１０８０）から処理時間を算出して決める。【００８７】
ところで、テレビ放送では、例えば、ＨＤ（High Definition）の素材や、ＳＤ（Standard Definition）の素材など様々な画像サイズのデータが放送されるので、その画像サイズによって画質調整時間も変化する。【００８８】
図１４に示されるように、第３実施例の映像音声データ出力装置は、前述した図７の加算器２１と同様に、加算器２５により音声出力部８に入力するＳＴＣにオフセットを与え、音声出力部８からの音声出力を遅延することで画質調整部１１からの映像出力とのＡＶ同期を取る。さらに、加算器２４により、映像出力部６に入力するＳＴＣにオフセット（offset-α）を与えるようになっている。【００８９】
ここで、参照符号２３はα生成部を示し、映像フレームデータ用バッファ５２１を参照してαの値を調整するようになっている。なお、αの値は、最大画像サイズの場合には０となり、最大画像サイズでの処理時間と比較した場合の差分時間で、次に出力するフレームの画像サイズによって変化する値となる。【００９０】
すなわち、映像出力部６に入力するＳＴＣに加えるoffset-αにより、表示画像がＨＤ素材（最大画像サイズ）のときの画質調整部１１での長い処理時間と、表示画像がＳＤ素材のときの画質調整部１１での短い処理時間を、αを変化させることで調整する。そして、表示画像のサイズに関わらず、画質調整部１１からの映像出力と音声出力部８からの音声出力とのＡＶ同期を取るようになっている。【００９１】
図１５に示されるように、第４実施例の映像音声データ出力装置は、前述した図１１の加算器２２と同様に、加算器２８により音声出力部８に入力するＰＴＳにオフセットを与え、音声出力部８からの音声出力を遅延することで画質調整部１１からの映像出力とのＡＶ同期を取るようになっている。さらに、加算器２７により、映像出力部６に入力するＰＴＳにオフセット（β）を与えるようになっている。【００９２】
ここで、参照符号２６はβ生成部を示し、映像フレームデータ用バッファ５２１を参照してβの値を調整するようになっている。【００９３】
すなわち、映像出力部６に入力するＰＴＳに加えるβにより、表示画像がＨＤ素材のときの画質調整部１１での長い処理時間と、表示画像がＳＤ素材のときの画質調整部１１での短い処理時間を、βを変化させることで調整する。そして、表示画像のサイズに関わらず、画質調整部１１からの映像出力と音声出力部８からの音声出力とのＡＶ同期を取るようになっている。【００９４】
図１６は第５実施例の映像音声データ出力装置を示すブロック図であり、また、図１７は第６実施例の映像音声データ出力装置を示すブロック図である。この第５および第６実施例は、サラウンド処理によって音声出力が遅れる場合の調整機能を有する映像音声データ出力装置の例を示すものである。【００９５】
ここで、図１６に示す第５実施例の映像音声データ出力装置は、映像出力部６および音声出力部８に供給するＳＴＣを制御するものであり、また、図１７に示す第６実施例の映像音声データ出力装置は、映像出力部６および音声出力部８に供給するＰＴＳを制御するものである。【００９６】
ところで、例えば、音声出力部８の後段にサラウンド処理部１３を設けて音声出力のサラウンド処理を行う場合、そのサラウンド処理に要する時間をｔとすると、音声出力部８に入力するＳＴＣの調整時間をoffsetから（offset-ｔ）に変更すれば、サラウンド処理時間も考慮した同期調整が可能となる。【００９７】
図１６に示されるように、第５実施例の映像音声データ出力装置において、加算器２９は、図７における加算器２１に相当し、また、加算器３０は、画質調整部１１の処理時間を調整するオフセット（offset）とサラウンド処理部１３における処理時間を調整するｔとを加算する。ここで、参照符号３１は、ｔ生成部を示し、サラウンド処理部１３での処理時間に対応するｔの値を生成する。【００９８】
図１７に示されるように、第６実施例の映像音声データ出力装置において、加算器３２は、図１１における加算器２２に相当し、また、加算器３３は、画質調整部１１の処理時間を調整するオフセット（offset）とサラウンド処理部１３における処理時間を調整するｔとを加算する。ここで、参照符号３４は、ｔ生成部を示し、サラウンド処理部１３での処理時間に対応するｔの値を生成する。【００９９】
これら第５および第６実施例において、サラウンド処理が機器（デジタルテレビ受信機）内部で行われる場合には、機器を設計した時点で音声出力の遅延時間（ｔ）を設定し、また、機器の外部で行われるのであれば、サラウンド処理装置を接続するユーザが設定できるようにする。【０１００】
すなわち、例えば、サラウンド処理部１３がサラウンドアンプ等のデジタルテレビ放送受信機の外部に設けられる場合、そのサラウンドアンプ（１３）による音声出力の遅延を、デジタルテレビ放送受信機（機器）に設けたｔ生成部３１または３４により適切な値に設定する。これは、例えば、デジタルテレビ放送受信機に対して、ユーザがｔを設定できるように設定メニューを持たせ、設定したｔを内部保持しておくメモリまたはレジスタを設けることにより実現される。【０１０１】
図１８は第７実施例の映像音声データ出力装置を示すブロック図であり、ソフト（プログラム）により実現する場合を示すものであり、ＰＴＳ時刻調整を行う場合を示している。これは、ＰＴＳ時刻調整は、参照するＰＴＳ値を更新するタイミングで値を書き換えればよく、プログラムにより実現可能なものである。【０１０２】
図１８に示されるように、第７実施例の映像音声データ出力装置において、加算器３５は、映像出力部６に供給される映像ＰＴＳに対して映像オフセットoffset_vを加算するものであり、また、加算器３５は、音声出力部８に供給される音声ＰＴＳに対して音声オフセットoffset_aを加算するものである。そして、これら映像オフセットoffset_vおよび音声オフセットoffset_aの加算がプログラムにより制御される。【０１０３】
なお、映像オフセットoffset_vおよび音声オフセットoffset_aはメモリ上に保持され、プログラムによりアクセス可能なものとなっている。また、映像音声出力のためのＰＴＳ情報も、ＦＩＦＯもしくはメモリ上に保持され、プログラムによって読み出し可能となっている。そして、このプログラムは、例えば、映像音声データ出力装置が適用されるデジタルテレビ放送受信機に設けられたプロセッサ（コンピュータ）により実行されることになる。【０１０４】
図１９は図１８の第７実施例の映像音声データ出力装置におけるＰＴＳ時刻調整による映像出力の処理を説明するためのフローチャートである。【０１０５】
ＰＴＳ時刻調整による映像出力の処理が開始すると、ステップＳＴ１０において、フレーム（映像フレーム）Ｆｉの出力時刻ＰＴＳｉから調整出力時刻ＰＴＳ_outを算出してステップＳＴ１１に進む。すなわち、調整出力時刻ＰＴＳ_outは、ＰＴＳ_out＝ＰＴＳｉ＋offset_vにより算出される。【０１０６】
次に、ステップＳＴ１１において、出力設定タイミングを待ち、さらに、ステップＳＴ１２に進んで、出力を停止するかどうかを判別する。ステップＳＴ１２において、出力を停止しないと判別されると、ステップＳＴ１３に進んでＳＴＣを取得し、ステップＳＴ１４において、（ＳＴＣ−ＰＴＳ_out）が零よりも大きいかを判別する。ステップＳＴ１４において、ＳＴＣ−ＰＴＳ_out）≧０が成り立つ、すなわち、ＳＴＣ時刻がＰＴＳ_out時刻に到達していると判別されると、ステップＳＴ１６に進んで、フレームＦｉを出力して（出力イネーブルとして）、ステップＳＴ１７に進む。【０１０７】
ステップＳＴ１４において、ＳＴＣ−ＰＴＳ_out）≧０が成り立たない、すなわち、ＳＴＣ時刻がＰＴＳ_out時刻に到達していないと判別されると、ステップＳＴ１５に進んで、フレームＦi-1を再出力し（出力イネーブルとし）、ステップＳＴ１１に戻って同様の処理を繰り返す。【０１０８】
ステップＳＴ１７では、フレームＦi-1および出力時刻ＰＴＳi-1の情報を開放し、さらに、ステップＳＴ１８に進んで、ｉを１つインクリメント（ｉ＝ｉ＋１）してステップＳＴ１０に戻り、同様の処理を繰り返す。すなわち、次の映像フレームに関する処理を行う。【０１０９】
そして、上述したステップＳＴ１２において、出力を停止すると判別されると、ステップＳＴ１９に進んで出力を停止して処理を終了する。【０１１０】
このように、映像出力の場合、各出力フレームのＰＴＳ時刻にoffset_vを加算した出力時刻によって出力制御が行われる。このとき、映像フレームの出力は離散的であるため、各フレームで調整したＰＴＳとＳＴＣとの比較を行いながら各フレーム出力のタイミングを取る。なお、offset_vの値は、例えば、前述した図１５の第４実施例における画像サイズによって処理時間が変化する場合の調整が行われる。【０１１１】
図２０は図１８の第７実施例の映像音声データ出力装置におけるＰＴＳ時刻調整による音声出力の処理を説明するためのフローチャートである。【０１１２】
ＰＴＳ時刻調整による音声出力の処理が開始すると、ステップＳＴ２０において、フレーム（音声フレーム：ＰＣＭデータ）Ｆｉの出力時刻ＰＴＳｉから調整出力時刻ＰＴＳ_outを算出してステップＳＴ２１に進む。すなわち、調整出力時刻ＰＴＳ_outは、ＰＴＳ_out＝ＰＴＳｉ＋offset_aにより算出する。【０１１３】
次に、ステップＳＴ２１において、ＳＴＣ時刻がＰＴＳ_out時刻に到達しているタイミングを待ち、そして、ステップＳＴ２２に進んで、フレームＦｉを出力する。すなわち、フレームＦｉを出力可能に設定する。【０１１４】
さらに、ステップＳＴ２３に進んで、ｉを１つインクリメント（ｉ＝ｉ＋１）してステップＳＴ２４に進む。ステップＳＴ２４では、フレームＦｉの出力時刻ＰＴＳｉから調整出力時刻ＰＴＳ_outを算出する。すなわち、調整出力時刻ＰＴＳ_outは、ＰＴＳ_out＝ＰＴＳｉ＋offset_aにより算出される。【０１１５】
そして、ステップＳＴ２５に進んで、連続してフレームＦｉが出力され、さらに、ステップＳＴ２６に進んで、フレームＦi-1の出力完了を待つ。そして、フレームＦi-1の出力が完了すると連続してフレームＦｉの出力が開始され、ステップＳＴ２７に進む。【０１１６】
ステップＳＴ２７において、出力を停止しないと判別されると、ステップＳＴ２８に進んでＳＴＣを取得し、ステップＳＴ２９において、ＳＴＣがＰＴＳ_outから許容範囲内にあるかどうかがを判別する。【０１１７】
ステップＳＴ２９において、ＳＴＣがＰＴＳ_outから許容範囲内にないと判別されると、ステップＳＴ３０に進んで、音声データのスキップまたはリピート処理を行い、ステップＳＴ３１に進む。また、ステップＳＴ２９において、ＳＴＣがＰＴＳ_outから許容範囲内にあると判別されると、そのままステップＳＴ３１に進む。【０１１８】
ステップＳＴ３１において、フレームＦi-1および出力時刻ＰＴＳi-1の情報を解放して、ステップＳＴ２３に戻り、同様の処理を繰り返す。【０１１９】
そして、上述したステップＳＴ２７において、出力を停止すると判別されると、ステップＳＴ３２に進んで出力を停止して処理を終了する。【０１２０】
このように、音声出力の場合、各出力フレームのＰＴＳ時刻にoffset_aを加算した出力時刻によって出力制御が行われる。このとき、音声フレーム（ＰＣＭデータ）の出力は連続的であるため、フレーム単位で調整したＰＴＳとＳＴＣとの比較を行いながら各フレーム出力のタイミングを取ると、音声が途切れたりするため、その出力の時刻調整はフレームではなくデータ単位で行う必要がある。そのため、調整したＰＴＳとＳＴＣとの比較は、音声データがＳＴＣと同期を取って出力されているか否かの評価として使用し、それが許容範囲を超えていた場合に、データ単位の調整を行うように制御する。【０１２１】
上述したように、各実施例によれば、画質調整やサラウンド処理等によってＡＶ同期調整が必要になった場合、映像と音声を同期させるためのシステム時間（ＳＴＣ）やタイムスタンプ（ＰＴＳ）を調整することで出力遅延用バッファ等を使用することなくＡＶ同期を取ることができる。これにより、遅延バッファのメモリ回路を削減し、また、遅延バッファの入出力に発生していたデータ転送のトラフィックを抑えることが可能になる。
【図１】
2009157078.tif 000003
【図２】
2009157078.tif 000004
【図３】
2009157078.tif 000005
【図４】
2009157078.tif 000006
【図５】
2009157078.tif 000007
【図６】
2009157078.tif 000008
【図７】
2009157078.tif 000009
【図８】
2009157078.tif 000010
【図９】
2009157078.tif 000011
【図１０】
2009157078.tif 000012
【図１１】
2009157078.tif 000013
【図１２】
2009157078.tif 000014
【図１３】
2009157078.tif 000015
【図１４】
2009157078.tif 000016
【図１５】
2009157078.tif 000017
【図１６】
2009157078.tif 000018
【図１７】
2009157078.tif 000019
【図１８】
2009157078.tif 000020
【図１９】
2009157078.tif 000021
【図２０】
2009157078.tif 000022
【国際調査報告】
2009157078.tif 000023
2009157078.tif 000024
2009157078.tif 000025
2009157078.tif 000026