(57)【要約】【課題】  解像度変換のような映像信号処理が実行されても、音声信号用の遅延回路を用いることなく、映像と音声を同期させることが可能な映像音声再生装置および映像音声再生方法を提供する。【解決手段】  時刻情報変換部４は、ＭＰＥＧ形式のストリームを受け付けると、そのストリーム内の音声データの出力タイミングが、映像信号処理部２ａの映像信号処理時間だけ遅れるように、そのストリーム内の音声データのＰＴＳを変更し、そのストリーム内の映像データのＰＴＳを変更しない。音声データのＰＴＳの値の変更により、ＭＰＥＧデコーダ１は、解像度変換回路２ａ２が映像信号を出力したとき、音声信号を出力する。よって、音声と映像が同期する。【選択図】      図１
2007028261.tif 000002
【特許請求の範囲】
【請求項１】
映像の出力タイミングを示す映像出力情報を有する映像データと、音声の出力タイミングを示す音声出力情報を有する音声データと、を含む映像音声ストリームを再生する映像音声再生装置であって、
前記映像音声ストリームを受け付けると、前記音声の出力タイミングが遅延するように前記音声出力情報を変更し、かつ、前記映像出力情報を維持する変更部と、
前記音声データをデコードして音声信号を生成し、該音声信号を、前記変更部にて変更された音声出力情報にて示された出力タイミングで出力し、また、前記映像データをデコードして映像信号を生成し、該映像信号を、前記映像出力情報にて示された出力タイミングで出力するデコーダと、
前記デコーダから出力された映像信号に応じた映像を表示する表示部と、
前記デコーダにて出力された音声信号に応じた音声を出力する音声出力部と、を含む映像音声再生装置。
【請求項２】
請求項１に記載の映像音声再生装置において、
前記表示部は、前記映像信号を処理するとともに該処理に要する時間を検出する映像信号処理部を含み、
前記変更部は、前記音声データの出力タイミングが、前記映像信号処理部にて検出された時間だけ遅延するように、前記音声出力情報を変更する、映像音声再生装置。
【請求項３】
請求項２に記載の映像音声再生装置において、
前記映像信号処理部は、前記映像信号の解像度を変換する処理を行う、映像音声再生装置。
【請求項４】
請求項１ないし３に記載の映像音声再生装置において、
前記映像音声ストリームは、ＭＰＥＧ形式のストリームであり、
前記映像データは、ＭＰＥＧ映像ストリームに含まれ、
前記音声データは、ＭＰＥＧ音声ストリームに含まれ、
前記音声出力情報および前記映像出力情報は、ＰＴＳである、映像音声再生装置。
【請求項５】
請求項４に記載の映像音声再生装置において、
前記変更部は、前記ＭＰＥＧ形式のストリームを受け付けると、前記ＰＴＳとともに、前記音声データのデコードタイミングを示すＤＴＳを変更する、映像音声再生装置。
【請求項６】
映像の出力タイミングを示す映像出力情報を有する映像データと、音声の出力タイミングを示す音声出力情報を有する音声データと、を含む映像音声ストリームを再生する映像音声再生装置であって、
前記映像音声ストリームを受け付けると、前記音声の出力タイミングの遅延時間が、前記映像の出力タイミングの遅延時間より長くなるように、前記音声出力情報および前記映像出力情報を変更する変更部と、
前記音声データをデコードして音声信号を生成し、該音声信号を、前記変更部にて変更された音声出力情報にて示された出力タイミングで出力し、また、前記映像データをデコードして映像信号を生成し、該映像信号を、前記変更部にて変更された映像出力情報にて示された出力タイミングで出力するデコーダと、
前記デコーダから出力された映像信号に応じた映像を表示する表示部と、
前記デコーダから出力された音声信号に応じた音声を出力する音声出力部と、を含む映像音声再生装置。
【請求項７】
映像の出力タイミングを示す映像出力情報を有する映像データと、音声の出力タイミングを示す音声出力情報を有する音声データと、を含む映像音声ストリームを再生する映像音声再生装置が行う映像音声再生方法であって、
前記映像音声ストリームを受け付ける受付ステップと、
前記映像音声ストリームが受け付けられると、前記音声の出力タイミングが遅延するように前記音声出力情報を変更し、かつ、前記映像出力情報を維持する変更ステップと、
前記映像データをデコードして映像信号を生成し、該映像信号を、前記映像出力情報にて示された出力タイミングで出力する映像デコードステップと、
前記音声データをデコードして音声信号を生成し、該音声信号を、前記変更された音声出力情報にて示された出力タイミングで出力する音声デコードステップと、
前記出力された映像信号に応じた映像を表示する表示ステップと、
前記出力された音声信号に応じた音声を出力する音声出力ステップと、を含む映像音声再生方法。
【請求項８】
請求項７に記載の映像音声再生方法において、
前記表示ステップは、
前記出力された映像信号を処理する処理ステップと、
前記処理に要する時間を検出する検出ステップと、
前記処理された映像信号に応じた映像を表示する映像表示ステップと、を含み、
前記変更ステップでは、前記音声データの出力タイミングが、前記検出された時間だけ遅延するように、前記音声出力情報を変更する、映像音声再生方法。
【請求項９】
請求項８に記載の映像音声再生方法において、
前記処理ステップでは、前記映像信号の解像度を変換する処理が行われる、映像音声再生方法。
【請求項１０】
請求項７ないし９に記載の映像音声再生方法において、
前記映像音声ストリームは、ＭＰＥＧ形式のストリームであり、
前記映像データは、ＭＰＥＧ映像ストリームに含まれ、
前記音声データは、ＭＰＥＧ音声ストリームに含まれ、
前記音声出力情報および前記映像出力情報は、ＰＴＳである、映像音声再生方法。
【請求項１１】
請求項１０に記載の映像音声再生方法において、
前記変更ステップでは、前記ＭＰＥＧ形式のストリームを受け付けると、前記ＰＴＳとともに、前記音声データのデコードタイミングを示すＤＴＳを変更する、映像音声再生方法。
【請求項１２】
映像の出力タイミングを示す映像出力情報を有する映像データと、音声の出力タイミングを示す音声出力情報を有する音声データと、を含む映像音声ストリームを再生する映像音声再生装置が行う映像音声再生方法であって、
前記映像音声ストリームを受け付ける受付ステップと、
前記映像音声ストリームが受け付けられると、前記音声の出力タイミングの遅延時間が、前記映像の出力タイミングの遅延時間より長くなるように、前記音声出力情報および前記映像出力情報を変更する変更ステップと、
前記映像データをデコードして映像信号を生成し、該映像信号を、前記変更された映像出力情報にて示された出力タイミングで出力する映像デコードステップと、
前記音声データをデコードして音声信号を生成し、該音声信号を、前記変更部にて変更された音声出力情報にて示された出力タイミングで出力する音声デコードステップと、
前記出力された映像信号に応じた映像を表示する表示ステップと、
前記出力された音声信号に応じた音声を出力する音声出力ステップと、を含む映像音声再生方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像音声再生装置および映像音声再生方法に関し、特には、ＭＰＥＧ（Moving Picture Experts Group）形式のストリーム等の映像音声ストリームを再生する映像音声再生装置および映像音声再生方法に関する。
【背景技術】
【０００２】
従来、映像音声ストリームを再生する映像音声再生装置が知られている。例えば、ＭＰＥＧ形式のストリームを再生する映像音声再生装置が知られている。
【０００３】
ＭＰＥＧ形式のストリームの送信および再生は、以下のように行われる。
【０００４】
まず、ＭＰＥＧ形式のストリームを送信する送信部について説明する。
【０００５】
送信部は、映像信号を符号化して、複数の映像フレームにて構成されるＭＰＥＧ映像ストリームを生成する。また、送信部は、その映像信号と同期している音声信号を符号化して、複数の音声フレームにて構成されるＭＰＥＧ音声ストリームを生成する。
【０００６】
続いて、送信部は、ＭＰＥＧ映像ストリームを分割して映像データを生成し、その生成された映像データを、ＰＥＳ（Packetized Elementary Stream）パケットに組み込む。また、送信部は、ＭＰＥＧ音声ストリームを分割して音声データを生成し、その生成された音声データを、映像データを含まないＰＥＳパケットに組み込む。ＰＥＳパケットは、映像と音声の同期をとるために使用される時刻情報を含む。
【０００７】
図５は、ＰＥＳパケットを示した説明図である。
【０００８】
図５に示すように、ＰＥＳパケット１００は、ＰＴＳ（Presentation Time Stamp）１００ａと、ＤＴＳ（Decoding Time Stamp）１００ｂとを含む。
【０００９】
ＤＴＳ１００ｂは、ＰＥＳパケット１００に組み込まれたデータをデコードする時刻（デコードタイミング）を示す。また、ＰＴＳ１００ａは、ＰＥＳパケット１００に組み込まれたデータを再生する時刻（出力タイミング）を示す。
【００１０】
送信部は、ある映像フレームのデータを含むＰＥＳパケットのＰＴＳと、その映像フレームと同期する音声フレームのデータを含むＰＥＳパケットのＰＴＳとを、同じ値にする。このため、映像と音声の同期が取られる。
【００１１】
その後、送信部は、映像データを含むＰＥＳパケットと、音声データを含むＰＥＳパケットと、を含むＭＰＥＧ形式のストリーム（映像音声ストリーム）を送信する。よって、ＭＰＥＧ形式のストリームは、同じ出力タイミングを示すＰＴＳを有する映像データおよび音声データの組を複数有する。
【００１２】
次に、ＭＰＥＧ形式のストリームを再生する再生部について説明する。
【００１３】
図６は、従来の再生部を示したブロック図である。
【００１４】
図６において、再生部は、ＭＰＥＧデコーダ１と、表示部２と、音声出力部３とを含む。
【００１５】
ＭＰＥＧデコーダ１は、送信部から送信されたＭＰＥＧ形式のストリーム（映像音声ストリーム）をデコードして、映像信号と音声信号を生成する。ＭＰＥＧデコーダ１は、その生成された映像信号を表示部２に出力し、また、その生成された音声信号を音声出力部３に出力する。
【００１６】
表示部２は、ＭＰＥＧデコーダ１から映像信号を受け付けると、その受け付けられた映像信号に応じた映像を表示する。
【００１７】
音声出力部３は、ＭＰＥＧデコーダ１から音声信号を受け付けると、その受け付けられた音声信号に応じた音声を出力する。
【００１８】
ＭＰＥＧデコーダ１は、分離回路１ａと、バッファ１ｂおよび１ｃと、システムデコーダ１ｄと、ビデオデコーダ１ｅと、オーディオデコーダ１ｆとを含む。
【００１９】
分離回路１ａは、送信部から送信されたＭＰＥＧ形式のストリームから、映像データ、音声データ、ＰＴＳおよびＤＴＳを分離する。分離回路１ａは、映像データをバッファ１ｂに格納し、音声データをバッファ１ｃに格納し、ＰＴＳおよびＤＴＳをシステムデコーダ１ｄに出力する。
【００２０】
バッファ１ｂは、分離回路１ａから提供された映像データを格納する。
【００２１】
バッファ１ｃは、分離回路１ａから提供された音声データを格納する。
【００２２】
システムデコーダ１ｄは、映像データのＤＴＳに示された時刻になると、ビデオデコーダ１ｅにデコード指示を出力し、また、映像データのＰＴＳに示された時刻になると、ビデオデコーダ１ｅに出力指示を出力する。
【００２３】
また、システムデコーダ１ｄは、音声データのＤＴＳに示された時刻になると、オーディオデコーダ１ｆにデコード指示を出力し、また、音声データのＰＴＳに示された時刻になると、オーディオデコーダ１ｆに出力指示を出力する。
【００２４】
ビデオデコーダ１ｅは、デコード指示を受け付けると、バッファ１ｂに格納された映像データをデコードして映像信号を生成し、また、出力指示を受け付けると、その生成された映像信号を表示部２に出力する。
【００２５】
オーディオデコーダ１ｆは、デコード指示を受け付けると、バッファ１ｃに格納された音声データをデコードして音声信号を生成し、また、出力指示を受け付けると、その生成された音声信号を音声出力部３に出力する。
【００２６】
特許文献１（特開２００２−３５４４１９号公報）には、ＭＰＥＧ形式のストリームを再生する記録再生装置が記載されている。
【００２７】
この記録再生装置は、早送り等の特殊再生時に、滑らかに変化する映像と、その映像に同期した音声と、を出力するように、特殊再生の再生速度に対応してＤＴＳの値およびＰＴＳの値を書き換える。
【００２８】
この記録再生装置は、ある映像フレームのＰＴＳの値と、その映像フレームに同期する音声フレームのＰＴＳの値とを、同じ値に書き換える。
【００２９】
一方、液晶表示装置またはプラズマ表示装置のような表示デバイスでは、画素数が固定されている。画素数が固定の表示デバイスは、入力する映像信号の解像度と自己の解像度が異なる場合でも、その入力する映像信号に応じた画像を表示できるように、解像度変換と呼ばれる映像信号処理を行う。
【００３０】
図７は、解像度変換を行う表示部２を含む再生装置を示したブロック図である。なお、図７において、図６に示したものと同一のものには同一符号を付してある。
【００３１】
図７において、表示部２は、映像信号処理部２ａと、駆動回路２ｂと、画素数が固定の表示デバイス２ｃとを含む。映像信号処理部２ａは、メモリ２ａ１と、解像度変換回路２ａ２とを含む。音声出力部３は、音声出力回路３ａと、スピーカー３ｂとを含む。
【００３２】
映像信号処理部２ａは、ＭＰＥＧデコーダ１から受け付けた映像信号の解像度を、表示デバイス２ｃの解像度に基づいて変換する。
【００３３】
具体的には、解像度変換回路２ａ２は、ＭＰＥＧデコーダ１から受け付けた映像信号を、一定時間、メモリ２ａ１に格納し、その後、メモリ２ａ１に格納された映像信号の解像度を変換する。
【００３４】
駆動回路２ｂは、解像度変換回路２ａ２にて解像度が変換された映像信号に基づいて表示デバイス２ｃを駆動して、映像信号に応じた映像を表示デバイス２ｃに表示する。
【００３５】
音声出力回路３ａは、ＭＰＥＧデコーダ１から受け付けた音声信号に基づいてスピーカー３ｂを駆動して、音声信号に応じた音声をスピーカー３ｂから出力する。
【特許文献１】特開２００２−３５４４１９号公報
【発明の開示】
【発明が解決しようとする課題】
【００３６】
映像信号処理部２ａは、ＭＰＥＧデコーダ１から受け付けた映像信号を一定時間メモリ２ａ１に格納し、その後、解像度変換を行う。このため、表示デバイス２ｃの表示タイミングは、解像度変換に要する時間だけ遅れる。
【００３７】
なお、映像信号処理部２ａは、解像度変換と異なる映像信号処理も行う。このため、実際には、表示デバイス２ｃの表示タイミングは、それらの映像信号処理に要する時間だけ遅れる。
【００３８】
一方、音声出力部３では、映像信号処理と同等な遅延は発生しない。
【００３９】
したがって、例えば、ＭＰＥＧデコーダ１が、ＤＴＳの値およびＰＴＳの値に基づいて映像と音声を同期させても、表示部２にて実行される映像信号処理によって、映像が音声より遅れて出力される。
【００４０】
図８は、映像の遅延を説明するためのタイミングチャートである。図８（ａ）は、映像信号のメモリ２ａ１への書き込みタイミングを示し、図８（ｂ）は、映像信号のメモリ２ａ１からの読み出しタイミングを示し、図８（ｃ）は、音声信号の出力タイミングを示している。
【００４１】
図８（ａ）および（ｃ）に示すように、映像信号処理が実行される以前では、ＰＴＳの値が等しい映像フレーム（映像信号）および音声フレーム（音声信号）は、同期している。
【００４２】
しかしながら、図８（ｂ）および（ｃ）に示すように、映像信号処理が実行されると、ＰＴＳの値が等しい映像フレームおよび音声フレームでは、映像フレームが、音声フレームより遅れて出力される（図８（ｃ）の遅延Ａ参照）。
【００４３】
なお、特許文献１に記載の記録再生装置は、ある映像フレームのＰＴＳの値と、その映像フレームに同期する音声フレームのＰＴＳの値とを、同じ値に書き換える。このため、特許文献１に記載の記録再生装置が、ＭＰＥＧデコーダ１として用いられても、映像信号処理に起因する映像の遅延は生じる。
【００４４】
従来の装置は、映像と音声を、互いの出力タイミングがずれたまま出力するか、もしくは、映像と音声の同期を取る場合には、音声信号用の遅延回路等のハードウェアを必要としていた。
【００４５】
本発明の目的は、解像度変換のような映像信号処理が実行されても、音声信号用の遅延回路を用いることなく、映像と音声を同期させることが可能な映像音声再生装置および映像音声再生方法を提供することである。
【課題を解決するための手段】
【００４６】
上記の目的を達成するために、本発明の映像音声再生装置は、映像の出力タイミングを示す映像出力情報を有する映像データと、音声の出力タイミングを示す音声出力情報を有する音声データと、を含む映像音声ストリームを再生する映像音声再生装置であって、前記映像音声ストリームを受け付けると、前記音声の出力タイミングが遅延するように前記音声出力情報を変更し、かつ、前記映像出力情報を維持する変更部と、前記音声データをデコードして音声信号を生成し、該音声信号を、前記変更部にて変更された音声出力情報にて示された出力タイミングで出力し、また、前記映像データをデコードして映像信号を生成し、該映像信号を、前記映像出力情報にて示された出力タイミングで出力するデコーダと、前記デコーダから出力された映像信号に応じた映像を表示する表示部と、前記デコーダにて出力された音声信号に応じた音声を出力する音声出力部とを含む。
【００４７】
また、本発明の映像音声再生方法は、映像の出力タイミングを示す映像出力情報を有する映像データと、音声の出力タイミングを示す音声出力情報を有する音声データと、を含む映像音声ストリームを再生する映像音声再生装置が行う映像音声再生方法であって、前記映像音声ストリームを受け付ける受付ステップと、前記映像音声ストリームが受け付けられると、前記音声の出力タイミングが遅延するように前記音声出力情報を変更し、かつ、前記映像出力情報を維持する変更ステップと、前記映像データをデコードして映像信号を生成し、該映像信号を、前記映像出力情報にて示された出力タイミングで出力する映像デコードステップと、前記音声データをデコードして音声信号を生成し、該音声信号を、前記変更された音声出力情報にて示された出力タイミングで出力する音声デコードステップと、前記出力された映像信号に応じた映像を表示する表示ステップと、前記出力された音声信号に応じた音声を出力する音声出力ステップとを含む。
【００４８】
上記の発明によれば、音声の出力タイミングが遅延するように、音声出力情報が変更され、かつ、映像出力情報が維持される。
【００４９】
このため、音声出力情報を変更することによって、映像信号処理に起因する映像の遅延時間と同じ時間だけ、音声を遅延させることが可能になる。よって、音声信号用の遅延回路を用いずに、映像と音声を同期させることが可能になる。
【００５０】
また、前記映像信号の処理に要する時間が検出され、前記音声データの出力タイミングが、前記検出された時間だけ遅延するように、前記音声出力情報が変更されることが望ましい。
【００５１】
例えば、ＮＴＳＣ（National Television Standards Committee）信号とＰＡＬ（Phase Alternation by Line）信号のような異なる形式の映像信号が処理される場合、その処理時間が異なる可能性がある。
【００５２】
上記の発明によれば、音声出力情報が、検出された処理時間に応じて自動的に変更される。このため、映像信号の形式に応じて自動的に音声出力情報を変更して、音声と映像を同期させることが可能となる。
【００５３】
また、前記処理は、前記映像信号の解像度を変換する処理であることが望ましい。
【００５４】
上記の発明によれば、解像度変換に起因する映像の遅延が発生しても、音声の出力タイミングを、その遅延分だけを遅らせることが可能になる。
【００５５】
また、前記映像音声ストリームは、ＭＰＥＧ形式のストリームであり、前記映像データは、ＭＰＥＧ映像ストリームに含まれ、前記音声データは、ＭＰＥＧ音声ストリームに含まれ、前記出力情報は、ＰＴＳであることが望ましい。
【００５６】
上記の発明によれば、ＭＰＥＧ形式のストリームを再生する際に、ＰＴＳを変更することによって、映像信号処理に起因する映像の遅延時間と同じ時間だけ、音声を遅延させることが可能になる。よって、音声信号用の遅延回路を用いずに、映像と音声を同期させることが可能になる。
【００５７】
また、前記ＰＴＳとともに、デコードタイミングを示すＤＴＳが変更されることが望ましい。
【００５８】
上記の発明によれば、ＭＰＥＧ形式のストリームを再生する際に、ＰＴＳおよびＤＴＳを変更することによって、映像信号処理に起因する映像の遅延時間と同じ時間だけ、音声を遅延させることが可能になる。よって、音声信号用の遅延回路を用いずに、映像と音声を同期させることが可能になる。
【００５９】
また、本発明の映像音声再生装置は、映像の出力タイミングを示す映像出力情報を有する映像データと、音声の出力タイミングを示す音声出力情報を有する音声データと、を含む映像音声ストリームを再生する映像音声再生装置であって、前記映像音声ストリームを受け付けると、前記音声の出力タイミングの遅延時間が、前記映像の出力タイミングの遅延時間より長くなるように、前記音声出力情報および前記映像出力情報を変更する変更部と、前記音声データをデコードして音声信号を生成し、該音声信号を、前記変更部にて変更された音声出力情報にて示された出力タイミングで出力し、また、前記映像データをデコードして映像信号を生成し、該映像信号を、前記変更部にて変更された映像出力情報にて示された出力タイミングで出力するデコーダと、前記デコーダから出力された映像信号に応じた映像を表示する表示部と、前記デコーダから出力された音声信号に応じた音声を出力する音声出力部とを含む。
【００６０】
また、本発明の映像音声再生方法は、映像の出力タイミングを示す映像出力情報を有する映像データと、音声の出力タイミングを示す音声出力情報を有する音声データと、を含む映像音声ストリームを再生する映像音声再生装置が行う映像音声再生方法であって、前記映像音声ストリームを受け付ける受付ステップと、前記映像音声ストリームが受け付けられると、前記音声の出力タイミングの遅延時間が、前記映像の出力タイミングの遅延時間より長くなるように、前記音声出力情報および前記映像出力情報を変更する変更ステップと、前記映像データをデコードして映像信号を生成し、該映像信号を、前記変更された映像出力情報にて示された出力タイミングで出力する映像デコードステップと、前記音声データをデコードして音声信号を生成し、該音声信号を、前記変更部にて変更された音声出力情報にて示された出力タイミングで出力する音声デコードステップと、前記出力された映像信号に応じた映像を表示する表示ステップと、前記出力された音声信号に応じた音声を出力する音声出力ステップとを含む。
【００６１】
上記の発明によれば、音声の出力タイミングの遅延時間が、映像の出力タイミングの遅延時間より長くなるように、音声出力情報および映像出力情報が変更される。
【００６２】
このため、音声出力情報および映像出力情報を変更することによって、映像信号処理に起因する映像の遅延時間と同じ時間だけ、音声を遅延させることが可能になる。よって、音声信号用の遅延回路を用いずに、映像と音声を同期させることが可能になる。
【００６３】
また、音声出力情報と映像出力情報とが変更されるため、音声と映像の両方の出力タイミングを調整することが可能になる。
【発明の効果】
【００６４】
本発明によれば、解像度変換のような映像信号処理が実行されても、音声信号用の遅延回路を用いることなく、映像と音声を同期させることが可能になる。
【発明を実施するための最良の形態】
【００６５】
以下、本発明の実施例を図面を参照して説明する。
【００６６】
図１は、本発明の一実施例の映像音声再生装置を示したブロック図である。なお、図１において、図７に示したものと同一のものには同一符号を付してある。
【００６７】
本映像音声再生装置では、図７に示した再生装置に、時刻情報変換部４が加えられている。
【００６８】
図１において、本映像音声再生装置は、ＭＰＥＧデコーダ１と、表示部２と、音声出力部３と、時刻情報変換部４とを含む。
【００６９】
時刻情報変換部４は、変更部の一例であり、ＭＰＥＧ形式のストリーム（映像音声ストリーム）を受け付ける。
【００７０】
ＭＰＥＧ形式のストリームは、映像データおよび所定の値のＰＴＳ（映像出力情報）を含むＰＥＳパケットと、音声データおよび所定の値のＰＴＳ（音声出力情報）を含むＰＥＳパケットと、を含む。
【００７１】
このため、例えば、ＭＰＥＧ形式のストリームは、同じ出力タイミングを示すＰＴＳを有する映像データおよび音声データの組を複数有する。
【００７２】
時刻情報変換部４は、ＭＰＥＧ形式のストリームを受け付けると、ＭＰＥＧ形式のストリームに含まれる音声データの出力タイミングが遅延するように、ＭＰＥＧ形式のストリームに含まれる音声データのＰＴＳを変更する。
【００７３】
例えば、時刻情報変換部４は、音声データの出力タイミングが、映像信号処理部２ａにて実行される映像信号処理に費やされる処理時間だけ遅れるように、ＭＰＥＧ形式のストリームに含まれる音声データのＰＴＳを変更する。具体的には、時刻情報変換部４は、音声データのＰＴＳの値に、その処理時間を加算する。
【００７４】
なお、時刻情報変換部４は、ＭＰＥＧ形式のストリームに含まれる映像データのＰＴＳを変更せずに維持する。
【００７５】
図２は、時刻情報変換部４の一例を示したブロック図である。なお、時刻情報変換部４は、図２に示した構成に限らず適宜変更可能である。
【００７６】
図２において、時刻情報変換部４は、入力部４ａと、メモリ４ｂと、加算部４ｃとを含む。
【００７７】
入力部４ａは、音声データのＰＴＳの値に加算する値を受け付ける。例えば、入力部４ａは、ユーザから、音声データのＰＴＳの値に加算する値を受け付ける。
【００７８】
本実施例では、入力部４ａは、映像信号処理部２ａにて実行される映像信号処理に費やされる処理時間を受け付ける。なお、入力部４ａにて受け付けられる値は、適宜変更可能である。
【００７９】
メモリ４ｂは、入力部４ａにて受け付けられた値を格納する。
【００８０】
加算部４ｃは、メモリ４ｂに格納された値を、音声データのＰＴＳの値に加算する。よって、音声の出力タイミングは遅延される。
【００８１】
なお、本実施例では、加算部４ｃは、メモリ４ｂに格納された値を、音声データのＤＴＳの値にも加算する。このため、音声データのデコードタイミングも遅延される。
【００８２】
図１に戻って、時刻情報変換部４は、音声データのＰＴＳおよびＤＴＳを変更したＭＰＥＧ形式のストリームを、ＭＰＥＧデコーダ１に出力する。
【００８３】
ＭＰＥＧデコーダ１は、ＭＰＥＧ形式のストリームを受け付けると、そのＭＰＥＧ形式のストリームに含まれる映像データを、その映像データのＤＴＳにて示されたデコードタイミングでデコードして、映像信号を生成する。
【００８４】
その後、ＭＰＥＧデコーダ１は、その生成された映像信号を、その映像データのＰＴＳにて示された出力タイミングで、表示部２に出力する。
【００８５】
また、ＭＰＥＧデコーダ１は、ＭＰＥＧ形式のストリームを受け付けた際、そのＭＰＥＧ形式のストリームに含まれる音声データを、時刻情報変換部４にて変更されたその音声データのＤＴＳにて示されたデコードタイミングでデコードして、音声信号を生成する。
【００８６】
その後、ＭＰＥＧデコーダ１は、その生成された音声信号を、時刻情報変換部４にて変更されたその音声データのＰＴＳにて示された出力タイミングで、音声出力部３に出力する。
【００８７】
なお、時刻情報変換部４が、音声データのＰＴＳの値を変更して音声データの出力タイミングを遅延させているため、ＭＰＥＧデコーダ１から出力される音声信号は、その音声信号と同期すべき映像信号より、時間的に遅れて出力される。
【００８８】
解像度変換回路２ａ２は、音声信号より前に出力された映像信号をメモリ２ａ１に格納し、その後、メモリ２ａ１に格納された映像信号の解像度を、表示デバイス２ｃの解像度に基づいて変換する。
【００８９】
解像度変換回路２ａ２は、解像度が変換された映像信号を駆動回路２ｂに出力する。
【００９０】
このとき、具体的には、解像度変換回路２ａ２が映像信号を出力したときが、音声データのＰＴＳの値に示された出力タイミングとなる。このため、ＭＰＥＧデコーダ１は、このタイミングで音声信号を出力する。
【００９１】
よって、駆動回路２ｂが映像信号を受け付けるタイミングは、音声出力回路３ａが音声信号を受け付けるタイミングと同期する。
【００９２】
駆動回路２ｂは、解像度変換回路２ａ２にて解像度が変換された映像信号に基づいて表示デバイス２ｃを駆動して、映像信号に応じた映像を表示デバイス２ｃに表示する。
【００９３】
音声出力回路３ａは、ＭＰＥＧデコーダ１から受け付けた音声信号に基づいてスピーカー３ｂを駆動して、音声信号に応じた音声をスピーカー３ｂから出力する。
【００９４】
このため、映像と音声が同期する。
【００９５】
次に、動作を説明する。
【００９６】
ユーザは、例えば、映像信号処理部２ａにて実行される映像信号処理に費やされる処理時間を、入力部４ａに入力する。
【００９７】
入力部４ａは、その入力された処理時間を受け付けると、その受け付けられた処理時間をメモリ４ｂに格納する。
【００９８】
加算部４ｃは、ＭＰＥＧ形式のストリームを受け付けると、そのＭＰＥＧ形式のストリームに含まれる音声データのＰＴＳおよびＤＴＳに、メモリ４ｂに格納された処理時間を加算する。
【００９９】
加算部４ｃは、音声データのＰＴＳおよびＤＴＳを変更したＭＰＥＧ形式のストリームを、ＭＰＥＧデコーダ１（具体的には、分離回路１ａ）に出力する。
【０１００】
分離回路１ａは、加算部４ｃから送信されたＭＰＥＧ形式のストリームから、映像データ、音声データ、ＰＴＳおよびＤＴＳを分離する。
【０１０１】
分離回路１ａは、その分離された映像データをバッファ１ｂに格納し、その分離された音声データをバッファ１ｃに格納し、その分離されたＰＴＳおよびＤＴＳをシステムデコーダ１ｄに出力する。
【０１０２】
システムデコーダ１ｄは、バッファ１ｂに格納されている映像データのＤＴＳに示された時刻になると、ビデオデコーダ１ｅにデコード指示を出力し、また、その映像データのＰＴＳに示された時刻になると、ビデオデコーダ１ｅに出力指示を出力する。
【０１０３】
また、システムデコーダ１ｄは、バッファ１ｃに格納されている音声データのＤＴＳに示された時刻になると、オーディオデコーダ１ｆにデコード指示を出力し、また、その音声データのＰＴＳに示された時刻になると、オーディオデコーダ１ｆに出力指示を出力する。
【０１０４】
ビデオデコーダ１ｅは、システムデコーダ１ｄからデコード指示を受け付けると、バッファ１ｂに格納されている映像データをデコードして映像信号を生成し、システムデコーダ１ｄから出力指示を受け付けると、その生成された映像信号を表示部２に出力する。
【０１０５】
オーディオデコーダ１ｆは、システムデコーダ１ｄからデコード指示を受け付けると、バッファ１ｃに格納されている音声データをデコードして音声信号を生成し、システムデコーダ１ｄから出力指示を受け付けると、その生成された音声信号を音声出力部３に出力する。
【０１０６】
なお、時刻情報変換部４が、音声データのＰＴＳの値を変更して音声データの出力タイミングを遅延させているため、ＭＰＥＧデコーダ１から出力される音声信号は、その音声信号と同期すべき映像信号より後に出力される。
【０１０７】
表示部２の解像度変換回路２ａ２は、音声信号より前に出力された映像信号をメモリ２ａ１に格納し、その後、メモリ２ａ１に格納された映像信号の解像度を、表示デバイス２ｃの解像度に基づいて変換する。
【０１０８】
解像度変換回路２ａ２は、解像度が変換された映像信号を駆動回路２ｂに出力する。
【０１０９】
このとき、具体的には、解像度変換回路２ａ２が映像信号を出力したとき、ＭＰＥＧデコーダ１は、音声信号を出力する。
【０１１０】
よって、表示部２の駆動回路２ｂが映像信号を受け付けるタイミングは、音声出力部３の音声出力回路３ａが音声信号を受け付けるタイミングと同期する。
【０１１１】
駆動回路２ｂは、解像度変換回路２ａ２にて解像度が変換された映像信号に基づいて表示デバイス２ｃを駆動して、映像信号に応じた映像を表示デバイス２ｃに表示する。
【０１１２】
音声出力回路３ａは、ＭＰＥＧデコーダ１から受け付けた音声信号に基づいてスピーカー３ｂを駆動して、音声信号に応じた音声をスピーカー３ｂから出力する。
【０１１３】
このため、映像と音声が同期する。
【０１１４】
本実施例によれば、時刻情報変換部４は、音声の出力タイミングが遅延するように音声データのＰＴＳ（音声出力情報）を変更し、かつ、映像データのＰＴＳを変更せずに維持する。
【０１１５】
このため、音声データのＰＴＳを変更することによって、映像信号処理に起因する映像の遅延時間と同じ時間だけ、音声を遅延させることが可能になる。よって、音声信号用の遅延回路を用いずに、映像と音声を同期させることが可能になる。
【０１１６】
また、音声データのＰＴＳはデジタル値なので、音声を遅延時間の設定が容易になる。
【０１１７】
また、本実施例によれば、ＭＰＥＧ形式のストリームが、映像音声ストリームとして用いられ、映像データは、ＭＰＥＧ映像ストリームに含まれ、音声データは、ＭＰＥＧ音声ストリームに含まれ、ＰＴＳが音声出力情報および映像出力情報として用いられる。
【０１１８】
この場合、ＭＰＥＧ形式のストリームを再生する際に、ＰＴＳを変更することによって、映像信号処理に起因する映像の遅延時間と同じ時間だけ、音声を遅延させることが可能になる。
【０１１９】
よって、ＭＰＥＧ形式のストリームを再生する際に、音声信号用の遅延回路を用いずに、映像と音声を同期させることが可能になる。
【０１２０】
また、本実施例では、時刻情報変換部４は、音声データのＰＴＳとともに、音声データのＤＴＳを変更する。
【０１２１】
この場合、ＭＰＥＧ形式のストリームを再生する際に、ＰＴＳおよびＤＴＳを変更することによって、映像信号処理に起因する映像の遅延時間と同じ時間だけ、音声を遅延させることが可能になる。また、音声データのデコードタイミングを、音声信号の出力タイミングに応じて調整することが可能となる。
【０１２２】
よって、ＭＰＥＧ形式のストリームを再生する際に、音声信号用の遅延回路を用いずに、映像と音声を同期させることが可能になる。
【０１２３】
次に、本発明の他の実施例を説明する。
【０１２４】
図３は、本発明の他の実施例の映像音声再生装置を示したブロック図である。なお、図３において、図１に示したものと同一のものには同一符号を付してある。
【０１２５】
図３に示した映像音声再生装置では、図１に示した映像音声再生装置に、検出部２ａ３が加えられている。
【０１２６】
検出部２ａ３は、映像信号処理部２ａにて実行される映像信号処理に要する時間を検出する。本実施例では、検出部２ａ３は、解像度変換回路２ａ２にて実行される解像度変換に要する時間を検出する。なお、検出部２ａ３は、解像度変換に要する時間だけでなく、映像信号処理部２ａにて実行されるすべての映像信号処理に要する時間を検出してもよい。
【０１２７】
映像信号処理部２ａが、例えばＮＴＳＣ信号とＰＡＬ信号のような異なる形式の映像信号を処理する場合、映像信号処理部２ａの処理時間は、処理する信号の形式に応じて、変化する可能性がある。検出部２ａ３は、その変化する処理時間を検出する。
【０１２８】
検出部２ａ３は、その検出された時間（遅延情報）を、時刻情報変換部４（具体的には入力部４ａ）に提供する。
【０１２９】
入力部４ａは、その検出された時間を受け付けると、その受け付けられた時間をメモリ４ｂに格納する。
【０１３０】
加算部４ｃは、ＭＰＥＧ形式のストリームを受け付けると、そのストリーム内の音声データのＰＴＳおよびＤＴＳに、メモリ４ｂに格納された処理時間を加算する。加算部４ｃは、音声データのＰＴＳおよびＤＴＳを変更したＭＰＥＧ形式のストリームを、ＭＰＥＧデコーダ１（具体的には、分離回路１ａ）に出力する。
【０１３１】
本実施例によれば、時刻情報変換部４は、音声データの出力タイミングが、映像信号処理部２ａにて検出された処理時間だけ遅延するように、音声データのＰＴＳを変更する。
【０１３２】
この場合、映像信号の形式に応じて変化する処理時間に基づいて、音声出力情報を自動的に変更するため、映像信号の形式が変わっても、音声と映像を同期させることが可能となる。
【０１３３】
また、メモリ４ｂに格納される値を自動的に適切な値に変更することが可能となる。
【０１３４】
また、本実施例では、映像信号処理部２ａは、映像信号の解像度を変換する処理に要する時間を検出する。
【０１３５】
この場合、解像度変換に起因する映像の遅延が発生しても、音声の出力タイミングを、その遅延分だけを遅らせることが可能になる。
【０１３６】
なお、時刻情報変換部４は、以下のように変形されてもよい。
【０１３７】
時刻情報変換部４は、ＭＰＥＧ形式のストリームを受け付けると、そのストリーム内の音声データの出力タイミングの遅延時間が、そのストリーム内の映像データの出力タイミングの遅延時間より長くなるように、その音声データのＰＴＳおよび映像データのＰＴＳを変更する。
【０１３８】
時刻情報変換部４は、音声データのＰＴＳおよび映像データのＰＴＳを変更したＭＰＥＧ形式のストリームを、ＭＰＥＧデコーダ１に出力する。
【０１３９】
図４は、時刻情報変換部４の変形例である時刻情報変換部４０を示したブロック図である。なお、図４において、図２に示したものと同じものには、同一符号を付してある。また、時刻情報変換部４の変形例は、図４に示した構成に限らず適宜変更可能である。
【０１４０】
図４において、時刻情報変換部４０は、入力部４ａと、メモリ４ｂと、メモリ４０ａと、加算部４０ｂとを含む。
【０１４１】
メモリ４０ａは、映像データの出力タイミングの遅延時間を格納する。
【０１４２】
加算部４０ｂは、ＭＰＥＧ形式のストリームを受け付けると、そのストリーム内の映像データのＰＴＳおよびＤＴＳに、メモリ４０ａに格納された遅延時間を加算し、また、そのストリーム内の音声データのＰＴＳおよびＤＴＳに、メモリ４０ａに格納された処理時間とメモリ４ｂに格納された処理時間とを加算する。
【０１４３】
加算部４０ｂは、ＰＴＳおよびＤＴＳを変更したＭＰＥＧ形式のストリームを、ＭＰＥＧデコーダ１（具体的には、分離回路１ａ）に出力する。
【０１４４】
この場合、ＭＰＥＧデコーダ１は、以下のように動作する。
【０１４５】
ＭＰＥＧデコーダ１は、時刻情報変換部４０からＭＰＥＧ形式のストリームを受け付けると、そのストリーム内の映像データを、加算部４０ｂにて変更されたその映像データのＤＴＳにて示されたデコードタイミングでデコードして、映像信号を生成する。
【０１４６】
その後、ＭＰＥＧデコーダ１は、その生成された映像信号を、加算部４０ｂにて変更されたその映像データのＰＴＳにて示された出力タイミングで、表示部２に出力する。
【０１４７】
また、ＭＰＥＧデコーダ１は、ＭＰＥＧ形式のストリームを受け付けた際、そのストリーム内の音声データを、加算部４０ｂにて変更されたその音声データのＤＴＳにて示されたデコードタイミングでデコードして、音声信号を生成する。
【０１４８】
その後、ＭＰＥＧデコーダ１は、その生成された音声信号を、加算部４０ｂにて変更されたその音声データのＰＴＳにて示された出力タイミングで、音声出力部３に出力する。
【０１４９】
本変形例によれば、時刻情報変更部４０は、音声の出力タイミングの遅延時間が、映像の出力タイミングの遅延時間より長くなるように、音声データのＰＴＳおよび映像データのＰＴＳを変更する。
【０１５０】
この場合、音声データのＰＴＳおよび映像データのＰＴＳを変更することによって、映像信号処理に起因する映像の遅延時間と同じ時間だけ、音声を映像に対して遅延させることが可能になる。よって、音声信号用の遅延回路を用いずに、映像と音声を同期させることが可能になる。
【０１５１】
また、音声データのＰＴＳと映像データのＰＴＳとが変更されるため、音声と映像の両方の出力タイミングを調整することが可能になる。
【０１５２】
以上説明した各実施例において、図示した構成は単なる一例であって、本発明はその構成に限定されるものではない。
【図面の簡単な説明】
【０１５３】
【図１】本発明の一実施例の映像音声再生装置を示したブロック図である。
【図２】時刻情報変換部４の一例を示したブロック図である。
【図３】本発明の他の実施例の映像音声再生装置を示したブロック図である。
【図４】時刻情報変換部４０の一例を示したブロック図である。
【図５】ＰＥＳパケットを示した説明図である。
【図６】従来の再生部を示したブロック図である。
【図７】従来の再生装置を示したブロック図である。
【図８】映像の遅延を説明するためのタイミングチャートである。
【符号の説明】
【０１５４】
１      ＭＰＥＧデコーダ
１ａ    分離回路
１ｂ    バッファ
１ｃ    バッファ
１ｄ    システムデコーダ
１ｅ    ビデオデコーダ
１ｆ    オーディオデコーダ
２      表示部
２ａ    映像信号処理部
２ａ１  メモリ
２ａ２  解像度変換回路
２ａ３  検出部
２ｂ    駆動回路
２ｃ    表示デバイス
３      音声出力部
３ａ    音声出力部
３ｂ    スピーカー
４      時刻情報変換部
４ａ    入力部
４ｂ    メモリ
４ｃ    加算部
４０    時刻情報変換部
４０ａ  メモリ
４０ｂ  加算部
【図１】
2007028261.tif 000003
【図２】
2007028261.tif 000004
【図３】
2007028261.tif 000005
【図４】
2007028261.tif 000006
【図５】
2007028261.tif 000007
【図６】
2007028261.tif 000008
【図７】
2007028261.tif 000009
【図８】
2007028261.tif 000010