(57)【要約】【課題】デジタル放送を受信記録したビデオ、オーディオ、データの各ストリームの高速再生等の特再時の同期について、再生ビデオに字幕を同期させると、緊急文字スーパの再生では、スーパ画面が表示されない課題があった。【解決手段】デジタル放送信号のビデオデコード及びオーディオデコード処理後、ビデオおよびオーディオの出力処理において可変速再生を実施するときに、ビデオ出力処理部５１及びオーディオ出力処理部６１の同期をとる同期処理部７と、ビデオ出力処理部５１の前後を選択しＯＳＤ出力処理部８からの出力を、同期情報により加算する加算部と、オーディオ出力処理部６１の前後を選択し付加音出力処理部９からの出力を、同期情報により加算する加算部とで、可変速再生時のビデオ再生とオーディオ再生の各々の同期に、さらにデータ放送ストリームのデータの再生の同期をはかる。【選択図】  図１
2005012499.tif 000002
【特許請求の範囲】
【請求項１】
デジタル放送信号が記録された記録媒体から、少なくとも音声ストリームおよび字幕ストリームおよび文字スーパーストリームを、時刻同期を確保しながら再生する際に、オーディオデコード処理後、前記字幕ストリームまたは文字スーパーストリームから抜き出した音声情報を同期情報によりオーディオ出力処理の前もしくは後どちらかを選択して加算し再生することを特徴とするデータ再生方法。
【請求項２】
オーディオデコード処理が通常再生速度処理以上の処理能力を有し、かつオーディオ出力処理が可変速処理を有するときに、字幕ストリームまたは文字スーパーストリームから抜き出した音声情報を、前記オーディオデコード処理後に加算したうえで、前記可変速処理を施すことを特徴とする請求項１記載のデータ再生方法。
【請求項３】
オーディオデコード処理が通常再生速度処理以上の処理能力を有し、かつオーディオ出力処理が可変速処理を有するときに、字幕ストリームまたは文字スーパーストリームから抜き出した音声情報を、前記可変速処理後に加算することを特徴とする請求項１記載のデータ再生方法。
【請求項４】
デジタル放送信号が記録された記録媒体から、少なくとも映像ストリームおよび字幕ストリームおよび文字スーパーストリームを、時刻同期を確保しながら再生する際に、ビデオデコード処理後、前記字幕ストリームまたは文字スーパーストリームから抜き出したテキストもしくは文字情報を同期情報によりビデオ出力処理の前もしくは後どちらかを選択して画像合成して再生することを特徴とするデータ再生方法。
【請求項５】
再生するストリームのコンテンツ内容を判断する手段を有し、再生時に、字幕ストリームまたは文字スーパーストリームから抜き出した音声情報を、前記判断手段の結果により、オーディオ出力処理の前もしくは後どちらかを選択し、もしくは字幕ストリームまたは文字スーパーストリームから抜き出したテキストもしくは文字情報を、ビデオ出力処理の前もしくは後どちらかを選択して再生することを特徴とする請求項１もしくは請求項４記載のデータ再生方法。
【請求項６】
利用者による指示内容からコンテンツの再生処理内容を選択する手段を有し、再生時に、字幕ストリームまたは文字スーパーストリームから抜き出した音声情報を、前記選択手段の結果により、オーディオ出力処理の前もしくは後どちらかを選択し、もしくは字幕ストリームまたは文字スーパーストリームから抜き出したテキストもしくは文字情報を、ビデオ出力処理の前もしくは後どちらかを選択して再生することを特徴とする請求項１もしくは請求項４記載のデータ再生方法。
【請求項７】
再生するストリームのコンテンツ内容及び利用者による使用用途を判断する手段を有し、再生時に、字幕ストリームまたは文字スーパーストリームから抜き出した音声情報を、前記判断手段の結果により、オーディオ出力処理の前もしくは後どちらかを選択し、もしくは字幕ストリームまたは文字スーパーストリームから抜き出したテキストもしくは文字情報を、ビデオ出力処理の前もしくは後どちらかを選択して再生することを特徴とする請求項５もしくは請求項６記載のデータ再生方法。
【請求項８】
再生する字幕ストリームまたは文字スーパーストリームから抜き出した音声情報を、オーディオ出力処理の前もしくは後どちらかを選択し、もしくは字幕ストリームまたは文字スーパーストリームから抜き出したテキストもしくは文字情報を、ビデオ出力処理の前もしくは後どちらかを選択するときに、必ずしも両者共に各出力処理の前もしくは後に一致させる必要がない選択方法を有することを特徴とする請求項１もしくは請求項４記載のデータ再生方法。
【請求項９】
再生するストリームが、デジタル放送信号のストリームだけでなく、外部からのアナログ信号をデジタル符号化したストリームや、もしくは予めデジタル符号化され記録メディアに記録されているストリームをも再生する手段を有し、再生されるコンテンツ内容を判断する手段を有し、再生時に、字幕ストリームまたは文字スーパーストリームから抜き出した音声情報を、前記判断手段の結果により、オーディオ出力処理の前もしくは後どちらかを選択し、もしくはデータから抜き出したテキストもしくは文字情報を、ビデオ出力処理の前もしくは後どちらかを選択して再生することを特徴とする請求項５記載のデータ再生方法。
【請求項１０】
外部からのアナログ信号をデジタル符号化して記録する手段を有し、前記デジタル符号化したストリームの再生時に、字幕ストリームまたは文字スーパーストリームから抜き出した音声情報を、コンテンツ内容の判断結果によりオーディオ出力処理の前もしくは後どちらかを選択し、もしくは字幕ストリームまたは文字スーパーストリームから抜き出したテキストもしくは文字情報を、ビデオ出力処理の前もしくは後どちらかを選択して再生できるように、前記デジタル符号化時に、予め再生時の各出力処理の前もしくは後を選択する指示情報を加算することを特徴とするデータ記録方法。
【請求項１１】
デジタル放送信号が記録された記録媒体から、映像ストリーム、音声ストリーム、字幕ストリームおよび文字スーパーストリームを、時刻同期を確保しながら再生する際に、ビデオデコード及びオーディオデコード処理後、ビデオおよびオーディオの出力処理において可変速再生を実施するときにオーディオ再生時刻情報を抜き出して、再生画像のスキップもしくは繰り替えしを実施してビデオとオーディオ再生同期を実現し、かつ前記字幕ストリームまたは文字スーパーストリームから抜き出した同期情報により前記オーディオ出力処理の前もしくは後のどちらかを選択して音声信号を加算し、前記同期情報により前記ビデオ出力処理の前もしくは後のどちらかを選択して画像合成して再生することを特徴とするデータ再生方法。
【請求項１２】
デジタル放送信号が記録された記録媒体から、映像ストリームおよび字幕ストリームおよび文字スーパーストリームをデコードするビデオデコード部及びデータ放送内容を解釈するデータ放送処理部と、前記字幕ストリームおよび文字スーパーストリームから抜き出したテキストもしくは文字情報を出力処理するＯＳＤ出力処理部と、前記ビデオデコード部出力の可変速処理等を行うビデオ出力処理部と、前記ビデオデコード部からの出力もしくは前記ビデオ出力処理部からの出力の少なくともどちらか一方を選択して前記テキストもしくは文字情報を加算する加算部とを有するデータ再生装置。
【請求項１３】
デジタル放送信号が記録された記録媒体から、音声ストリーム、字幕ストリームおよび文字スーパーストリームをデコードするオーディオデコード部及びデータ放送内容を解釈するデータ放送処理部と、前記字幕ストリームおよび文字スーパーストリームから抜き出した付加音情報を出力処理する付加音出力処理部と、前記オーディオデコード部出力の可変速処理等を行うオーディオ出力処理部と、前記オーディオデコード部からの出力もしくは前記オーディオ出力処理部からの出力の少なくともどちらか一方を選択して前記付加音を加算する加算部とを有するデータ再生装置。
【請求項１４】
デジタル放送信号が記録された記録媒体から、映像ストリーム、音声ストリーム、字幕ストリームおよび文字スーパーストリームを、時刻同期を確保しながら再生するために、ビデオデコード及びオーディオデコード処理後、ビデオおよびオーディオの出力処理において可変速再生を実施するときに、ビデオ出力処理部及びオーディオ出力処理部の同期をとる同期処理部と、前記ビデオ出力処理部の前後を選択しＯＳＤ出力処理部からの出力を、前記字幕ストリームおよび文字スーパーストリームから抜き出した同期情報により加算する加算部と、オーディオ出力処理部の前後を選択し付加音出力処理部からの出力を、前記データから抜き出した同期情報により加算する加算部と、を有する請求項１２もしくは請求項１３記載のデータ再生装置。
【請求項１５】
コンピュータに対して、請求項１ないし１１記載の方法を実行させるためのプログラム。
【請求項１６】
請求項１５記載のプログラムを格納したことを特徴とする記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、デジタル符号化されたオーディオ・ビデオの再生時に、データ放送内容を加算する際に、オーディオとビデオの可変速処理との同期をとりながらデータ放送内容を再生するデータ再生方法及び装置に関する。
【０００２】
【従来の技術】
近年、ＣＤ−ＲＯＭや、ＤＶＤ−ＲＯＭ、ハードディスク等の各種記録媒体にデジタル圧縮されて記録されたオーディオ・ビデオ信号を読み取り、伸張した信号を、装置に接続された映像モニタや音響スピーカ等を通じて再生する再生装置が広く普及してきている。
【０００３】
またＢＳデジタル放送や、ＣＳデジタル放送などのデジタル圧縮されたオーディオ・ビデオ信号を、デジタル記録して再生する再生装置も普及してきた。
【０００４】
デジタル圧縮符号化されたオーディオ・ビデオ信号のデータをそれぞれ伸張してオーディオ成分信号とビデオ成分信号とを再生する再生装置において、デジタル圧縮に際しての既知な規格としては、ＭＰＥＧ（Ｍｏｔｉｏｎ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）が知られている。ＭＰＥＧでは多重化されて圧縮符号化されたオーディオ・ビデオ信号のデータをデコードしたあとで、同期して再生を実行するため、符号時にオーディオ・ビデオ信号におけるオーディオ成分信号とビデオ成分信号とのそれぞれに再生及び表示を実行する時刻情報が付加されて圧縮される。これにより、伸張時には装置が有するシステム時刻基準参照値に対し、これらの時刻情報を参照してオーディオ成分信号とビデオ成分信号との同期を合わせながら再生を実行している。
【０００５】
デジタル放送信号は、ビデオ成分信号はＭＰＥＧ２  Ｖｉｄｅｏと呼ばれる符号化圧縮方式で、オーディオ成分信号はＭＰＥＧ２  Ａｕｄｉｏ  ＡＡＣ（Ａｄｖａｎｃｅｄ  Ａｕｄｉｏ  Ｃｏｄｉｎｇ）と呼ばれる符号化圧縮方式で圧縮され、ＰＥＳ  （Ｐａｃｋｅｔｉｚｅｄ  Ｅｌｅｍｅｎｔａｒｙ  Ｓｔｒｅａｍ）に変換される。字幕、文字スーパの情報も同じくＰＥＳ形式に変換され、それ以外のデータはセクションと呼ばれる形式に変換され、これらをひとつのまとまった信号にする多重化処理を施して放送される。
【０００６】
以下従来の同期方式について説明する。なお、出願人は、特許文献１に開示されている画像及び音声情報の再生システムを認識しており、本発明の課題を明確にするために、先行技術の内容を従来例として、簡単に説明する。この方式では、現在出力中の再生画像及び再生音声の出力情報をフレーム単位で算出し、再生画像等が所定量進んでいるかを判定して、進んでいるときには画像再生を遅延し、遅れているときは促進することにより、画像の再生のタイミングを変更することにより、オーディオとビデオを同期して再生している。
【０００７】
以下従来の高速再生時等の同期方式について説明する。なお、出願人は、特許文献２に開示されているデコード処理方法を認識しており、本発明の課題を明確にするために、先行技術の内容を従来例として、簡単に説明する。この方式では、高速再生時のような特殊再生時には、副映像処理部に対するタイムスタンプとして、例えばビデオ処理部で得られたタイムスタンプを用いることができるようなセレクタを設け、基準時間とすることにより、特殊再生時においても、主映像と副映像であるサブピクチャとの同期を安定させた再生を実施している。
【０００８】
【特許文献１】
特許第３１００３０８号公報
【特許文献２】
特開平１１−１４９７１７号公報
【０００９】
【発明が解決しようとする課題】
上述した特許文献１及び特許文献２に開示されている方法には、高速再生時等の特殊再生におけるＡＶ同期方法や、副映像との同期方法については詳細に記述されている。しかしながらデジタル放送を受信記録したビデオ、オーディオ、データの各ストリームの高速再生等の特殊再生時における同期方法について、例えば再生ビデオに同期する字幕ストリームと、再生ビデオとは同期しない文字スーパストリーム等の両方に対するデータ放送との同期方法が説明されていない。特許文献２の副映像処理を字幕ストリーム処理へ置き換えを考慮したとしても、文字スーパストリーム処理など、同期情報を判別することや、即時表示には対応できない。
【００１０】
ＢＳデジタルなどの衛星デジタル放送や地上デジタル放送では、ＤＶＤビデオコンテンツにはないストリームが追加されるために、特殊再生同期方法においても、ＤＶＤビデオコンテンツの特殊再生同期方法をそのまま適用できないという課題があった。
【００１１】
本発明は、以上のような問題点を解消するためになされたもので、受信されたデジタル放送信号を、時刻同期を確保しながら再生する際に、一旦デコード処理後、前記データから抜き出した字幕情報や音声情報を同期情報によりビデオ出力処理と、オーディオ出力処理の前もしくは後どちらかを選択して加算し再生することにより、出力ビデオもしくは出力オーディオとデータの同期、非同期を任意に選択して再生するデータ再生方法または装置を提供することができるものである。
【００１２】
【課題を解決するための手段】
第１の本発明（請求項１に対応）によるデータ再生方法は、デジタル放送信号が記録された記録媒体から、少なくとも音声ストリームおよび字幕ストリームおよび文字スーパーストリーム（以下、字幕ストリームおよび文字スーパーストリームを単にデータと記述する）を、時刻同期を確保しながら再生する際に、オーディオデコード処理後、前記データから抜き出した音声情報を同期情報によりオーディオ出力処理の前もしくは後どちらかを選択して加算し再生することを特徴とするもので、例えばデータから抜き出した音声情報をデコード音声に加算した後で、オーディオ出力処理で元音声の音程の高低を変化させるか、オーディオ出力処理で元音声の音程の高低を変化させた後でデータから抜き出した音声情報を加算するかで、加算された音声情報の出力のさせ方を変える作用がある。
【００１３】
第２の本発明（請求項２に対応）によるデータ再生方法は、オーディオデコード処理が通常再生速度処理以上の処理能力を有し、かつオーディオ出力処理が可変速処理を有するときに、データから抜き出した音声情報を、前記オーディオデコード処理後に加算したうえで、前記可変速処理を施すことを特徴とするもので、例えばデータから抜き出した音声情報をデコード音声に加算した後で、オーディオ出力処理で可変速処理を施すため、加算された音声情報もデコード音声の可変速処理と同期させた音声出力が可能であるという作用がある。
【００１４】
第３の本発明（請求項３に対応）によるデータ再生方法は、オーディオデコード処理が通常再生速度処理以上の処理能力を有し、かつオーディオ出力処理が可変速処理を有するときに、データから抜き出した音声情報を、前記可変速処理後に加算することを特徴とするもので、オーディオ出力処理で可変速処理を施した後でデータから抜き出した音声情報を加算するため、デコード音声が可変速処理されても、加算された音声情報は通常速度音声での加算を行うことができるという作用がある。
【００１５】
第４の本発明（請求項４に対応）によるデータ再生方法は、デジタル放送信号が記録された記録媒体から、少なくとも映像ストリームおよびデータを、時刻同期を確保しながら再生する際に、ビデオデコード処理後、前記データから抜き出したテキストもしくは文字情報を同期情報によりビデオ出力処理の前もしくは後どちらかを選択して画像合成して再生するもので、例えばデータから抜き出した文字情報をデコード画像に加算した後で、画像スキップ出力処理で同期させて出力するか、画像スキップ処理でスキップした後に文字情報を加算するかで、加算された文字情報の出力のさせ方を変える作用がある。
【００１６】
第５の本発明（請求項５に対応）によるデータ再生方法は、再生するストリームのコンテンツ内容を判断する手段を有し、再生時に、データから抜き出した音声情報を、前記判断手段の結果により、オーディオ出力処理の前もしくは後どちらかを選択し、もしくはデータから抜き出したテキストもしくは文字情報を、ビデオ出力処理の前もしくは後どちらかを選択して再生することを特徴とするもので、例えば再生コンテンツにより、カラオケの字幕のようにオーディオ・ビデオに同期した各出力処理を施すほうがいいか、それとも緊急臨時放送のように各出力処理を施したあとで文字情報をだすほうがいいか、再生コンテンツの内容に従って選択するという作用がある。
【００１７】
第６の本発明（請求項６に対応）によるデータ再生方法は、利用者による指示内容からコンテンツの再生処理内容を選択する手段を有し、再生時に、データから抜き出した音声情報を、前記選択手段の結果により、オーディオ出力処理の前もしくは後どちらかを選択し、もしくはデータから抜き出したテキストもしくは文字情報を、ビデオ出力処理の前もしくは後どちらかを選択して再生することを特徴とするもので、例えば、利用者の指示に従って、可変速処理の前に音声情報と文字情報を加算させるか、後に音声情報と文字情報を加算させるといった、利用者の指示に従った加算を選択できるという作用を有する。
【００１８】
第７の本発明（請求項７に対応）によるデータ再生方法は、再生するストリームのコンテンツ内容及び利用者による使用用途を判断する手段を有し、再生時に、データから抜き出した音声情報を、前記判断手段の結果により、オーディオ出力処理の前もしくは後どちらかを選択し、もしくはデータから抜き出したテキストもしくは文字情報を、ビデオ出力処理の前もしくは後どちらかを選択して再生するもので、例えば、カラオケコンテンツであっても利用者の指示で、可変速処理では、可変速処理の前に音声情報と文字情報を加算させるが、音程のみを変化させる音程変化処理では、音程変化処理の後に音声情報と文字情報を加算させるといった、コンテンツ内容に加えて利用者の指示内容を加味して各出力処理の前後への加算を選択できるという作用を有する。
【００１９】
第８の本発明（請求項８に対応）によるデータ再生方法は、再生するストリームデータから抜き出した音声情報を、オーディオ出力処理の前もしくは後どちらかを選択し、もしくはデータから抜き出したテキストもしくは文字情報を、ビデオ出力処理の前もしくは後どちらかを選択するときに、必ずしも両者共に各出力処理の前もしくは後に一致させる必要がない選択方法を有することを特徴とするもので、例えばストリームデータから抜き出した音声情報はオーディオ出力処理の前に加算し、同文字情報はビデオ出力処理の後で加算するなど各々の情報毎に別々に加算できるような選択を可能とするという作用を有する。
【００２０】
第９の本発明（請求項９に対応）によるデータ再生方法は、再生するストリームが、デジタル放送信号のストリームだけでなく、外部からのアナログ信号をデジタル符号化したストリームや、もしくは予めデジタル符号化され記録メディアに記録されているストリームをも再生する手段を有し、再生されるコンテンツ内容を判断する手段を有し、再生時に、データから抜き出した音声情報を、前記判断手段の結果により、オーディオ出力処理の前もしくは後どちらかを選択し、もしくはデータから抜き出したテキストもしくは文字情報を、ビデオ出力処理の前もしくは後どちらかを選択して再生することを特徴とするもので、入力もしくは再生媒体を特定せず、同じ再生方法にて対応できるという作用を有する。
【００２１】
第１０の本発明（請求項１０に対応）によるデータ記録方法は、外部からのアナログ信号をデジタル符号化して記録する手段を有し、前記デジタル符号化したストリームの再生時に、データから抜き出した音声情報を、コンテンツ内容の判断結果によりオーディオ出力処理の前もしくは後どちらかを選択し、もしくはデータから抜き出したテキストもしくは文字情報を、ビデオ出力処理の前もしくは後どちらかを選択して再生できるように、前記デジタル符号化時に、予め再生時の各出力処理の前もしくは後を選択する指示情報を加算することを特徴とするもので、例えば可変速処理を行う前もしくは後で加算すべき情報を前もって記録しておくため、記録したストリームを後での可変速再生と組み合わせた加算再生時に有効であるという作用を有する。
【００２２】
第１１の本発明（請求項１１に対応）によるデータ再生方法は、デジタル放送が記録された記録媒体から、映像ストリーム、音声ストリームおよびデータの符号化されたストリームを、時刻同期を確保しながら再生する際に、ビデオデコード及びオーディオデコード処理後、ビデオおよびオーディオの出力処理において可変速再生を実施するときにオーディオ再生時刻情報を抜き出して、再生画像のスキップもしくは繰り替えしを実施してビデオとオーディオ再生同期を実現し、かつ前記データから抜き出した同期情報により前記オーディオ出力処理の前もしくは後のどちらかを選択して音声信号を加算し、前記同期情報により前記ビデオ出力処理の前もしくは後のどちらかを選択して画像合成して再生することを特徴とするもので、可変速再生時のビデオ再生とオーディオ再生の各々の同期に、さらにデータ放送ストリームのデータの再生の同期をあわせて実現するという作用を有する。
【００２３】
第１２の本発明（請求項１２に対応）によるデータ再生装置は、デジタル放送が記録された記録媒体から、映像ストリーム、データの符号化されたストリームをデコードするビデオデコード部及びデータ放送内容を解釈するデータ放送処理部と、前記データから抜き出したテキストもしくは文字情報を出力処理するＯＳＤ出力処理部と、前記ビデオデコード部出力の可変速処理等を行うビデオ出力処理部と、前記ビデオデコード部からの出力もしくは前記ビデオ出力処理部からの出力の少なくともどちらか一方を選択して前記テキストもしくは文字情報を加算する加算部と、を有するもので、例えばデータから抜き出した字幕情報などの文字情報をデコード画像に加算した後で、画像スキップ出力処理で同期させて出力するか、画像スキップ処理でスキップした後に文字スーパ情報などの文字情報を加算するかで、加算された文字情報の出力のさせ方を選択できるという作用がある。
【００２４】
第１３の本発明（請求項１３に対応）によるデータ再生装置は、デジタル放送信号が記録された記録媒体から、音声ストリーム、データの符号化されたストリームをデコードするオーディオデコード部及びデータ放送内容を解釈するデータ放送処理部と、前記データから抜き出した付加音情報を出力処理する付加音出力処理部と、前記オーディオデコード部出力の可変速処理等を行うオーディオ出力処理部と、前記オーディオデコード部からの出力もしくは前記オーディオ出力処理部からの出力の少なくともどちらか一方を選択して前記付加音を加算する加算部と、を有するもので、例えばデータから抜き出した付加音声情報などの音声情報をデコード音声に加算した後で、可変速処理で同期させて出力するか、可変速処理させた後に緊急出力音声情報などを加算するかで、加算音声の出力のさせ方を選択できるという作用がある。
【００２５】
第１４の本発明（請求項１４に対応）によるデータ再生装置は、デジタル放送信号が記録された記録媒体から、映像ストリーム、音声ストリーム、データの符号化されたストリームを、時刻同期を確保しながら再生するために、ビデオデコード及びオーディオデコード処理後、ビデオおよびオーディオの出力処理において可変速再生を実施するときに、ビデオ出力処理部及びオーディオ出力処理部の同期をとる同期処理部と、前記ビデオ出力処理部の前後を選択しＯＳＤ出力処理部からの出力を、前記データから抜き出した同期情報により加算する加算部と、オーディオ出力処理部の前後を選択し付加音出力処理部からの出力を、前記データから抜き出した同期情報により加算する加算部と、を有するもので、可変速再生時のビデオ再生とオーディオ再生の各々の同期に、さらにデータ放送ストリームのデータの再生の同期をあわせて実現するという作用を有する。
【００２６】
【発明の実施の形態】
以下に、本発明にかかる実施の形態について、図面を参照しつつ説明を行う。
【００２７】
（実施の形態１）
はじめに、本発明の実施の形態１によるデータ再生装置の構成を示すブロック図である図１を主として参照しながら、本実施の形態１のデータ再生装置の構成、及びデータ再生方法について説明する。図１は本発明のデータ再生装置の構成を表すブロック図である。
【００２８】
衛星デジタル放送が記録され、デジタル圧縮符号化されたオーディオ・ビデオ・データを格納する光ディスク等のデータ記録装置からデータを読み出すフロントエンド部（図示せず）と、フロントエンド部からのデータの供給を受け、多重化されて記録されているオーディオ・ビデオ・データを分離し、ビデオ再生時刻情報とオーディオ再生時刻情報を抽出する入力解析を行うシステムデコード部１と、システムデコード部１によって分離された圧縮ビデオデータをビデオ再生時刻情報に従って伸張処理を行うビデオデコード部２と、システムデコード部１によって分離された圧縮オーディオデータをオーディオ再生時刻情報に従って伸張処理を行うオーディオデコード部３と、データ放送内容から同期情報と音声、文字情報等を抜き出すデータ放送処理部４が入力を解析する部分である。
【００２９】
さらに、データ放送処理部４内の入力解析の後で、データから抜き出したテキストもしくは文字情報を出力処理するＯＳＤ出力処理部８と、ビデオデコード部２の出力の可変速処理等を行うビデオ出力部５と、前記ビデオデコード部２からの出力もしくは前記ビデオ出力処理部５１からの出力の少なくともどちらか一方を選択して前記テキストもしくは文字情報を加算する加算部がビデオ出力部５である。
【００３０】
さらに、データ放送処理部４内の入力解析の後で、データから抜き出した付加音情報を出力処理する付加音出力処理部９と、オーディオデコード部３の出力の可変速処理等を行うオーディオ出力処理部６１と、オーディオデコード部３からの出力もしくはオーディオ出力処理部６１からの出力の少なくともどちらか一方を選択して付加音を加算する加算部がオーディオ出力部６である。
【００３１】
さらに、ビデオ出力部５及びオーディオ出力部６の同期をとる同期処理部７とから構成されている。
【００３２】
図２は、システムデコード部１、ビデオデコード部２、オーディオデコード部３の詳細構成内容を示すブロック図である。
【００３３】
ビデオ処理は、システムデコーダ部１内で、システムストリームをビデオ・オーディオに分離するパーサ部２１１によって分離されたビデオデータを格納する圧縮ビデオバッファ部２１２と、圧縮ビデオバッファ部２１２に格納されたビデオ信号とビデオ再生時刻情報を関連づけるテーブルを有するビデオ再生時刻情報管理部２１３と、圧縮ビデオデータの属性情報（ビデオヘッダ情報）の解析、及び伸張を実行するビデオデコーダ部２と、伸張したビデオデータを格納するフレームバッファ部２２１と、フレームバッファ部２２１からデータを読み出して外部にビデオ信号を出力するビデオ出力部５から構成される。
【００３４】
オーディオ処理は、システムデコード部１内のパーサ部２１１によって分離されたオーディオデータを格納する圧縮オーディオバッファ部２１４と、圧縮オーディオバッファ部２１４に格納されたオーディオ信号とオーディオ再生時刻情報を関連づけるテーブルを有するオーディオ再生時刻情報管理部２１５と、圧縮オーディオデータの属性情報（オーディオヘッダ情報）の解析、及び伸張を実行するオーディオデコーダ部３と、伸張したオーディオデータを格納するＰＣＭバッファ部２３１と、ＰＣＭバッファ部２３１内のオーディオデータを外部に出力するオーディオ出力部６から構成される。
【００３５】
ＭＰＥＧでの同期を実現するために、ビデオとオーディオの各アクセスユニットと呼ばれる復号再生の単位ごと（ビデオは１フレーム、オーディオは１オーディオフレーム）に、いつ復号再生すべきかというタイムスタンプ情報が付加されている。このタイムスタンプ値は、ＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏｎ  Ｔｉｍｅ  Ｓｔａｍｐ）と呼ばれ、ビデオ用は、Ｖｉｄｅｏ  ＰＴＳ（ＶＰＴＳと略）、オーディオ用は、  Ａｕｄｉｏ  ＰＴＳ（ＡＰＴＳと略）の再生出力の時刻管理情報を表している。
【００３６】
再生装置内の標準のシステム基準参照部（図示せず）では、ＭＰＥＧシステムの基準復号器内部のＳＴＣ（Ｓｙｓｔｅｍ  Ｔｉｍｅ  Ｃｌｏｃｋ）  を発生する。装置側でＳＴＣを作成するためには、ＤＶＤディスク等で使用されるプログラムストリーム（ＰＳ）で用いるＳＣＲ（Ｓｙｓｔｅｍ  Ｃｌｏｃｋ  Ｒｅｆｅｒｅｎｃｅ：システム時刻基準参照値）、またはＢＳデジタル放送で使用されるトランスポートストリーム（ＴＳ）で用いるＰＣＲ（Ｐｒｏｇｒａｍ  Ｃｌｏｃｋ  Ｒｅｆｅｒｅｎｃｅ：プログラム時刻基準参照値）の値を用いる。その最終バイトの到着時（読み込み時）に、ＳＣＲまたはＰＣＲの示す値をＳＴＣに設定することによって、基準時刻を設定することができる。さらに、このＳＴＣの値の設定と、ＰＬＬ（位相ロックループ）回路を組み合わせることにより、デコーダ側の基準時刻用システムクロックと完全に周波数が一致したＳＴＣをもつことができる。このＳＴＣのシステムクロックは２７メガヘルツで構成される。このＳＴＣからカウンタ等により分周することにより、各ＰＴＳ（９０キロヘルツ周期）が参照される。各デコーダは、ＳＴＣが、ビデオはＶＰＴＳ、オーディオはＡＰＴＳが一致したときに、そのアクセスユニットを再生出力する。ＰＴＳの精度は、９０キロヘルツである。従って、この９０キロヘルツの精度の範囲内で、ＳＴＣとＶＰＴＳ、ＡＰＴＳの同期をとれるように、各々のデコードを実施すれば、ＡＶ同期のとれた出力がなされるものである。
【００３７】
図４は、本発明による同期処理の流れ図である。ステップＡ３０１及びＡ３０２において、システムデコード部１は、データ記録装置等から入力された符号化データを、圧縮ビデオデータと圧縮オーディオデータに分離する。圧縮ビデオデータは、圧縮ビデオバッファ部２１２に、圧縮オーディオデータは、圧縮オーディオバッファ部２１４に格納される。次にステップＡ３０３で、ビデオフレームについているビデオ再生時刻情報ＶＰＴＳを抜き出し、圧縮ビデオバッファ部２１２への参照アドレスと共に、ビデオ再生時刻管理部２１３に格納される。
【００３８】
一方、ステップＡ３０４で、圧縮オーディオデータは、図３に示すように、オーディオフレームについているオーディオ再生時刻情報ＡＰＴＳを抜き出し、ＡＰＴＳごとにスロットという単位で分割し、圧縮オーディオバッファ部２１４への参照アドレスと共に、オーディオ再生時刻管理部２１５に格納される。
【００３９】
ステップＡ３０５で、ＶＰＴＳがシステム時刻基準（ＳＴＣ）に達するまえに、ビデオデコードを実施しフレームバッファ部２２１に格納する。同じようにステップＡ３０６で、ＡＰＴＳがＳＴＣに達するまえに、オーディオデコードを実施し、ＰＣＭバッファ部２３１に格納する。各々デコードは実施するが、デコード後直ちに出力するわけではない。
【００４０】
次に、ステップＡ３０７で、ＳＴＣを参照し、ＡＰＴＳが一致もしくは超過した時点で、該ＡＰＴＳに関連するオーディオデコードデータを、ＰＣＭバッファ部２３１から、オーディオ出力部６を介して出力する。
【００４１】
さらに、ステップＡ３０８で、ＳＴＣを参照し、ＶＰＴＳが一致もしくは超過した時点で、該ＶＰＴＳに関連するビデオデコードデータを、フレームバッファ部２２１から、ビデオ出力部５を介して出力する。なお、装置によっては、光出力端子からドルビーデジタル等のストリームのままで出力する場合もある。このような場合、ストリームバッファ（図示せず）に一旦蓄えて、ＳＴＣを参照し、ＡＰＴＳが一致もしくは超過した時点で、オーディオ出力部６から出力する。
【００４２】
入力されるデータの終了もしくは、ユーザによる再生の停止が指示されれば、ステップＡ３０９でデコードを終了する。
【００４３】
ＳＴＣに対して、ＶＰＴＳ及びＡＰＴＳを同期させるよう、ビデオデコード及びオーディオデコードを実施する。特に、ＡＰＴＳにＶＰＴＳが、５０ミリ秒先行から、３０ミリ秒遅延までの間にあわせれば、リップシンクのずれは気にならない程度となる。
【００４４】
以上は通常速度による再生方法とオーディオとビデオの同期の方法を説明してきたが、次に、高速再生などの可変速再生時における同期の方法について図６を用いて、説明する。
【００４５】
図６は、ＡＶ再生において、高速再生など可変速再生に対応する場合のブロック図を示している。
【００４６】
可変速再生も、高速に再生する仕方に、オーディオもしくはビデオのストリームのデコードをすべて実施したうえで、高速再生などを行う高速デコード処理と、読み出し位置をスキップした部分をカットし、スキップされなかった部分の再生のみを行うスキップ処理に分割される。
【００４７】
まず高速デコード処理時における同期再生方法について説明する。システムデコード部１が、通常再生に必要な入力速度以上のデータを取り込んで、ビデオとオーディオのストリームに分割後、各々のバッファ部へストリームをいれて、ビデオデコード部２及びオーディオデコード部３が起動される。各々のデコーダは、通常の再生速度以上の高速で（再生速度によらず、与えられている資源を有効に活用し）、デコードを実施し、フレームバッファ部２２１、ＰＣＭバッファ部２３１にデコード結果を格納する。
【００４８】
その後で、例えば２倍速度再生を実施する場合には、オーディオフレームをすべて再生するのではなく、オーディオ出力部６内の可変速処理部６２にて、オーディオ出力処理変換後に再生時間が、半分になるように特定のオーディオフレームをスキップして再生した音声データを作成し、出力バッファ部６３へ格納する。そして同期処理部７は、再生するオーディオフレームの部分に該当するＡＰＴＳ値を取得する。
【００４９】
一方、ビデオ出力部５では、同期情報を同期処理部７から獲得し、該当するＡＰＴＳに対応するビデオを再生出力するために、特定のフレームの表示をスキップしてＡＶ同期を再生する。つまり、オーディオフレーム処理単位でスキップ再生したときのＡＰＴＳに同期したビデオ表示を実施することによって、可変速再生時のＡＶ同期をはかることができる。
【００５０】
また別の方法として、読み出し位置をスキップすることによる高速再生について説明する。システムデコード部１へは、スキップした後のストリームしか入力されないので、入力されたストリームから、ＳＴＣなどのシステム基準時刻情報や、ＡＰＴＳ、ＶＰＴＳを読みとることで同期を実現する。これは通常再生のＡＶ同期方法と同じである。ただし、０．５秒から数秒程度再生したあとで、またスキップを行うことで、全体として高速な再生を実現する。
【００５１】
ここまでは、オーディオ及びビデオのストリームによる同期方法について説明してきたが、ＢＳデジタル放送などのデータ放送によるデータストリーム付きの同期について説明する。図５は、データ、字幕・文字スーパがついたテレビサービスのストリーム構成を示している。
【００５２】
図５では、１つの映像ストリームに対して、音声ストリームが２つ（ＥＳ２、ＥＳ３で、例えば日本語ステレオと英語ステレオなど）、データとして３ストリーム（ＥＳ４、ＥＳ５、ＥＳ６）を含んでいると想定する。ＰＩＤは、ＴＳパケットで、各々重複しないように予め定められて放送される。さらにコンポーネントタグと呼ばれる識別子がストリーム種別ごとに定められていて、映像なら０ｘ００、音声は０ｘ１０、データなら０ｘ４０、字幕なら０ｘ３０、文字スーパなら０ｘ３８などとタグ値が定められているので、受信側はこのタグ値をみればストリーム種別が判別できるようになっている。
【００５３】
データは、ＢＭＬ（Ｂｒｏａｄｃａｓｔ  Ｍａｒｋｕｐ  Ｌａｎｇｕａｇｅ）という方式で記述されていて、テレビの映像や音声とは別の映像情報、音声情報、文字情報を１つの画面上に表示させるものである。視聴者のリモコン等の操作により、各番組に関連のあるデータを表示できる。ニュース情報のＢＭＬ、天気情報のＢＭＬなど多くの情報で構成されている。このデータは、番組と完全同期（番組と連動した関連情報）、番組中で内容更新（進行にあわせたコンテンツ情報の変更）、番組と非同期（ニュースや天気予報など）がある。
【００５４】
字幕、文字スーパは、テレビ番組再生の映像に文字を重ねて表示するもので、ドラマの台詞など映像や音声に同期して表示する場合を字幕と呼び、地震情報や警報、各種のニュース速報など再生している映像とは関係ないものを文字スーパとして区別する。
【００５５】
字幕と文字スーパでは、時刻同期をとる、とらないという違いがある。しかしながら、システム構成上、共通の伝送方法をとり、同期をとるＰＥＳを使っている。映像用ＰＥＳ、音声用ＰＥＳとは構成が少し異なる、データ伝送専用のＰＥＳの方式を持っている。ＰＥＳパケット中のヘッダを除くＰＥＳデータのペイロードをデータグループと呼ぶ。データグループには、字幕管理データと字幕文データの２種類のデータがある。これらはデータグループヘッダにより識別される。
【００５６】
字幕管理データは、使用言語数や字幕の表示モードなど、共通設定情報を伝達するものであり、字幕文データは、字幕や文字スーパの文字情報に、表示時間のデータを付加したものである。字幕表示や文字スーパの時刻同期の方法として、例えばＰＥＳのＰＴＳによる指定（番組同期）、字幕文データの表示時間による指定（時刻同期）と、受信後即座に表示する指定（非同期）がある。
【００５７】
データ放送処理部４は、データ放送ストリームのうち、字幕ストリーム及び文字スーパーストリームを抽出する。さらにそれらに関連する時刻管理データがあれば、それも抜き出す。そして表示すべき文字データと、ＰＴＳ指定による時刻データ、表示時間情報等をＯＳＤ出力表示部８へ送り、同期処理部７にてシステムクロックや、音声用ＡＰＴＳや、映像用ＶＰＴＳを参照することにより、表示データとの同期をはかることができる。なお、字幕文以外に、文字種類、サイズ、表示指定位置、スクロールの指定、表示色などの修飾データや、ビットマップ図形データも含まれており、指示に従った表示が必要である。
【００５８】
加えて付加音と呼ばれるＴＶ等の受信機側の内蔵音の再生を指定することもある。起動音や警告音など、番組再生の進行や、緊急放送等にあわせた音が、通常再生音声に加算されて再生される。なお、付加音の情報は、予め装置内に、ＲＯＭなどの不揮発性メモリに格納しておく構成が通常である。一方、あらかじめ装置側で用意した音だけでなく、データストリームとして受信データをＲＡＭに記録しておき、そのデータを再生する場合もある。付加音出力処理部９は、データ放送ストリームから付加音再生の種別や時間に関する情報を受け取り、再生時刻指定があれば、その時刻にあわせて音再生を実行する。付加音再生は、字幕や文字スーパと組み合わせた形で再生される。従ってＰＴＳにより再生指定された文字表示と連動する付加音は同期が必要であり、文字スーパのように、受信再生時に即出力すべき表示及び付加音は、再生映像や音声に同期することなく再生を行うものである。
【００５９】
以上は通常速度による再生方法とオーディオとビデオの同期の方法を説明してきたが、次に、高速再生などの可変速再生時における同期の方法、及び字幕等との同期について図６を用いて、説明する。
【００６０】
可変速対応時においても、データ放送処理部４から抽出された字幕ストリーム及び文字スーパーストリームと、時刻管理データにより、同期を確立することができる。表示すべき字幕等の文字データと、ＰＴＳ指定もしくは再生時刻設定の情報による時刻データ、表示時間情報等をＯＳＤ出力表示部８へ送り、同期処理部７にてシステムクロックや、音声用ＡＰＴＳや、映像用ＶＰＴＳを参照することにより、表示データとの同期をはかることができる。さらに、付加音出力処理部９は、データ放送ストリームから付加音再生の種別や時間に関する情報を受け取り、再生時刻指定があれば、その時刻にあわせて音再生を実行する。付加音再生は、字幕や文字スーパと組み合わせた形で再生される。
【００６１】
そして、ＯＳＤ出力表示部８からの出力と、フレームバッファ部２２１からの出力を、ビデオメモリ加算部５２で、加算した結果をビデオ出力する。スキップ処理において、該当するビデオフレームの出力ＶＰＴＳに該当する字幕データがないときには、この字幕データを加算することなく、次の字幕データの同期にあったフレーム出力時刻まで待つ。ＮＴＳＣ方式の場合、１秒間に約３０枚の出画なので、各々のＰＴＳの時刻差は３３ｍｓ程度である。ＶＰＴＳ基準とする場合には、プラスマイナス１６．５ｍｓ以内であれば、同期していると判断し字幕等を重ねる処理をすればよい。なお、付加音データとＰＣＭバッファ部の音声合成も同じ原理で同期をはかればよい。こちらは１オーディオフレーム単位１０数ｍｓ（オーディオ圧縮方式の差により数ｍｓから数十ｍｓ）精度以内の差であれば同期していると判断し、合成音を生成すればよい。
【００６２】
なお、文字スーパのストリーム等、同期に必要な時刻情報がない場合には、現在出画、もしくは出音しているＰＴＳ値を参照し、そのＰＴＳもしくは再生時刻情報をＰＴＳに換算する手段をもって字幕データや付加音データの同期時間と設定すれば、字幕データの同期再生と同じ方法により、データ合成をはかることができる。
【００６３】
図７は、ビデオデコード処理後、文字データから抜き出したテキストもしくは文字情報を同期情報によりビデオ出力処理の前もしくは後どちらかを選択して画像合成して再生する処理を流れ図にしたものである。ステップＡ３０５で、ビデオデコードした結果をフレームバッファ部へ格納する。ステップＡ３５１で、ビデオ出力処理の前後どちらかを選択する。判断基準は後で詳細に説明する。
【００６４】
ステップＡ３５２は、ビデオ再生時刻情報と字幕表示時刻情報が一致（許容出力時刻差以内で例えば３３ｍｓ以内）すれば、データから抜き出した文字情報をデコード画像に加算し、ステップＡ３５３で、画像スキップ出力処理を行う。一方ステップＡ３５４で、画像スキップ処理でスキップした後に、ステップＡ３５５で文字情報を加算する。ステップＡ３０８で、オーディオ側の出力と同期をあわせて出力する。
【００６５】
従って、ビデオデコード処理後、前記データから抜き出したテキストもしくは文字情報を同期情報によりビデオ出力処理の前もしくは後どちらかを選択して画像合成して再生するもので、例えばデータから抜き出した文字情報をデコード画像に加算した後で、画像スキップ出力処理で同期させて出力するか、画像スキップ処理でスキップした後に文字情報を加算するかで、加算された文字情報の出力のさせ方を変えることができる。
【００６６】
また、図７の処理とは異なり、ビデオ出力処理前か後かを判定したあとで、一旦ビデオスキップ処理を施し、表示するビデオ再生時刻（ＶＰＴＳ）に合致する映像に字幕を加算するという構成でもよい。つまりビデオ出力処理前に加算する場合は、ビデオスキップ処理を施し、表示するビデオのＶＰＴＳと、再生時刻情報が一致する字幕のみを選別して加算し、表示を行う。一方ビデオ出力処理後に加算する場合は、ビデオスキップ処理を実施したあとで、表示されているビデオのＶＰＴＳには依存せず、文字スーパ等を加算して表示を行う。このような構成であると、ビデオスキップ処理を施したあと、表示されるビデオのＶＰＴＳと、字幕等を同期の有無で加算するかといった構成となり、字幕などの加算部の処理を共通化できる。
【００６７】
図８は、オーディオデコード処理後、付加音データから抜き出した付加音情報を同期情報によりオーディオ出力処理の前もしくは後どちらかを選択して音声合成して再生する処理を流れ図にしたものである。ステップＡ３０６で、オーディオデコードした結果をＰＣＭバッファ部へ格納する。ステップＡ３３１で、ビデオ出力処理の前後どちらかを選択する。判断基準は後で詳細に説明する。
【００６８】
ステップＡ３３２は、オーディオ再生時刻情報と付加音再生時刻情報が一致（許容出力時刻差以内で例えば数十ｍｓ以内）すれば、データから抜き出した付加音情報をデコード音声に加算し、ステップＡ３３３で、オーディオ可変速処理を行う。一方ステップＡ３３４で、オーディオ可変速処理した後に、ステップＡ３３５で付加音情報を加算する。ステップＡ３０７で、ビデオ側の出力と同期をあわせて出力する。
【００６９】
可変速処理を行うために。オーディオデコード処理が通常再生速度処理以上の処理能力があれば、オーディオ出力処理が可変速処理で、データから抜き出した音声情報を、前記オーディオデコード処理後に加算したうえで、前記可変速処理を施すことができる。例えばデータから抜き出した音声情報をデコード音声に加算した後で、オーディオ出力処理で可変速処理を施すため、加算された音声情報もデコード音声の可変速処理と同期させた音声出力が可能である。
【００７０】
一方、データから抜き出した音声情報を、前記可変速処理後に加算することもできる。オーディオ出力処理で可変速処理を施した後でデータから抜き出した音声情報を加算するため、デコード音声が可変速処理されても、加算された音声情報は通常速度音声での加算を行うことができる。
【００７１】
加算の選択手段として、再生ストリームのコンテンツ内容を判断する手段を有れば、再生時に、データから抜き出した音声情報を、前記判断手段の結果により、オーディオ出力処理の前もしくは後どちらかを選択し、もしくはデータから抜き出したテキストもしくは文字情報を、ビデオ出力処理の前もしくは後どちらかを選択して再生することができる。
【００７２】
例えば再生コンテンツにより、カラオケの字幕のようにオーディオ・ビデオに同期した各出力処理を施すほうがいいか、それとも緊急臨時放送のように各出力処理を施したあとで文字情報をだすほうがいいか、再生コンテンツの内容に従って選択することができる。
【００７３】
加算の選択手段として、利用者による指示内容からコンテンツの再生処理内容を選択する手段を有すれば、データから抜き出した音声情報を、前記選択手段の結果により、オーディオ出力処理の前もしくは後どちらかを選択し、もしくはデータから抜き出したテキストもしくは文字情報を、ビデオ出力処理の前もしくは後どちらかを選択して再生することができる。
【００７４】
例えば、利用者の指示に従って、可変速処理の前に音声情報と文字情報を加算させるか、後に音声情報と文字情報を加算させるといった、利用者の指示に従った加算が選択できる。
【００７５】
加算の選択手段として、再生するストリームのコンテンツ内容及び利用者による使用用途を判断する手段を有すれば、再生時に、データから抜き出した音声情報を、前記判断手段の結果により、オーディオ出力処理の前もしくは後どちらかを選択し、もしくはデータから抜き出したテキストもしくは文字情報を、ビデオ出力処理の前もしくは後どちらかを選択して再生することができる。
【００７６】
例えば、カラオケコンテンツであっても利用者の指示で、可変速処理では、可変速処理の前に音声情報と文字情報を加算させるが、音程のみを変化させる音程変化処理では、音程変化処理の後に音声情報と文字情報を加算させるといった、コンテンツ内容に加えて利用者の指示内容を加味して各出力処理の前後への加算を選択できる。
【００７７】
また、米国の放送方式では字幕は、クローズドキャプション信号と呼ばれ、利用者のリモコン操作により、表示と非表示とを切り替えることが仕様で定められている。従って本発明の実施の形態に適用した場合は、利用者の指示で、各出力処理の加算の選択と、表示の選択が望まれる。さらに字幕文字などを、縦方向や横方向にスクロールするとか、ワイプを行うなどの各種表示効果を伴う場合においても、各種出力処理の前後を選択できるようにしてあれば、早送り時においても、重要な情報を見逃したり、もしくは、字幕が全部表示確認されないと次の画面の表示にうつれないといったまどろっこしさから解消される。このような字幕や、字幕の類似例として、米国のクローズドキャプションだけでなく、欧州のテレテキストなどが存在する。
【００７８】
さらに、字幕と音声の選択を別々に行えるように構成すると、例えばストリームデータから抜き出した音声情報はオーディオ出力処理の前に加算し、同文字情報はビデオ出力処理の後で加算するなど各々の情報毎に別々に加算できるような設定が可能となる。
【００７９】
入力されるストリームは、デジタル放送信号を受信記録したストリームだけとは限らない。外部からのアナログ信号をデジタル符号化したストリームでもよいし、もしくはＤＶＤディスクのように予めデジタル符号化され記録メディアに記録されている商用コンテンツのストリームでもよい。
【００８０】
ＤＶＤディスクのコンテンツのように、ビデオストリームとオーディオストリーム以外に、サブピクチャと呼ばれる字幕などを含む副映像のストリームや、同期して再生するような音声情報を含むストリームを有し、これらのストリームの再生コンテンツ種別や内容を判断する手段を有する構成とする。
【００８１】
すると、コンテンツ再生時に、デコードした音声情報ストリームから得た音声情報を、前記判断手段の結果により、オーディオ出力処理の前もしくは後どちらかを選択して再生できる。また、サブピクチャ等をデコードすることによるテキストもしくは文字情報を、ビデオ出力処理の前もしくは後どちらかを選択して再生することができる。よって、デジタル放送信号入力記録だけでなく、ＤＶＤディスクのコンテンツにも対応可能であるため、再生媒体を特定することなく、同じ再生方法にて対応できる。
【００８２】
さらに、外部からのアナログ信号をデジタル符号化して記録するための手段を持ち、前記デジタル符号化したストリームの再生時に、データから抜き出した音声情報を、コンテンツ内容の判断結果によりオーディオ出力処理の前もしくは後どちらかを選択し、もしくはデータから抜き出したテキストもしくは文字情報を、ビデオ出力処理の前もしくは後どちらかを選択して再生できるように、予めデジタル符号化時に再生時の選択指示情報を加算しておくデータ記録装置があれば、本データ再生装置の効果は高まる。例えば可変速処理を行う前もしくは後で加算すべき情報を前もって記録しておくため、記録したストリームを後での可変速再生と組み合わせた加算再生時に有効である。
【００８３】
（実施の形態２）
本発明の実施の形態２によるデータ再生装置の構成を示すブロック図である図１を主として参照しながら、本実施の形態２のデータ再生装置の構成、及びデータ再生方法について説明する。
【００８４】
データ再生装置の構成は、図１の構成と同一である。本実施の形態２のオーディオ出力処理部６１の可変速制御を行う方法について、図９に示す再生速度変換機能を行う時の例を以下に詳しく説明する。
【００８５】
可変速処理を行うために。オーディオデコード処理が通常再生速度処理以上の処理能力が必要であることは、先に説明したとおりである。例えば１．３倍ぐらいの再生速度を保つためには、再生速度より若干高い１．５倍程度のデコード処理能力が望ましい。これは単にデコード処理性能だけでなく、再生メディアからの読み出し処理性能や、転送処理性能も含んだ能力が必要である。
【００８６】
デコードを高速にすすめ、ＰＣＭバッファ等に保管されたオーディオデータは、次のように処理される。図９において、上は可変速処理前の通常速度による再生のデータであり、下は可変速処理後の高速再生のデータを示している。上は、６オーディオフレーム（１オーディオフレームは先に説明した１０数ｍｓ程度）をＴ１の時間で、通常再生する場合を示している。一方、下は１つめと２つめのオーディオフレームの再生を重ねて行い、結果としてＴ２の時間で再生した場合を示している。圧縮比を処理後の時間長を処理前の時間長で割算した値と定義すると、速度比は、圧縮比の逆数となる。従ってここでは、５分の６倍（１．２倍）での高速再生となる。
【００８７】
このとき重なっているオーディオフレーム再生の一方をフェードアウトさせながら、一方をフェードインすることで重ね合わせを実現する。両者は通常再生速度での重ね合わせとする。そのほかの重ならないオーディオフレームにおいては、通常速度再生となる。高速再生といっても、すべてが通常再生速度での再生であるので、原音のピッチが変わることはないので、自然な音声がききとれるような可変速再生が実現できる。
【００８８】
このようなオーディオ出力処理部６１での可変速制御を実施するとともに、データから抜き出した音声情報を、前記オーディオデコード処理後に加算したうえで、前記可変速処理を施すか、データから抜き出した音声情報を、前記可変速処理後に加算処理を施すか選択する手段を有すれば、加算したデータ音声も、元の原音と相違ない音程で再生が可能である。
【００８９】
なお、再生音声の同期とデータから抜き出した付加音の同期については先に説明したとおりである。加算前に同期をとる場合は、もともと全オーディオフレームに対して算出されるＰＴＳをもとに、付加音側のＰＴＳを参照して加算すればよい。一方可変速後、付加音加算する場合は、オーディオフレームの重なり部分のＰＴＳは、重なっているどちらかのオーディオフレームのＰＴＳを有効にするという規則を予め定めておけばよい。
【００９０】
（実施の形態３）
本発明の実施の形態３によるデータ再生装置の構成を示すブロック図である図１を主として参照しながら、本実施の形態２のデータ再生装置の構成、及びデータ再生方法について説明する。
【００９１】
データ再生装置の構成は、図１の構成と同一である。オーディオ出力処理部６１は、可変速再生に限るものではない。例えばデコードした音声の音の高さを変える処理でもよい。デジタル放送信号を受信記録し、少なくともオーディオ、データの符号化されたストリームを、時刻同期を確保しながら再生する際に、オーディオデコード処理後、データから抜き出した音声情報を同期情報によりオーディオ出力処理の前もしくは後どちらかを選択して加算し再生する。すると、例えばデータから抜き出した音声情報をデコード音声に加算した後で、オーディオ出力処理で元音声の音程の高低を変化させるか、オーディオ出力処理で元音声の音程の高低を変化させた後でデータから抜き出した音声情報を加算するかで、加算された音声情報の出力のさせ方を変えることができる。
【００９２】
また、オーディオ出力処理部６１として、そのほかに各種サラウンド効果を加えた音響効果を実施することもできる。付加音を加えたあとで、サラウンド効果を実施するか、サラウンド効果を加えたあとで付加音を加えるかを変えることができる。結果として付加音の広がり感や、出力スピーカを変更することができる。そのほかに、映像処理と音響処理間の同期処理遅延を考慮した遅延設定効果などがオーディオ出力処理部６１に想定できる。接続した映像機器と音響機器の出力遅延を、本発明のデータ再生装置側で設定できるように構成した場合、遅延を施す前に付加音を加えるか、遅延後に付加音を加えるかを設定できる。
【００９３】
一方、ビデオ出力処理部５１として、画面拡大縮小などの出力サイズ変換を設定した場合、字幕を加えた上で拡大するのか、拡大してから字幕を加えるのかといった選択が可能となる。ほかにも、出力テレビモニタにあわせた高・低解像への解像度変換、レターボックスとサイドパネルの出力フォーマット変換、インターレース画質からプログレッシブ画質へのＩＰ変換、ＮＴＳＣ方式とＰＡＬ方式間の周波数変換などが想定される。
【００９４】
各オーディオ・ビデオ出力処理の機能別に、加算の前後の選択ができるように構成すれば、画面拡大後、字幕を追加して、可変速処理を施すといった複数出力処理にも対応することができる。
【００９５】
また付加音以外に、複数の記録音声を加算するためのアフレコ音声、伴奏音にカラオケなどのマイクエコーを加算するマイクエコー音声も、オーディオ出力処理の前後に選択して加算できる構成をとれば、上記と同じ効果が得られる。一方、字幕や文字スーパ以外に、個人で編集時に挿入したい文字や図形なども、ビデオ出力処理の前後に選択して加算できる構成をとることで、同様な効果が得られる。このためには、専用のオーディオ演算素子やＤＳＰ（デジタルシグナルプロセッサ）を搭載すること、あるいは高性能のＣＰＵを用いることでこれを実現できる。
【００９６】
また２つ以上のオーディオ入力ストリームに対し、オーディオ出力処理前後の加算位置を別々に設定したりするバリエーションもある。また同一のオーディオストリームに対し、２つ以上のビデオ入力ストリームがある場合がある。マルチアングルで撮影した映像をデジタル衛星放送やケーブル放送で放送している。このような場合にも、ビデオデコード能力等が可能であるならば、各々のビデオ出力処理の前後に個別に設定できる構成とすることによって、利用範囲を広げることができる。
【００９７】
なお、外部接続機器の機器ＩＤ等、相手側機器を特定する情報を認識することによって、各出力処理の前後加算の選択を設定するような構成でもよい。例えば、相手側出力機器側の機器種別を知るＩＤ番号等を受け取り、本体内もしくは、各種設定条件を、条件設定用のメモリカード内のテーブルを参照し、設定を行うような構成をとれば、再生装置による設定を利用者の操作をともなわずとも実現することが可能である。これらの外部接続機器には、ＴＶなどのモニタ出力機器や、オーディオ出力アンプ、ＡＶセレクタ機能を有するＡＶアンプなどのインタフェース機器、携帯型出力機器、車載用ＡＶ再生機器などが想定される。
【００９８】
なお、入力データは、外部から入力されるデータとして説明してきたが、予め機器内に存在するデータであってもよい。
【００９９】
今までは、システムデコード部１が、ビデオとオーディオ及びデータを分離する方式ついて説明してきた。しかし、あらかじめ各々が分離されているファイルデータであってもよい。圧縮ビデオデータと関連する再生時刻情報、圧縮オーディオデータと再生時刻情報、及びこれに関連するデータ放送情報を入力とし、各々の再生時刻情報に対し、同期情報とともに再生できる構成であれば、本発明のデータ再生方法でデータ再生装置を構成することができる。これは、ビデオカメラ等で撮影した信号をパーソナルコンピュータ上で編集した結果として、ＡＶ及びデータの混合ファイルもしくは、ＡＶデータ独立のファイルどちらの場合でも、圧縮ビデオデータと関連する再生時刻情報、圧縮オーディオデータと再生時刻情報、データ情報を互いに関連づけた同期をとって再生する場合すべてに適応されるものである。
【０１００】
このデータ再生方法及び、装置の適用例としては、セットトップボックス、デジタル衛星放送受像機及びその記録機器、ＤＶＤプレーヤもしくはＤＶＤレコーダ、ＶＣＤの関連機器、ハードディスクレコーダ、パーソナルコンピュータなどがある。本発明のデータ再生方法によるＡＶデータ同期プログラムを作成しておくことにより、パーソナルコンピュータ等へ、外部からの動作プログラムをロードして同期実行動作させることができる。
【０１０１】
なお、本発明はコンピュータプログラムによって実現されてもよく、これを磁気ディスクやＣＤ−ＲＯＭ等の記録媒体に格納することで、コンピュータシステムで容易に実施することが可能となる。
【０１０２】
【発明の効果】
以上説明したように、本発明では、デジタル放送信号を受信記録したものを、時刻同期を確保しながら再生する際に、一旦デコード処理後、前記データから抜き出した字幕情報や音声情報を同期情報により例えば可変速処理を行うビデオ出力処理及びオーディオ出力処理の、前もしくは後どちらかを選択して加算する手段を有することより、可変速再生時にも出力ビデオもしくは出力オーディオとデータの同期をはかる場合と、同期をはからず非同期を選択して再生する場合のどちらをも選択できる、データ再生方法または装置を提供することができるという効果がある。
【図面の簡単な説明】
【図１】本発明の実施の形態１の例のデータ再生装置の構成を示すブロック図
【図２】本発明の実施の形態１の例のシステムデコード部の構成を示すブロック図
【図３】本発明の実施の形態１の例のオーディオ再生時刻情報管理部の構成図
【図４】本発明の実施の形態１の例のＡＶ同期制御を説明する流れ図
【図５】本発明のデータ放送ストリームの構成例を示す図
【図６】本発明の実施の形態１の例のデータ再生装置のデータ加算の構成を示すブロック図
【図７】本発明の実施の形態１の例のビデオ信号加算を説明する流れ図
【図８】本発明の実施の形態１の例のオーディオ信号加算を説明する流れ図
【図９】本発明の実施の形態２の例のオーディオ可変速処理の原理を説明する図
【符号の説明】
１  システムデコード部
２  ビデオデコード部
３  オーディオデコード部
４  データ放送処理部
５  ビデオ出力部
６  オーディオ出力部
７  同期処理部
８  ＯＳＤ出力処理部
９  付加音出力処理部
５１  ビデオ出力処理部
６１  オーディオ出力処理部
【図１】
2005012499.tif 000003
【図２】
2005012499.tif 000004
【図３】
2005012499.tif 000005
【図４】
2005012499.tif 000006
【図５】
2005012499.tif 000007
【図６】
2005012499.tif 000008
【図７】
2005012499.tif 000009
【図８】
2005012499.tif 000010
【図９】
2005012499.tif 000011