(57)【要約】      （修正有）【課題】放送局側と端末側でクロック信号がずれた場合に、聴感上の音質劣化を抑えながら、音声と映像を同期させる。【解決手段】デマルチプレクサ２０は、放送データＴＳから符号化オーディオデータＡＣＯＤ及びクロック信号ＣＬＫ−Ｂを抽出する。位相検出部３０は、抽出されたクロック信号ＣＬＫ−Ｂとシステムクロック信号ＣＬＫ−Ｓとの位相差を検出する。デコーダ部４０は、フレーム毎に符号化オーディオデータＡＣＯＤをデコードしてデコードオーディオデータＡＤＥＣを生成し、また、オーディオデータＡＤＥＣのストリームの切り替わりを検出する。調整判定部６０は、あるフレームにおいてオーディオデータＡＤＥＣの再生速度の調整が必要か否かを判定する。調整が必要と判定された場合、再生速度調整部８０は、オーディオデータＡＤＥＣがシステムクロック信号ＣＬＫ−Ｓに同期するように、オーディオデータＡＤＥＣの再生速度を調整する。【選択図】図２
2009225327.tif 000002
【特許請求の範囲】
【請求項１】
放送データから符号化オーディオデータ及びクロック信号を抽出するデマルチプレクサと、
前記抽出されたクロック信号とシステムクロック信号との位相差を検出する位相検出部と、
フレーム毎に前記符号化オーディオデータをデコードしてデコードオーディオデータを生成し、また、前記デコードオーディオデータのストリームの切り替わりを検出するデコーダ部と、
あるフレームにおいて前記デコードオーディオデータの再生速度の調整が必要か否かを判定する調整判定部と、
前記調整が必要と判定された場合に、前記あるフレームにおいて再生される前記デコードオーディオデータが前記システムクロック信号に同期するように、前記デコードオーディオデータの再生速度を調整する再生速度調整部と
を備え、
前記調整判定部は、前記抽出されたクロック信号と前記システムクロック信号との間に位相差が存在し、且つ、前記あるフレームが前記ストリームの切り替わりとして検出された場合に、前記調整が必要と判定する
音声再生速度調整装置。
【請求項２】
請求項１に記載の音声再生速度調整装置であって、
前記デコーダ部は、前記あるフレームにおける前記デコードオーディオデータのヘッダ情報が前のフレームにおけるものと異なっている場合に、前記あるフレームを前記ストリームの切り替わりとして検出する
音声再生速度調整装置。
【請求項３】
請求項１又は２に記載の音声再生速度調整装置であって、
１フレーム全体の前記デコードオーディオデータのパワーをフレーム毎に算出するフレームパワー算出部を更に備え、
前記あるフレームが前記ストリームの切り替わりとして検出されず、且つ、前記位相差が所定の値以上である場合、前記調整判定部は、前記あるフレームに関して算出された前記パワーと所定の閾値レベルとの比較を行い、
前記算出されたパワーが前記所定の閾値レベル以下の場合、前記調整判定部は、前記調整が必要と判定する
音声再生速度調整装置。
【請求項４】
請求項３に記載の音声再生速度調整装置であって、
前記所定の閾値レベルは、前記あるフレームより前の所定数のフレームに関して算出された前記パワーの平均値より小さい
音声再生速度調整装置。
【請求項５】
請求項３又は４に記載の音声再生速度調整装置であって、
前記あるフレームは、複数のセグメントに分けられ、
前記フレームパワー算出部は、更に、前記複数のセグメントのそれぞれにおける前記デコードオーディオデータのパワーを算出し、
前記再生速度調整部は、前記あるフレーム中の前記複数のセグメントのうち最もパワーが低いセグメントにおける前記デコードオーディオデータの再生速度を調整する
音声再生速度調整装置。
【請求項６】
請求項１又は２に記載の音声再生速度調整装置であって、
前記あるフレームが複数のセグメントに分けられる場合に、前記複数のセグメントのそれぞれにおける前記デコードオーディオデータのパワーを算出するフレームパワー算出部を更に備え、
前記再生速度調整部は、前記あるフレーム中の前記複数のセグメントのうち最もパワーが低いセグメントにおける前記デコードオーディオデータの再生速度を調整する
音声再生速度調整装置。
【請求項７】
請求項１乃至６のいずれかに記載の音声再生速度調整装置であって、
前記放送データは、携帯端末が受信する地上デジタル放送のデータである
音声再生速度調整装置。
【請求項８】
（Ａ）放送データから符号化オーディオデータ及びクロック信号を抽出することと、
（Ｂ）前記抽出されたクロック信号とシステムクロック信号との位相差を検出することと、
（Ｃ）フレーム毎に前記符号化オーディオデータをデコードしてデコードオーディオデータを生成することと、
（Ｄ）前記デコードオーディオデータのストリームの切り替わりを検出することと、
（Ｅ）あるフレームにおいて前記デコードオーディオデータの再生速度の調整が必要か否かを判定することと、
（Ｆ）前記調整が必要と判定された場合に、前記あるフレームにおいて再生される前記デコードオーディオデータが前記システムクロック信号に同期するように、前記デコードオーディオデータの再生速度を調整することと
を含み、
前記（Ｅ）判定することは、
（Ｅ１）前記抽出されたクロック信号と前記システムクロック信号との間に位相差が存在し、且つ、前記あるフレームが前記ストリームの切り替わりとして検出された場合に、前記調整が必要と判定することを含む
音声再生速度調整方法。
【請求項９】
請求項８に記載の音声再生速度調整方法であって、
前記（Ｄ）検出することは、前記あるフレームにおける前記デコードオーディオデータのヘッダ情報が前のフレームにおけるものと異なっている場合に、前記あるフレームを前記ストリームの切り替わりとして検出することを含む
音声再生速度調整方法。
【請求項１０】
請求項８又は９に記載の音声再生速度調整方法であって、
更に、（ａ）１フレーム全体の前記デコードオーディオデータのパワーをフレーム毎に算出することを含み、
前記（Ｅ）判定することは、更に、
（Ｅ２）前記あるフレームが前記ストリームの切り替わりとして検出されず、且つ、前記位相差が所定の値以上である場合、前記あるフレームに関して算出された前記パワーと所定の閾値レベルとの比較を行うことと、
（Ｅ３）前記算出されたパワーが前記所定の閾値レベル以下の場合、前記調整が必要と判定することと
を含む
音声再生速度調整方法。
【請求項１１】
請求項１０に記載の音声再生速度調整方法であって、
前記所定の閾値レベルは、前記あるフレームより前の所定数のフレームに関して算出された前記パワーの平均値より小さい
音声再生速度調整方法。
【請求項１２】
請求項１０又は１１に記載の音声再生速度調整方法であって、
前記あるフレームは、複数のセグメントに分けられ、
前記（ａ）算出することは、更に、前記複数のセグメントのそれぞれにおける前記デコードオーディオデータのパワーを算出することを含み、
前記（Ｆ）調整することは、前記あるフレーム中の前記複数のセグメントのうち最もパワーが低いセグメントにおける前記デコードオーディオデータの再生速度を調整することを含む
音声再生速度調整方法。
【請求項１３】
請求項８又は９に記載の音声再生速度調整方法であって、
更に、（ｂ）前記あるフレームが複数のセグメントに分けられる場合に、前記複数のセグメントのそれぞれにおける前記デコードオーディオデータのパワーを算出することを含み、
前記（Ｆ）調整することは、前記あるフレーム中の前記複数のセグメントのうち最もパワーが低いセグメントにおける前記デコードオーディオデータの再生速度を調整することを含む
音声再生速度調整方法。
【請求項１４】
請求項８乃至１３のいずれかに記載の音声再生速度調整方法であって、
前記放送データは、携帯端末が受信する地上デジタル放送のデータである
音声再生速度調整方法。
【請求項１５】
第１フレームに含まれ圧縮された第１オーディオデータをデコードした後、前記第１フレームより後のフレームである第２フレームに含まれ圧縮された第２オーディオデータをデコードして出力すると共に、前記第１および第２オーディオデータのそれぞれの圧縮形式が異なるか否かを検出するオーディオコーデック部と、
前記第１および第２オーディオデータのそれぞれの圧縮形式が異なる場合、デコードされた前記第２オーディオデータの所定部分のサンプル数を増減させるオーディオ出力部と、
を有することを特徴とする音声再生装置。
【請求項１６】
前記所定部分は、デコードされた前記第２オーディオデータの先頭付近であることを特徴とする請求項１５に記載の音声再生装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、携帯端末等において、受信した放送データの音声再生速度を調整するための技術に関する。
【背景技術】
【０００２】
携帯端末向けの地上デジタル放送（ワンセグメント（one-segment）放送；以下、「ワンセグ放送」と参照される）が開始されている。携帯端末でワンセグ放送を視聴する場合、放送局側のクロック信号と端末側のクロック信号が異なるため、長期間的に双方のクロック信号がずれることが想定される。従って、端末側のクロック信号を放送局側のクロック信号に同期させる必要がある。放送局側のクロック信号と端末側のクロック信号の周波数が異なるのは、放送局側の発振器と端末側の発振器とが、完全に同一の周波数のクロックを出力することは実際には困難だからである。例えば、発振器を構成する素子の特性のばらつきにより、放送局側のクロック信号の周波数と端末側のクロック信号の周波数は異なることがある。
【０００３】
携帯端末で使用されるＬＳＩは、回路規模等の制約から、クロックの位相制御及び同期制御のためのハードウェアベースの機構を有さない場合が多い。そのため、ソフトウェアに基づくクロック補正を行い、端末側のクロック信号をワンセグ放送のクロック信号に同期させる必要がある。このソフトウェアにより補正されたクロック信号が「システムクロック信号」と定義される。システムクロック信号は特定のタイミングで補正される。
【０００４】
このような携帯端末において、ビデオデータ（映像データ）の表示タイミングは、システムクロック信号と同期するように調整される。つまり、映像は、システムクロック信号に同期したタイミングで表示される。一方、オーディオデータ（音声データ）は、コーデックのクロックに同期して出力される。例えば、オーディオデータは４４．１ｋＨｚでサンプリングされており、コーデックに対しても４４．１ｋＨｚの周波数を有するクロックを供給することがある。しかし、システムクロックはシステムを制御するプロセッサ等に供給されるため、コーデックに対して供給されるクロックよりも高周波である。従って、コーデックに対して供給されるクロックとシステムクロックとは周波数が異なる。更に、システムクロックは上述したように、放送局側のクロックと同期をとるため特定のタイミングで周期が調整されているので、システムクロックの周波数は一定ではない。このような変動する周波数を有するシステムクロックと、コーデックに供給されるクロックとを同期させることは困難である。従って、放送局側のクロック信号と端末側のシステムクロック信号がずれた場合、端末側のシステムクロックの周期の調整を特定のタイミングで行わざるを得ないため、コーデックに供給されるクロックとシステムクロックとの同期を取ることが困難となり、結果的に映像と音声の再生タイミングがずれる可能性がある。
【０００５】
特許文献１には、ビデオ・オン・デマンドシステムにおいて、ビデオ信号とオーディオ信号の再生タイミングの同期補正を行うための技術が開示されている。具体的には、無音レベル検出部が、無音レベルのオーディオ符号化データを検出する。また、無音レベルのオーディオ符号化データが、無音レベルデータ保存部に保存される。オーディオ信号がビデオ信号から遅延している場合、オーディオデコーダへの無音レベルのオーディオ符号化データの供給が停止させられる。一方、オーディオ信号がビデオ信号より先行している場合、無音レベルデータ保存部に保存されている無音レベルオーディオ符号化データが挿入される。これにより、ビデオ信号の再生タイミングを調整することなく、且つ、オーディオ信号の再生速度を一時的に変更することなく、ビデオ信号及びオーディオ信号の再生タイミングの同期補正を行うことができる。
【０００６】
【特許文献１】特開平１０−１６４５５６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
放送局側と端末側との間でクロック信号がずれた場合に、音声と映像を同期させることが望まれる。しかしながら、上記関連技術では、フレーム単位で、無音レベルオーディオ符号化データの供給が停止させられる、あるいは、無音レベルオーディオ符号化データが挿入される。そのため、聴感上の音質劣化が懸念される。
【課題を解決するための手段】
【０００８】
本発明の第１の観点において、音声再生速度調整装置が提供される。その音声再生速度調整装置は、デマルチプレクサと、位相検出部と、デコーダ部と、調整判定部と、再生速度調整部とを備える。デマルチプレクサは、放送データから符号化オーディオデータ及びクロック信号を抽出する。位相検出部は、抽出されたクロック信号とシステムクロック信号との位相差を検出する。デコーダ部は、フレーム毎に符号化オーディオデータをデコードしてデコードオーディオデータを生成し、また、デコードオーディオデータのストリームの切り替わりを検出する。調整判定部は、あるフレームにおいてデコードオーディオデータの再生速度の調整が必要か否かを判定する。具体的には、調整判定部は、抽出されたクロック信号とシステムクロック信号との間に位相差が存在し、且つ、当該フレームがストリームの切り替わりとして検出された場合に、上記調整が必要と判定する。調整が必要と判定された場合、再生速度調整部は、当該フレームにおいて再生されるデコードオーディオデータがシステムクロック信号に同期するように、デコードオーディオデータの再生速度を調整する。
【０００９】
本発明の第２の観点において、音声再生速度調整方法が提供される。その音声再生速度調整方法は、（Ａ）放送データから符号化オーディオデータ及びクロック信号を抽出することと、（Ｂ）抽出されたクロック信号とシステムクロック信号との位相差を検出することと、（Ｃ）フレーム毎に符号化オーディオデータをデコードしてデコードオーディオデータを生成することと、（Ｄ）デコードオーディオデータのストリームの切り替わりを検出することと、（Ｅ）あるフレームにおいてデコードオーディオデータの再生速度の調整が必要か否かを判定することと、（Ｆ）調整が必要と判定された場合に、当該フレームにおいて再生されるデコードオーディオデータがシステムクロック信号に同期するように、デコードオーディオデータの再生速度を調整することと、を含む。上記（Ｅ）ステップは、（Ｅ１）抽出されたクロック信号とシステムクロック信号との間に位相差が存在し、且つ、当該フレームがストリームの切り替わりとして検出された場合に、上記調整が必要と判定することを含む。
【発明の効果】
【００１０】
本発明によれば、放送局側と端末側との間でクロック信号がずれた場合に、音声と映像を同期させることが可能となる。特に、聴感上の音質劣化を抑えながら、音声と映像を同期させることが可能となる。
【発明を実施するための最良の形態】
【００１１】
１．概要
本発明の実施の形態では、放送局側と端末側との間でクロック信号がずれた場合、音声の再生速度を調整することによって、音声と映像が同期させられる。具体的には、オーディオデータ（音声データ）がシステムクロック信号に同期するように、再生されるオーディオデータのサンプル数が増減させられる。そのための方式としては、「直線補間方式」、「クロスフェード方式」、「タイムスケール方式」などが知られている。このようにして音声再生速度が調整され、音声が映像に同期するようになる。
【００１２】
音声再生速度の調整にあたり、聴感上の音声劣化を抑制することが望ましい。そのため、本実施の形態では、音声再生速度の調整タイミングに関して、次の点が考慮される。
【００１３】
ワンセグ放送は、ＭＰＥＧ２−ＴＳ（Transport Stream）に準拠した多重化データストリームで提供される。音声圧縮方式としては、「ＡＡＣ（Advanced Audio Coding）方式」や「ＨＥ−ＡＡＣ（High-Efficiency Advanced Audio Coding）方式」等が採用されている。一連の放送において、ある部分はＨＥ−ＡＡＣに基づくストリームであり、他の部分はＡＡＣに基づくストリームである場合がある。つまり、エンコード方式が異なるストリームがシームレスに流れる場合がある。例えばある音楽番組において、ナレーション部分ではＡＡＣが使用され、ミュージッククリップ部分ではＨＥ−ＡＡＣが使用され、コマーシャル部分ではサンプリング周波数の低いＡＡＣが使用されることが考えられる。
【００１４】
一般的に、エンコード方式が変わるストリームの切り替わり部分は、映像データでのシーンの切り替わり（シーンチェンジ）部分に相当する。そのような映像データでのシーンの切り替わり部分では、エンコード方式の変更後のオーディオストリームの先頭に無音が挿入されている可能性が高い。従って、映像データにおけるシーンの切り替わりの部分では、対応するオーディオデータに対して音声再生速度を調整しても聴感上の音質劣化はほとんど無いと考えられる。このような観点から、本実施の形態では、音声再生速度を調整する契機として、ストリームの切り替わり部分が考慮される。
【００１５】
２．構成
図１は、本実施の形態に係る携帯端末１を概略的に示している。携帯端末１は、アンテナ２、ディスプレイ３及びスピーカー４を備えている。携帯端末１は、アンテナ２を通してワンセグ放送を受信する。ワンセグ放送の映像はディスプレイ３で表示され、その音声はスピーカー４から出力される。
【００１６】
本実施の形態に係る携帯端末１は、更に、音声再生速度調整装置１０を備えている。音声再生速度調整装置１０は、放送局側と端末側との間でクロック信号がずれた場合、音声と映像を同期させるために音声再生速度を調整する。
【００１７】
図２は、本実施の形態に係る音声再生速度調整装置１０の構成例を示すブロック図である。図２に示されるように、音声再生速度調整装置１０は、ＴＳ−ＤＥＭＵＸ（Demultiplexer）２０、位相検出部３０、オーディオコーデック部４０、フレームパワー算出部５０、調整判定部６０、オーディオ出力部７０及び再生速度調整部８０を有している。以下、図２を参照しながら、本実施の形態に係る音声再生速度調整装置１０の動作を詳細に説明する。
【００１８】
３．動作
まず、デマルチプレクサとしてのＴＳ−ＤＥＭＵＸ２０は、アンテナ２からワンセグ放送データＴＳを受け取る。ワンセグ放送データＴＳは、ＭＰＥＧ２−ＴＳに準拠した多重化データストリームであり、符号化ビデオデータ、符号化オーディオデータ、文字データ、放送局のクロック（ワンセグ放送のクロック信号ＣＬＫ−Ｂ）等を含んでいる。ＴＳ−ＤＥＭＵＸ２０は、ワンセグ放送データＴＳを、符号化ビデオデータ、符号化オーディオデータ、文字データ等に分離する。つまり、ＴＳ−ＤＥＭＵＸ２０は、ワンセグ放送データＴＳから、符号化ビデオデータ、符号化オーディオデータ、文字データ、クロック信号ＣＬＫ−Ｂ等を抽出する。抽出された符号化オーディオデータＡＣＯＤは、オーディオコーデック部４０に出力される。更に、ＴＳ−ＤＥＭＵＸ２０は、ワンセグ放送データＴＳから抽出したクロック信号ＣＬＫ−Ｂを、位相検出部３０に出力する。
【００１９】
位相検出部３０は、ワンセグ放送のクロック信号ＣＬＫ−Ｂと端末側のシステムクロック信号ＣＬＫ−Ｓを受け取る。そして、位相検出部３０は、クロック信号ＣＬＫ−Ｂとシステムクロック信号ＣＬＫ−Ｓとの間の位相差（ズレ）を検出し、検出された位相差を示すクロックずれ情報ＬＡＧを作成する。クロックずれ情報ＬＡＧは、例えば、ＣＬＫ−ＢとＣＬＫ−Ｓに関して時間軸上で何ｍｓの位相差が生じたかを示す。クロックずれ情報ＬＡＧは、調整判定部６０及び再生速度調整部８０に出力される。
【００２０】
オーディオコーデック部４０は、ＴＳ−ＤＥＭＵＸ２０から符号化されているオーディオデータＡＣＯＤを受け取る。音声圧縮方式としては、ＳＢＲ（Spectral Band Replication）情報を有さないＡＡＣ方式や、ＳＢＲ情報を有するＨＥ−ＡＡＣ方式等が採用されている。オーディオコーデック部４０は、符号化オーディオデータＡＣＯＤをデコードし、デコードオーディオデータＡＤＥＣを生成する。デコード処理は、フレーム単位（ＡＡＣの場合１０２４サンプル、ＨＥ−ＡＡＣの場合２０４８サンプル）で行われる。従って、オーディオコーデック部４０は、一フレーム毎に、デコード後のオーディオデータＡＤＥＣをオーディオ出力部７０に出力する。また、係るデコードオーディオデータＡＤＥＣは、フレームパワー算出部５０にも出力される。
【００２１】
更に、オーディオコーデック部４０は、デコード後のオーディオデータＡＤＥＣに基づいて、オーディオストリームの切り替わりを検出する。このオーディオストリームの切り替わりは、映像データでのシーンチェンジに対応する。例えば、ＡＡＣやＨＥ−ＡＡＣでは、ＡＤＴＳ（Audio Data Transport Stream）と呼ばれるストリームのヘッダ形式が規定されており、データブロックの区切りごとにＡＤＴＳヘッダと呼ばれるヘッダが挿入されている。従って、オーディオコーデック部４０は、デコードを行ったあるフレームのＡＤＴＳヘッダが係るフレームの一つ前にデコードしたフレームのものと異なる場合、デコードを行ったフレームは一つ前にデコードしたフレームに対応する映像データとはシーンが切り替わった映像データに対応すると判断する。すなわち、オーディオコーデック部４０は、デコードを行ったフレームはオーディオストリームの切り替わりであるとして検出することができる。あるいは、オーディオコーデック部４０は、デコードを行った結果、参照することができるＳＢＲ（Spectral Band Replication）情報、ＳＣＥ（Single Channel Element）情報、ＣＰＥ（Channel Pair Element）情報などが一つ前にデコードしたフレームのものと異なる場合、当該フレームをオーディオストリームの切り替わりとして検出することができる。
【００２２】
そして、オーディオコーデック部４０は、デコードを行ったフレームがオーディオストリームの切り替わりとして検出されたか否かを示すストリーム切り替わり情報ＳＣＮＧを生成する。つまり、ストリーム切り替わり情報ＳＣＮＧは、オーディオコーデック部４０が出力すべきデコードオーディオデータＡＤＥＣの一フレームがオーディオストリームの切り替わりに相当するか否かを示す。このストリーム切り替わり情報ＳＣＮＧは、調整判定部６０に出力される。
【００２３】
例えば、ストリーム切り替わり情報ＳＣＮＧは１ビットの信号であり、オーディオ出力部７０が次に受け取る一フレームのオーディオデータＡＤＥＣがオーディオストリームの切り替わりであることを示す信号であるとすることができる。調整判定部６０は、このストリーム切り替わり情報ＳＣＮＧに基づき処理を行う。また、オーディオコーデック部４０は、レジスタ等の記憶手段にデコードを行ったフレームのＡＤＴＳヘッダの情報をデコードの度に記憶しておく。そしてレジスタに記憶されたＡＤＴＳヘッダの情報と、次にデコードを行ったフレームのＡＤＴＳヘッダの情報を比較して、オーディオストリームの切り替わりを判断する。そして、次にデコードを行ったフレームのＡＤＴＳヘッダの情報を記憶手段に書き込み、後続のデコード処理に備える。
【００２４】
フレームパワー算出部５０は、オーディオコーデック部４０から、一フレーム毎のデコードオーディオデータＡＤＥＣを受け取る。そして、フレームパワー算出部５０は、受け取った各フレームのデコードオーディオデータＡＤＥＣについてパワーを計算する。具体的には、フレームパワー算出部５０は、１フレーム全体のデコードオーディオデータＡＤＥＣのパワーＰに加えて、当該フレームをＴ個（Ｔは２以上の整数）のセグメントに分けたときのそれぞれのセグメントのパワーＰ１〜ＰＴを算出する。例えば、１フレームが１０２４サンプルからなる場合、１フレーム全体のパワーＰは、下記式（１）で与えられる。また、当該フレームが２つのセグメントに分けられる場合（Ｔ＝２）、それぞれのセグメントのパワーＰ１、Ｐ２は下記式（２）、（３）で与えられる。尚、下記式（１）〜（３）において、ｘｎは、ｎ番目のサンプル値を表す。
【００２５】
【数１】
2009225327.tif 000003
【００２６】
【数２】
2009225327.tif 000004
【００２７】
【数３】
2009225327.tif 000005
【００２８】
算出されたパワー（Ｐ，Ｐ１，Ｐ２）を示すフレームパワー情報ＦＰＷは、調整判定部６０及び再生速度調整部８０に出力される。調整判定部６０は、例えば内部にメモリ等の記憶手段を有し、一のフレームのオーディオデータＡＤＥＣに係るパワー（Ｐ，Ｐ１，Ｐ２）を記憶するとともに、この一のフレームより前の所定数のフレームのそれぞれのオーディオデータＡＤＥＣのパワー（Ｐ，Ｐ１，Ｐ２）を記憶することができる。
【００２９】
調整判定部６０は、上述のクロックずれ情報ＬＡＧ、ストリーム切り替わり情報ＳＣＮＧ及びフレームパワー情報ＦＰＷを受け取る。そして、調整判定部６０は、受け取った情報に基づいて、現在のフレームにおいてデコードオーディオデータＡＤＥＣの再生速度の調整が必要か否かを判定する。図３は、その判定方法を示すフローチャートである。
【００３０】
（ステップＳ１）
まず、調整判定部６０は、クロックずれ情報ＬＡＧを参照し、クロック信号ＣＬＫ−Ｂとシステムクロック信号ＣＬＫ−Ｓとの間にズレ（位相差）が存在するか否かを判定する。ズレが無い場合（ステップＳ１；Ｎｏ）、調整判定部６０は、再生速度の調整は不要であると判定する（判定：スルー出力）。一方、ズレが有る場合（ステップＳ１；Ｙｅｓ）、調整判定部６０は、再生速度の調整が必要であると判定し、処理は次のステップＳ２へ進む。
【００３１】
なお、再生速度の調整が必要である理由は、上述したとおりである。すなわち、放送局のクロックＣＬＫ−ＢとシステムクロックＣＬＫ−Ｓとが同期していない場合には、システムクロックＣＬＫ−Ｓの位相を特定のタイミングで部分的に調整し、放送局のクロックＣＬＫ−ＢとシステムクロックＣＬＫ−Ｓを同期させることが行われる（この処理を行う処理部は図示なし）。この場合、システムクロックＣＬＫ−Ｓの周波数は一定とはならないので、オーディオコーデック部４０に供給されオーディオコーデック部４０がオーディオデータを出力する動作を制御するクロックを、システムクロックＣＬＫ−Ｓと同期させることは困難である。映像データはシステムクロックＣＬＫ−Ｓに同期して表示されるため（映像出力処理部については図示なし）、映像データとオーディオデータの出力タイミングに不整合が生じることになる。そこで本実施の形態では、オーディオデータの出力速度を調整することが行われる。
【００３２】
（ステップＳ２）
次に、調整判定部６０は、ストリーム切り替わり情報ＳＣＮＧを参照し、オーディオコーデック部４０がオーディオ出力部７０に出力するオーディオデータＡＤＥＣがオーディオストリームの切り替わりに相当するか否かを判定する。すなわち、ストリーム切り替わり情報ＳＣＮＧを参照し、調整判定部６０は、オーディオコーデック部４０が次にオーディオ出力部７０に出力するオーディオデータＡＤＥＣの一フレームは、該フレームの前のフレームから見てオーディオストリームが切り替わったものであるか否かを判定する。言い換えると、調整判定部６０は、オーディオコーデック部４０が出力するデコード後のオーディオデータＡＤＥＣの一フレームは、映像データにおけるシーンチェンジの発生に対応しているか否かを判定する。ここで、オーディオ出力部７０が受け取る一フレームがオーディオストリームの切り替わりに該当する場合、この一フレームに含まれるオーディオデータの先頭には、無音が挿入されている可能性が高い。
【００３３】
そこで、オーディオ出力部７０が受け取るオーディオデータＡＤＥＣがストリームの切り替わりに対応する場合（ステップＳ２；Ｙｅｓ）、調整判定部６０は、再生速度の調整を決定する（判定：速度調整）。調整判定部６０は、シーンチェンジの発生に対応する一フレームの先頭付近に対して速度調整を行うよう、オーディオ出力部７０及び再生速度調整部８０に指示する。係る一フレームに含まれるオーディオデータＡＤＥＣの先頭付近に対して速度調整を行っても無音部に対して速度調整を施すことになるため、聴覚上の音質劣化を防止することができる。速度調整を行う指示を受けたオーディオ出力部７０は、オーディオコーデック部４０から受け取った一フレーム分のオーディオデータＡＤＥＣを再生速度調整部８０に入力する。再生速度調整部８０は、受け取った一フレーム分のオーディオデータＡＤＥＣに含まれるオーディオデータの先頭付近に対して速度調整を施す。速度調整としては、直線補間方式やクロスフェード方式といった手法が用いられる。例えば、再生速度調整部８０は、一フレームのＡＤＥＣに含まれるオーディオデータの先頭付近のサンプル数を増減させるなどして、速度調整を行う。再生速度調整部８０は速度調整を一フレーム分のＡＤＥＣに施すことにより、出力されるオーディオデータのタイミングをシステムクロックＣＬＫ−Ｓに同期させる。なお、オーディオ出力部７０は、調整判定部６０から速度調整の指示を受けなかった場合、オーディオコーデック部４０から受け取った一フレーム分のオーディオデータＡＤＥＣを、再生速度調整部８０を介さずにスピーカー４に出力する。
【００３４】
一方、オーディオコーデック部４０が出力する一フレームのオーディオデータＡＤＥＣがストリームの切り替わりではない場合（ステップＳ２；Ｎｏ）、処理は次のステップＳ３へ進む。
【００３５】
（ステップＳ３）
オーディオストリームの切り替わりが長期間発生しないケースを想定して、本実施の形態に係る調整判定部６０は、次のような判定を追加的に実施する。まず、調整判定部６０は、クロックずれ情報ＬＡＧを参照して、クロックのズレがＸ［ｍｓ］以上か否かを判定する。Ｘ［ｍｓ］は、放送を視聴するにあたりズレがこれ以上になると視聴者が聴感上気になる時間であり、通常５０ｍｓ〜数百ｍｓである。ズレがＸ［ｍｓ］未満の場合（ステップＳ３；Ｎｏ）、調整判定部６０は、再生速度の調整は不要であると判定する（判定：スルー出力）。一方、ズレがＸ［ｍｓ］以上の場合（ステップＳ３；Ｙｅｓ）、調整判定部６０は、再生速度の調整が必要であると判定し、処理は次のステップＳ４へ進む。
【００３６】
（ステップＳ４）
調整判定部６０は、内部に有するメモリ等の記憶手段にアクセスしてフレームパワー情報ＦＰＷを参照し、当該フレームのパワーＰと当該フレームより前の所定数のフレームの平均パワーＰａｖｅとの比較を行う。そして、当該フレームのパワーＰが平均パワーＰａｖｅよりも十分に小さい場合、すなわち、当該フレームの音声レベルが無音に近い場合、調整判定部６０は、再生速度の調整を決定する。より詳細には、調整判定部６０は、当該フレームのパワーＰ（音声レベル）とパラメータ「α×Ｐａｖｅ」の比較を行う。ここで、係数αは１より十分小さい値であり、パラメータ「α×Ｐａｖｅ」は無音に近い閾値レベルに相当する。
【００３７】
当該フレームのパワーＰがこの閾値レベル以下の場合（ステップＳ４；Ｙｅｓ）、調整判定部６０は、再生速度の調整を決定する（判定：速度調整）。これは、当該フレームが、その前までのフレームと比較して音声の強度が低いため、速度調整を当該フレームに対して行っても、聴覚上の音質劣化が生じにくいことに基づくものである。調整判定部６０は、オーディオ出力部７０及び再生速度調整部８０に対して速度調整を行うことを示す制御信号を出力する。オーディオ出力部７０は、オーディオコーデック部４０から受け取った一フレーム分のオーディオデータＡＤＥＣを、再生速度調整部８０に入力する。再生速度調整部８０は、受け取った一フレーム分のオーディオデータＡＤＥＣの速度調整を行う。この場合、再生速度調整部８０は、出力するオーディオデータＡＤＥＣがシステムクロックＣＬＫ−Ｓと同期するように、フレームに含まれるオーディオデータの所定の部分に対して直線補間などの処理を行う。このフレームは、音声の強度が前のフレームに対して低いと判定されているので、聴覚上の音質劣化の問題は回避することができる。
【００３８】
一方、当該フレームのパワーＰがこの閾値レベルより大きい場合（ステップＳ４；Ｎｏ）、調整判定部６０は、再生速度の調整を見送る。
【００３９】
このように、本実施の形態に係る調整判定部６０は、ストリームの切り替わり及び音声レベルに基づいて、音声再生速度を調整するか否かの判定を行う。そして、その判定結果に基づき、調整判定部６０は、必要に応じてオーディオ出力部７０に再生速度の調整を指示する。
【００４０】
オーディオ出力部７０は、オーディオコーデック部４０からデコードオーディオデータＡＤＥＣを受け取り、そのデコードオーディオデータＡＤＥＣをスピーカー４に出力する。このとき、オーディオ出力部７０は、調整判定部６０からの指示に従い、必要に応じてデコードオーディオデータＡＤＥＣの再生速度を調整する。そのために、オーディオ出力部７０は、再生速度の調整処理を行う再生速度調整部８０を含んでいる。
【００４１】
調整判定部６０による判定が「スルー」の場合、オーディオ出力部７０は、再生速度を調整することなく、デコードオーディオデータＡＤＥＣをそのままスピーカー４に出力する。
【００４２】
一方、調整判定部６０による判定が「速度調整」の場合、オーディオ出力部７０は、デコードオーディオデータＡＤＥＣを再生速度調整部８０を通してスピーカー４に出力する。再生速度調整部８０は、現在のフレームにおけるデコードオーディオデータＡＤＥＣの再生速度を調整し、調整後のデコードオーディオデータＡＤＥＣをスピーカー４に出力する。より詳細には、再生速度調整部８０は、クロックずれ情報ＬＡＧを参照し、再生されるデコードオーディオデータＡＤＥＣがシステムクロック信号ＣＬＫ−Ｓと同期するようにその再生速度を調整する。このとき、再生速度調整部８０は、当該フレームにおいて再生されるデコードオーディオデータＡＤＥＣのサンプル数を増減させることにより、再生速度を調整することができる。そのための方式としては、「直線補間方式」、「クロスフェード方式」、「タイムスケール方式」などが知られている。本実施の形態では、例えば、演算量が少ない「直線補間方式」あるいは「クロスフェード方式」が採用される。また、再生速度調整部８０は、上述のフレームパワー情報ＦＰＷを参照し、当該フレーム中の複数のセグメントのうちパワーが最も低いセグメントに対して再生速度調整処理を行なってもよい。
【００４３】
４．効果
以上に説明されたように、本実施の形態に係る音声再生速度調整装置１０は、再生されるデコードオーディオデータＡＤＥＣがシステムクロック信号ＣＬＫ−Ｓと同期するように、音声再生速度の調整（サンプル数の増減）を行う。従って、放送局側と端末側との間でクロック信号がずれた場合に、音声と映像を同期させることが可能となる。
【００４４】
上記関連技術では、フレーム単位で、無音データの挿入あるいは無音データの供給の停止が行われる。一方、本実施の形態によれば、デコードオーディオデータＡＤＥＣに関して再生速度の調整（サンプル数の増減）が行われる。従って、関連技術と比較して、音質の劣化が少なくなる。
【００４５】
本実施の形態によれば、音声再生速度の調整処理の契機として、オーディオストリームの切り替わり部分が採用される。そのようなオーディオストリームの切り替わり部分は、シーンの切り替わり（シーンチェンジ）部分に相当する確率が非常に高い。シーンの切り替わり部分では、ストリームの先頭に無音が挿入されている可能性が高い。よって、オーディオストリームの切り替わりの部分では、音声再生速度を調整しても聴感上の音質劣化はほとんど無い。すなわち、本実施の形態によれば、聴感上の音質劣化を抑えながら、音声と映像を同期させることが可能となる。
【００４６】
また、本実施の形態によれば、フレームパワー情報ＦＰＷを参照し、処理中のフレームの音声レベルが無音に近い状態で音声再生速度を調整することもできる。これによっても、聴感上の音質劣化を抑えながら、音声と映像を同期させることが可能となる。
【００４７】
更に、本実施の形態によれば、フレームパワー情報ＦＰＷを参照することにより、複数のセグメントのうち音声レベルが最も低いセグメントに対して再生速度調整処理を行なうことも可能である。この場合、聴感上の音質劣化は更に抑えられる。
【図面の簡単な説明】
【００４８】
【図１】図１は、本発明の実施の形態に係る携帯端末を示す概略図である。
【図２】図２は、本発明の実施の携帯に係る音声再生速度調整装置の構成を示すブロック図である。
【図３】図３は、音声再生速度の調整の要否を判定するためのフローを示す。
【符号の説明】
【００４９】
１    携帯端末
２    アンテナ
３    ディスプレイ
４    スピーカー
１０    音声再生速度調整装置
２０    ＴＳ−ＤＥＭＵＸ
３０    位相検出部
４０    オーディオコーデック部
５０    フレームパワー算出部
６０    調整判定部
７０    オーディオ出力部
８０    再生速度調整部
ＴＳ    ワンセグ放送データ
ＣＬＫ−Ｂ  放送クロック信号
ＣＬＫ−Ｓ  システムクロック信号
ＬＡＧ      クロックずれ情報
ＡＣＯＤ  符号化オーディオデータ
ＡＤＥＣ  デコードオーディオデータ
ＳＣＮＧ  ストリーム切り替わり情報
ＦＰＷ    フレームパワー情報
【図１】
2009225327.tif 000006
【図２】
2009225327.tif 000007
【図３】
2009225327.tif 000008