(57)【特許請求の範囲】
【請求項１】
入力された符号化音声信号を復号し、復号した音声信号の再生速度を変換して出力音声信号を生成する音声再生装置において、
前記符号化音声信号をあらかじめ設定された復号条件に基づいて復号する音声復号部と、
前記音声復号部が復号した音声信号を蓄積する蓄積部と、
前記蓄積部に蓄積された音声信号の音声信号波形の基本周期を算出し、算出した基本周期およびあらかじめ設定された話速に基づき前記音声信号波形の伸長または圧縮を行い、前記音声信号の再生速度を変換して前記出力音声信号を生成する話速変換部と、
前記音声復号部の復号条件として、前記話速変換部が算出した前記音声信号波形の基本周期、および前記あらかじめ設定された話速に基づき、前記話速変換部が算出した前記音声信号波形の基本周期、および前記あらかじめ設定された話速に基づき、前記話速変換部が次に前記音声信号波形の基本周期を算出する位置に到達するまでの前記話速変換部の動作回数および復号すべき符号化フレーム数を算出し、算出した前記話速変換部の動作回数および前記復号すべき符号化フレーム数に基づき前記音声復号部の動作フレーム数を決定する復号動作制御部とを備えたことを特徴とする音声再生装置。
【請求項２】
入力された符号化音声信号を復号し、復号した音声信号の再生速度を変換して出力音声信号を生成する音声再生装置において、
前記符号化音声信号をあらかじめ設定された復号条件に基づいて復号する音声復号部と、
前記音声復号部が復号した音声信号を蓄積する蓄積部と、
前記蓄積部に蓄積された音声信号の音声信号波形の基本周期を算出し、算出した基本周期およびあらかじめ設定された話速に基づき前記音声信号波形の伸長または圧縮を行い、前記音声信号の再生速度を変換して前記出力音声信号を生成する話速変換部と、
前記音声復号部の復号条件として、前記話速変換部が算出した前記音声信号波形の基本周期、および前記あらかじめ設定された話速に基づき、前記話速変換部が次に前記音声信号波形の基本周期を算出する位置に到達するまでの前記話速変換部の動作回数および復号すべき符号化フレーム数を算出し、算出した前記話速変換部の動作回数および前記復号すべき符号化フレーム数に基づき前記音声復号部の動作時間を決定する復号動作制御部とを備えたことを特徴とする音声再生装置。
【請求項３】
入力された符号化音声信号を復号し、復号した音声信号の再生速度を変換して出力音声信号を生成する音声再生方法において、
音声復号部が、前記符号化音声信号をあらかじめ設定された復号条件に基づいて復号する復号ステップと、
蓄積部が、前記復号された音声信号を蓄積する蓄積ステップと、
話速変換部が、前記蓄積された音声信号の音声信号波形の基本周期を算出し、算出した基本周期およびあらかじめ設定された話速に基づき前記音声信号波形の伸長または圧縮を行い、前記音声信号の再生速度を変換して前記出力音声信号を生成する出力音声信号生成ステップと、
復号動作制御部が、前記音声復号部の復号条件として、前記音声信号波形の基本周期、および前記あらかじめ設定された話速に基づき、前記話速変換部が算出した前記音声信号波形の基本周期、および前記あらかじめ設定された話速に基づき、前記話速変換部が次に前記音声信号波形の基本周期を算出する位置に到達するまでの前記話速変換部の動作回数および復号すべき符号化フレーム数を算出し、算出した前記話速変換部の動作回数および前記復号すべき符号化フレーム数に基づき前記音声復号部の動作フレーム数を決定する復号条件決定ステップとを備えたことを特徴とする音声再生方法。
【請求項４】
入力された符号化音声信号を復号し、復号した音声信号の再生速度を変換して出力音声信号を生成する音声再生方法において、
音声復号部が、前記符号化音声信号をあらかじめ設定された復号条件に基づいて復号する復号ステップと、
蓄積部が、前記復号された音声信号を蓄積する蓄積ステップと、
話速変換部が、前記蓄積された音声信号の音声信号波形の基本周期を算出し、算出した基本周期およびあらかじめ設定された話速に基づき前記音声信号波形の伸長または圧縮を行い、前記音声信号の再生速度を変換して前記出力音声信号を生成する出力音声信号生成ステップと、
復号動作制御部が、前記音声復号部の復号条件として、前記音声信号波形の基本周期、および前記あらかじめ設定された話速に基づき、前記話速変換部が次に前記音声信号波形の基本周期を算出する位置に到達するまでの前記話速変換部の動作回数および復号すべき符号化フレーム数を算出し、前記算出した前記話速変換部の動作回数および前記復号すべき符号化フレーム数に基づき前記音声復号部の動作時間を決定する復号条件決定ステップとを備えたことを特徴とする音声再生方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、高能率符号化された音声の再生速度を変換する話速変換を行うと共に、当該話速変換を行った音声を再生する技術に関するものである。
【背景技術】
【０００２】
近年、ＣＥＬＰ（Ｃｏｄｅ  Ｅｘｃｉｔｅｄ  Ｌｉｎｅａｒ  Ｐｒｅｄｉｃｔｉｏｎ）方式やＭＰＥＧオーディオ方式など、高能率な音声・音響符号化方式が、通信、放送分野や録音再生システムなどに広く適用されている。また、これらの音声・音響符号化方式に加えて、再生音声を短時間で聞く、あるいは再生音声を聞き取り易い音声に変換するため、音声の高さや声質を変化させることなく音声信号の再生速度を変換させる話速変換技術が併用される場合がある。
【０００３】
話速変換処理について図７および図８を参照しながら説明する。まず、図７は音声信号の再生速度を上げる場合の話速変換処理の原理を示す説明図である。
話速変換前信号に対して、まず位置（Ｘ１）からの信号の基本周期Ｔｐ１を算出する。次に、位置（Ｘ１）から基本周期Ｔｐ１後（位置（Ｘ２））までの信号をフェードアウトさせた信号と、位置（Ｘ１）の基本周期Ｔｐ１後（位置（Ｘ２））から２×Ｔｐ１後（位置（Ｘ３））までの信号をフェードインさせた信号とを生成する。さらに生成したフェードアウトさせた信号とフェードインさせた信号を合算した長さＴｐ１の信号を生成し、話速変換後信号として出力する。
【０００４】
フェードインとフェードアウトを三角窓で実現する場合、話速変換前信号をｘ（ｔ）（ｔ：時間）、位置（Ｘ１）の時間をｔ１とすると、フェードイン信号と、フェードアウト信号との合成により生成した話速変換後信号ｙ（ｔ）（ｔ１≦ｔ≦ｔ１＋Ｔｐ１）は以下の式（１）で表わされる。
ｙ（ｔ）＝｛（ｔ１＋Ｔｐ１−ｔ）／Ｔｐ１｝ｘ（ｔ）
＋｛（ｔ−ｔ１）／Ｔｐ１｝ｘ（ｔ＋Ｔｐ１）・・・（１）
図７で示した話速変換後信号において、上述した話速変換後の部分の出力信号を太線  で表している。
【０００５】
その後、位置（Ｘ３）から位置（Ｘ４）までの信号を話速変換することなく出力する。これにより、長さＴｐ１＋Ｔ１の話速変換前信号が、長さＴ１に短縮されて話速変換後信号となり、当該話速変換後信号の話速は（Ｔｐ１＋Ｔ１）／Ｔ１倍となる。ここでＴ１は話速調整用時間であり、話速をｓ倍とするには、Ｔ１＝Ｔｐ１／（ｓ−１）とする。以降、位置（Ｘ１）から位置（Ｘ４）までの処理と同様の処理を繰り返す。図７の例では、位置（Ｘ４）からの信号の基本周期Ｔｐ２を算出し、位置（Ｘ４）以降の信号をフェードアウト、フェードインして加算した信号を生成するまでを示している。
【０００６】
次に、音声信号の再生速度を下げる場合について説明する。図８は音声信号の再生速度を下げる場合の話速変換処理の原理を示す説明図である。
まず、位置（Ｙ１）の前後の信号の基本周期Ｔｐ１を算出する。次に、位置（Ｙ１）の基本周期Ｔｐ１前から位置（Ｙ１）までの信号をフェードインさせた信号と、位置（Ｙ１）から位置（Ｙ１）の基本周期Ｔｐ１後までの信号をフェードアウトさせた信号を生成する。さらに生成したフェードインさせた信号とフェードアウトさせた信号を合算した長さＴｐ１の信号を生成し、話速変換後信号として出力する。図８で示した話速変換後信号において、上述した話速変換後の部分の出力信号を太線で表している。
【０００７】
この発明に係る音声再生装置は、符号化音声信号をあらかじめ設定された復号条件に基づいて復号する音声復号部と、音声復号部が復号した音声信号を蓄積する蓄積部と、蓄積部に蓄積された音声信号の音声信号波形の基本周期を算出し、算出した基本周期およびあらかじめ設定された話速に基づき音声信号波形の伸長または圧縮を行い、音声信号の再生速度を変換して出力音声信号を生成する話速変換部と、音声復号部の復号条件として、話速変換部が算出した音声信号波形の基本周期、およびあらかじめ設定された話速に基づき、話速変換部が算出した音声信号波形の基本周期、およびあらかじめ設定された話速に基づき、話速変換部が次に音声信号波形の基本周期を算出する位置に到達するまでの話速変換部の動作回数および復号すべき符号化フレーム数を算出し、算出した話速変換部の動作回数および復号すべき符号化フレーム数に基づき音声復号部の動作フレーム数を決定する復号動作制御部とを備えるものである。
【０００８】
上述した話速変換処理においては、音声の基本周期を算出する処理の演算量が大きい。このため、高能率符号化された音声信号を復号しながら話速変換処理を行う場合に演算量を低減する技術が開示されている。例えば、特許文献１の音声再生装置では、高能率符号化された音声符号の中から基本周期の情報と有声か無声かを示すモード情報とを取り出し、取り出した情報を話速変換処理で利用することにより演算量を低減している。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開平９−３３００９７号公報
【発明の概要】
【発明が解決しようとする課題】
【００１０】
しかしながら、上述した特許文献１に開示された技術では、ＣＥＬＰ方式のように高能率符号化された音声符号に基本周期の情報が含まれる場合は演算量を低減することができるが、ＭＰＥＧオーディオ方式のように音声符号に基本周期の情報が含まれない場合、演算量を低減することが困難であるという課題があった。さらに、基本周期の算出、およびフェードアウト信号、フェードイン信号の生成と加算を行う場合に、高能率符号化された音声符号を復号する音声復号処理の演算量が一時的に増大するという課題があった。
【００１１】
ここで、図９および図１０を参照しながら、音声復号処理の演算量の変化について説明を行う。まず、図９は音声信号の再生速度を上げる場合の音声復号処理の演算量の変化を示す説明図である。図９における話速変換前後の音声信号波形は上述した図７と同様であり、話速変換前信号の基本周期Ｔｐ１，Ｔｐ２、および話速調整用時間Ｔ１も図７と同様である。一方、最大基本周期Ｔｍａｘは、信号の基本周期として想定される最大値である。基本周期の算出処理は、音声信号波形の類似性が最も高い時間間隔を探す処理であり、一般に最大基本周期Ｔｍａｘの２倍の長さの信号が必要となる。図９では、基本周期Ｔｐ１および基本周期Ｔｐ２を算出する際に必要となる信号に相当する部分に「２×Ｔｍａｘ」と示している。
【００１２】
また、話速変換前の入力信号は高能率符号化された音声符号が復号された信号である。高能率音声・音響符号化は、通常、特定の時間長単位で入力信号を符号化・復号するもので、この時間長は符号化フレームと呼ばれる。図９では、話速変換前の信号の下方に符号化フレーム境界を示し、各符号化フレームには後述する説明で使用するため便宜上番号を付している。また、話速変換後信号の下方には、話速変換処理のタイミングを示している。話速変換処理は当該話速変換処理のタイミング毎に行われ、次の話速変換処理のタイミングまでの時間に相当する信号を出力するものとする。なお、後述する説明で使用するため話速変換処理タイミングの一部に（ａ）〜（ｅ）なる記号を付している。
【００１３】
話速変換処理のタイミングの下方には、各タイミングにおいて必要となる話速変換前の信号の符号化フレーム番号を示している。以下、符号化フレーム番号について順に説明する。まず、話速変換処理タイミング（ａ）において、符号化フレーム「４」までの音声復号手段の出力信号が必要となる。これは、当該タイミングで信号の基本周期を算出するためである。図９において、基本周期の算出には、符号化フレーム「１」の先頭を算出起点として、その算出起点から２×Ｔｍａｘの信号を必要とする。そして、話速変換処理タイミング（ｂ）までは、符号化フレーム「４」までの音声復号手段の出力信号により、話速変換後信号を生成することができる。その後、話速変換処理タイミング（ｃ）の時点から話速変換処理タイミング（ｄ）までは、話速変換処理のタイミング毎に１ずつ大きい符号化フレームの信号が必要となる。そして、話速変換処理タイミング（ｅ）においては信号の基本周期を算出するため、符号化フレーム「１２」までの音声復号手段の出力信号が必要となる。つまり話速変換処理タイミング（ｄ）と比較すると、話速変換処理タイミング（ｅ）で新たに５フレーム分の音声復号手段の出力信号が必要となる。このため、音声復号処理の演算量が一時的に増大する。
【００１４】
次に、音声信号の再生速度を下げる場合について説明する。図１０は音声信号の再生速度を下げる場合の音声復号処理の演算量の変化を示す説明図である。
図１０における話速変換前後の音声信号波形は上述した図８と同様であり、話速変換前の信号の基本周期Ｔｐ１，Ｔｐ２、および話速調整用時間Ｔ１も図８と同様である。また、符号化フレーム境界、話速変換処理のタイミング、当該タイミングにおいて必要となる話速変換前の信号に対応する符号化フレーム番号を図９と同様に示している。
【００１５】
まず、話速変換処理タイミング（ａ）において、符号化フレーム「３」までの音声復号手段の出力信号が必要となる。これは、信号の基本周期を算出する際、その基本周期算出起点（位置（Ｚ１））の前後の最大基本周期Ｔｍａｘの信号を必要とするためである。なお、基本周期の算出起点に対してその前後の信号を用いて基本周期を探索する点は、話速を上げる場合に基本周期の算出起点から未来方向に２×Ｔｍａｘの長さの信号を必要とした図９の場合と異なる。
【００１６】
次に、話速変換処理タイミング（ｂ）までは、符号化フレーム「３」の音声復号手段の出力信号により、話速変換後信号を生成することができる。話速変換処理タイミング（ｃ）から話速変換処理タイミング（ｄ）までは、出力タイミング毎に１ずつ大きい符号化フレームの信号が必要となる。話速変換処理タイミング（ｅ）においては再び信号の基本周期を算出するために、符号化フレーム「１０」までの信号が必要となる。つまり、話速変換処理タイミング（ｄ）と比較すると、話速変換処理タイミング（ｅ）で新たに２符号化フレーム分の信号が必要となり、これにより音声復号処理の演算量が一時的に増大する。
【００１７】
以上のように、音声復号処理および話速変換処理とを備えた音声再生装置では、音声符号に基本周期の情報が含まれない場合、話速変換処理の基本周期算出において一時的に音声復号処理の演算量が増大するという課題があった。
【００１８】
この発明は、上記のような課題を解決するためになされたもので、符号化された音声を復号し、さらに話速変換を行う音声再生装置において、音声復号処理の一時的な演算量の増大を抑制することを目的とする。
【課題を解決するための手段】
【００１９】
この発明に係る音声再生装置は、符号化音声信号をあらかじめ設定された復号条件に基づいて復号する音声復号部と、音声復号部が復号した音声信号を蓄積する蓄積部と、蓄積部に蓄積された音声信号の音声信号波形の基本周期を算出し、算出した基本周期およびあらかじめ設定された話速に基づき音声信号波形の伸長または圧縮を行い、音声信号の再生速度を変換して出力音声信号を生成する話速変換部と、話速変換部が算出した音声信号波形の基本周期、およびあらかじめ設定された話速に基づき音声復号部の復号条件を決定する復号動作制御部とを備えるものである。
【発明の効果】
【００２０】
この発明によれば、音声復号処理の一時的な演算量の増大を抑制することができる。
【図面の簡単な説明】
【００２１】
【図１】実施の形態１による音声再生装置の構成を示すブロック図である。
【図２】実施の形態１による音声再生装置の動作を示すフローチャートである。
【図３】実施の形態１による音声再生装置の話速を上げる場合の話速変換処理を示す説明図である。
【図４】実施の形態１による音声再生装置の話速を下げる場合の話速変換処理を示す説明図である。
【図５】実施の形態３による音声再生装置の構成を示すブロック図である。
【図６】実施の形態３による音声再生装置の動作を示すフローチャートである。
【図７】音声信号の再生速度を上げる場合の話速変換処理の原理を示す説明図である。
【図８】音声信号の再生速度を下げる場合の話速変換処理の原理を示す説明図である。
【図９】音声信号の再生速度を上げる場合の音声復号処理の演算量の変化を示す説明図である。
【図１０】音声信号の再生速度を下げる場合の音声復号処理の演算量の変化を示す説明図である。
【発明を実施するための形態】
【００２２】
実施の形態１．
図１は、実施の形態１による音声再生装置の構成を示すブロック図である。
音声再生装置１０は、音声復号部１、蓄積部２、話速変換部３および復号動作制御部４で構成されている。
音声復号部１は、高能率符号化された符号化音声の復号処理を行う。より詳細には、後述する話速変換処理に先立ち、話速変換処理タイミング毎に、後述する復号動作制御部４から指定される復号すべきフレーム数に基づいて復号処理を行う。蓄積部２は、例えばＦＩＦＯ（Ｆｉｒｓｔ  Ｉｎ  Ｆａｓｔ  Ｏｕｔ）バッファなどで構成され、音声復号部１が復号した音声信号を一時蓄積する。話速変換部３は、蓄積部２に蓄積された音声信号の再生速度を変換することにより話速変換を行って出力音声信号を生成し、出力する。復号動作制御部４は、音声復号部１の復号動作を制御する制御情報として、音声復号部１が復号すべきフレーム数（以下、動作フレーム数と称する）を算出する。
【００２３】
次に、実施の形態１の音声再生装置１０の動作について説明する。
図２は、この発明の実施の形態１による音声再生装置の動作を示すフローチャートである。
高能率符号化された符号化音声が入力されると（ステップＳＴ１）、音声復号部１は当該高能率符号化された符号化音声に対して、あらかじめ復号動作制御部４から指定された動作フレーム数の復号処理を話速変換処理タイミング毎に行う（ステップＳＴ２）。ステップＳＴ２で復号された音声信号は蓄積部２に出力され、蓄積部２は入力された音声信号を一時蓄積する（ステップＳＴ３）。
【００２４】
話速変換部３は、ステップＳＴ３で蓄積された音声信号の再生速度を、話速変換処理タイミング毎に設定された話速に変換する（ステップＳＴ４）。話速変換部３は、ステップＳＴ４で再生速度を変換した出力音声信号を外部に出力する（ステップＳＴ５）と共に、ステップＳＴ４の話速変換処理において算出された音声の基本周期を復号動作制御部４に出力する（ステップＳＴ６）。復号動作制御部４は、ステップＳＴ６で入力された音声の基本周期に基づいて音声復号部１の動作フレーム数を算出し、音声復号部１に出力する（ステップＳＴ７）。音声復号部１は、設定されている動作フレーム数をステップＳＴ７で入力された動作フレーム数に更新する（ステップＳＴ８）。その後、フローチャートはステップＳＴ１の処理に戻り、上述した処理を繰り返す。
【００２５】
次に、図３を参照しながら復号動作制御部４の動作をより詳細に説明する。
図３は、実施の形態１による音声再生装置において音声信号の再生速度を上げる場合の話速変換処理を示す説明図である。
図３では、音声復号部１の出力である話速変換前の信号（以下、話速変換前信号と称する）、話速変換前信号の符号化フレーム境界、話速変換部３の出力である話速変換後の信号（以下、話速変換後信号と称する）および話速変換処理タイミングを示している。また、話速変換前信号の上部には基本周期Ｔｐ１、基本周期Ｔｐ２、基本周期Ｔｐ１算出後の話速調整用時間Ｔ１、想定される基本周期の最大値である最大基本周期Ｔｍａｘを示している。また、符号化フレーム境界は、音声符号の符号化フレーム長Ｔｃを用いて示している。
【００２６】
さらに、話速変換処理タイミングは、音声復号部１、話速変換部３および復号動作制御部４の動作周期Ｔｏを用いて示している。復号動作制御部４は話速変換処理タイミング毎、即ち動作周期Ｔｏ毎に音声復号部１の動作フレーム数を算出し、音声復号部１は算出された動作フレーム数に基づいて符号化音声の復号処理を行い、話速変換部３は復号された音声信号の話速変換処理を行い、動作周期Ｔｏの長さの話速変換後信号を出力音声信号として出力する。また、話速変換後信号において、話速変換後に対応する部分の出力音声信号を太線で表わしている。
【００２７】
なお、図３においても上述した図９と同様に、話速変換処理タイミングの一部に（ａ）〜（ｇ）の記号を付している。図３で示した信号長Ｔａは、話速変換処理タイミング（ａ）で出力する話速変換後信号の先頭から基本周期Ｔｐ１を算出する場合の基本周期算出基点までの信号長を示している。信号長Ｔａの値は、基本周期Ｔｐ１の前の基本周期を算出した時点での基本周期算出起点から話速調整用時間経過後の時点であるため、話速変換処理タイミング（ａ）においては既知の値である。
【００２８】
また、信号長Ｔｂは話速変換処理タイミング（ａ）において音声復号部１が復号処理を行った時点、即ち話速変換部３が話速変換処理を行う前の時点において復号済み且つ未出力の信号長を示している。当該話速変換処理タイミング（ａ）において話速変換部３が出力する信号には、先頭から信号長Ｔａ後に次の基本周期算出起点がある。従って、話速変換処理タイミング（ａ）では、話速変換前信号として話速変換部３が基本周期を算出するために必要な長さの信号、すなわち符号化フレーム境界の位置（Ａ２）までの信号が復号されていなければならない。つまり、信号長Ｔｂは、話速変換出力前の信号の先頭位置（Ａ１）から符号化フレーム境界の位置（Ａ２）までの長さ以上の信号長である必要がある。
【００２９】
以下、上述した条件、即ち話速変換処理タイミング（ａ）において音声復号部１の動作が完了した時点で、信号長Ｔｂは話速変換出力前の信号の先頭位置（Ａ１）から符号化フレーム境界の位置（Ａ２）までの長さ以上であるという条件を満たしているものとして説明を行う。言い換えると、上述した条件は復号動作制御部４が以下に示す動作を行うことにより満たされる。
【００３０】
次に、話速変換処理タイミング（ｂ）〜（ｇ）における復号動作制御部４の動作について説明する。
まず、復号動作制御部４は話速変換処理タイミング（ｂ）において、次に基本周期を算出する話速変換処理タイミング（ｇ）までの話速変換処理タイミング回数ｎｏＡを以下の式（２）に基づいて算出する。
ｎｏＡ＝ｆｌｏｏｒ｛（Ｔａ＋Ｔ１）／Ｔｏ｝・・・（２）
式（２）において、ｆｌｏｏｒ｛ｘ｝はｘ以下の最大の整数である。また、Ｔ１は話速変換処理タイミング（ａ）において話速変換部３が算出した基本周期Ｔｐ１および話速設定ｓから、Ｔ１＝Ｔｐ１／（ｓ−１）により求められる。図３の例では、式（２）により求めた話速変換処理タイミング回数ｎｏＡ＝６となる。
【００３１】
次に、復号動作制御部４は話速変換処理タイミング（ｇ）までに復号されるべき符号化フレーム数ｎｆＡを求める。符号化フレーム数ｎｆＡは、話速変換処理タイミング（ｇ）において、次の基本周期を算出するために符号化フレーム境界（Ａ３）までの信号が復号済みとなるように決定する。具体的には、以下の式（３）に基づいて算出する。
ｎｆＡ＝ｃｅｉｌ｛（Ｔａ＋Ｔｐ１＋Ｔ１＋２・Ｔｍａｘ−Ｔｂ）／Ｔｃ｝・・・（３）
式（３）において、ｃｅｉｌ｛ｘ｝はｘ以上の最小の整数を表す。図３の例では、式（３）により求めた符号化フレーム数ｎｆＡ＝８となる。
【００３２】
上述した話速変換処理タイミング回数ｎｏＡおよび符号化フレーム数ｎｆＡを用いて、以降話速変換処理タイミング（ｂ）から（ｇ）までの話速変換処理タイミング回数ｎｏＡの間に符号化フレーム数ｎｆＡの符号化フレームの音声が復号されるように設定する。具体的には、話速変換処理タイミング（ｂ）から（ｇ）までの間、話速変換処理タイミング毎に、以下の式（４）に基づいて音声復号部１の動作フレーム数ｎｐＡを算出すると共に、式（５）に基づいて音声復号部１の符号化フレーム数ｎｆＡおよび話速変換処理タイミング回数ｎｏＡの更新を行う。
ｎｐＡ＝ｃｅｉｌ（ｎｆＡ／ｎｏＡ）・・・（４）
ｎｆＡ＝ｎｆＡ−ｎｐＡ
ｎｏＡ＝ｎｏＡ−１          ・・・（５）
【００３３】
図３の例では、話速変換処理タイミング（ｂ）において動作フレーム数ｎｐＡ＝２、話速変換処理タイミング（ｃ）において動作フレーム数ｎｐＡ＝２、話速変換処理タイミング（ｄ）において動作フレーム数ｎｐＡ＝１、話速変換処理タイミング（ｅ）においてで動作フレーム数ｎｐＡ＝１、話速変換処理タイミング（ｆ）において動作フレーム数ｎｐＡ＝１、話速変換処理タイミング（ｇ）において動作フレーム数ｎｐＡ＝１となる。
【００３４】
上述した手順により決定した動作フレーム数ｎｐＡに従って音声復号部１が復号動作を行うと、話速変換処理タイミング（ｇ）において、次の基本周期Ｔｐ２を算出するために必要となる信号が復号済みとなる。従って、話速変換処理タイミング（ａ）に至るまでの処理も上述した手順に従ったとすると、話速変換処理タイミング（ａ）において基本周期Ｔｐ１を算出するために必要な信号が復号済みであること、つまり信号長Ｔｂは話速変換出力前の信号の先頭位置（Ａ１）から符号化フレーム境界位置（Ａ２）までの長さとなっていることは自明である。
【００３５】
音声再生装置１０が起動後に初めて話速変換を開始する場合や、話速が１倍速の状態から再生速度を上げる場合、最初の話速変換処理タイミングにおいて信号の基本周期を算出する場合、信号長Ｔｂが０または非常に小さい値であるため、最初の話速変換処理タイミングのみ音声復号部１の演算量が増大する。そこで、話速調整用時間Ｔ１の初期値Ｔ１＿ｉｎｉをあらかじめ設定しておき、最初の話速変換処理タイミングのみ上述した話速変換処理タイミング回数ｎｏＡ、符号化フレーム数ｎｆＡ、信号長Ｔａを以下の式（６）に基づいて算出する。
ｎｏＡ＝ｃｅｉｌ｛（Ｔ１＿ｉｎｉ）／Ｔｏ｝
ｎｆＡ＝ｃｅｉｌ｛（Ｔ１＿ｉｎｉ＋２・Ｔｍａｘ−Ｔｂ）／Ｔｃ｝・・・（６）
Ｔａ＝０
初期値Ｔ１＿ｉｎｉを十分大きい値に設定することにより、話速変換が実質的に開始されるまでに時間を要するが、音声復号部１の演算量増大を防止することができる。
【００３６】
次に、図４を参照しながら音声信号の再生速度を下げる場合の復号動作制御部４の動作を説明する。図４は、実施の形態１による音声再生装置において音声信号の再生速度を下げる場合の話速変換処理を示す説明図である。
図４では、図３と同様に話速変換前信号、符号化フレーム境界、話速変換後信号および話速変換処理タイミングを示している。話速変換前信号の上部には基本周期Ｔｐ１、基本周期Ｔｐ２、基本周期Ｔｐ１算出後の話速調整用時間Ｔ１、想定される基本周期の最大値である最大基本周期Ｔｍａｘを示している。また、符号化フレーム境界は、音声符号の符号化フレーム長Ｔｃを用いて示している。
【００３７】
動作周期Ｔｏは音声復号部１および話速変換部３の動作周期を示している。復号動作制御部４は、話速変換処理タイミング毎、即ち動作周期Ｔｏ毎に音声復号部１の符号化フレーム数を算出し、音声復号部１は算出された符号化フレーム数に基づいて復号処理を行い、話速変換部３は復号された音声信号の話速変換処理を行い、動作周期Ｔｏの長さの話速変換後信号を出力音声信号として出力する。また、話速変換後信号において、話速変換後に対応する部分の出力音声信号を太線で表わしている。
【００３８】
なお、図４においても上述した図９と同様に、話速変換処理タイミングの一部に（ａ）〜（ｉ）の記号を付している。図４で示した信号長Ｔａは、話速変換処理タイミング（ａ）で出力する話速変換後信号の先頭から基本周期Ｔｐ１を算出する場合の基本周期算出基点までの信号長を示している。信号長Ｔａの値は、基本周期Ｔｐ１の前の基本周期を算出した時点での基本周期算出起点から話速調整用時間経過後の時点であるため、話速変換処理タイミング（ａ）においては既知の値である。
【００３９】
また、信号長Ｔｂは話速変換処理タイミング（ａ）において音声復号部１が復号処理を行った時点、即ち話速変換部３が話速変換処理を行う前の時点において復号済み且つ未出力の信号長を示している。当該話速変換処理タイミング（ａ）において話速変換部３が出力する信号には、先頭から信号長Ｔａ後に次の基本周期算出タイミング（ｂ）がある。従って、話速変換処理タイミング（ａ）では、話速変換前信号として話速変換部３が基本周期を算出するために必要な長さの信号、すなわち符号化フレーム境界の位置（Ｂ２）までの信号が復号されていなければならない。つまり、信号長Ｔｂは、話速変換出力前の信号の先頭位置（Ｂ１）から符号化フレーム境界の位置（Ｂ２）までの長さ以上の信号長である必要がある。
【００４０】
以下、上述した条件、即ち話速変換処理タイミング（ａ）において音声復号部１の動作が完了した時点で、信号長Ｔｂは話速変換出力前の信号の先頭位置（Ｂ１）から符号化フレーム境界の位置（Ｂ２）までの長さ以上であるという条件を満たしているものとして説明を行う。言い換えると、上述した条件は復号動作制御部４が以下に示す動作を行うことにより満たされる。
【００４１】
次に、話速変換処理タイミング（ｂ）〜（ｉ）における復号動作制御部４の動作について説明する。
まず、復号動作制御部４は話速変換処理タイミング（ｂ）において、次に基本周期を算出する話速変換処理タイミング（ｉ）までの話速変換処理タイミング回数ｎｏＢを以下の式（７）に基づいて算出する。
ｎｏＢ＝ｆｌｏｏｒ｛（Ｔａ＋Ｔｐ１＋Ｔ１）／Ｔｏ｝・・・（７）
式（７）において、Ｔ１は話速変換処理タイミング（ａ）において話速変換部３が算出した基本周期Ｔｐ１および話速設定ｓから、Ｔ１＝Ｔｐ１×ｓ／（１−ｓ）により求められる。図４の例では、式（７）により求めた話速変換処理タイミング回数ｎｏＢ＝８となる。
【００４２】
次に、復号動作制御部４は話速変換処理タイミング（ｉ）までに復号されるべき符号化フレーム数ｎｆＢを求める。符号化フレーム数ｎｆＢは、話速変換処理タイミング（ｉ）において、次の基本周期を算出するために符号化フレーム境界（Ｂ３）までの信号が復号済みとなるように決定する。具体的には、以下の式（８）に基づいて算出する。
ｎｆＢ＝ｃｅｉｌ｛（Ｔａ＋Ｔ１＋Ｔｍａｘ−Ｔｂ）／Ｔｃ｝・・・（８）
式（８）において、ｃｅｉｌ｛ｘ｝はｘ以上の最小の整数を表す。図４の例では、式（８）により求めた符号化フレーム数ｎｆＢ＝７となる。
【００４３】
以降、上述した音声信号の再生速度を上げる場合と同様、話速変換処理タイミング回数ｎｏＢおよび符号化フレーム数ｎｆＢを用いて、話速変換処理タイミング（ｂ）から（ｉ）までの話速変換処理タイミング回数ｎｏＢの間に符号化フレーム数ｎｆＢの符号化フレームの音声が復号されるように設定する。具体的には、話速変換処理タイミング（ｂ）から（ｉ）までの間、話速変換処理タイミング毎に、以下の式（９）に基づいて音声復号部１が動作フレーム数ｎｐＢを算出すると共に、式（９）に基づいて音声復号部１の符号化フレーム数ｎｆＢおよび話速変換処理タイミング回数ｎｏＢの更新を行う。
ｎｐＢ＝ｃｅｉｌ（ｎｆＢ／ｎｏＢ）
ｎｆＢ＝ｎｆＢ−ｎｐＢ・・・（９）
ｎｏＢ＝ｎｏＢ−１
【００４４】
図４の例では、話速変換処理タイミング（ｂ）において動作フレーム数ｎｐＢ＝１、話速変換処理タイミング（ｃ）において動作フレーム数ｎｐＢ＝１、話速変換処理タイミング（ｄ）において動作フレーム数ｎｐＢ＝１、話速変換処理タイミング（ｅ）において動作フレーム数ｎｐＢ＝１、話速変換処理タイミング（ｆ）において動作フレーム数ｎｐＢ＝１、話速変換処理タイミング（ｇ）において動作フレーム数ｎｐＢ＝１、話速変換処理タイミング（ｈ）において動作フレーム数ｎｐＢ＝１、話速変換処理タイミング（ｉ）において動作フレーム数ｎｐＢ＝０となる。
【００４５】
上述した手順により決定した動作フレーム数ｎｐＢに従って音声復号部１が復号動作を行うと、話速変換処理タイミング（ｉ）の時点において、次の基本周期Ｔｐ２を算出するために必要となる信号が復号済みとなる。従って、話速変換処理タイミング（ａ）に至るまでの処理も上述した手順に従ったとすると、話速変換処理タイミング（ａ）の時点で基本周期Ｔｐ１を算出するために必要な信号が復号済みであること、つまり信号長Ｔｂは話速変換出力前の信号の先頭位置（Ｂ１）から符号化フレーム境界位置（Ｂ２）までの長さとなっていることは自明である。
【００４６】
音声再生装置１０が起動後に初めて話速変換を開始する場合や、話速が１倍速の状態から再生速度を下げる場合、最初の話速変換処理タイミングにおいて信号の基本周期を算出する場合、信号長Ｔｂが０または非常に小さい値であるため、最初の話速変換処理タイミングのみ音声復号部１の演算量が増大する。そこで、話速調整用時間Ｔ１の初期値Ｔ１＿ｉｎｉ２をあらかじめ設定しておき、最初の話速変換処理タイミングのみ上述した話速変換処理タイミング回数ｎｏＢ、符号化フレーム数ｎｆＢ、信号長Ｔａを以下の式（１０）に基づいて算出する。
ｎｏＢ＝ｃｅｉｌ｛（Ｔ１＿ｉｎｉ２）／Ｔｏ｝
ｎｆＢ＝ｃｅｉｌ｛（Ｔ１＿ｉｎｉ２＋Ｔｍａｘ−Ｔｂ）／Ｔｃ｝・・・（１０）
Ｔａ＝０
初期値Ｔ１＿ｉｎｉ２を十分大きい値に設定することにより、話速変換が実質的に開始されるまでに時間を要するが、音声復号部１の演算量増大を防止することができる。
【００４７】
以上のようにこの実施の形態１によれば、復号された音声信号を一時蓄積する蓄積部２と、蓄積部２に蓄積された音声信号の再生速度を設定された話速に変換して出力音声信号を生成する話速変換部３と、信号の基本周期と設定された話速に基づいて次の基本周期算出を行う話速変換処理タイミングまでの話速変換処理タイミング回数ｎｏＡ，ｎｏＢおよび話速変換処理タイミングまでに復号されるべき符号化フレーム数ｎｆＡ，ｎｆＢを求め、音声復号部１の動作フレーム数を決定する復号動作制御部４と、復号動作制御部４が決定した動作フレーム数に基づいて音声信号の復号を行う音声復号部１とを備えるように構成したので、符号化された音声を復号すると共に話速変換を行う音声再生装置において、音声復号処理における一時的な演算量の増大を抑制することができる。
【００４８】
実施の形態２．
上述した実施の形態１とは異なる方法を適用して音声復号部１の動作フレーム数ｎｐＡ，ｎｐＢを算出しても良い。具体的には、音声復号部１の動作フレーム数ｎｐＡ，ｎｐＢは、次の基本周期算出を行う話速変換処理タイミングまでの話速変換処理タイミング回数ｎｏＡ，ｎｏＢ、および話速変換処理タイミングまでに復号されるべき符号化フレーム数ｎｆＡ，ｎｆＢを算出した後、話速変換処理タイミング回数ｎｏＡ，ｎｏＢの処理により符号化フレーム数ｎｆＡ，ｎｆＢのフレームの符号が行われるように決定すればよい。
【００４９】
例えば、実施の形態１の図２で示した話速を上げる場合の話速変換処理において、話速変換処理タイミング回数ｎｏＡ＝６、符号化フレーム数ｎｆＡ＝８の場合、実施の形態１に示した方法では、話速変換処理タイミング（ｂ）において動作フレーム数ｎｐＡ＝２、話速変換処理タイミング（ｃ）において動作フレーム数ｎｐＡ＝２、話速変換処理タイミング（ｄ）において動作フレーム数ｎｐＡ＝１、話速変換処理タイミング（ｅ）において動作フレーム数ｎｐＡ＝１、話速変換処理タイミング（ｆ）において動作フレーム数ｎｐＡ＝１、話速変換処理タイミング（ｇ）において動作フレーム数ｎｐＡ＝１となる。
【００５０】
一方、上述のように話速変換処理タイミング回数ｎｏＡおよび符号化フレーム数ｎｆＡを求めた後、動作フレーム数ｎｐＡを決定する話速変換処理では、話速変換処理タイミング（ｂ）において動作フレーム数ｎｐＡ＝２、話速変換処理タイミング（ｃ）において動作フレーム数ｎｐＡ＝２、話速変換処理タイミング（ｄ）において動作フレーム数ｎｐＡ＝２、話速変換処理タイミング（ｅ）において動作フレーム数ｎｐＡ＝２、話速変換処理タイミング（ｆ）において動作フレーム数ｎｐＡ＝０、話速変換処理タイミング（ｇ）において動作フレーム数ｎｐＡ＝０となる。
このように、実施の形態２による話速変換処理による音声復号部１の最大の処理フレーム数は「２」であり、演算量のピーク値は実施の形態１で示した話速変換処理と変わらない。
【００５１】
以上のように、この実施の形態２によれば、音声復号部１が動作フレーム数ｎｐＡ，ｎｐＢは、次の基本周期算出を行う話速変換処理タイミングまでの話速変換処理タイミング回数ｎｏＡ，ｎｏＢ、および話速変換処理タイミングまでに復号されるべき符号化フレーム数ｎｆＡ，ｎｆＢを算出した後、話速変換処理タイミング回数ｎｏＡ，ｎｏＢの処理により符号化フレーム数ｎｆＡ，ｎｆＢのフレームの符号が行われるように決定すればよく、上述した実施の形態１と同様に符号化された音声を復号すると共に話速変換を行う音声再生装置において、音声復号処理における一時的な演算量の増大を抑制することができる。
【００５２】
実施の形態３．
上述した実施の形態１および実施の形態２では復号動作制御部４が制御情報として音声復号部１の動作フレーム数を決定する構成を示したが、この実施の形態３では復号動作制御部４ａが制御情報として音声復号部１ａの復号処理時間を決定する構成を示す。
図５は、実施の形態３の音声再生装置の構成を示すブロック図である。
実施の形態３の音声再生装置１０ａは、図１で示した音声再生装置１０の音声復号部１および復号動作制御部４に替えて、音声復号部１ａおよび復号動作制御部４ａを設けている。以下では、実施の形態１による音声再生装置１０の構成要素と同一または相当する部分には、図１で使用した符号と同一の符号を付して説明を省略または簡略化する。
【００５３】
音声復号部１ａは、高能率符号化された符号化音声の復号処理を行うが、より詳細には話速変換処理に先立ち、話速変換処理タイミング毎に、後述する復号動作制御部４ａから指定された処理時間の復号処理を行う。復号動作制御部４ａは、音声復号部１ａの復号動作を制御する制御情報として、復号すべき処理時間（以下、復号処理時間と称する）を算出する。算出した復号処理時間は、音声復号部１ａに出力される。
【００５４】
次に、実施の形態３の音声再生装置１０ａの動作について説明する。
図６は、この発明の実施の形態２による音声再生装置の動作を示すフローチャートである。なお以下では、実施の形態１による音声再生装置１０と同一のステップには図２で使用した符号と同一の符号を付し、説明を省略または簡略化する。
【００５５】
高能率符号化された符号化音声が入力されると（ステップＳＴ１）、音声復号部１ａは当該高能率符号化された符号化音声に対して、あらかじめ復号動作制御部４ａから指定された復号処理時間の復号処理を話速変換処理タイミング毎に行う（ステップＳＴ１１）。ステップＳＴ１１で復号された音声信号は蓄積部２に出力され、蓄積部２は入力された音声信号を一時蓄積する（ステップＳＴ３）。
【００５６】
その後、ステップＳＴ４からステップＳＴ６と同様の処理を行う。次に、復号動作制御部４ａは、ステップＳＴ６で入力された音声の基本周期に基づいて音声復号部１ａの復号処理時間を算出し、音声復号部１ａに出力する（ステップＳＴ１２）。音声復号部１ａは、復号処理時間をステップＳＴ１２で入力された処理時間に更新する（ステップＳＴ１３）。その後、フローチャートはステップＳＴ１の処理に戻り、上述した処理を繰り返す。
【００５７】
次に、音声信号の再生速度を上げる場合の復号動作制御部４ａの動作を説明する。なお、動作の説明は実施の形態１で示した図３を参照しながら説明を行う。
まず、復号動作制御部４ａは、実施の形態１で示した復号動作制御部４と同様に話速変換処理タイミング（ｂ）において、次に基本周期を算出する話速変換処理タイミング（ｇ）までの話速変換処理タイミング回数ｎｏＡ、および話速変換処理タイミング（ｇ）までに復号されるべき符号化フレーム数ｎｆＡを求める。
【００５８】
以降、話速変換処理タイミング（ｂ）から（ｇ）までの話速変換処理タイミング回数ｎｏＡの間に符号化フレーム数ｎｆＡの符号化フレームの音声が復号される必要がある。そこで、話速変換処理タイミング回数ｎｏＡおよび符号化フレーム数ｎｆＡを用いて、話速変換処理タイミング（ｂ）から（ｇ）までの間、話速変換処理タイミング毎に、音声復号部１ａの復号処理時間ＴｄｅｃＡを以下の式（１１）に基づいて算出する。
ＴｄｅｃＡ＝Ｔｄｍａｘ×ｎｆＡ／ｎｏＡ・・・（１１）
式（１０）において、Ｔｄｍａｘは音声復号部１ａが１符号化フレーム分の処理を行う際の処理時間の最大値であり、あらかじめ求めておくものとする。
【００５９】
音声復号部１ａの復号処理時間Ｔｄｅｃを上述した式（１１）に基づいて決定すると、音声復号部１ａは話速変換処理タイミング（ｂ）から話速変換処理タイミング回数ｎｏＡ回の間（図３の話速変換処理タイミング（ｇ）までの間）に、ＴｄｅｃＡ×ｎｏＡ＝Ｔｄｍａｘ×ｎｆＡだけ復号処理が行われ、Ｔｄｍａｘは１符号化フレーム分の処理時間の最大値であるから符号化フレーム数ｎｆＡフレーム以上の復号処理が行われる。
【００６０】
次に、音声信号の再生速度を下げる場合の復号動作制御部４ａの動作を説明する。なお、動作の説明は実施の形態１で示した図４を参照しながら説明を行う。
まず、復号動作制御部４ａは、実施の形態１で示した復号動作制御部４と同様に話速変換処理タイミング（ｂ）において、次に基本周期を算出する話速変換処理タイミング（ｉ）までの話速変換処理タイミング回数ｎｏＢ、および話速変換処理タイミング（ｉ）までに復号されるべき符号化フレーム数ｎｆＢを求める。
【００６１】
以降、上述した音声信号の再生速度を上げる場合と同様、話速変換処理タイミング回数ｎｏＢおよび符号化フレーム数ｎｆＢを用いて、話速変換処理タイミング（ｂ）から（ｉ）まで間、話速変換処理タイミング毎に、音声復号部１ａの復号処理時間ＴｄｅｃＢを以下の式（１２）に基づいて算出する。
ＴｄｅｃＢ＝Ｔｄｍａｘ×ｎｆＢ／ｎｏＢ・・・（１２）
【００６２】
音声復号部１ａの復号処理時間ＴｄｅｃＢを上述した式（１２）に基づいて決定すると、音声復号部１ａは話速変換処理タイミング（ｂ）から話速変換処理タイミング回数ｎｏＢ回の間（図４の話速変換処理タイミング（ｉ）までの間）に、ＴｄｅｃＢ×ｎｏＢ＝Ｔｄｍａｘ×ｎｆＢだけ復号処理が行われ、Ｔｄｍａｘは１符号化フレーム分の処理時間の最大値であるから符号化フレーム数ｎｆＢフレーム以上の復号処理が行われる。
【００６３】
以上のように、この実施の形態３によれば、復号された音声信号を一時蓄積する蓄積部２と、蓄積部２に蓄積された音声信号の再生速度を設定された話速に変換して出力音声信号を生成する話速変換部３と、信号の基本周期と設定された話速に基づいて次の基本周期算出を行う話速変換処理タイミングまでの話速変換処理タイミング回数ｎｏＡ，ｎｏＢおよび話速変換処理タイミングまでに復号されるべき符号化フレーム数ｎｆＡ，ｎｆＢを求め、音声復号部１が動作すべき処理時間を決定する復号動作制御部４ａと、復号動作制御部４ａが決定した処理時間に基づいて音声信号の復号を行う音声復号部１ａとを備えるように構成したので、符号化された音声を復号すると共に話速変換を行う音声再生装置において、音声復号処理における一時的な演算量の増大を抑制することができる。
【００６４】
なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。
【符号の説明】
【００６５】
１，１ａ  音声復号部、２  蓄積部、３  話速変換部、４，４ａ  復号動作制御部、１０，１０ａ  音声再生装置。
【図１】
0006385153.tif 000002
【図２】
0006385153.tif 000003
【図３】
0006385153.tif 000004
【図４】
0006385153.tif 000005
【図５】
0006385153.tif 000006
【図６】
0006385153.tif 000007
【図７】
0006385153.tif 000008
【図８】
0006385153.tif 000009
【図９】
0006385153.tif 000010
【図１０】
0006385153.tif 000011