(57)【要約】【課題】特徴量から高速かつ高精度に時系列信号を合成する。【解決手段】時系列信号の周期成分の周波数スペクトルに対応する周期特徴量と任意に選択された基本周波数とを用い、それぞれの周波数が基本周波数の整数倍である複数の正弦波の重畳によって、基本周波数と周期特徴量とに対応する時間領域の第１信号を生成し、時系列信号の非周期成分の周波数スペクトルに対応する非周期特徴量を用い、複数の正弦波の重畳によって、非周期特徴量に対応する時間領域の第２信号を生成し、第１信号と第２信号との和を合成信号とする。【選択図】図１
2011247921.tif 000002
【特許請求の範囲】
【請求項１】
時系列信号の周期成分の周波数スペクトルに対応する周期特徴量と任意に選択された基本周波数とを用い、それぞれの周波数が前記基本周波数の整数倍である複数の正弦波の重畳によって、前記基本周波数と前記周期特徴量とに対応する時間領域の第１信号を生成する周期成分合成ステップと、
前記時系列信号の非周期成分の周波数スペクトルに対応する非周期特徴量を用い、複数の正弦波の重畳によって、前記非周期特徴量に対応する時間領域の第２信号を生成する非周期成分合成ステップと、
前記第１信号と前記第２信号との和を合成信号とする信号加算ステップと、
を有する信号合成方法。
【請求項２】
請求項１の信号合成方法であって、
前記第１信号は、前記基本周波数の整数倍である各周波数での前記周期特徴量の振幅スペクトルと当該基本周波数の整数倍である各周波数の正弦波との各積の和に対応する信号である、
ことを特徴とする信号合成方法。
【請求項３】
請求項１又は２の信号合成方法であって、
iを整数とし、離散時間t(i)での前記第１信号をSp(t(i))と表し、前記離散時間t(i)での前記基本周波数をf0(t(i))と表し、Nを正整数とし、kを１以上N以下の整数とし、離散時間t(i)に対応する各周波数k・f0(t(i))での前記周期特徴量の振幅スペクトルをAk(t(i))と表し、離散時間t(i-1)と離散時間t(i)との差分を定数Δtとし、θk,t(i)=2π・k・f0(t(i))・t(i-1)とし、ωk,t(i)=2π・k・f0(t(i))・Δtとし、αk,t(i)=sin(θk,t(i)+ωk,t(i))とし、βk,t(i)=cos(θk,t(i)+ωk,t(i))とし、δsk,t(i)=sin(ωk,t(i))とし、δck,t(i)=cos(ωk,t(i))とした場合、Sp(t(i))=Σk=1N Ak(t(i))・αk,t(i)を満たし、
前記周期成分合成ステップは、
前記離散時間t(i)及びt(i-1)を含む時間区間において前記基本周波数が一定であって、f0(t(i))=f0(t(i-1))が満たされる場合、
αk,t(i-1)とβk,t(i-1)とδsk,t(i-1)とδck,t(i-1)とを用い、δsk,t(i)=δsk,t(i-1)とδck,t(i)=δck,t(i-1)として、各k (k=1,...,N)に対してそれぞれ、
αk,t(i)=αk,t(i-1)・δck,t(i)+βt(i-1)・δsk,t(i)とβk,t(i)=βk,t(i-1)・δck,t(i)-αt(i-1)・δsk,t(i)
を計算する第１漸化式計算ステップと、
Ak(t(i))及びαk,t(i) (k=1,...,N)を用い、前記第１信号Sp(t(i))=Σk=1N Ak(t(i))・αk,t(i)を計算する第１重畳ステップと、
を含むことを特徴とする信号合成方法。
【請求項４】
請求項１から３の何れかの信号合成方法であって、
前記第２信号は、任意の各周波数での前記非周期特徴量の振幅スペクトルと当該任意の各周波数の正弦波との各積の和に対応する信号である、
ことを特徴とする信号合成方法。
【請求項５】
請求項１から４の何れかの信号合成方法であって、
iを整数とし、離散時間t(i)での前記第２信号をSa(t(i))と表し、Mを正整数とし、mを１以上M以下の整数とし、所定の基底周波数をfbとし、離散時間t(i)に対応する各周波数m・fbでの前記周期特徴量の振幅スペクトルをBm(t(i))と表し、離散時間t(i-1)と離散時間t(i)との差分を定数Δtとし、θm,t(i)=2π・m・fb・t(i-1)とし、ωm=2π・m・fb・Δtとし、γm,t(i)=sin(θm,t(i)+ωm)とし、ηm,t(i)=cos(θm,t(i)+ωm)とし、εsm=sin(ωm)とし、εcm=cos(ωm)とした場合、Sa(t(i))=Σm=1M Bm(t(i))・γm,t(i)を満たし、
前記非周期成分合成ステップは、
γm,t(i-1)とηm,t(i-1)とを用い、各m (m=1,...,M)に対してそれぞれ、
γm,t(i)=γm,t(i-1)・εcm+ηt(i-1)・εsmとηm,t(i)=ηm,t(i-1)・εcm-γt(i-1)・εsm
を計算する第２漸化式計算ステップと、
Bm(t(i))及びγm,t(i) (m=1,...,M)を用い、前記第２信号Sa(t(i))=Σm=1M Bm(t(i))・γm,t(i)を計算する第２重畳ステップと、を含む、
ことを特徴とする信号合成方法。
【請求項６】
請求項１から５の何れかの信号合成方法であって、
前記基本周波数は、前記周波数スペクトルから独立に定められた値である、
ことを特徴とする信号合成方法。
【請求項７】
時系列信号の周期成分の周波数スペクトルに対応する周期特徴量と任意に選択された基本周波数とを用い、それぞれの周波数が前記基本周波数の整数倍である複数の正弦波の重畳によって、前記基本周波数と前記周期特徴量とに対応する時間領域の第１信号を生成する周期成分合成部と、
前記時系列信号の非周期成分の周波数スペクトルに対応する非周期特徴量を用い、複数の正弦波の重畳によって、前記非周期特徴量に対応する時間領域の第２信号を生成する非周期成分合成部と、
前記第１信号と前記第２信号との和を合成信号とする信号加算部と、
をさらに有する信号合成装置。
【請求項８】
請求項１から６の何れかの信号合成方法としてコンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、時系列信号の分析により得られた特徴量やその特徴量に対して何らかの加工が行われた特徴量から時系列信号を合成する技術に関する。
【背景技術】
【０００２】
近年、音声信号の分析により得られた特徴量やその特徴量に対して何らかの加工が行われた特徴量から高品質な音声信号を合成する技術が提案されており、従来の線形予測に基づくVocoderと比較して肉声に近い音声の合成が可能となってきている。例えば、STRAIGHT分析合成方式（例えば、非特許文献１参照）は代表的な高品質分析合成法であり、音声合成や聴覚実験等多くの分野で使用されている。また一方で正弦波重畳に基づく分析合成方法（正弦波重畳方式）も高品質な音声合成方式として有用であり、基本周波数の制御の自由度が高いことから歌唱音声合成やテキスト音声合成などの分野で利用されている。本方式では例えばHMN分析合成方式（例えば、非特許文献２参照）が近年実用的に利用されている代表的な例としてあげられる。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】Hideki Kawahara, "STRAIGHT, exploitation of the other aspect of VOCODER : Perceptually isomorphic decomposition of speech sounds", Acoustic Science and Technology, Vol.27, No.6, pp.349-353, 2006
【非特許文献２】Laroche, J. Stylianou, Y. Moulines, E., "HNS: Speech modification based on a harmonic + noise model," in Proc. IEEE Int. Conf. Acoustics, Speech, Signal Processing’93, Minneapolis, MN, Apr. 1993, pp.550-553
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、上記の従来技術には以下のような課題がある。
【０００５】
まず、STRAIGHT分析合成方式の課題は合成処理にかかる処理量の多さである。STRAIGHTでは周期成分と非周期成分を独立に合成しそれを有声音では１ピッチ周期単位、無声音では決められた一定周期単位で、周期成分と非周期成分重ね合わせることで音声波形を生成する。その際周期成分、非周期成分ともに高次元のスペクトル特徴量から有声音では１周期毎、無声音では１フレーム単位で音声を合成し重ねわせている。これらの処理は周期成分の周波数に合わせた郡遅延の制御やスペクトル領域でのフィルタ処理など非常に複雑な処理の組み合わせにより実現されているため処理速度が極めて遅い。
【０００６】
次に、正弦波重畳方式の課題は合成処理で得られる信号の品質である。正弦波重畳方式では、分析処理時に得られた単純な白色性の残差を合成処理時の非周期成分として用いている。しかしながら、実際の音声では、非特許文献１でも示されている通り非周期成分であってもスペクトル特性を有している。そのため、実際の合成処理時において、分析処理に得られた単純な白色性の残差を非周期成分として周期成分と混合したのでは得られる合成信号の品質が劣化する。また、テキスト音声合成において応用する場合には音声合成時に分析時とは異なる基本周波数で合成することになるため、分析時に得られた残差成分をそのまま非周期成分として用いると合成信号の品質が劣化する。
【０００７】
なお、これらの課題は音声合成の場合に限定されるものではなく、時系列信号の分析により得られた特徴量やその特徴量に対して何らかの加工が行われた特徴量から時系列信号を合成する場合一般に共通するものである。
【０００８】
本発明はこのような点に鑑みてなされたものであり、時系列信号の分析により得られた特徴量やその特徴量に対して何らかの加工が行われた特徴量から高速かつ高精度に時系列信号を合成する技術を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明では上記課題を解決するために、時系列信号の周期成分の周波数スペクトルに対応する周期特徴量と任意に選択された基本周波数とを用い、それぞれの周波数が基本周波数の整数倍である複数の正弦波の重畳によって、基本周波数と周期特徴量とに対応する時間領域の第１信号を生成し、時系列信号の非周期成分の周波数スペクトルに対応する非周期特徴量を用い、複数の正弦波の重畳によって、非周期特徴量に対応する時間領域の第２信号を生成し、第１信号と第２信号との和を合成信号とする。
【００１０】
ここで、周期成分に対応する第１信号は周波数が基本周波数の整数倍である複数の正弦波の重畳によって生成されるため、その生成のための演算量が少ない。また、非周期成分に対応する第２信号は複数の正弦波の重畳によって生成されるため、白色性の残差を用いて非周期成分を生成する場合に比べて合成信号の品質がよい。
【発明の効果】
【００１１】
以上のように本発明では、時系列信号の分析により得られた特徴量やその特徴量に対して何らかの加工が行われた特徴量から高速かつ高精度に時系列信号を合成することができる。
【図面の簡単な説明】
【００１２】
【図１】図１は、実施形態の信号合成装置の機能構成を説明するための図である。
【図２】図２は、実施形態の周期成分合成部の機能構成を説明するための図である。
【図３】図３は、実施形態の非周期成分合成部の機能構成を説明するための図である。
【図４】図４は、実施形態の信号合成方法を説明するための図である。
【図５】図５は、図４のステップＳ１３の処理を説明するための図である。
【図６】図６は、図４のステップＳ１４の処理を説明するための図である。
【図７】図７は、スペクトル特徴量と周期特徴量とを例示した図である。
【図８】図８は、周期特徴量を例示した図である。
【図９】図９は、それぞれ周波数が基本周波数の整数倍である正弦波を例示した図である。
【図１０】図１０は、スペクトル特徴量と非周期特徴量とを例示した図である。を例示した図である。
【図１１】図１１は、非周期特徴量を例示した図である。
【発明を実施するための形態】
【００１３】
以下、図面を参照して本発明の実施形態を説明する。
【００１４】
〔原理〕
まず、本形態の原理を説明する。
【００１５】
本形態では、時系列信号の周期成分の周波数スペクトルに対応する周期特徴量と任意に選択された基本周波数とを用い、それぞれの周波数が基本周波数の整数倍である複数の正弦波の重畳によって、基本周波数と周期特徴量とに対応する時間領域の第１信号を生成し、時系列信号の非周期成分の周波数スペクトルに対応する非周期特徴量を用い、複数の正弦波の重畳によって、非周期特徴量に対応する時間領域の第２信号を生成し、第１信号と第２信号との和を合成信号とする。ここで、本形態の時系列信号は、周期的成分と非周期的成分とを含み得る時系列の信号であり、その例は、音声信号、音響信号、映像情報、生体信号、地震波信号などである。また、本形態の第１信号は、基本周波数の整数倍である各周波数での周期特徴量の振幅スペクトルと当該基本周波数の整数倍である各周波数の正弦波との各積の和に対応する信号である。また、本形態の第２信号は、任意の各周波数での非周期特徴量の振幅スペクトルと当該任意の各周波数の正弦波との各積の和に対応する信号である。また、本形態の基本周波数は、周波数スペクトルから独立に定められた値である。
【００１６】
本形態では、周波数が基本周波数の整数倍である複数の正弦波の重畳によって周期成分に対応する第１信号が生成されるため、その生成のための演算量が少ない。同様に、複数の正弦波の重畳によって非周期成分に対応する第２信号が生成されるため、その生成のための演算量が少ない。また、複数の正弦波の重畳によって非周期成分に対応する第２信号が生成されるため、白色性の残差を用いて非周期成分を生成する場合に比べて合成信号の品質がよい。よって、本形態では、上述の周期特徴量や非周期特徴量から高速かつ高精度に時系列信号を合成することができる。
【００１７】
以下に周期特徴量や非周期特徴量から時系列信号を合成する方法の例を説明する。以下の例では、時系列信号の周波数スペクトルに対するスペクトル包絡を「スペクトル特徴量」とし、時系列信号の周期成分の周波数スペクトルに対するスペクトル包絡を「周期特徴量」とし、時系列信号の非周期成分の周波数スペクトルに対するスペクトル包絡を「非周期特徴量」とする。
【００１８】
＜周期特徴量から時系列信号の周期成分（第１信号）を計算する方法＞
図７の破線のグラフは時系列信号の周期成分の周波数スペクトルに対するスペクトル包絡（周期特徴量）を例示し、実線のグラフは時系列信号の周期成分の周波数スペクトルに対するスペクトル包絡（周期特徴量）を例示する。また、図８の実線のグラフは周期特徴量を例示し、白丸は選択された基本周波数の整数倍での周期特徴量を例示する。なお、図７及び図８の横軸は、離散周波数0,fs/L,…,fs（L-1）/Lに対するサンプル点0,1,...,（L-1）/Lを表す（周波数サンプル点）。ここで、fsはサンプリング周波数を表し、Lは周波数窓幅である正整数（スペクトル特徴量の次数）であり、図７の例ではL=512である。また、図７及び図８の縦軸は振幅スペクトルを表す。
【００１９】
本形態では、任意に選択された基本周波数を持つ時系列信号の周期成分（第１信号）を周期特徴量から合成する。このような第１信号は、任意に選択された基本周波数の整数倍の周波数を有する周期特徴量の高調波成分の総和で表現可能である。なお、「周期特徴量の高調波成分」とは、基本周波数の整数倍の周波数における周期特徴量の振幅スペクトルと当該基本周波数の整数倍での周波数の正弦波との積を意味する。具体的には、離散時間t(i) (iは整数)における第１信号Sp(t(i))は、例えば以下のように表現可能である。
【００２０】
Sp(t(i))=Σk=1N Ak(t(i))・sin(2π・k・f0(t(i))・t(i))
=Σk=1N Ak(t(i))・sin(2π・k・f0(t(i))・(t(i-1)+Δt))
=Σk=1N Ak(t(i))・sin(θk,t(i)+ωk,t(i))      …(1)
ただし、離散時間t(i)での選択された基本周波数をf0(t(i))と表し、離散時間t(i)に対応する各周波数k・f0(t(i))での周期特徴量の振幅スペクトル（高調波成分の振幅）をAk(t(i))と表し（図８参照）、離散時間t(i)よりも１離散時間過去の離散時間をt(i-1)と表し、離散時間t(i-1)と離散時間t(i)との差分（１離散時間間の時間差分）を定数Δtとし、θk,t(i)=2π・k・f0(t(i))・t(i-1)とし、ωk,t(i)=2π・k・f0(t(i))・Δtとし、Nを正整数とし、kを１以上N以下の整数とする。また、Nの例はシステムに許容された帯域幅をBWとした場合におけるBW/f0(t(i))以下の正整数である。従って概念的には図９で例示するような正弦波の重ね合わせで周期成分（第１信号）が生成できる。
【００２１】
ここで計算処理における問題はsin関数の計算時間である。計算を高速化するための一般的な方法として、テーブル化のような方法で三角関数の値を予め求めておき、それを用いた近似計算によって必要なsin関数の値を求める方法等がある。しかしながら、本形態のように基本周波数が任意の値に変更されることや離散時間t(i)の値が非常に大きくなることを考えると、近似計算を行うと誤差が大きくなり、生成される信号に歪が生じることになる。そこで、本形態では、以下のような方法で精度を保ったまま高速計算を行う。
【００２２】
まず、本形態では、或る時間区間内では基本周波数が一定であると仮定する。例えば、有声音などの時系列信号では基本周期（基本周波数の逆数）単位で基本周波数が更新され、基本周期内では基本周波数が一定であると仮定する。
【００２３】
ここで、上記の式(1)のsin(θk,t(i)+ωk,t(i))は以下のように展開できる。
【００２４】
sin(θk,t(i)+ωk,t(i))=sin(θk,t(i))・cos(ωk,t(i))+cos(θk,t(i))・sin(ωk,t(i))  …(2)
cos(θk,t(i)+ωk,t(i))=cos(θk,t(i))・cos(ωk,t(i))-sin(θk,t(i))・sin(ωk,t(i))  …(3)
また、αk,t(i)=sin(θk,t(i)+ωk,t(i))とし、βk,t(i)=cos(θk,t(i)+ωk,t(i))とし、δsk,t(i)=sin(ωk,t(i))とし、δck,t(i)=cos(ωk,t(i))とする。ここで、
αk,t(i-1)=sin(θk,t(i-1)+ωk,t(i-1))=sin(θk,t(i))    …(4)
βk,t(i-1)=cos(θk,t(i-1)+ωk,t(i-1))=cos(θk,t(i))    …(5)
となるため、式(2)(3)は以下のように変形できる。
【００２５】
αk,t(i)=αk,t(i-1)・δck,t(i)+βt(i-1)・δsk,t(i)    …(6)
βk,t(i)=βk,t(i-1)・δck,t(i)-αt(i-1)・δsk,t(i)    …(7)
離散時間t(i-1),t(i)を含む時間区間で基本周波数が一定であってf0(t(i-1))=f0(t(i))である場合、δck,t(i-1)=δck,t(i)かつδsk,t(i-1)=δsk,t(i)となり、この時間区間内（基本周期内等）においてδck,t(i)及びδsk,t(i)は定数とみなせ、式(6)(7)は固定係数の単純な漸化式となり、高速に計算可能となる。そして、式(6)で得られたαk,t(i)を用いて
Sp(t(i))=Σk=1N Ak(t(i))・αk,t(i)    …(8)
によって離散時間t(i)での第１信号Sp(t(i))を計算できる。
【００２６】
＜非周期特徴量から時系列信号の非周期成分（第２信号）を計算する方法＞
図１０の破線のグラフは、図７と同じ周期特徴量を例示し、実線のグラフは、時系列信号の非周期成分の周波数スペクトルに対するスペクトル包絡（非周期特徴量）を例示する。また、図１１の実線のグラフは非周期特徴量を例示し、白丸は選択された各離散周波数0,fs/L,…,fs（L-1）/Lでの非周期特徴量を例示する。なお、図１０及び図１１の横軸は、離散周波数0,fs/L,…,fs（L-1）/Lに対するサンプル点0,1,...,（L-1）/Lを表す（周波数サンプル点）。ここで、図１０の例ではL=512である。また、図１０及び図１１の縦軸は振幅スペクトルを表す。
【００２７】
本形態では、非周期特徴量から時系列信号の非周期成分（第２信号）を合成する。このような第２信号は、非周期特徴量の基底周波数fb=fs/Lに対する高調波成分の総和で表現可能である。なお、「非周期特徴量の基底周波数fb=fs/Lに対する高調波成分」とは、基底周波数fbの整数倍の周波数での非周期特徴量の振幅スペクトルと当該周波数の正弦波との積を意味する。具体的には、離散時間t(i)における第２信号Sa(t(i))は、例えば以下のように表現可能である。
【００２８】
Sa(t(i))=Σm=1M Bm(t(i))・sin(2π・m・fb・t(i))
=Σm=1M Bm(t(i))・sin(2π・m・fb・(t(i-1)+Δt))
=Σm=1M Bm(t(i))・sin(θm,t(i)+ωm)      …(9)
ただし、離散時間t(i)に対応する各周波数m・fbでの周期特徴量の振幅スペクトルをBm(t(i))と表し（図１１参照）、θm,t(i)=2π・m・fb・t(i-1)とし、ωm=2π・m・fb・Δtとし、MをM≦Lを満たす正整数（定数）とし、mを１以上M以下の整数とする。なお、サンプリング周波数fs及びスペクトル特徴量の次数Lは一定であるため、基底周波数fb=fs/Lも一定値となる。
【００２９】
ここで、周期成分と同様、非周期成分の計算処理における問題はsin関数の計算時間である。本形態では、以下のような方法で精度を保ったまま高速計算を行う。
【００３０】
ここで、上記の式(9)のsin(θm,t(i)+ωm)は以下のように展開できる。
【００３１】
sin(θm,t(i)+ωm)=sin(θm,t(i))・cos(ωm)+cos(θm,t(i))・sin(ωm)    …(10)
cos(θm,t(i)+ωm)=cos(θm,t(i))・cos(ωm)-sin(θm)・sin(ωm)    …(11)
また、γm,t(i)=sin(θm,t(i)+ωm)とし、ηm,t(i)=cos(θm,t(i)+ωm)とし、εsm=sin(ωm)とし、εcm=cos(ωm)とする。ここで、
γm,t(i-1)=sin(θm,t(i-1)+ωm)=sin(θm,t(i))    …(12)
ηm,t(i-1)=cos(θm,t(i-1)+ωm)=cos(θm,t(i))    …(13)
となるため、式(10)(11)は以下のように変形できる。
【００３２】
γm,t(i)=γm,t(i-1)・εcm+ηt(i-1)・εsm    …(14)
ηm,t(i)=ηm,t(i-1)・εcm-γt(i-1)・εsm    …(15)
ここで、基底周波数fbは一定であるためωmは一定となりεsm及びεcmも一定となる。よって、εsm及びεcmは定数とみなせ、式(14)(15)は固定係数の単純な漸化式となり、高速に計算可能となる。そして、式(14)で得られたγm,t(i)を用いて
Sa(t(i))=Σm=1M Bm(t(i))・γm,t(i)    …(16)
によって離散時間t(i)での第２信号Sa(t(i))を計算できる。
【００３３】
＜周期成分（第１信号）と非周期成分（第２信号）とから合成信号を生成する方法＞
以上のように得られた離散時間t(i)での第１信号Sp(t(i))と第２信号Sa(t(i))とを用い、以下のようにSp(t(i))とSa(t(i))との和を離散時間t(i)での合成信号S(t(i))とする。
S(t(i))=Sp(t(i))+Sa(t(i))    …(17)
【００３４】
〔第１実施形態〕
次に、本発明の第１実施形態を説明する。なお、以下では、時系列信号が音声信号である場合を例示する。
【００３５】
＜構成＞
図１に例示するように、第１実施形態の信号合成装置１は、記憶部１１と制御部１２と基本周波数入力部１３と信号入力部１４と分析部１５と周期成分合成部１６と非周期成分合成部１７と信号加算部１８とを有する。図２に例示するように、本形態の周期成分合成部１６は、判定部１６１と計算部１６２〜１６４と漸化式計算部１６５と抽出部１６６とN設定部１６７と重畳部１６８と記憶部１６９とを有する。図３に例示するように、本形態の非周期成分合成部１７は、判定部１７１と計算部１７２，１７３と漸化式計算部１７５と抽出部１７６と重畳部１７８と記憶部１７９とを有する。
【００３６】
なお、信号合成装置１は、例えば、CPU(central processing unit)、RAM(random-access memory)、ROM(read-only memory)などを有する公知又は専用コンピュータと特別なプログラムとから構成される。すなわち、記憶部１１，１６９，１７９は、例えば、RAM、レジスタ、キャッシュメモリ、ハードディスクやそれらを結合した記憶領域である。また、制御部１２、分析部１５、周期成分合成部１６、非周期成分合成部１７、及び信号加算部１８は、例えば、特別なプログラムが読み込まれたCPUやメモリからなる処理部である。また、基本周波数入力部１３や信号入力部１４は、例えば、特別なプログラムが読み込まれたCPUやメモリや入力ポートなどからなる入力インタフェースである。なお、上記の特別なプログラムは、単一のプログラム列として構成されていてもよく、また、特別なプログラムの少なくとも一部が別個のモジュールとしてライブラリに格納されていてもよい。また、上記の特別なプログラム単体で本形態の機能を実現できるものでもよいし、上記の特別なプログラムがさらに他のライブラリ（記載していない）を読み出して各機能を実現してもよい。また、処理部の少なくとも一部が集積回路によって構成されていてもよい。また、信号合成装置１は、制御部１２の制御のもと各処理を実行する。また、以下では説明を省略するが、各処理部が生成した各データは必要に応じて記憶部１１に格納され、必要に応じてそれを必要とする処理部に読み出されて利用される。
【００３７】
＜処理＞
以下では、離散時間t(i)での処理を説明する。同様な処理が各離散時間t(i)で実行される。
【００３８】
まず、離散時間t(i)において、時系列信号である音声信号X(τ)(τ=t(i)-L/2,...,t(i),...,t(i)+(L/2)-1)が信号入力部１４に入力される（図４／ステップＳ１１）。音声信号X(τ)(τ=t(i)-L/2,...,t(i),...,t(i)+(L/2)-1)は分析部１５に入力され、分析部１５は、音声信号X(τ)(τ=t(i)-L/2,...,t(i),...,t(i)+(L/2)-1)を分析することで、離散時間t(i)における各離散周波数m'・fb(m'=0,...,(L-1)/L)でのスペクトル特徴量Sf(t(i),m')と、スペクトル特徴量Sf(t(i),m')に対する周期特徴量の比率を表す周期成分情報p(t(i),m')と、スペクトル特徴量Sf(t(i),m')に対する非周期特徴量の比率を表す非周期成分情報n(t(i),m')を生成して出力する。なお、分析部１５で行われる分析方法に限定はなく、公知のどのような方法を用いてもよい。例えば、この分析方法としてはSTRAIGHT分析合成方式（例えば、非特許文献１参照）が代表的な例だが、他にも参考文献「B. Yegnanarayana,. Senior Member, IEEE,. Christophe d'Alessandro,. Member, IEEE, and Vassilis Darsinos, "An Iterative Algorithm for Decomposition of Speech Signals into Periodic and Aperiodic Components", IEEE Trans. On Speech and Audio Processing, Vol 6, No.1, pp.1-11, 1998」に記載された方法が用いられてもよい。
【００３９】
スペクトル特徴量Sf(t(i),m')と周期特徴量の比率を表す周期成分情報p(t(i),m')とは周期成分合成部１６に入力される。周期成分合成部１６は、スペクトル特徴量Sf(t(i),m')と周期成分情報p(t(i),m')とから特定される周期特徴量と、基本周波数入力部１３から入力された任意に選択された基本周波数f(t(i))とを用い、それぞれの周波数が基本周波数f(t(i))の整数倍である複数の正弦波の重畳によって、基本周波数f(t(i))と周期特徴量とに対応する時間領域の第１信号Sp(t(i))を生成する（ステップＳ１３）。以下にステップＳ１３の具体例を示す。
【００４０】
［ステップＳ１３の具体例（図５）］
まず、周期成分合成部１６の判定部１６１（図２）が、基本周波数f(t(i))が１離散時間前の基本周波数f(t(i-1))から変更されたか否かを判定する（ステップＳ１３１）。本形態では、所定の時間区間（例えば、基本周期）ごとに選択された基本周波数f(t(i-1))が基本周波数入力部１３に入力されるものとする。
【００４１】
ここで、基本周波数f(t(i))が１離散時間前の基本周波数f(t(i-1))から変更された場合（離散時間t(i)が初期時間である場合、又は、基本周波数入力部１３に新たな基本周波数f(t(i))が入力された場合）、判定部１６１は、計算部１６２〜１６４に指示を与え、以下のステップＳ１３２ａ〜Ｓ１３２ｄの処理を実行させる。
【００４２】
まず、N設定部１６７に基本周波数f(t(i))が入力され、N設定部１６７は基本周波数f(t(i))に対応する正整数Nを設定して出力する。例えば、N設定部１６７はBW/f0(t(i))（BWは固定された帯域幅）以下の最大の整数をNとする（ステップＳ１３２ａ）。次に、計算部１６２に基本周波数f(t(i))が入力され、計算部１６２がk=1,...,Nについて
θk,t(i)=2π・k・f0(t(i))・t(i-1)    …(18)
ωk,t(i)=2π・k・f0(t(i))・Δt        …(19)
を計算して出力する（ステップＳ１３２ｂ）。ωk,t(i)は計算部１６４に入力され、計算部１６４がk=1,...,Nについて
δsk,t(i)=sin(ωk,t(i))    …(20)
δck,t(i)=cos(ωk,t(i))    …(21)
を計算し、得られたδsk,t(i)及びδck,t(i)を記憶部１６９に格納する（ステップＳ１３２ｃ）。また、計算部１６２から出力されたθk,t(i)とωk,t(i)は計算部１６３に入力され、計算部１６３がk=1,...,Nについて
αk,t(i)=sin(θk,t(i)+ωk,t(i))    …(22)
βk,t(i)=cos(θk,t(i)+ωk,t(i))    …(23)
を計算し、得られたαk,t(i)及びβk,t(i)を記憶部１６９に格納し（ステップＳ１３２ｄ）、ステップＳ１３４に進む。
【００４３】
一方、ステップＳ１３１で、基本周波数f(t(i))が１離散時間前の基本周波数f(t(i-1))から変更されていないと判定された場合、判定部１６１は漸化式計算部１６５に指示を与える。これを受けた漸化式計算部１６５は、記憶部１６９からαk,t(i-1)とβk,t(i-1)とδsk,t(i-1)とδck,t(i-1)とを読み出し、δsk,t(i)=δsk,t(i-1)とδck,t(i)=δck,t(i-1)として、各k (k=1,...,N)に対してそれぞれ、
αk,t(i)=αk,t(i-1)・δck,t(i)+βt(i-1)・δsk,t(i)    …(24)
βk,t(i)=βk,t(i-1)・δck,t(i)-αt(i-1)・δsk,t(i)    …(25)
を計算し、得られたαk,t(i)，βk,t(i),δsk,t(i)及びδck,t(i)を記憶部１６９に格納し（ステップＳ１３３）、ステップＳ１３４に進む。
【００４４】
ステップＳ１３４では、スペクトル特徴量Sf(t(i),m')と周期成分情報p(t(i),m')と基本周波数f(t(i))とが抽出部１６６に入力される。抽出部１６６は、これらを用いてk=1,...,Nに対応する各周波数k・f0(t(i))での周期特徴量の振幅スペクトルAk(t(i))を抽出して出力する（ステップＳ１３４）。各振幅スペクトルAk(t(i))は重畳部１６８に入力される。重畳部１６８はさらに記憶部１６９からαk,t(i)を読み出し、Ak(t(i))及びαk,t(i) (k=1,...,N)を用い、第１信号
Sp(t(i))=Σk=1N Ak(t(i))・αk,t(i)    …(26)
を計算して出力する（ステップＳ１３５／［ステップＳ１３の具体例］の説明終わり）。
【００４５】
また、スペクトル特徴量Sf(t(i),m')と非周期特徴量の比率を表す非周期成分情報n(t(i),m')とが非周期成分合成部１７（図１）に入力される。非周期成分合成部１７は、スペクトル特徴量Sf(t(i),m')と非周期成分情報n(t(i),m')とから特定される非周期特徴量を用い、複数の正弦波の重畳によって、非周期特徴量に対応する時間領域の第２信号Sa(t(i))を生成する（図４／ステップＳ１４）。以下にステップＳ１４の具体例を示す。
【００４６】
［ステップＳ１４の具体例（図６）］
まず、非周期成分合成部１７の判定部１７１（図３）が、離散時間t(i)が初期時間であるか否かを判定する（ステップＳ１４１）。
【００４７】
ここで、離散時間t(i)が初期時間であると判定された場合、判定部１７１は、計算部１７２及び１７３に指示を与え、以下のステップＳ１４２ａ及びＳ１４２ｂの処理を実行させる。
【００４８】
まず、計算部１７２が
θm,t(i)=2π・m・fb・t(i-1)    …(27)
を計算して出力する（ステップＳ１４２ａ）。θm,t(i)は計算部１７３に入力され、計算部１７３がm=1,...,M（MはM≦Lを満たす定数）について
γm,t(i)=sin(θm,t(i)+ωm)    …(28)
ηm,t(i)=cos(θm,t(i)+ωm)    …(29)
を計算し、得られたγm,t(i)及びηm,t(i)を記憶部１７９に格納し（ステップＳ１４２ｂ）、ステップＳ１４４に進む。
【００４９】
一方、ステップＳ１４１で、離散時間t(i)が初期時間でないと判定された場合、判定部１７１は漸化式計算部１７５に指示を与える。これを受けた漸化式計算部１７５は、記憶部１７９からγm,t(i)とηm,t(i)とを読み出し、各m (m=1,...,M)に対してそれぞれ、
γm,t(i)=γm,t(i-1)・εcm+ηt(i-1)・εsm    …(30)
ηm,t(i)=ηm,t(i-1)・εcm-γt(i-1)・εsm    …(31)
を計算する。なお、前述のようにεsm及びεcmは定数となる。得られたγm,t(i)及びηm,t(i)は記憶部１７９に格納され（ステップＳ１４３）、ステップＳ１４４に進む。
【００５０】
ステップＳ１４４では、スペクトル特徴量Sf(t(i),m')と非周期成分情報n(t(i),m')とが抽出部１７６に入力される。抽出部１７６は、これらを用いてm=1,...,Mに対応する各周波数m・fbでの周期特徴量の振幅スペクトルBm(t(i))を抽出して出力する（ステップＳ１４４）。各振幅スペクトルBm(t(i))は重畳部１７８に入力される。重畳部１７８はさらに記憶部１７９からγm,t(i)を読み出し、Bm(t(i))及びγm,t(i) (m=1,...,M)を用い、第２信号
Sa(t(i))=Σm=1M Bm(t(i))・γm,t(i)    …(32)
を計算して出力する（ステップＳ１４５／［ステップＳ１４の具体例］の説明終わり）。
【００５１】
その後、第１信号Sp(t(i))と第２信号Sa(t(i))とが信号加算部１８に入力される。信号加算部１８は、第１信号Sp(t(i))と第２信号Sa(t(i))とを加算し、以下のように離散時間t(i)での合成信号S(t(i))を生成し、得られた合成信号S(t(i))を出力する。
S(t(i))=Sp(t(i))+Sa(t(i))    …(33)
【００５２】
＜本形態の特徴＞
以上のように、本形態では、周期成分（第１信号）を基本周波数の整数倍の周波数を有する複数の正弦波の重畳で表現し、１サンプルあたり高々ハーモニック数分の正弦波の加算のみで周期成分（第１信号）が計算可能であるため、高速な処理が可能である。ここでハーモニック数は基本周波数の整数倍となる周期成分の個数のことである。一方、非周期成分（第２信号）についても周期成分と同様に非周期成分のスペクトル特徴量の次元数個分の正弦波の加算で計算可能であり、また各高調波の角速度は一定のため漸化式を用いることで高速な処理が可能となる。
【００５３】
また、周期成分（第１信号）の合成において、音声の基本周波数によって決まる基本周期の時間単位でのみ基本周波数を更新する場合、当該基本周期内で漸化式を用いた高速な演算が可能となる。
【００５４】
また、STRAIGHTのような一定周期単位の波形重畳により音声を生成する方法では、原理的に当該一定周期単位以下での周期の制御が困難である。これに対し、本形態では、音声の特徴分析によって得られるスペクトル特徴と周期成分情報と非周期成分情報を用い、正弦波で合成することで周期成分（第１信号）を生成することとした。そのため、本形態では、１サンプル未満の単位で自由に基本周波数の変更が可能であるとともに、非周期成分に対応する正弦波も混合することでSTRAIGHT同様に高品質な音声の合成が可能となる。
【００５５】
〔第２実施形態〕
次に、本発明の第２実施形態を説明する。第２実施形態は第１実施形態の変形例であり、入力された時系列信号である音声信号が有声区間のものであるか、無声区間のものであるかに応じて処理を変える。これにより、無声区間において周期成分のための不要な演算がなされることをなくし、さらに演算速度を向上させることができる。以下では、第１実施形態との共通事項を中心に説明し、第１実施形態と共通する事項については説明を省略する。
【００５６】
＜構成＞
図１に例示するように、第２実施形態の信号合成装置２は、記憶部１１と制御部１２と基本周波数入力部１３と信号入力部１４と分析部１５と周期成分合成部１６と非周期成分合成部１７と信号加算部１８と選択部２１と分析部２２と非周期成分合成部２３とを有する。非周期成分合成部１７と非周期成分合成部２３との構成は同一である。なお、本形態では、非周期成分合成部１７と非周期成分合成部２３とを別個の構成とするが、非周期成分合成部１７が非周期成分合成部２３として利用されてもよい。また、信号合成装置２も、例えば、CPU、RAM、ROMなどを有する公知又は専用コンピュータと特別なプログラムとから構成される。
【００５７】
＜処理＞
以下では、離散時間t(i)での処理を説明する。同様な処理が各離散時間t(i)で実行される。
【００５８】
まず、離散時間t(i)において、時系列信号である音声信号X(τ)(τ=t(i)-L/2,...,t(i),...,t(i)+(L/2)-1)が信号入力部１４に入力される（図４／ステップＳ１１）。音声信号X(τ)(τ=t(i)-L/2,...,t(i),...,t(i)+(L/2)-1)は選択部２１に入力され、選択部２１は、音声信号X(τ)(τ=t(i)-L/2,...,t(i),...,t(i)+(L/2)-1)が音声区間のものであるか無音声区間のものであるかを判定する（ステップＳ２１）。なお、この判定は、音声信号X(τ)(τ=t(i)-L/2,...,t(i),...,t(i)+(L/2)-1)が音声区間のものであるか無音声区間のものであるかを表す入力情報dに基づいて行われる。入力情報dは人手によって設定されたものであってもよいし、音声信号X(τ)の平均エネルギーの閾値判定などによって自動的に設定されたものであってもよい。
【００５９】
ここで、音声信号X(τ)(τ=t(i)-L/2,...,t(i),...,t(i)+(L/2)-1)が音声区間のものであると判定された場合には、第１実施形態で説明したステップＳ１２〜Ｓ１５の処理が実行される。
【００６０】
一方、音声信号X(τ)(τ=t(i)-L/2,...,t(i),...,t(i)+(L/2)-1)が無音声区間のものであると判定された場合、音声信号X(τ)(τ=t(i)-L/2,...,t(i),...,t(i)+(L/2)-1)が分析部２２に入力され、分析部２２は、音声信号X(τ)(τ=t(i)-L/2,...,t(i),...,t(i)+(L/2)-1)を分析することで、離散時間t(i)における各離散周波数m'・fb(m'=0,...,(L-1)/L)でのスペクトル特徴量Sf(t(i),m')と、スペクトル特徴量Sf(t(i),m')に対する非周期特徴量の比率を表す非周期成分情報n(t(i),m')とを生成して出力する。なお、分析部２２で行われる分析方法に限定はなく、公知のどのような方法を用いてもよい。例えば、この分析方法としてはSTRAIGHT分析合成方式（例えば、非特許文献１参照）や前述の参考文献の方式が挙げられる（ステップＳ２２）。次に、スペクトル特徴量Sf(t(i),m')と非周期特徴量の比率を表す非周期成分情報n(t(i),m')とが非周期成分合成部２２（図１）に入力される。非周期成分合成部２２は、スペクトル特徴量Sf(t(i),m')と非周期成分情報n(t(i),m')とから特定される非周期特徴量を用い、複数の正弦波の重畳によって、非周期特徴量に対応する時間領域の第２信号Sa(t(i))を生成する。なお、この処理は第１実施形態で説明したステップＳ１４と同じである（図４／ステップＳ２３）。非周期成分合成部２２は、第２信号Sa(t(i))を合成信号
S(t(i))=Sa(t(i))    …(34)
として出力する（ステップＳ２４）。
【００６１】
〔変形例等〕
なお、本発明は上述の実施の形態に限定されるものではない。例えば、上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能であることはいうまでもない。
【００６２】
また、上述の構成をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。
【００６３】
この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。
【００６４】
また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。
【００６５】
このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。そして、処理の実行時、このコンピュータは、自己の記録装置に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。
【００６６】
また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、本装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。
【符号の説明】
【００６７】
１,２  信号合成装置
【図１】
2011247921.tif 000003
【図２】
2011247921.tif 000004
【図３】
2011247921.tif 000005
【図４】
2011247921.tif 000006
【図５】
2011247921.tif 000007
【図６】
2011247921.tif 000008
【図７】
2011247921.tif 000009
【図８】
2011247921.tif 000010
【図９】
2011247921.tif 000011
【図１０】
2011247921.tif 000012
【図１１】
2011247921.tif 000013