(57)【要約】      （修正有）【課題】誤差を最小化することができ、かつ、LSPパラメータの昇順特性を保持することができる音声合成技術を提供する。【解決手段】差分LSPパラメータ計算部５が、ω^i(t)(i=1,2,・・・.p)をLSPパラメータとして、差分LSPパラメータdi(t)をd1(t)=ω^1(t)>0かつdj(t)=ω^j(t)-ω^j-1(t)>0(2≦j≦p)として、音素HMMの状態の系列を構成するLSPパラメータを用いて、差分LSPパラメータdjを乗算型更新式により繰り返し更新して計算する。LSPパラメータ計算部６が、計算された差分LSPパラメータdjを用いて、以下の式で定義されるLSPパラメータω^i(t)を計算する。音声合成部３が、LSPパラメータω^i(t)に基づいて、入力されたテキストに対応する音声を生成する。2014035460.tif 000035【選択図】図１
2014035460.tif 000002
【特許請求の範囲】
【請求項１】
複数の音素の音素HMMを記憶する音素HMM記憶部と、
入力されたテキストの各音素に対応する音素HMMを上記音素HMM記憶部から読み込み、読み込んだ音素HMMを接続することにより、音素HMMの状態の系列を生成する音素HMM状態系列生成部と、
pをLSPパラメータの次数とし、ω^i(t)(i=1,2,・・・.p)をLSPパラメータとして、差分LSPパラメータdi(t)をd1(t)=ω^1(t)>0かつdj(t)=ω^j(t)-ω^j-1(t)>0(2≦j≦p)として、上記音素HMMの状態の系列を構成するLSPパラメータを用いて、上記差分LSPパラメータdjを乗算型更新式により繰り返し更新することにより計算する差分LSPパラメータ計算部と、
上記計算された差分LSPパラメータdjを用いて、以下の式により定義されるLSPパラメータω^i(t)を計算するLSPパラメータ計算部と、
【数３０】
2014035460.tif 000032
上記計算されたLSPパラメータω^i(t)に基づいて、上記入力されたテキストに対応する音声を生成する音声合成部と、
を含む音声合成装置。
【請求項２】
請求項１に記載の音声合成装置において、
出力確率を最大にするLSPパラメータω^i(t)を求めるための評価式F(di(t))をdi(t)で偏微分した多項式▽F(di(t))の正の項から成る多項式を▽F+(di(t))とし、上記多項式▽F(di(t))の負の項から成る多項式を▽F-(di(t))として、
上記乗算型更新式は、以下の式である、
【数３１】
2014035460.tif 000033
音声合成装置。
【請求項３】
音素HMM状態系列生成部が、入力されたテキストの各音素に対応する音素HMMを、複数の音素の音素HMMを記憶する音素HMM記憶部から読み込み、読み込んだ音素HMMを接続することにより、音素HMMの状態の系列を生成する音素HMM状態系列生成ステップと、
差分LSPパラメータ計算部が、pをLSPパラメータの次数とし、ω^i(t)(i=1,2,・・・.p)をLSPパラメータとして、差分LSPパラメータdi(t)をd1(t)=ω^1(t)>0かつdj(t)=ω^j(t)-ω^j-1(t)>0(2≦j≦p)として、上記音素HMMの状態の系列を構成するLSPパラメータを用いて、上記差分LSPパラメータdjを乗算型更新式により繰り返し更新することにより計算する差分LSPパラメータ計算ステップと、
LSPパラメータ計算部が、上記計算された差分LSPパラメータdjを用いて、以下の式により定義されるLSPパラメータω^i(t)を計算するLSPパラメータ計算ステップと、
【数３２】
2014035460.tif 000034
音声合成部が、上記計算されたLSPパラメータω^i(t)に基づいて、上記入力されたテキストに対応する音声を生成する音声合成ステップと、
を含む音声合成方法。
【請求項４】
請求項１又は２の音声合成装置の各部としてコンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、HMM(Hidden Markov Model)を用いた音声合成技術に関する。
【背景技術】
【０００２】
従来のHMM音声合成装置の構成を図３に示す。従来のHMM音声合成装置は、音素HMM系列生成部１と、声道スペクトルパラメータ計算部２と、音声合成部３と、音素HMM記憶部４とを備える。
【０００３】
音素HMM系列生成部１は、入力された合成したいテキストの音素列にしたがって、学習用の音声データベースから予め学習しておいた音素HMM（Hidden Markov Model: 隠れマルコフモデル）を接続することにより音素HMMの状態の系列を生成する。生成された音素HMMの状態の系列は、声道スペクトルパラメータ計算部２に送信される。
【０００４】
ここで、音素HMMの状態の系列は、声道スペクトルパラメータの平均値と声道スペクトルパラメータの速度の平均値とから成るベクトル、及び、声道スペクトルパラメータの分散と声道スペクトルパラメータの速度の分散とから成る行列で表現される。なお、声道スペクトルパラメータの平均値、声道スペクトルパラメータの速度の平均値、声道スペクトルパラメータの分散及び声道スペクトルパラメータの速度の分散のそれぞれは、音素HMMの状態の系列を構成する音素HMMの各状態ごとに計算される。
【０００５】
声道スペクトルパラメータ計算部２は、出力確率が最大となる声道スペクトルパラメータを計算する。
【０００６】
最後に、音声合成部３が、計算された声道スペクトルパラメータに基づいて、入力された音源信号（有声音であれば基本周期に応じたパルス列、無声音であれば白色雑音からなる音源信号）を畳み込むことにより音声を合成する（例えば、非特許文献１参照。）。
【０００７】
声道スペクトルパラメータとしては、音声の声道スペクトルの全極フィルタ表現であるLSPパラメータωi(i=1,2,…,p)が広く用いられている。フィルタが安定であるためのLSPパラメータの必要条件は、LSPパラメータωiが昇順特性、つまり、0<ω1<ω2<…<ωpを満たすことである。昇順特性を満たさないLSPパラメータから音声を合成した場合、合成された音声信号が発散する可能性がある。
【０００８】
さて、時刻tにおけるLSPパラメータをωi(t)とし、LSPパラメータの速度を
【０００９】
【数１】
2014035460.tif 000003
【００１０】
とした場合、LSPパラメータωi(t)のみから成るベクトルωstatic
【００１１】
【数２】
2014035460.tif 000004
【００１２】
からLSPパラメータωi(t)とその速度Δωi(t)から成るベクトルωdynamic
【００１３】
【数３】
2014035460.tif 000005
【００１４】
への変換行列Ｒは、
【００１５】
【数４】
2014035460.tif 000006
【００１６】
で定義できる。aは、例えば0.5である。この明細書において、行列・Tの上付きのTは、転置を意味する。行列・Tの上付きのT以外のTは、所定の時刻Tを意味することに注意する。0a×bは、全ての要素が0であるa×bの行列を意味し、Ia×aは、対角要素が1、それ以外の要素が0であるa×aの正方行列を意味する。
【００１７】
LSPパラメータの平均値ω-i(t)とLSPパラメータの速度の平均値Δω-i(t)とから成るベクトルω-、及び、LSPパラメータの分散σωi(t)とLSPパラメータの速度の分散σΔωi(t)とから成る行列σは、以下のように表すことができる。diagは、対角行列を意味する。
【００１８】
【数５】
2014035460.tif 000007
【００１９】
ここで、声道スペクトルパラメータ計算部２において計算により推定されるLSPパラメータベクトルω^を以下のように定義する。
【００２０】
【数６】
2014035460.tif 000008
【００２１】
すると、声道スペクトルパラメータ計算部２において出力確率を最大にするLSPパラメータを求めるには、以下を最小化すれば良い。
【００２２】
【数７】
2014035460.tif 000009
【００２３】
つまり、
【００２４】
【数８】
2014035460.tif 000010
【００２５】
を解けばよい（例えば、非特許文献２参照。）。
【００２６】
しかし、上述の計算により求まるLSPパラメータの値はHMMの平均値付近に存在するため、人間が発声したオリジナルのLSPパラメータの値と比較すると、LSPパラメータのダイナミックレンジが狭く、こもった音声に聞こえるという問題がある。そこで、Global Variance (GV)というパラメータを定義し、LSPパラメータのダイナミックレンジを評価することを考える（例えば、非特許文献３参照。）。
【００２７】
ある１つの文章nについてのGVであるνi,nは、その文章nの発声についてのLSPパラメータを用いて、以下のように定義される。Tnは文章nの発話の時間長である。
【００２８】
【数９】
2014035460.tif 000011
【００２９】
また、学習データのN個の文章n(n=1, ・・・,N) の発声についてのLSPパラメータを用いて、μ及びUを以下のように定義する。μはνi,n(n=1,・・・,N )の平均であり、Uはνi,n(n=1,・・・,N)の分散である。なお、Nを所定の正の数とする。音素HMM記憶部４には、μ及びUが記憶されているとする。
【００３０】
【数１０】
2014035460.tif 000012
【００３１】
推定されるGVであるν(ω)を以下のように定義する。
【００３２】
【数１１】
2014035460.tif 000013
【００３３】
GVの出力確率を最大にするLSPパラメータを求めるには、以下を最小化すればよい。
【００３４】
【数１２】
2014035460.tif 000014
【００３５】
最終的には、非特許文献２では、声道スペクトルパラメータ計算部２において、式（１）の代わりに、式（１）と式（２）を合わせた評価式である式（３）を最小化するようなLSPパラメータω^を最急降下法などのアルゴリズムを用いて求める。
【００３６】
【数１３】
2014035460.tif 000015
【００３７】
ここで、1/(2T)は、式（１）と式（２）の値のオーダーを揃えるための重みである。
【００３８】
HMM音声合成では比較的高い次数のLSPパラメータ（例えば、p=40）を用いる必要があることや、GVを導入することにより、上述の方法では、LSPパラメータの昇順特性が必ずしも満たされないという問題がある。そこで、ペナルティ関数を導入する方法が提案されている。つまり、
【００３９】
【数１４】
2014035460.tif 000016
【００４０】
というペナルティ関数による制約を導入する方法である（例えば、非特許文献４参照。）。ここで、αはあまり大きくない正の値、Mは偶数、ωp+1=πである。ωi-1>ωiの場合にペナルティ関数の値が大きくなることが分かるが、このペナルティ関数では昇順特性を満たすことが保証されず、ペナルティ関数の影響により出力確率の最大化が保証されないという問題がある。
【先行技術文献】
【非特許文献】
【００４１】
【非特許文献１】L.R. Rabiner, R.W. Schafer, “Digital processing of speech signals”, Prentice Hall, 1978.
【非特許文献２】徳田, 益子, 小林, 今井, “動的特徴を用いたHMMからの音声パラメータ生成アルゴリズム”, 日本音響学会誌, Vol.53, No.3, 192-200, 1997.
【非特許文献３】T. Toda, K. Tokuda, “A speech parameter generation algorithms considering global variance for HMM-based speech synthesis”, IEICE Trans. Inf. & Syst., 816-824, 2007.
【非特許文献４】M. Lei, Z.-H. Ling, L.-R. Dai, “Preserve ordering property of generated LSPs for minimum generation error training in HMM-based speech synthesis”, Proc. ICASSP, 4712-4715, 2011.
【発明の概要】
【発明が解決しようとする課題】
【００４２】
このように、従来の手法では、LSPパラメータの昇順特性を保持することができなかった。
【００４３】
この発明は、LSPパラメータの昇順特性を保持することができる音声合成装置、方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００４４】
この発明の一態様による音声合成装置は、複数の音素の音素HMMを記憶する音素HMM記憶部と、入力されたテキストの各音素に対応する音素HMMを音素HMM記憶部から読み込み、読み込んだ音素HMMを接続することにより、音素HMMの状態の系列を生成する音素HMM状態系列生成部と、pをLSPパラメータの次数とし、ω^i(t)(i=1,2,・・・.p)をLSPパラメータとして、差分LSPパラメータdi(t)をd1(t)=ω^1(t)>0かつdj(t)=ω^j(t)-ω^j-1(t)>0(2≦j≦p)として、音素HMMの状態の系列を構成するLSPパラメータを用いて、差分LSPパラメータdjを乗算型更新式により繰り返し更新することにより計算する差分LSPパラメータ計算部と、計算された差分LSPパラメータdjを用いて、以下の式により定義されるLSPパラメータω^i(t)を計算するLSPパラメータ計算部と、計算されたLSPパラメータω^i(t)に基づいて、入力されたテキストに対応する音声を生成する音声合成部とを、備える。
【００４５】
【数１５】
2014035460.tif 000017
【発明の効果】
【００４６】
LSPパラメータの昇順特性を保持することができる。
【図面の簡単な説明】
【００４７】
【図１】音声合成装置の例を説明するための図。
【図２】音声合成方法の例を説明するための図。
【図３】従来の音声合成装置の例を説明するための図。
【発明を実施するための形態】
【００４８】
以下、図面を参照して、音声合成装置及び方法の実施形態を説明する。
【００４９】
音声合成装置は、図１に示すように、音素HMM系列生成部１と、差分LSPパラメータ計算部５と、LSPパラメータ計算部６と、音声合成部３と、音素HMM記憶部４とを備える。この発明の実施形態では、背景技術で説明した声道スペクトルパラメータ計算部２に代わり、差分LSPパラメータ計算部５及びLSPパラメータ計算部６がLSPパラメータを計算する。他の部分は、背景技術と同様である。
【００５０】
音素HMM記憶部４には、複数の音素の音素HMMが記憶されている。また、Nを所定の正の数として、音素HMM記憶部４には、N個の文章n(n=1,・・・,N)の発話についてのLSPパラメータから求められたGV（μ及びＵ）が記憶されているとする。
【００５１】
音素HMMの各状態は、LSPパラメータの平均値ω-i(t)、LSPパラメータの速度の平均値Δω-i(t)、LSPパラメータの分散σωi(t)及びLSPパラメータの速度の分散σΔωi(t)で表現される。LSPパラメータの平均値ω-i(t)、LSPパラメータの速度の平均値Δω-i(t)、LSPパラメータの分散σωi(t)及びLSPパラメータの速度の分散σΔωi(t)は、事前に計算され、音素HMM記憶部４に記憶されている。
【００５２】
音素HMM系列生成部１は、背景技術で説明した音素HMM系列生成部１と同様の処理を行う。すなわち、音素HMM系列生成部１は、入力されたテキストの各音素に対応する音素HMMを音素HMM記憶部４から読み込み、読み込んだ音素HMMを接続することにより、音素HMMの状態の系列を生成する（ステップＳ１）。生成された音素HMMの状態の系列は、差分LSPパラメータ計算部５に送信される。
【００５３】
音素HMMの各状態は、LSPパラメータの平均値ω-i(t)、LSPパラメータの速度の平均値Δω-i(t)、LSPパラメータの分散σωi(t)及びLSPパラメータの速度の分散σΔωi(t)で表現されるため、音素HMMの状態の系列も、LSPパラメータの平均値ω-i(t)とLSPパラメータの速度の平均値Δω-i(t)とから成るベクトルω-、及び、LSPパラメータの分散σωi(t)とLSPパラメータの速度の分散σΔωi(t)とから成る行列σで表現される。
【００５４】
差分LSPパラメータ計算部５は、音素HMMの状態の系列を構成するLSPパラメータを用いて、差分LSPパラメータdjを乗算型更新式により繰り返し更新することにより計算する（ステップＳ２）。計算された差分LSPパラメータdjは、LSPパラメータ計算部６に送信される。
【００５５】
差分LSPパラメータ計算部５は、具体的にはω-i(t),Δω-i(t),σωi(t),σΔωi(t),μ,U等のパラメータを用いて、差分LSPパラメータdjを計算する。ここで、ω-i(t),Δω-i(t),σωi(t),σΔωi(t),μ,U等のパラメータは、音素HMMの状態の系列を構成するLSPパラメータωi(t)から計算されるパラメータである。したがって、差分LSPパラメータ計算部５は、音素HMMの状態の系列を構成するLSPパラメータを用いて、差分LSPパラメータdjを計算していると言える。
【００５６】
pをLSPパラメータの次数として、差分LSPパラメータdi(t)により定まるLSPパラメータをω^i(t)として、di(t)及びω^i(t)は以下の関係を有する。
【００５７】
【数１６】
2014035460.tif 000018
【００５８】
差分LSPパラメータ計算部５は、背景技術の欄で説明した式（３）を最小化するdj(t)を計算する。
【００５９】
例えば、式（３）に
【００６０】
【数１７】
2014035460.tif 000019
【００６１】
を代入した評価式をF(di(t))と定義し、F(di(t))をdi(t)で偏微分した多項式▽F(di(t))の正の項から成る多項式を▽F+(di(t))とし、上記多項式▽F(di(t))の負の項から成る多項式を▽F-(di(t))とする。このとき、djを以下の乗算型更新式により繰り返し更新することにより、djを計算することができる（例えば、参考文献１参照。）。
【００６２】
【数１８】
2014035460.tif 000020
【００６３】
〔参考文献１〕Virtanen, IEEE Trans. Audio Speech Lang. Process., 15(3), 1066-1074, 2007.
また、背景技術で説明した式（０）のようにLSPパラメータの速度を定義した場合には、式（４）の乗算型更新式は具体的には以下のようになる。
【００６４】
【数１９】
2014035460.tif 000021
【００６５】
また、背景技術で説明した式（０）の定数aを0.5にした場合には、式（４）の乗算型更新式は、具体的には以下のようになる。
【００６６】
【数２０】
2014035460.tif 000022
【００６７】
また、LSPパラメータの速度を以下のように定義した場合には、
【００６８】
【数２１】
2014035460.tif 000023
【００６９】
式（４）の乗算型更新式は具体的には以下のようになる。
【００７０】
【数２２】
2014035460.tif 000024
【００７１】
また、LSPパラメータの速度を以下のように定義した場合には、
【００７２】
【数２３】
2014035460.tif 000025
【００７３】
式（４）の乗算型更新式は具体的には以下のようになる。
【００７４】
【数２４】
2014035460.tif 000026
【００７５】
なお、上述の乗算型更新式では、GVを利用する場合について説明を行ったが、GVを利用しない実施形態に本発明を利用することも可能である。例えば、LSPパラメータの速度を以下のように定義し、
【００７６】
【数２５】
2014035460.tif 000027
【００７７】
乗算型更新式を具体的には以下のようにする。なお、GVを用いない乗算型更新式を使用する場合には、μやUを予め音素HMM記憶部４に記憶しておかなくてもよい。
【００７８】
【数２６】
2014035460.tif 000028
【００７９】
上述の乗算型更新式の中のTは、音素HMMの状態の系列の時間長の総和であり、音素HMM状態系列生成部１により計算される。
【００８０】
なお、上述の乗算型更新式において、t≦0又はt>Tの場合にdi(t),Δω-j(t)は定義されないため、t≦0又はt>Tの場合のdi(t),Δω-j(t)を含む項の値を０とする。例えば、最初に具体例として挙げた乗算型更新式の式（５）のＡの右辺の第２項においてdl(0)の場合にはこの場合の第２項の値を０とする。また、式（５）のＡの右辺の第３項においてdl(T)の場合にはこの場合の第３項の値を０とする。
【００８１】
di(t)の初期値は、例えば非負の乱数とする。di(t)の更新の回数は求める精度、仕様に応じて適宜定められる。一般に、di(t)の更新の回数が多いほど、di(t)の精度が高くなる。例えば、K-1回目の更新後の式（３）の値と、K回目の更新後の式（３）の値との差が所定の閾値（例えば１０−７）以下になるまで更新する。
【００８２】
di(t)は非負値に収束することから、０＜ω1(t)＝di(t)＜ω2(t)＝di(t)＋d2(t)＜…＜ωp(t)＝di(t)＋…＋dp(t)となる。このように、ωi(t)の代わりにdi(t)を計算し、di(t)からωi(t)を求めることにより、求まったωi(t)は昇順特性を必ず満たし、かつ式（３）の誤差を最小化する。
【００８３】
LSPパラメータ計算部６は、差分ＬＳＰパラメータ計算部５が求めたdｉ(ｔ)を用いて、下記式によりLSPパラメータω^i(t)を計算する（ステップＳ３）。計算されたLSPパラメータω^i(t)は、音声合成部３に送信される。
【００８４】
【数２７】
2014035460.tif 000029
【００８５】
音声合成部３は、背景技術で説明した音声合成部３と同様の処理を行う。すなわち、音声合成部３は、計算されたLSPパラメータω^i(t)に基づいて、入力されたテキストに対応する音声を生成する（ステップＳ４）。
【００８６】
具体的には、音声合成部３は、以下の式のように、計算された声道スペクトルパラメータに基づいて、入力された音源信号u(t)（有声音であれば基本周期に応じたパルス列、無声音であれば白色雑音からなる音源信号）を畳み込むことにより音声信号s~(t)を生成する。
【００８７】
【数２８】
2014035460.tif 000030
【００８８】
なお、以下のパラメータを音素HMM記憶部４に記憶された音素HMMに追加することにより、di(t)<πであることが補償される。これにより、合成された音声信号が発散する可能性が更に低くなる。
【００８９】
【数２９】
2014035460.tif 000031
【００９０】
なお、音素HMM記憶部４に、LSPパラメータの平均値ω-i(t)、LSPパラメータの速度の平均値Δω-i(t)、LSPパラメータの分散σωi(t)及びLSPパラメータの速度の分散σΔωi(t)ではなく、LSPパラメータωi(t)で表現された音素HMMが記憶されていてもよい。この場合、音素HMM系列生成部１は、音素HMM記憶部４から読み込んだLSPパラメータωi(t)を用いて、LSPパラメータの平均値ω-i(t)、LSPパラメータの速度の平均値Δω-i(t)、LSPパラメータの分散σωi(t)及びLSPパラメータの速度の分散σΔωi(t)を計算して差分LSPパラメータ計算部５に送信する。
【００９１】
なお、μ及びUが音素HMM記憶部４に記憶されていなくてもよい。この場合であって、GVを用いる乗算型更新式を用いる場合には、音素HMM系列生成部１は、N個の文章n(n=1,・・・,N)の発話についてのLSPパラメータからμ及びUを計算して差分LSPパラメータ計算部５に送信する。
【００９２】
上記装置及び方法において説明した処理は、記載の順に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。
【００９３】
また、上記装置における処理手段をコンピュータによって実現する場合、上記装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、各装置における処理手段がコンピュータ上で実現される。
【００９４】
この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。
【００９５】
また、各処理手段は、コンピュータ上で所定のプログラムを実行させることにより構成することにしてもよいし、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。
【００９６】
その他、この発明の趣旨を逸脱しない範囲で適宜変更が可能であることはいうまでもない。
【符号の説明】
【００９７】
１      音素HMM系列生成部
２      声道スペクトルパラメータ計算部
３      音声合成部
４      音素HMM記憶部
５      差分LSPパラメータ計算部
６      LSPパラメータ計算部
【図１】
2014035460.tif 000036
【図２】
2014035460.tif 000037
【図３】
2014035460.tif 000038