(57)【特許請求の範囲】
【請求項１】
時間長Tのp次元の時系列信号Ωを、p×mのLSP行列Aとm×Tの時間関数Fとに分解する時空間分解装置であって、
上記時系列信号Ωの時刻tのi次元目の成分をωi(t)とし、上記LSP行列Aのi行k列目の成分をai,kとし、上記時間関数Fのk行t列目の成分をfk(t)とし、差分LSP振幅di,kをd1,k=a1,k>0かつdj,k=aj,k-aj-1,k>0(2≦j≦p)として、
1=t1<t2<…<tk<…<tm=Tであり、ai,kが非負であり、fk(t)がtk-1≦t≦tk+1において非負の値を持ち、1≦t<tk-1及びtk+1<t≦Tにおいてfk(t)=0であり、すべての時刻tにおいてfk(t)+fk-1(t)=1であるとして、
ai,kを固定して、上記時間関数F及びt2,…,tm-1を計算する時刻時間関数計算部と、
上記計算された時間関数F及びt2,…,tm-1を固定して、上記差分LSP振幅di,kを計算する差分LSP振幅計算部と、
上記計算された差分LSP振幅di,kを用いて、以下の式により定義されるai,kの値を計算するLSP行列計算部と、
【数２４】
0005937423.tif 000025
を含む時空間分解装置。
【請求項２】
請求項１に記載の時空間分解装置において、
上記差分LSP振幅計算部は、上記計算された時間関数F及びt2,…,tm-1を固定して、下記の更新式
【数２５】
0005937423.tif 000026
により、差分LSP振幅di,kを繰り返し更新することにより求める、
時空間分解装置。
【請求項３】
請求項１又は２に記載の時空間分解装置において、
上記時刻時間関数計算部は、αを定数とし、t2,…,tm-1を予め定められた初期値に固定し、ai,kを初期値ωi(tk)に固定して、下記の更新式
【数２６】
0005937423.tif 000027
により、差分時間関数gk(t)及びgk-1(t)を繰り返し更新することにより求め、以下の式により、fk(t)及びfk-1(t)を求める時間関数計算部を含む、
【数２７】
0005937423.tif 000028
時空間分解装置。
【請求項４】
請求項１又は２に記載の時空間分解装置において、
上記時刻時間関数計算部は、αを定数とし、t2,…,tm-1を予め定められた初期値に固定し、ai,kを初期値ωi(tk)に固定して、下記の更新式
【数２８】
0005937423.tif 000029
により、区間tk-1≦t≦tkの各tについてのfk(t)及びfk-1(t)を繰り返し更新することにより求める時間関数計算部を含む、
時空間分解装置。
【請求項５】
請求項３又は４に記載の時空間分解装置において、
上記時刻時間関数計算部は、fk(t)及びfk-1(t)を上記求まったfk(t)及びfk-1(t)に固定し、ai,kを初期値ωi(tk)に固定し、ωi(t)(i=1,…,p)を成分とする、時系列信号Ωの時刻tのp次元ベクトルをω(t)とし、空間行列A及び時間関数Fで表わされる時系列信号Ω’
の時刻tのi次元目の成分をω(t)とし、ω’i(t)(i=1,…,p)を成分とする、時系列信号Ω’の時刻tのp次元ベクトルをω’(t)として、ω(t)とω’(t)の差e(ω(t),ω’(t))の和
【数２９】
0005937423.tif 000030
を最小にするt2,…,tm-1を、ダイナミックプログラミングにより求める時刻計算部を更に含む、
時空間分解装置。
【請求項６】
時間長Tのp次元の時系列信号Ωを、p×mのLSP行列Aとm×Tの時間関数Fとに分解する時空間分解方法であって、
上記時系列信号Ωの時刻tのi次元目の成分をωi(t)とし、上記LSP行列Aのi行k列目の成分をai,kとし、上記時間関数Fのk行t列目の成分をfk(t)とし、差分LSP振幅di,kをd1,k=a1,k>0かつdj,k=aj,k-aj-1,k>0(2≦j≦p)として、
1=t1<t2<…<tk<…<tm=Tであり、ai,kが非負であり、fk(t)がtk-1≦t≦tk+1において非負の値を持ち、1≦t<tk-1及びtk+1<t≦Tにおいてfk(t)=0であり、すべての時刻tにおいてfk(t)+fk-1(t)=1であるとして、
時刻時間関数計算部が、ai,kを固定して、上記時間関数F及びt2,…,tm-1を計算する時刻時間関数計算ステップと、
差分LSP振幅計算部が、上記計算された時間関数F及びt2,…,tm-1を固定して、上記差分LSP振幅di,kを計算する差分LSP振幅計算ステップと、
LSP行列計算部が、上記計算された差分LSP振幅di,kを用いて、以下の式により定義されるai,kの値を計算するLSP行列計算ステップと、
【数３０】
0005937423.tif 000031
を含む時空間分解方法。
【請求項７】
請求項１から５の何れかに記載した装置としてコンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、LSP（Line Spectrum Pair：線スペクトル対）パラメータ等の多次元時系列信号を空間行列と時間関数とに分解する技術に関する。
【背景技術】
【０００２】
LSPパラメータを時間長Tのp次元の時系列信号Ω(p×T)とした場合、Ωを、p×mの空間行列であるLSP行列Aとm×Tの時間関数Fに分解する時空間分解法（Temporal Decomposition)という手法が提案されている（例えば、非特許文献１参照。）。この手法では、以下の分解が行われる。
【０００３】
【数１】
0005937423.tif 000002
【０００４】
pはLSPパラメータの分析次数である。mは基底の数であり、例えば音素の数＋２とされる。fk(t)が区間tk-1≦t≦tk+1においてのみ値を持つという時間関数の局所化を行っている。上式より、区間tk-1≦t≦tkにおける歪みは当該区間のパラメータのみに依存するため、ai,kが与えられた場合、時刻tkと時間関数fk(t)は、最小二乗法とDP（動的計画法）を用いることで、局所区間をつなぎ合わせた全区間に対する歪みを最小にするように決定できる。
【０００５】
AとFが非負値、かつ、fk(t)+fk-1(t)=1という制約の下で、式（１）における歪みを最小化するA,Fおよびtkを求めるために、以下の評価関数を乗算型更新式とDPを用いて最小化する手法が提案されている（例えば、非特許文献５参照。）。αの項は、fk(t)+fk-1(t)=1のための制約である。
【０００６】
【数２】
0005937423.tif 000003
【０００７】
ところで、LSPパラメータは、音声の声道スペクトルの全極フィルタ表現として、音声符号化や音声合成で広く用いられている。フィルタが安定であるためのLSPパラメータの必要十分条件は、LSPパラメータωｉの昇順特性、つまり0<ω1<ω2<…<ωp<πという条件を満たすことである。昇順特性を満たさないLSPパラメータから音声を合成した場合、音声信号が発散する可能性がある。
【０００８】
前述の時空間分解法では、LSPパラメータの昇順特性が必ずしも保証されない可能性がある。そこで、補正又は制約を導入する手法が提案されている。
【０００９】
１つ目の手法は、ωi-1>ωiのように順序が入れ替わった場合、
ω’i-1=(ωi-1+ωi-D)/2
ω’i=ω’i-1+D
という補正を行う手法である（例えば、非特許文献１，２を参照。）。この補正により昇順特性は満たされるが、LSPパラメータ間の間隔がD（例えば、０．０１）に固定されてしまうため、誤差の最小化が保証されない。
【００１０】
２つ目の手法は、
【００１１】
【数３】
0005937423.tif 000004
【００１２】
の制約、いわゆるコスト関数を導入する方法である（例えば、非特許文献３を参照。）。αはあまり大きくない正の値、Mは偶数、ωp+1=πである。ωi-1>ωiの場合に、コスト関数が大きくなることが分かるが、このコスト関数では昇順特性を満たすことが保証されない。
【先行技術文献】
【非特許文献】
【００１３】
【非特許文献１】S.-J. Kim, Y.-H. Oh, “Efficient quantisation method for LSF parameters based on restricted temporal decomposition”, Electronics Letters, Vol.35, No.12, 962-964, 1999.
【非特許文献２】P.C.Nguyen, T.Ochi, M.Akagi, “Modified Restricted Temporal Decomposition and Its Application to Low Rate Speech Coding”, IEICE Trans. Inf. & Syst., Vol.E86-D, No.3, 397-405, 2003.
【非特許文献３】M. Lei, Z.-H. Ling, L.-R. Dai, “Preserve ordering property of generated LSPs for minimum generation error training in HMM-based speech synthesis”, Proc. ICASSP, 4712-4715, 2011.
【非特許文献４】D.D.Lee, H.S.Seung, “Learning the parts of objects by non-negative matrix factorization”, Nature, 401, 788-791, 1999.
【非特許文献５】S. Hiroya, “Non-negative temporal decomposition of speech parameters”, Proc. ICASSP, 5066-5069, 2010.
【発明の概要】
【発明が解決しようとする課題】
【００１４】
このように、非特許文献１，２の手法では、時空間分解法のLSP行列Aの決定において、LSPパラメータの昇順特性を保持しようとすると誤差の最小化が保証されなかった。また、非特許文献３の手法では、時空間分解法のLSP行列Aの決定において、LSPパラメータの昇順特性を必ずしも満たすことができなかった。
【００１５】
この発明は、誤差を最小化することができ、かつ、LSPパラメータの昇順特性を保持することができる時空間分解装置、方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１６】
この発明の一態様による時空間分解装置は、時間長Tのp次元の時系列信号Ωを、p×mのLSP行列Aとm×Tの時間関数Fとに分解する時空間分解装置であって、時系列信号Ωの時刻tのi次元目の成分をωi(t)とし、LSP行列Aのi行k列目の成分をai,kとし、時間関数Fのk行t列目の成分をfk(t)とし、差分LSP振幅di,kをd1,k=a1,k>0かつdj,k=aj,k-aj-1,k>0(2≦j≦p)として、1=t1<t2<…<tk<…<tm=Tであり、ai,kが非負であり、fk(t)がtk-1≦t≦tk+1において非負の値を持ち、1≦t<tk-1及びtk+1<t≦Tにおいてfk(t)=0であり、すべての時刻tにおいてfk(t)+fk-1(t)=1であるとして、ai,kを固定して、時間関数F及びt2,…,tm-1を計算する時刻時間関数計算部と、計算された時間関数F及びt2,…,tm-1を固定して、差分LSP振幅di,kを計算する差分LSP振幅計算部と、計算された差分LSP振幅di,kを用いて、以下の式により定義されるai,kの値を計算するLSP行列計算部と、を備える。
【００１７】
【数４】
0005937423.tif 000005
【発明の効果】
【００１８】
誤差を最小化することができ、かつ、LSPパラメータの昇順特性を保持することができる。
【図面の簡単な説明】
【００１９】
【図１】時空間分解装置の例を説明するための図。
【図２】時空間分解方法の例を説明するための図。
【発明を実施するための形態】
【００２０】
以下、図面を参照して、時空間分解装置及び方法の実施形態を説明する。
【００２１】
時空間分解装置は、図１に示すように、時刻時間関数計算部１、差分LSP振幅計算部２及びLSP行列計算部３を例えば備える。時刻時間関数計算部１は、時間関数計算部１１及び時刻計算部１２を例えば備える。
【００２２】
時空間分解装置及び方法は、入力された時間長Tのp次元の時系列信号Ωを、p×mの空間行列であるLSP行列Aとm×Tの時間関数Fとに分解する。p,m,Tは所定の１以上の整数である。mは、例えば発話に含まれる音素の数＋２とする。時系列信号Ωのことを、LSPパラメータΩと呼ぶこともある。
【００２３】
分解されたLSP行列A及び時間関数Fで表わされるLSPパラメータΩ’の時刻tのi次元目の成分をω’i(t)、LSP行列Aのi行ｋ列目の成分をai,k、時間関数Fの時刻tのk次元目の成分をfk(t)と表記すると、LSP行列A及び時間関数Fへの分解は以下の式のように表記することができる。LSPパラメータΩ’は、LSPパラメータΩ自体ではなく、分解されたLSP行列A及び時間関数Fで表わされるLSPパラメータΩの近似値である。
【００２４】
【数５】
0005937423.tif 000006
【００２５】
ここでは、1=t1<t2<…<tk<…<tm=Tとして、ai,kが非負であり、fk(t)がtk-1≦t≦tk+1において非負の値を持ち、1≦t<tk-1及びtk+1<t≦Tにおいてfk(t)=0であり、すべての時刻tにおいてfk(t)+fk-1(t)=1という制約条件の下で、LSPパラメータωi(t)が昇順特性(0<ω1(t)<ω2(t)<…<ωp(t)<π)を満たし、かつ、式(1)の歪み、言い換えればLSPパラメータΩとLSPパラメータΩ’の差を最小化するという制約条件の下で、LSP行列A、時間関数F及び時刻tkを求める。
【００２６】
まず、時刻時間関数計算部１が、ダイナミックプログラミングにより時間関数Fと時刻tkを計算する（ステップＳ１、図２）。次に、差分LSP振幅計算部２が、計算された時間関数F及び時刻tkを用いて、差分LSP振幅di,kを計算する（ステップＳ２）。そして、LSP行列計算部３が、計算された差分LSP振幅di,kを用いて、LSP行列Aを求める（ステップＳ３）。以下、各ステップを詳細に説明する。
【００２７】
＜ステップＳ１＞
時刻時間関数計算部１は、ai,kを固定して、ダイナミックプログラミングを用いて、時間関数Fと時刻tkを計算する（ステップＳ１）。計算された時間関数Fと時刻tkは、差分LSP振幅計算部３に送信される。
【００２８】
時間関数Fと時刻tkのどちらを先に計算してもよいが、以下、たとえば、時間関数Ｆを先に計算してから時刻ｔｋを計算する場合について説明する。
【００２９】
まず、時刻時間関数計算部１の時間関数計算部１１が、αを定数とし、t2,…,tm-1を予め定められた初期値に固定し、ai,kを初期値ωi(tk)に固定して、下記の更新式
【００３０】
【数６】
0005937423.tif 000007
【００３１】
により区間tk-1≦t≦tkの各tについてのfk(t)及びfk-1(t)を繰り返し更新することにより求める。αの項は、fk(t)+fk-1(t)=1のための制約である。fk(t)の初期値が非負であれば、fk(t)は非負に更新されることが保証されている。
【００３２】
fk(t)、fk-1(t)の初期値は非負の乱数でよいが、例えば次式により定まる値を用いてもよい。
【００３３】
【数７】
0005937423.tif 000008
【００３４】
時刻t2,…,tm-1の初期値は、それぞれ発話に含まれるm-2個の音素の中心時刻とする。
【００３５】
fk(t)及びfk-1(t)の更新の回数は求める精度、仕様に応じて適宜定められる。一般に、fk(t)及びfk-1(t)の更新の回数が多いほど、fk(t)及びfk-1(t)の精度が高くなる。例えば、tk-1≦t≦tkにおいて、N-1回目の更新後の次式で表わされる歪みと、N回目の更新後の次式で表わされる歪みとの差が所定の閾値（例えば１０−３）以下になるまで更新する。
【００３６】
【数８】
0005937423.tif 000009
【００３７】
次に、時刻時間関数計算部１の時刻計算部１２が、fk(t)及びfk-1(t)を上記更新処理により計算されたfk(t)及びfk-1(t)に固定し、ai,kを初期値ωi(tk)に固定し、ω(t)とω’(t)の差e(ω(t),ω’(t))の和
【００３８】
【数９】
0005937423.tif 000010
【００３９】
を最小にするt2,…,tm-1を、ダイナミックプログラミングにより求める。すなわち、
【００４０】
【数１０】
0005937423.tif 000011
【００４１】
となるtk(k=2,…,m-1)をダイナミックプログラミングにより求める。
【００４２】
具体的には、例えば、区間[tk-δ,tk+δ]に含まれるtkのそれぞれについて、次式により定まるE(tk)を最小にするtk-1を求める。これを、k=2からk=m-1まで逐次行い、t2,…,tm-1を逐次求める。δは予め定められた定数であり、求める精度、仕様に応じて適宜定められる。E(tk)は、時刻tkでの最小累積歪みである。
【００４３】
【数１１】
0005937423.tif 000012
【００４４】
最終的に、区間[tm-1-δ,tm-1+δ]に含まれるtm-1のそれぞれについてのE(tm-1)が求まる。この中で最小となるE(tm-1)を求めて、この最小のE(tm-1)に対応するt2,…,tm-1を出力する。
【００４５】
ここで、ω(t)は、ωi(t)(i=1,…,p)を成分とする、LSP行列Ωの時刻tのp次元ベクトルω(t)であり、ω’(t)は、ω’i(t)(i=1,…,p)を成分とする、時系列信号Ω’の時刻tのp次元ベクトルである。
【００４６】
【数１２】
0005937423.tif 000013
【００４７】
なお、ω(t)とω’(t)の差e(ω(t),ω’(t))は、どのような差を用いてもよい。例えば、e(ω(t),ω’(t))を以下のように定める。
【００４８】
【数１３】
0005937423.tif 000014
【００４９】
なお、式（１）の評価関数で用いた誤差と、ダイナミックプログラミングで用いる誤差の定義が同一であると、全区間に対する歪みを最小にすることが保証される。したがって、例えば上記のようにダイナミックプログラミングで用いる誤差として絶対誤差Σi=1p|ωi(t)-ω’i(t)|を用いた場合には、評価関数の誤差としても絶対誤差を用いるとよい。
【００５０】
＜ステップＳ２＞
差分ＬＳＰ振幅計算部２は、fk(t)及びfk-1(t)を上記計算されたfk(t)及びfk-1(t)に固定し、t2,…,tm-1を上記求まったt2,…,tm-1に固定して、
【００５１】
【数１４】
0005937423.tif 000015
【００５２】
とし、以下の更新式
【００５３】
【数１５】
0005937423.tif 000016
【００５４】
により、差分LSP振幅di,kを繰り返し更新することにより求める（ステップＳ２）。求まった差分LSP振幅di,kは、LSP行列計算部３に送信される。
【００５５】
di,kの初期値は、例えば非負の乱数とする。di,kの更新の回数は求める精度、仕様に応じて適宜定められる。一般に、di,kの更新の回数が多いほど、di,kの精度が高くなる。例えば、例えば、tk-1≦t≦tkにおいて、N-1回目の更新後の次式で表わされる歪みと、N回目の更新後の次式で表わされる歪みとの差が所定の閾値（例えば１０−３）以下になるまで更新する。
【００５６】
【数１６】
0005937423.tif 000017
【００５７】
＜ステップＳ３＞
LSP行列計算部１３は、差分LSP振幅計算部２が求めた差分LSP振幅di,kを用いて、以下の式により定義されるai,kの値を計算する（ステップＳ３）。
【００５８】
【数１７】
0005937423.tif 000018
【００５９】
これにより、LSP行列Aが求まる。di,kは非負値に収束することから、
0<a1,k=d1,k<a2,k=d1,k+d2,k<…<ap,k=d1,k+…+dp,k<π
となり、ai,kの代わりにdi,kを推定し、di,kからai,kを求めることにより、求まったai,kは昇順特性を必ず満たし、かつ式（１）の誤差を最小化する。本発明では、ap,k<πについての制約は加えられていないが、入力LSPパラメータがωp(t)<πであること、かつ時間関数fk(t)が[0,1]の範囲にあることから、ap,k<πは満たされる。
【００６０】
このようにして決定したai,kとfk(t)を用いてLSPパラメータを再合成した場合、ai,kが昇順特性を満たし、fk(t)が[0,1]の範囲にあることから、再合成したLSPパラメータも昇順特性を満たすことは明らかである。
【００６１】
なお、ステップＳ３により求めたａｉ，ｋを初期値として、ステップＳ１からステップＳ３の処理を繰り返しても良い。
【００６２】
＜ステップＳ１の変形例＞
時間関数fk(t)は、tk-1≦t≦tk+1において滑らかであり、かつ、単一ピークのみを持つことが望まれる。しかし、ステップＳ１のように時間関数fk(t)とfk-1(t)を決定した場合、上記の条件を満たすことが保証されない。
【００６３】
非特許文献２では、tk≦t≦tk+1において、
【００６４】
【数１８】
0005937423.tif 000019
【００６５】
とする処理を行うことで、単一ピークを持つ時間関数を求めているが、誤差の最小化が保証されないことが問題となる。
【００６６】
時間関数が単一ピークを持つとは、tk-1≦t≦tkにおける時間関数の時間差分、つまり、
【００６７】
【数１９】
0005937423.tif 000020
【００６８】
と
【００６９】
【数２０】
0005937423.tif 000021
【００７０】
が非負値であることを意味する。ここで、tk-1≦t≦tkにおいて、fk(t)は増加関数、fk-1(t)は減少関数である。
【００７１】
そこで、時刻時間関数計算部１の時間関数計算部１１は、ステップＳ１において、fk(t)とfk-1(t)を直接求める代わりに、式（１）を最小にするようなgk(t)とgk-1(t)を乗算型更新式により計算してもよい。差分時間関数ｇｋ（ｔ）とｇｋ−１（ｔ）のための乗算型更新式は次の通りである。
【００７２】
【数２１】
0005937423.tif 000022
【００７３】
この場合、時間関数計算部１１は、直接fk(t)及びfk-1(t)を乗算型更新式により更新する代わりに、計算されたgk(t)とgk-1(t)を用いて、
【００７４】
【数２２】
0005937423.tif 000023
【００７５】
と
【００７６】
【数２３】
0005937423.tif 000024
【００７７】
により、時間関数fk(t)とfk-1(t)を求める。
【００７８】
gk(t)とgk-1(t)は非負値に収束するため、単一ピークを持つ時間関数fk(t)とfk-1(t)が求まることは明らかである。
【００７９】
上記装置及び方法において説明した処理は、記載の順に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。
【００８０】
また、上記装置における処理手段をコンピュータによって実現する場合、上記装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、各装置における処理手段がコンピュータ上で実現される。
【００８１】
この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。
【００８２】
また、各処理手段は、コンピュータ上で所定のプログラムを実行させることにより構成することにしてもよいし、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。
【００８３】
その他、この発明の趣旨を逸脱しない範囲で適宜変更が可能であることはいうまでもない。
【００８４】
＜実験結果＞
男性話者５名がそれぞれ３７５文章を発声した音声データからLSPパラメータを求め、本発明の時空間分解装置により時空間分解を行った。（１）非特許文献５の手法によりai,kを直接推定した場合、（２）本発明の時空間分解装置によりdi,kを求めてからai,kを計算した場合で、それぞれのai,kの昇順特性について調べた。約６８万イベントに対して、（１）では２２７９１イベントが昇順特性を満たしていなかった。一方、（２）ではすべてが昇順特性を満たした。このことから、本発明の時空間分解装置および方法によれば、誤差を最小化し、かつ、LSPパラメータの昇順特性を満たすLSP行列を求めることができることが分かった。
【図１】
0005937423.tif 000032
【図２】
0005937423.tif 000033