(57)【要約】【課題】声道スペクトルパラメータに基づく駆動時点と調音パラメータに基づく駆動時点とが一致できるように駆動時点を求めることができる駆動時点決定技術技術を提供する。【解決手段】声道スペクトルパラメータの駆動時点を線形変換によって補正するための補正係数を、調音パラメータを利用して決定し、この補正係数を用いて声道スペクトルパラメータの駆動時点の補正を行う。具体的には、声道スペクトルパラメータに基づく駆動時点と、調音パラメータに基づく駆動時点を用いて、声道スペクトルパラメータに基づく駆動時点を線形関数により線形変換して得られる補正後駆動時点と調音パラメータに基づく駆動時点との二乗誤差を最小にする当該線形関数の係数（補正係数）を算出し、補正係数を用いて声道スペクトルパラメータに基づく駆動時点を補正する。【選択図】図１
2014153658.tif 000002
【特許請求の範囲】
【請求項１】
非負値時空間分解の駆動時点を決定する駆動時点決定装置であって、
時間長Tのp次元の時系列信号Yをp×mの空間行列Aとm×Tの時間関数行列Fに分解する時空間分解において、空間行列Aのi行k列目の成分をai,kとし、時間関数行列Fの時点tのk次元目の成分をfk(t)としたとき、1=t1<t2<…<tk<…<tm=Tとし、ai,kが非負値であり、fk(t)がtk-1≦t≦tk+1において非負値であり、1≦t<tk-1及びtk+1<t≦Tにおいてfk(t)=0であり、すべての時点tにおいてfk(t)+fk-1(t)=1である、という制約条件の下で、時系列信号Yと近似信号Y’=AFとの歪みを最小化することによって、駆動時点tk（k=1,2,…,m）を求める非負値時空間分解部と、
時系列信号Yが声道スペクトルパラメータの時系列信号である場合に上記非負値時空間分解部によって得られた駆動時点tk（k=1,2,…,m）（以下、tk(V)（k=1,2,…,m）と表記する）と、時系列信号Yが調音パラメータの時系列信号である場合に上記非負値時空間分解部によって得られた駆動時点tk（k=1,2,…,m）（以下、tk(A)（k=1,2,…,m）と表記する）を用いて、駆動時点tk(V)（k=1,2,…,m）を線形関数により線形変換して得られる補正後駆動時点t’k(V)と駆動時点tk(A)（k=1,2,…,m）との二乗誤差を最小にする上記線形関数の係数（以下、補正係数という）を算出する駆動時点補正係数計算部と、
補正係数を用いて駆動時点tk(V)（k=1,2,…,m）を補正する駆動時点補正部と
を含む駆動時点決定装置。
【請求項２】
非負値時空間分解の駆動時点を決定する駆動時点決定装置であって、
時間長Tのp次元の声道スペクトルパラメータの時系列信号Y(V)をp×mの空間行列A(V)とm×Tの時間関数行列F(V)に分解する時空間分解において、空間行列A(V)のi行k列目の成分をai,k(V)とし、時間関数行列F(V)の時点tのk次元目の成分をfk(t)(V)としたとき、1=t1<t2<…<tk<…<tm=Tとし、ai,k(V)が非負値であり、fk(t)(V)がtk-1≦t≦tk+1において非負値であり、1≦t<tk-1及びtk+1<t≦Tにおいてfk(t)(V)=0であり、すべての時点tにおいてfk(t)(V)+fk-1(t)(V)=1である、という制約条件の下で、時系列信号Y(V)と近似信号Y’(V)=A(V)F(V)との歪みを最小化することによって、駆動時点tk(V)（k=1,2,…,m）を求める非負値時空間分解部と、
時間長Tのp次元の調音パラメータの時系列信号Y(A)をp×mの空間行列A(A)とm×Tの時間関数行列F(A)に分解する時空間分解において、初期駆動時点を、駆動時点tk(V)（k=1,2,…,m）に固定して、空間行列A(A)のi行k列目の成分をai,k(A)とし、時間関数行列F(A)の時点tのk次元目の成分をfk(t)(A)としたとき、1=t1<t2<…<tk<…<tm=Tとし、ai,k(A)が非負値であり、fk(t)(A)がtk-1≦t≦tk+1において非負値であり、1≦t<tk-1及びtk+1<t≦Tにおいてfk(t)(A)=0であり、すべての時点tにおいてfk(t)(A)+fk-1(t)(A)=1である、という制約条件の下で、調音パラメータの時系列信号Y(A)と近似信号Y’(A)=A(A)F(A)との歪みを最小化することによって、空間行列A(A)と時間関数行列F(A)を求める調音パラメータ分解部と、
駆動時点tk(V)（k=1,2,…,m）と、所定の初期値c(0)及びd(0)と、調音パラメータ分解部によって得られた空間行列A(A)と時間関数行列F(A)を用いて、βを所定のステップサイズとし、・yi(t)(A)を時系列信号Y(A)の時点tのi次元目の成分yi(t)(A)の偏微分とし、・fk(t)(A)をfk(t)(A)の偏微分とし、ukを所定の初期駆動時点とし、zk=[c(tk(V)-uk)+d+uk]とし、jを繰り返し回数として、
c(j+1)=c(j)-βhc，
d(j+1)=d(j)-βhd
（ただし、
【数２５】
2014153658.tif 000027
とする）により、繰り返し更新して補正係数c=c(j+1)及びd=d(j+1)を求める駆動時点補正係数計算部と、
上記駆動時点補正係数計算部で求めた補正係数c及びdを用いて
zk=[c(tk(V)-uk)+d+uk]
により、駆動時点tk(V)（k=1,2,…,m）を補正した補正後駆動時点zk（k=1,2,…,m）を求める駆動時点補正部と
を含む駆動時点決定装置。
【請求項３】
声道スペクトルパラメータの時系列信号を非負値時空間分解して得られる空間行列を、調音パラメータの時系列信号を非負値時空間分解して得られる空間行列に変換するための変換関数ｆTと、LSPパラメータの時系列信号を非負値時空間分解して得られる駆動時点tk(V)を、調音パラメータの時系列信号を非負値時空間分解したときの駆動時点tk(A)に近づくように補正するための補正係数とを記憶している記憶部と、
時間長Tのp次元の声道スペクトルパラメータの時系列信号Y(V)をp×mの空間行列A(V)とm×Tの時間関数行列F(V)に分解する時空間分解において、空間行列A(V)のi行k列目の成分をai,k(V)とし、時間関数行列F(V)の時点tのk次元目の成分をfk(t)(V)としたとき、1=t1<t2<…<tk<…<tm=Tとし、ai,k(V)が非負値であり、fk(t)(V)がtk-1≦t≦tk+1において非負値であり、1≦t<tk-1及びtk+1<t≦Tにおいてfk(t)(V)=0であり、すべての時点tにおいてfk(t)(V)+fk-1(t)(V)=1である、という制約条件の下で、時系列信号Y(V)と近似信号Y’(V)=A(V)F(V)との歪みを最小化することによって、空間行列A(V)と、時間関数行列F(V)と、駆動時点tk(V)（k=1,2,…,m）を求める非負値時空間分解部と、
補正係数を用いて駆動時点tk(V)（k=1,2,…,m）を補正する駆動時点補正部と
時間長Tのp次元の声道スペクトルパラメータの時系列信号Y(V)をp×mの空間行列A(V)とm×Tの時間関数行列F(V)に分解する時空間分解において、初期駆動時点を駆動時点補正部によって得られた補正後の駆動時点t’k(V)に固定して、上記制約条件の下、空間行列A’(V)と時間関数行列F’(V)を求める非負値時空間分解部と、
空間行列A’(V)を変換関数ｆTで変換して調音パラメータを非負値時空間分解したときの空間行列の推定値A’(A)を求める空間行列推定部と、
空間行列の推定値A’(A)に時間関数行列F’(V)を乗じて調音パラメータの推定値Y’(A)を求める調音パラメータ推定部
とを含む調音パラメータ推定装置。
【請求項４】
請求項３に記載の調音パラメータ推定装置において、
記憶部に記憶される補正係数は、
時間長Tのp次元の時系列信号Yをp×mの空間行列Aとm×Tの時間関数行列Fに分解する時空間分解において、空間行列Aのi行k列目の成分をai,kとし、時間関数行列Fの時点tのk次元目の成分をfk(t)としたとき、1=t1<t2<…<tk<…<tm=Tとし、ai,kが非負値であり、fk(t)がtk-1≦t≦tk+1において非負値であり、1≦t<tk-1及びtk+1<t≦Tにおいてfk(t)=0であり、すべての時点tにおいてfk(t)+fk-1(t)=1である、という制約条件の下で、時系列信号Yと近似信号Y’=AFとの歪みを最小化することによって、駆動時点tk（k=1,2,…,m）を求める非負値時空間分解部と、
同時観測された調音パラメータの時系列信号~Y(A)と声道スペクトルパラメータの時系列信号~Y(V)との組に対して、上記時系列信号Yが~Y(V)である場合に上記非負値時空間分解部によって得られた駆動時点tk（k=1,2,…,m）（以下、~tk(V)（k=1,2,…,m）と表記する）と、上記時系列信号Yが~Y(A)である場合に上記非負値時空間分解部によって得られた駆動時点tk（k=1,2,…,m）（以下、~tk(A)（k=1,2,…,m）と表記する）を用いて、駆動時点~tk(V)（k=1,2,…,m）を線形関数により線形変換して得られる補正後駆動時点~t’k(V)と駆動時点~tk(A)（k=1,2,…,m）との二乗誤差を最小にする線形関数の係数（以下、補正係数という）を算出する駆動時点補正係数計算部と、によって得られた補正係数である
ことを特徴とする調音パラメータ推定装置。
【請求項５】
請求項３に記載の調音パラメータ推定装置において、
記憶部に記憶される補正係数は、
同時観測された調音パラメータの時系列信号と声道スペクトルパラメータの時系列信号とをそれぞれ~Y(A)と~Y(V)としたとき、
時間長Tのp次元の声道スペクトルパラメータの時系列信号~Y(V)をp×mの空間行列~A(V)とm×Tの時間関数行列~F(V)に分解する時空間分解において、空間行列~A(V)のi行k列目の成分を~ai,k(V)とし、時間関数行列~F(V)の時点tのk次元目の成分を~fk(t)(V)としたとき、1=~t1<~t2<…<~tk<…<~tm=Tとし、~ai,k(V)が非負値であり、~fk(t)(V)が~tk-1≦t≦~tk+1において非負値であり、1≦t<~tk-1及び~tk+1<t≦Tにおいて~fk(t)(V)=0であり、すべての時点tにおいて~fk(t)(V)+ ~fk-1(t)(V)=1である、という制約条件の下で、時系列信号~Y(V)と近似信号~Y’(V)=~A(V)~F(V)との歪みを最小化することによって、駆動時点~tk(V)（k=1,2,…,m）を求める非負値時空間分解部と、
時間長Tのp次元の調音パラメータの時系列信号~Y(A)をp×mの空間行列~A(A)とm×Tの時間関数行列~F(A)に分解する時空間分解において、初期駆動時点を、駆動時点tk(V)（k=1,2,…,m）に固定して、空間行列~A(A)のi行k列目の成分を~ai,k(A)とし、時間関数行列~F(A)の時点tのk次元目の成分を~fk(t)(A)としたとき、1=~t1<~t2<…<~tk<…<~tm=Tとし、~ai,k(A)が非負値であり、~fk(t)(A)が~tk-1≦t≦~tk+1において非負値であり、1≦t<~tk-1及び~tk+1<t≦Tにおいてfk(t)(A)=0であり、すべての時点tにおいてfk(t)(A)+fk-1(t)(A)=1である、という制約条件の下で、調音パラメータの時系列信号~Y(A)と近似信号~Y’(A)=~A(A)~F(A)との歪みを最小化することによって、空間行列A(A)と時間関数行列F(A)を求める調音パラメータ分解部と、
駆動時点~tk(V)（k=1,2,…,m）と、所定の初期値c(0)及びd(0)と、調音パラメータ分解部によって得られた空間行列~A(A)と時間関数行列~F(A)を用いて、βを所定のステップサイズとし、・~yi(t)(A)を時系列信号~Y(A)の時点tのi次元目の成分~yi(t)(A)の偏微分とし、・~fk(t)(A)を~fk(t)(A)の偏微分とし、ukを所定の初期駆動時点とし、zk=[c(~tk(V)-uk)+d+uk]とし、jを繰り返し回数として、
c(j+1)=c(j)-βhc，
d(j+1)=d(j)-βhd
（ただし、
【数２６】
2014153658.tif 000028
とする）により、繰り返し更新して補正係数c=c(j+1)及びd=d(j+1)を求める駆動時点補正係数計算部と、によって得られた補正係数である
ことを特徴とする調音パラメータ推定装置。
【請求項６】
非負値時空間分解の駆動時点を決定する駆動時点決定方法であって、
時間長Tのp次元の時系列信号Yをp×mの空間行列Aとm×Tの時間関数行列Fに分解する時空間分解において、空間行列Aのi行k列目の成分をai,kとし、時間関数行列Fの時点tのk次元目の成分をfk(t)としたとき、1=t1<t2<…<tk<…<tm=Tとし、ai,kが非負値であり、fk(t)がtk-1≦t≦tk+1において非負値であり、1≦t<tk-1及びtk+1<t≦Tにおいてfk(t)=0であり、すべての時点tにおいてfk(t)+fk-1(t)=1である、という制約条件の下で、時系列信号Yと近似信号Y’=AFとの歪みを最小化することによって、駆動時点tk（k=1,2,…,m）を求める非負値時空間分解ステップと、
時系列信号Yが声道スペクトルパラメータの時系列信号である場合に上記非負値時空間分解ステップにおいて得られた駆動時点tk（k=1,2,…,m）（以下、tk(V)（k=1,2,…,m）と表記する）と、時系列信号Yが調音パラメータの時系列信号である場合に上記非負値時空間分解ステップにおいて得られた駆動時点tk（k=1,2,…,m）（以下、tk(A)（k=1,2,…,m）と表記する）を用いて、駆動時点tk(V)（k=1,2,…,m）を線形関数により線形変換して得られる補正後駆動時点t’k(V)と駆動時点tk(A)（k=1,2,…,m）との二乗誤差を最小にする上記線形関数の係数（以下、補正係数という）を算出する駆動時点補正係数計算ステップと、
補正係数を用いて駆動時点tk(V)（k=1,2,…,m）を補正する駆動時点補正ステップと
を含む駆動時点決定方法。
【請求項７】
非負値時空間分解の駆動時点を決定する駆動時点決定方法であって、
時間長Tのp次元の声道スペクトルパラメータの時系列信号Y(V)をp×mの空間行列A(V)とm×Tの時間関数行列F(V)に分解する時空間分解において、空間行列A(V)のi行k列目の成分をai,k(V)とし、時間関数行列F(V)の時点tのk次元目の成分をfk(t)(V)としたとき、1=t1<t2<…<tk<…<tm=Tとし、ai,k(V)が非負値であり、fk(t)(V)がtk-1≦t≦tk+1において非負値であり、1≦t<tk-1及びtk+1<t≦Tにおいてfk(t)(V)=0であり、すべての時点tにおいてfk(t)(V)+fk-1(t)(V)=1である、という制約条件の下で、時系列信号Y(V)と近似信号Y’(V)=A(V)F(V)との歪みを最小化することによって、駆動時点tk(V)（k=1,2,…,m）を求める非負値時空間分解ステップと、
時間長Tのp次元の調音パラメータの時系列信号Y(A)をp×mの空間行列A(A)とm×Tの時間関数行列F(A)に分解する時空間分解において、初期駆動時点を、駆動時点tk(V)（k=1,2,…,m）に固定して、空間行列A(A)のi行k列目の成分をai,k(A)とし、時間関数行列F(A)の時点tのk次元目の成分をfk(t)(A)としたとき、1=t1<t2<…<tk<…<tm=Tとし、ai,k(A)が非負値であり、fk(t)(A)がtk-1≦t≦tk+1において非負値であり、1≦t<tk-1及びtk+1<t≦Tにおいてfk(t)(A)=0であり、すべての時点tにおいてfk(t)(A)+fk-1(t)(A)=1である、という制約条件の下で、調音パラメータの時系列信号Y(A)と近似信号Y’(A)=A(A)F(A)との歪みを最小化することによって、空間行列A(A)と時間関数行列F(A)を求める調音パラメータ分解ステップと、
駆動時点tk(V)（k=1,2,…,m）と、所定の初期値c(0)及びd(0)と、調音パラメータ分解ステップにおいて得られた空間行列A(A)と時間関数行列F(A)を用いて、βを所定のステップサイズとし、・yi(t)(A)を時系列信号Y(A)の時点tのi次元目の成分yi(t)(A)の偏微分とし、・fk(t)(A)をfk(t)(A)の偏微分とし、ukを所定の初期駆動時点とし、zk=[c(tk(V)-uk)+d+uk]とし、jを繰り返し回数として、
c(j+1)=c(j)-βhc，
d(j+1)=d(j)-βhd
（ただし、
【数２７】
2014153658.tif 000029
とする）により、繰り返し更新して補正係数c=c(j+1)及びd=d(j+1)を求める駆動時点補正係数計算ステップと、
上記駆動時点補正係数計算部で求めた補正係数c及びdを用いて
zk=[c(tk(V)-uk)+d+uk]
により、駆動時点tk(V)（k=1,2,…,m）を補正した補正後駆動時点zk（k=1,2,…,m）を求める駆動時点補正ステップと
を含む駆動時点決定方法。
【請求項８】
記憶部には、声道スペクトルパラメータの時系列信号を非負値時空間分解して得られる空間行列を、調音パラメータの時系列信号を非負値時空間分解して得られる空間行列に変換するための変換関数ｆTと、LSPパラメータの時系列信号を非負値時空間分解して得られる駆動時点tk(V)を、調音パラメータの時系列信号を非負値時空間分解したときの駆動時点tk(A)に近づくように補正するための補正係数とを記憶されており、
時間長Tのp次元の声道スペクトルパラメータの時系列信号Y(V)をp×mの空間行列A(V)とm×Tの時間関数行列F(V)に分解する時空間分解において、空間行列A(V)のi行k列目の成分をai,k(V)とし、時間関数行列F(V)の時点tのk次元目の成分をfk(t)(V)としたとき、1=t1<t2<…<tk<…<tm=Tとし、ai,k(V)が非負値であり、fk(t)(V)がtk-1≦t≦tk+1において非負値であり、1≦t<tk-1及びtk+1<t≦Tにおいてfk(t)(V)=0であり、すべての時点tにおいてfk(t)(V)+fk-1(t)(V)=1である、という制約条件の下で、時系列信号Y(V)と近似信号Y’(V)=A(V)F(V)との歪みを最小化することによって、空間行列A(V)と、時間関数行列F(V)と、駆動時点tk(V)（k=1,2,…,m）を求める非負値時空間分解ステップと、
補正係数を用いて駆動時点tk(V)（k=1,2,…,m）を補正する駆動時点補正ステップと
時間長Tのp次元の声道スペクトルパラメータの時系列信号Y(V)をp×mの空間行列A(V)とm×Tの時間関数行列F(V)に分解する時空間分解において、初期駆動時点を駆動時点補正ステップにおいて得られた補正後の駆動時点t’k(V)に固定して、上記制約条件の下、空間行列A’(V)と時間関数行列F’(V)を求める非負値時空間分解ステップと、
空間行列A’(V)を変換関数ｆTで変換して調音パラメータを非負値時空間分解したときの空間行列の推定値A’(A)を求める空間行列推定ステップと、
空間行列の推定値A’(A)に時間関数行列F’(V)を乗じて調音パラメータの推定値Y’(A)を求める調音パラメータ推定ステップ
とを含む調音パラメータ推定方法。
【請求項９】
請求項８に記載の調音パラメータ推定方法において、
記憶部に記憶される補正係数は、
時間長Tのp次元の時系列信号Yをp×mの空間行列Aとm×Tの時間関数行列Fに分解する時空間分解において、空間行列Aのi行k列目の成分をai,kとし、時間関数行列Fの時点tのk次元目の成分をfk(t)としたとき、1=t1<t2<…<tk<…<tm=Tとし、ai,kが非負値であり、fk(t)がtk-1≦t≦tk+1において非負値であり、1≦t<tk-1及びtk+1<t≦Tにおいてfk(t)=0であり、すべての時点tにおいてfk(t)+fk-1(t)=1である、という制約条件の下で、時系列信号Yと近似信号Y’=AFとの歪みを最小化することによって、駆動時点tk（k=1,2,…,m）を求める非負値時空間分解部と、
同時観測された調音パラメータの時系列信号~Y(A)と声道スペクトルパラメータの時系列信号~Y(V)との組に対して、上記時系列信号Yが~Y(V)である場合に上記非負値時空間分解部によって得られた駆動時点tk（k=1,2,…,m）（以下、~tk(V)（k=1,2,…,m）と表記する）と、上記時系列信号Yが~Y(A)である場合に上記非負値時空間分解部によって得られた駆動時点tk（k=1,2,…,m）（以下、~tk(A)（k=1,2,…,m）と表記する）を用いて、駆動時点~tk(V)（k=1,2,…,m）を線形関数により線形変換して得られる補正後駆動時点~t’k(V)と駆動時点~tk(A)（k=1,2,…,m）との二乗誤差を最小にする線形関数の係数（以下、補正係数という）を算出する駆動時点補正係数計算部と、によって得られた補正係数である
ことを特徴とする調音パラメータ推定方法。
【請求項１０】
請求項８に記載の調音パラメータ推定方法において、
記憶部に記憶される補正係数は、
同時観測された調音パラメータの時系列信号と声道スペクトルパラメータの時系列信号とをそれぞれ~Y(A)と~Y(V)としたとき、
時間長Tのp次元の声道スペクトルパラメータの時系列信号~Y(V)をp×mの空間行列~A(V)とm×Tの時間関数行列~F(V)に分解する時空間分解において、空間行列~A(V)のi行k列目の成分を~ai,k(V)とし、時間関数行列~F(V)の時点tのk次元目の成分を~fk(t)(V)としたとき、1=~t1<~t2<…<~tk<…<~tm=Tとし、~ai,k(V)が非負値であり、~fk(t)(V)が~tk-1≦t≦~tk+1において非負値であり、1≦t<~tk-1及び~tk+1<t≦Tにおいて~fk(t)(V)=0であり、すべての時点tにおいて~fk(t)(V)+ ~fk-1(t)(V)=1である、という制約条件の下で、時系列信号~Y(V)と近似信号~Y’(V)=~A(V)~F(V)との歪みを最小化することによって、駆動時点~tk(V)（k=1,2,…,m）を求める非負値時空間分解部と、
時間長Tのp次元の調音パラメータの時系列信号~Y(A)をp×mの空間行列~A(A)とm×Tの時間関数行列~F(A)に分解する時空間分解において、初期駆動時点を、駆動時点tk(V)（k=1,2,…,m）に固定して、空間行列~A(A)のi行k列目の成分を~ai,k(A)とし、時間関数行列~F(A)の時点tのk次元目の成分を~fk(t)(A)としたとき、1=~t1<~t2<…<~tk<…<~tm=Tとし、~ai,k(A)が非負値であり、~fk(t)(A)が~tk-1≦t≦~tk+1において非負値であり、1≦t<~tk-1及び~tk+1<t≦Tにおいてfk(t)(A)=0であり、すべての時点tにおいてfk(t)(A)+fk-1(t)(A)=1である、という制約条件の下で、調音パラメータの時系列信号~Y(A)と近似信号~Y’(A)=~A(A)~F(A)との歪みを最小化することによって、空間行列A(A)と時間関数行列F(A)を求める調音パラメータ分解部と、
駆動時点~tk(V)（k=1,2,…,m）と、所定の初期値c(0)及びd(0)と、調音パラメータ分解部によって得られた空間行列~A(A)と時間関数行列~F(A)を用いて、βを所定のステップサイズとし、・~yi(t)(A)を時系列信号~Y(A)の時点tのi次元目の成分~yi(t)(A)の偏微分とし、・~fk(t)(A)を~fk(t)(A)の偏微分とし、ukを所定の初期駆動時点とし、zk=[c(~tk(V)-uk)+d+uk]とし、jを繰り返し回数として、
c(j+1)=c(j)-βhc，
d(j+1)=d(j)-βhd
（ただし、
【数２８】
2014153658.tif 000030
とする）により、繰り返し更新して補正係数c=c(j+1)及びd=d(j+1)を求める駆動時点補正係数計算部と、によって得られた補正係数である
ことを特徴とする調音パラメータ推定方法。
【請求項１１】
コンピュータを、請求項１または請求項２に記載の駆動時点決定装置として、あるいは、請求項３から請求項５のいずれかに記載の調音パラメータ推定装置として、機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、声道スペクトルパラメータからNTD（Non-negative Temporal Decomposition：非負値時空間分解法）の駆動時点を計算する技術に関する。
【背景技術】
【０００２】
LSP（Line Spectrum Pair：線スペクトル対）パラメータあるいは調音パラメータを時間長Tのp次元の時系列信号Y(p×T)とした場合、Yをp×mの空間行列Aとm×Tの時間関数行列Fに分解する非負値時空間分解法という手法がある（例えば、非特許文献１参照）。この手法によると、時系列信号Y(p×T)に対して以下の分解が行われる。なお、mは予め与えられた時間関数の個数であり、例えば音素の数＋２とされる。
【数１】
2014153658.tif 000003
【０００３】
時空間分解は一意に決定されないため、時間関数fk(t)に制約を加えることが一般的である。上式の非負値時空間分解では、時間関数行列Fの時点ｔのｋ番目の成分である時間関数fk(t)が区間t＜tk-1，tk+1＜tにおいてゼロであるという時間関数の局所化を行っている。
【０００４】
局所化された上記分解では、区間tk-1≦t≦tkにおける時系列信号Y(p×T)とAFとの歪みは当該区間のパラメータのみに依存するため、ai,kが与えられた場合、駆動時点tkと時間関数fk(t)は、最小二乗法とDP（ダイナミックプログラミング；動的計画法）を用いることで、局所区間をつなぎ合わせた全区間に対する歪みを最小にするように決定できる。
【０００５】
ところで、時間関数は発話リズムを特徴づけるパラメータとなるが、LSPパラメータや調音パラメータなどの異なるパラメータ間での時間関数の比較のためには時間関数の値域を[0,1]に制限し正規化することが望まれる。このため、上式の非負値時空間分解では、全てのt,i,kにおいて、空間行列Aと時間関数行列Fが非負値、かつ、fk(t)+fk-1(t)=1という制約を課している。このとき、区間tk-1≦t≦tkにおける時系列信号Y(p×T)とAFとの歪みを最小化するA,Fおよびtkを求めるために、式（２）の評価関数を乗算型更新式とDPを用いて最小化する手法が提案されている（例えば、非特許文献１参照）。第二項（係数αの項）は、fk(t)+fk-1(t)=1のための制約を表している。係数αはfk(t)+fk-1(t)=1という制約への重み付けである。
【数２】
2014153658.tif 000004
【０００６】
ところで、音声は、肺から送られた呼気が声帯を振動させ、声道を通ることで生成される。つまり、調音パラメータからLSPパラメータへの変換は順方向であり、これは調音パラメータに基づく音声合成法に利用されている。その反対、つまりLSPパラメータの時系列信号から調音パラメータの時系列信号を推定する逆推定技術は、自動音声認識や音声符号化の精度向上のために有効であると考えられるが、解が一意に求まらないという問題がある（例えば、非特許文献２参照）。
【先行技術文献】
【非特許文献】
【０００７】
【非特許文献１】S. Hiroya, “Non-negative temporal decomposition of speech parameters”, Proc. ICASSP, 5066-5069, 2010.
【非特許文献２】S. Hiroya, M. Honda, “Estimation of articulatory movements from speech acoustics using an HMM-based speech production model”, IEEE Trans. Speech, Audio, Process. 175-185, 2004.
【発明の概要】
【発明が解決しようとする課題】
【０００８】
非特許文献１の手法を逆推定技術に応用すると、LSPパラメータを非負値時空間分解して得られる時間特徴と空間特徴を、調音パラメータを非負値時空間分解して得られる時間特徴と空間特徴にそれぞれ対応づけることが可能であるため、推定精度の向上が期待される。
【０００９】
このような対応づけによって精度の良い逆推定を実現するためには、LSPパラメータと調音パラメータのそれぞれを非負値空間分解する際の駆動時点が一致している必要がある。しかし、両者の駆動時点が一致するような非負値空間分解を求める方法はこれまで知られておらず、LSPパラメータと調音パラメータそれぞれから駆動時点を求めていたため、駆動時点が両パラメータ間で大きく異なり、逆推定技術への利用が難しいという問題があった。
【００１０】
このような状況に鑑みて、本発明は、声道スペクトルパラメータに基づく駆動時点と調音パラメータに基づく駆動時点とが一致できるように駆動時点を求めることができる駆動時点決定技術と、声道スペクトルパラメータの時系列信号から調音パラメータの時系列信号を推定する調音パラメータ推定技術を提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明の駆動時点決定技術は、時間長Tのp次元の時系列信号Yをp×mの空間行列Aとm×Tの時間関数行列Fに分解する時空間分解において、空間行列Aのi行k列目の成分をai,kとし、時間関数行列Fの時点tのk次元目の成分をfk(t)としたとき、1=t1<t2<…<tk<…<tm=Tとし、ai,kが非負値であり、fk(t)がtk-1≦t≦tk+1において非負値であり、1≦t<tk-1及びtk+1<t≦Tにおいてfk(t)=0であり、すべての時点tにおいてfk(t)+fk-1(t)=1である、という制約条件の下で、時系列信号Yと近似信号Y’=AFとの歪みを最小化することによって、駆動時点tk（k=1,2,…,m）を求める非負値時空間分解処理と、時系列信号Yが声道スペクトルパラメータの時系列信号である場合に上記非負値時空間分解処理によって得られた駆動時点tk（k=1,2,…,m）（以下、tk(V)（k=1,2,…,m）と表記する）と、時系列信号Yが調音パラメータの時系列信号である場合に上記非負値時空間分解処理によって得られた駆動時点tk（k=1,2,…,m）（以下、tk(A)（k=1,2,…,m）と表記する）を用いて、駆動時点tk(V)（k=1,2,…,m）を線形関数により線形変換して得られる補正後駆動時点t’k(V)と駆動時点tk(A)（k=1,2,…,m）との二乗誤差を最小にする当該線形関数の係数（以下、補正係数という）を算出する駆動時点補正係数計算処理と、補正係数を用いて駆動時点tk(V)（k=1,2,…,m）を補正する駆動時点補正処理とを含む。
【００１２】
あるいは、本発明の駆動時点決定技術は、時間長Tのp次元の声道スペクトルパラメータの時系列信号Y(V)をp×mの空間行列A(V)とm×Tの時間関数行列F(V)に分解する時空間分解において、空間行列A(V)のi行k列目の成分をai,k(V)とし、時間関数行列F(V)の時点tのk次元目の成分をfk(t)(V)としたとき、1=t1<t2<…<tk<…<tm=Tとし、ai,k(V)が非負値であり、fk(t)(V)がtk-1≦t≦tk+1において非負値であり、1≦t<tk-1及びtk+1<t≦Tにおいてfk(t)(V)=0であり、すべての時点tにおいてfk(t)(V)+fk-1(t)(V)=1である、という制約条件の下で、時系列信号Y(V)と近似信号Y’(V)=A(V)F(V)との歪みを最小化することによって、駆動時点tk(V)（k=1,2,…,m）を求める非負値時空間分解処理と、時間長Tのp次元の調音パラメータの時系列信号Y(A)をp×mの空間行列A(A)とm×Tの時間関数行列F(A)に分解する時空間分解において、初期駆動時点を、駆動時点tk(V)（k=1,2,…,m）に固定して、空間行列A(A)のi行k列目の成分をai,k(A)とし、時間関数行列F(A)の時点tのk次元目の成分をfk(t)(A)としたとき、1=t1<t2<…<tk<…<tm=Tとし、ai,k(A)が非負値であり、fk(t)(A)がtk-1≦t≦tk+1において非負値であり、1≦t<tk-1及びtk+1<t≦Tにおいてfk(t)(A)=0であり、すべての時点tにおいてfk(t)(A)+fk-1(t)(A)=1である、という制約条件の下で、調音パラメータの時系列信号Y(A)と近似信号Y’(A)=A(A)F(A)との歪みを最小化することによって、空間行列A(A)と時間関数行列F(A)を求める調音パラメータ分解処理と、駆動時点tk(V)（k=1,2,…,m）と、所定の初期値c(0)及びd(0)と、調音パラメータ分解処理によって得られた空間行列A(A)と時間関数行列F(A)を用いて、βを所定のステップサイズとし、・yi(t)(A)を時系列信号Y(A)の時点tのi次元目の成分yi(t)(A)の偏微分とし、・fk(t)(A)をfk(t)(A)の偏微分とし、ukを所定の初期駆動時点とし、zk=[c(tk(V)-uk)+d+uk]とし、jを繰り返し回数として、
c(j+1)=c(j)-βhc，
d(j+1)=d(j)-βhd
（ただし、
【数３】
2014153658.tif 000005
とする）により、繰り返し更新して補正係数c=c(j+1)及びd=d(j+1)を求める駆動時点補正係数計算処理と、上記駆動時点補正係数計算部で求めた補正係数c及びdを用いてzk=[c(tk(V)-uk)+d+uk]により、駆動時点tk(V)（k=1,2,…,m）を補正した補正後駆動時点zk（k=1,2,…,m）を求める駆動時点補正処理とを含む。
【００１３】
本発明の調音パラメータ推定技術は、記憶部に、声道スペクトルパラメータの時系列信号を非負値時空間分解して得られる空間行列を、調音パラメータの時系列信号を非負値時空間分解して得られる空間行列に変換するための変換関数ｆTと、LSPパラメータの時系列信号を非負値時空間分解して得られる駆動時点tk(V)を、調音パラメータの時系列信号を非負値時空間分解したときの駆動時点tk(A)に近づくように補正するための補正係数とを記憶しているとして、時間長Tのp次元の声道スペクトルパラメータの時系列信号Y(V)をp×mの空間行列A(V)とm×Tの時間関数行列F(V)に分解する時空間分解において、空間行列A(V)のi行k列目の成分をai,k(V)とし、時間関数行列F(V)の時点tのk次元目の成分をfk(t)(V)としたとき、1=t1<t2<…<tk<…<tm=Tとし、ai,k(V)が非負値であり、fk(t)(V)がtk-1≦t≦tk+1において非負値であり、1≦t<tk-1及びtk+1<t≦Tにおいてfk(t)(V)=0であり、すべての時点tにおいてfk(t)(V)+fk-1(t)(V)=1である、という制約条件の下で、時系列信号Y(V)と近似信号Y’(V)=A(V)F(V)との歪みを最小化することによって、空間行列A(V)と、時間関数行列F(V)と、駆動時点tk(V)（k=1,2,…,m）を求める非負値時空間分解処理と、補正係数を用いて駆動時点tk(V)（k=1,2,…,m）を補正する駆動時点補正処理と、時間長Tのp次元の声道スペクトルパラメータの時系列信号Y(V)をp×mの空間行列A(V)とm×Tの時間関数行列F(V)に分解する時空間分解において、初期駆動時点を駆動時点補正処理によって得られた補正後の駆動時点t’k(V)に固定して、上記制約条件の下、空間行列A’(V)と時間関数行列F’(V)を求める非負値時空間分解処理と、空間行列A’(V)を変換関数ｆTで変換して調音パラメータを非負値時空間分解したときの空間行列の推定値A’(A)を求める空間行列推定処理と、空間行列の推定値A’(A)に時間関数行列F’(V)を乗じて調音パラメータの推定値Y’(A)を求める調音パラメータ推定処理とを含む。
【発明の効果】
【００１４】
本発明に拠ると、声道スペクトルパラメータの駆動時点を線形変換によって補正するための補正係数を、調音パラメータを利用して決定し、この補正係数を用いて声道スペクトルパラメータの駆動時点の補正を行う。これによって、非負値時空間分解を用いて声道スペクトルパラメータから調音パラメータを推定（再合成）する際の調音パラメータの再合成歪みを小さくすることができる。同様に、調音パラメータからLSPパラメータを推定する場合の歪みも小さくすることができるので、調音パラメータから高精度な音声を合成することができる。
【図面の簡単な説明】
【００１５】
【図１】第１実施形態の駆動時点決定装置の機能構成例を示す図。
【図２】第１実施形態の駆動時点決定装置による処理手順を示す図。
【図３】非負値時空間分解部の機能構成例を示す図。
【図４】第２実施形態の駆動時点決定装置の機能構成例を示す図。
【図５】第３実施形態の調音パラメータ推定装置の機能構成例を示す図。
【図６】第３実施形態の調音パラメータ推定装置による処理手順を示す図。
【図７】実験結果を説明する図。
【図８】実験結果を説明する図。
【発明を実施するための形態】
【００１６】
《第１実施形態》
本発明の実施形態である駆動時点決定装置１は、非負値時空間分解部１００と、駆動時点補正係数計算部２００と、駆動時点補正部３００を含む（図１参照）。
【００１７】
非負値時空間分解部１００は、入力された時間長Tのp次元の時系列信号Yを、p×mの空間行列Aとm×Tの時間関数行列Fとに非負値時空間分解する。p,m,Tは所定の１以上の整数である。mは、予め与えられた正整数値であり、例えば発話に含まれる音素の数＋２とする。時系列信号Yとして、声道スペクトルパラメータの時系列信号あるいは調音パラメータの時系列信号を例示できる。以下、声道スペクトルパラメータの一例としてLSPパラメータを用いて説明する。
【００１８】
空間行列A及び時間関数行列Fの積で表わされるY’の時点tのi次元目の成分をy’i(t)、空間行列Aのi行ｋ列目の成分をai,k、時間関数行列Fの時点tのk次元目の成分をfk(t)と表記すると、時系列信号Yの空間行列A及び時間関数行列Fへの時空間分解は以下の式のように表記することができる。Y’は、時系列信号Y自体ではなく、時空間分解で得られる空間行列A及び時間関数行列Fで表わされる時系列信号Yの近似値である。以下、Y’を近似信号と呼称する。
【数４】
2014153658.tif 000006
【００１９】
ここでは、駆動時点は時系列信号Yの時間長Tにおける時刻情報を表す整数インデックスであり1=t1<t2<…<tk<…<tm=Tとして、ai,kが非負値であり、fk(t)がtk-1≦t≦tk+1において非負値を持ち、1≦t<tk-1及びtk+1<t≦Tにおいてfk(t)=0であり、すべての時点tにおいてfk(t)+fk-1(t)=1である、という制約条件の下で、時系列信号Yと近似信号Y’との差（歪み）を最小化することによって、空間行列A、時間関数行列F及び駆動時点tkを求める。
【００２０】
つまり、この問題は、式（３）の非負値時空間分解に対して、式（４）によって定式化される。
【数５】
2014153658.tif 000007
【００２１】
このとき、空間行列A、時間関数行列F及び駆動時点tkを求めるためには、式（５）の評価関数を乗算型更新式とDPを用いて最小化することを考えればよい。第二項（係数αの項）は、fk(t)+fk-1(t)=1のための制約を表している。係数αはfk(t)+fk-1(t)=1という制約への重み付けである。
【数６】
2014153658.tif 000008
【００２２】
なお、実施形態では、時系列信号Yとして調音パラメータを入力した場合と、時系列信号YとしてLSPパラメータを入力した場合とで、それぞれ非負値時空間分解部１００を実行し、調音パラメータに対応する空間行列A(A), 時間関数行列F(A), 駆動時点tk(A)と、LSPパラメータに対応する空間行列A(V), 時間関数行列F(V), 駆動時点tk(V)を求める。そして、駆動時点補正係数計算部２００が、調音パラメータに対応する駆動時点tk(A)に近づくように、LSPパラメータに対応する駆動時点tk(V)を補正するための補正係数を算出する（図２参照）。
【００２３】
〔非負値時空間分解部；ステップＳ１〕
図１では、入力が調音パラメータであるかLSPパラメータであるかに応じて二つの非負値時空間分解部（第１非負値時空間分解部１００−１と第２非負値時空間分解部１００−２）を図示しているが、入力に応じて異なる非負値時空間分解部を設けなければならないという趣旨ではない。一つの非負値時空間分解部が異なる入力（調音パラメータまたはLSPパラメータ）に対して同一の処理を実行してもよい。つまり、第１および第２非負値時空間分解部１００−１，１００−２は、入力が調音パラメータであるかLSPパラメータであるかのみの違いであり、具体的処理は同じである。このため、以下では入力を時系列信号Yとした場合の非負値時空間分解部１００の具体的処理を説明する。非負値時空間分解部１００の詳細構成を図３に示す。
【００２４】
まず、非負値時空間分解部１００は、乗算型更新とダイナミックプログラミングによって時間関数行列Fと駆動時点tkを計算する。次に、非負値時空間分解部１００は、計算された時間関数行列F及び駆動時点tkを用いて、空間行列Aを求める。以下、各ステップを詳細に説明する。
【００２５】
＜ステップ１：駆動時点・時間関数計算部＞
駆動時点・時間関数計算部１０１は、ai,kを固定して、乗算型更新とダイナミックプログラミングを用いて、時間関数行列Fと駆動時点tkを計算する。時間関数行列Fと駆動時点tkのどちらを先に計算してもよいが、以下、時間関数行列Fを先に計算してから駆動時点tkを計算する場合について説明する。
【００２６】
まず、αを定数とし、t2,…,tm-1を予め定められた初期値u2,…,um-1に固定し、ai,kを初期値yi(tk)に固定して、乗算型更新式によって区間tk-1≦t≦tkの各tについてのfk(t)及びfk-1(t)を繰り返し更新することによって、fk(t)及びfk-1(t)を決定する。駆動時点t2,…,tm-1の初期値u2,…,um-1は、それぞれ発話に含まれるm-2個の音素の中心駆動時点とする。なお、以降では、{um}を初期駆動時点群と呼ぶ。
【００２７】
ところで、時間関数fk(t)は、tk-1≦t≦tkにおいて滑らかであり、かつ、単一ピークのみを持つことが望まれる。時間関数が滑らか且つ単一ピークを持つとは、tk-1＜t＜tkにおける時間関数の時間差分、つまりgk(t)=fk(t)-fk(t-1)とgk-1(t)=fk-1(t-1)-fk-1(t)がそれぞれ非負値であることを意味する。ここで、tk-1≦t≦tkにおいて、fk(t)は狭義増加関数、fk-1(t)は狭義減少関数である。
【００２８】
そこで、fk(t)とfk-1(t)を直接求める代わりに、評価関数（式（５））を最小にするようなgk(t)とgk-1(t)を乗算型更新式によって計算する。差分時間関数gk(t)とgk-1(t)のための乗算型更新式は次のとおりである。
【数７】
2014153658.tif 000009
【００２９】
そして、計算されたgk(t)とgk-1(t)を用いて、下記式によって時間関数fk(t)とfk-1(t)を求める。
【数８】
2014153658.tif 000010
【００３０】
gk(t)とgk-1(t)の初期値が非負であれば、gk(t)とgk-1(t)は非負値に収束することが保証されているため、単一ピークを持つ時間関数fk(t)とfk-1(t)が求まることは明らかである。gk(t)とgk-1(t)の初期値は非負の乱数でよい。
【００３１】
gk(t)及びgk-1(t)の更新の回数は求める精度、仕様などに応じて適宜定められる。一般的に、gk(t)及びgk-1(t)の更新の回数が多いほど、gk(t)及びgk-1(t)の精度が高くなる。例えば、tk-1≦t≦tkにおいて、N-1回目の更新後の次式で表わされる歪みと、N回目の更新後の次式で表わされる歪みとの差が所定の閾値（例えば10-3）以下になるまで更新する。
【数９】
2014153658.tif 000011
【００３２】
次に、駆動時点t2,…,tm-1をダイナミックプログラミングによって求める。つまり、fk(t)及びfk-1(t)を上記更新処理によって計算されたfk(t)及びfk-1(t)に固定し、ai,kを初期値yi(tk)に固定し、y(t)とy’(t)の差e(y(t),y’(t))の和（式（６））を最小にするt2,…,tm-1を、ダイナミックプログラミングにより求める。すなわち、式（７）のtk(k=2,…,m-1)をダイナミックプログラミングにより求める。
【数１０】
2014153658.tif 000012
【００３３】
なお、y(t)は、yi(t)(i=1,…,p)を成分とする、時点tのp次元ベクトルy(t)であり、y’(t)は、y’i(t)(i=1,…,p)を成分とする、時点tのp次元ベクトルである。
【数１１】
2014153658.tif 000013
【００３４】
具体的には、例えば、区間[uk−δ, uk＋δ]に含まれるtkのそれぞれについて、次式により定まるE(tk)を最小にするtk-1を求める。これを、k=2からk=m-1まで逐次行い、t2,…,tm-1を逐次求める。δは予め定められた定数であり、求める精度、仕様などに応じて適宜定められる。E(tk)は、駆動時点tkでの最小累積歪みである。
【数１２】
2014153658.tif 000014
【００３５】
最終的に、区間[um-1−δ, um-1＋δ]に含まれるtm-1のそれぞれについてのE(tm-1)が求まる。この中で最小となるE(tm-1)を求めて、この最小のE(tm-1)に対応するt2,…,tm-1を出力する。
【００３６】
なお、y(t)とy’(t)の差e(y(t),y’(t))は、どのような差を用いてもよい。例えば、e(y(t),y’(t))を以下のように定めてもよい。
【数１３】
2014153658.tif 000015
【００３７】
式（５）の評価関数で用いた誤差と、ダイナミックプログラミングで用いる誤差の定義が同一であると、全区間に対する歪みを最小にすることが保証される。したがって、例えば上記のようにダイナミックプログラミングで用いる誤差として絶対誤差Σi=1p|yi(t)-y’i(t)|を用いた場合には、評価関数の誤差としても絶対誤差を用いるとよい。
【００３８】
また、駆動時点・時間関数計算部の処理は上述の処理に限定されず、例えば、上記非特許文献１に開示される方法に依ってもよい。
【００３９】
＜ステップ２：空間行列計算部＞
空間行列計算部１０３は、入力の時系列信号Yが調音パラメータである場合には、fk(t)及びfk-1(t)を上記計算されたfk(t)及びfk-1(t)に固定し、t2,…,tm-1を上記求まったt2,…,tm-1に固定して、以下の更新式によってai,kを繰り返し更新することによってai,kを決定する。
【数１４】
2014153658.tif 000016
【００４０】
ところで、音声符号化や音声合成で広く用いられているLSPパラメータは、音声の声道スペクトルの全極フィルタ表現であり、フィルタが安定であるためのLSPパラメータの必要十分条件として、LSPパラメータyｉの昇順特性、つまり0<y1<y2<…<yp<πという条件を満たす必要がある。昇順特性を満たさないLSPパラメータから音声を合成した場合、音声信号が発散する可能性がある。上記更新式では、LSPパラメータの昇順特性を満たすことが保証されない。
【００４１】
そこで、空間行列計算部１０３は、入力の時系列信号YがLSPパラメータである場合には、以下のように空間行列（LSP行列）を求める。
【００４２】
＜差分LSP振幅計算部＞
差分LSP振幅計算部１０３ａは、fk(t)及びfk-1(t)を上述のように決定されたfk(t)及びfk-1(t)に固定し、t2,…,tm-1を上述のように決定されたt2,…,tm-1に固定して、dj,kを下記のように定め、以下の更新式によって差分LSP振幅di,kを繰り返し更新することにより求める。
【数１５】
2014153658.tif 000017
【００４３】
di,kの初期値は、例えば非負の乱数とする。di,kの更新の回数は求める精度、仕様などに応じて適宜定められる。一般に、di,kの更新の回数が多いほど、di,kの精度が高くなる。例えば、例えば、tk-1≦t≦tkにおいて、N-1回目の更新後の次式で表わされる歪みと、N回目の更新後の次式で表わされる歪みとの差が所定の閾値（例えば10-3）以下になるまで更新する。
【数１６】
2014153658.tif 000018
【００４４】
＜LSP行列計算部＞
LSP行列計算部１０３ｂは、差分LSP振幅di,kを用いて、以下の式によって定義されるai,kの値を計算する。
【数１７】
2014153658.tif 000019
【００４５】
これにより、空間行列Aが求まる。di,kは非負値に収束することから、0<a1,k=d1,k<a2,k=d1,k+d2,k<…<ap,k=d1,k+…+dp,k<πとなり、ai,kの代わりにdi,kを推定し、di,kからai,kを求めることによって、求まったai,kは昇順特性を必ず満たし、かつ式（５）の評価関数で用いた誤差を最小化する。ここでは、ap,k<πについての制約は加えられていないが、入力LSPパラメータがyp(t)<πであること、かつ時間関数fk(t)が[0,1]の範囲にあることから、ap,k<πは満たされる。
【００４６】
さて、このようにして決定したai,kとfk(t)を用いてLSPパラメータを再合成した場合、ai,kが昇順特性を満たし、fk(t)が[0,1]の範囲にあることから、再合成したLSPパラメータも昇順特性を満たすことは明らかである。
【００４７】
なお、ステップＳ２の処理で求めたai,kを初期値として、ステップＳ１とステップＳ２の処理を繰り返してもよい。
〔非負値時空間分解部  終わり〕
【００４８】
〔駆動時点補正係数計算部；ステップＳ２〕
δ>0の場合、LSPパラメータと調音パラメータそれぞれから求めた駆動時点は、パラメータ間で異なる可能性があり、非負値時空間分解法に基づく逆推定の推定誤差増加の原因となる。このため、パラメータ間の駆動時点の二乗誤差を最小にする線形関数を用いてLSPパラメータの駆動時点を補正する、つまりLSPパラメータの駆動時点を調音パラメータの駆動時点に近づけることを考える。
【００４９】
LSPパラメータの駆動時点群を{tk(V)}、調音パラメータの駆動時点群を{tk(A)}、初期駆動時点群を{uk}とする。{tk(V)}を補正係数c,dにより線形変換した補正後駆動時点群{[c(tk(V)-uk)+d+uk]}と{tk(A)}との間の二乗誤差Σk(tk(A)-uk-c(tk(V)-uk)-d)2を最小にするcおよびdは、式（８）で求められる。ここでKは駆動時点の総数であり、cとdが駆動時点を補正するための補正係数である。駆動時点補正係数計算部２００は、式（８）により補正係数ｃとｄを求め、出力する。
〔駆動時点補正係数計算部  終わり〕
【数１８】
2014153658.tif 000020
【００５０】
〔駆動時点補正部；ステップＳ３〕
駆動時点補正部３００は、求めたcとdを用いて、
t’k(V)＝[c(tk(V)-uk)+d+uk]
によって、LSPパラメータの補正後駆動時点t’k(V)を求めて出力する。ここで[X]はXに一番近い整数を出力する関数を表す。
〔駆動時点補正部  終わり〕
【００５１】
《第２実施形態》
第１実施形態の駆動時点補正係数計算部２００で求めた補正係数は、LSPパラメータのNTDによって求められた駆動時点を調音パラメータのNTDによって求められた駆動時点に近づけることは可能であるが、調音パラメータのNTDによる歪みを最小化することは保証されていない。そこで、第２実施形態では、調音パラメータのNTDによる再合成歪みが最小になるようなLSPパラメータのNTDによる駆動時点の補正を可能にする補正係数を算出する方法を考える。
【００５２】
〔原理〕
yi(t)を調音パラメータとし、補正されたLSPパラメータの駆動時点を
zk=[c(tk(V)-uk)+d+uk]
とする。ここで[X]はXに一番近い整数を出力する関数を表す。
【００５３】
式（５）は、下記式のように書ける。
【数１９】
2014153658.tif 000021
【００５４】
上式を最小にするcおよびdは、例えば最急降下法などの反復法によって求めることができる。ここでは最急降下法を用いた処理手順を述べる。cとdの初期値をそれぞれc(0)、d(0)とする。例えば、c(0)=0.2、d(0)=0.1とする。上式のcおよびdによる偏微分はそれぞれ、NTDがすべてのk,tに対してfk(t)+fk-1(t)=1となることを利用すると、下記のようになる。
【数２０】
2014153658.tif 000022
【００５５】
したがって、cおよびdのための更新は、
c(j+1)=c(j)-βhc     …（９）
d(j+1)=d(j)-βhd     …（１０）
で行うことができる。ここで、βはステップサイズであり、jはj回目の反復を表す。βは固定値あるいはArmijoの基準などを用いて適応的に変化させてもよい（参考文献１参照）。
（参考文献１）矢部博、工学基礎  最適化とその応用、数理工学社、pp.130-133.
【００５６】
yおよびfのtによる偏微分は、例えば、下記式とする。
【数２１】
2014153658.tif 000023
【００５７】
cとdの決定には、例えば、|c(j+1)-c(j)|の値が十分小さくなるまで繰り返し反復を行えばよい。
【００５８】
つまり、次のような手順で調音パラメータの再合成歪みが最小となるLSPパラメータのNTDによる駆動時点の補正係数cとdを求める。
【００５９】
第２実施形態の駆動時点決定装置２の構成を図４に示す。
非負値時空間分解部１００は、LSPパラメータを非負値時空間分解し、空間行列A(V), 時間関数行列F(V), 駆動時点tk(V)を求める。この処理は第１実施形態と同じであるため、説明を省略する。
【００６０】
〔調音パラメータ分解部〕
LSPパラメータの駆動時点群を{tk(V)}とする。調音パラメータ分解部４００は、駆動時点tk(V)を用いて調音パラメータを非負値時空間分解し、調音パラメータの空間行列Ａ(A)と時間関数行列Ｆ(A)を計算する。ここでは、第１実施形態の非負値時空間分解部のようにダイナミックプログラミングを用いない。つまり、第１実施形態の非負値時空間分解部のうち、駆動時点・時間関数計算部１０１を以下の時間関数計算部４０１に置き換えた構成により、空間行列Ａ(A)と時間関数行列Ｆ(A)を計算する。
【００６１】
〔時間関数計算部〕
時間関数計算部４０１は、αを定数とし、t2,…,tm-1を非負値時空間分解部１００で求めたLSPパラメータの駆動時点系列群{tk(V)}に固定し、ai,kを初期値yi(tk)に固定して、乗算型更新式によって区間tk-1≦t≦tkの各tについてのfk(t)及びfk-1(t)を繰り返し更新することによってfk(t)及びfk-1(t)を決定する。ukは駆動時点の初期値とする。
【００６２】
ここでは、fk(t)とfk-1(t)を直接求める代わりに、評価関数（式（５））を最小にするようなgk(t)とgk-1(t)を乗算型更新式によって計算する。差分時間関数gk(t)とgk-1(t)のための乗算型更新式は次のとおりである。
【数２２】
2014153658.tif 000024
【００６３】
そして、計算されたgk(t)とgk-1(t)を用いて、下記式によって時間関数fk(t)とfk-1(t)を求める。
【数２３】
2014153658.tif 000025
【００６４】
なお、gk(t)及びgk-1(t)の更新の回数は求める精度、仕様などに応じて適宜定められる。一般に、gk(t)及びgk-1(t)の更新の回数が多いほど、gk(t)及びgk-1(t)の精度が高くなる。例えば、tk-1≦t≦tkにおいて、N-1回目の更新後の次式で表わされる歪みと、N回目の更新後の次式で表わされる歪みとの差が所定の閾値（例えば10-3）以下になるまで更新する。
【数２４】
2014153658.tif 000026
【００６５】
時間関数を決定した後は、第１実施形態と異なり調音パラメータに基づく駆動時点は算出せず、空間行列を計算する。この空間行列の計算は第１実施形態と同じであるから重複説明を省略する。
【００６６】
〔駆動時点補正係数計算部〕
LSPパラメータから求められた駆動時点tk(V)は調音パラメータにとって最適である保証はないため、調音パラメータの再合成歪みが大きくなる可能性がある。したがって、駆動時点補正係数計算部２００ａは、LSPパラメータから求められた駆動時点tk(V)をc(tk(V)-uk)+d+ukによって補正するための補正係数cとdを求める。具体的には、補正係数cとdを、調音パラメータ分解部４００によって得られたA(A),F(A)を用いて、cとdの初期値c(0)及びd(0)から上記更新式（９），（１０）を用いて反復法によって決定する。ここで、式（９）および（１０）のhc, hdで利用する各値tk, yi(t), ai,k, fk(t)は調音パラメータおよび調音パラメータを分解したときの空間行列A(A)及び時間関数行列F(A)の各係数、つまり、tk(V)、yi(A)、ai,k(A), fk(A)(t)を用いるものとする。
【００６７】
〔駆動時点補正部〕
駆動時点補正部３００は、求めたcとdを用いて、補正後駆動時点
t’k(V)=[c(tk(V)-uk)+d+uk]
を求める。ここで[X]はXに一番近い整数を出力する関数を表す。求めた結果t’k(V)を新たな駆動時点群｛tk(V)｝として、調音パラメータ分解部４００に戻り、再度更新を繰り返してもよい。
【００６８】
なお、本実施形態では、発声全体に対して１つの線形関数を用いたが、音素（母音、閉鎖子音など）ごとに線形関数を変えた場合、さらに歪みが小さくなることが期待される。
【００６９】
《第３実施形態》
第３実施形態では、駆動時点決定装置を応用して、LSPパラメータの時系列信号から調音パラメータの時系列信号を逆推定する調音パラメータ推定装置３について説明する。調音パラメータ推定装置３の構成を図５に示す。
【００７０】
＜記憶部＞
記憶部８０には、LSPパラメータの時系列信号をNTDして得られる空間行列を、調音パラメータの時系列信号をNTDして得られる空間行列に変換するための変換関数ｆTと、LSPパラメータの時系列信号をNTDして得られる駆動時点tk(V)を、調音パラメータの時系列信号をNTDしたときの駆動時点tk(A)に近づくように補正するための補正係数cとdが予め格納されている。
【００７１】
変換関数ｆT及び補正係数cとdは、予め学習用データから以下の方法によって学習しておくものとする。
【００７２】
学習用データとして、同時観測した調音パラメータ~Y(A)とLSPパラメータ~Y(V)の組を用意する。
そして、学習用データに含まれる調音パラメータとLSPパラメータを用いて、第１実施形態または第２実施形態の駆動時点決定装置を用いて、調音パラメータとLSPパラメータの非負値時空間分解
~Y(A)=~A(A)＊~F(A)
~Y(V)=~A(V)＊~F(V)
と、駆動時点~tk(A)と、補正係数c,dと、補正後の駆動時点~t’k(V)を求める。記号＊は行列の積を表す。
【００７３】
さらに、補正後の駆動時点~t’k(V)を用いて、再度学習用データに含まれるLSPパラメータを空間行列~A’(V)と時間関数行列~F’(V)に分解する。この処理は、第２実施形態の調音パラメータ分解部と同じくダイナミックプログラムを用いないＮＴＤによって実現できる。
【００７４】
次に、変換関数学習装置９０が、
~A’(A)=fT(~A’(V))
となる変換関数ｆTを求める。変換関数fTは、例えば、これを線形変換としたとき、線形変換の表現行列の成分を最小二乗法によって求めることによって決定される。
【００７５】
＜第２非負値時空間分解部；ステップＳ１＞
第２非負値時空間分解部１００−２は、入力されたLSPパラメータY(V)を、
Y(V)=A(V)＊F(V)
のように空間行列と時間関数行列に非負値時空間分解するとともに、駆動時点tk(V)を求める。この処理は、第１実施形態と同じである。
【００７６】
＜駆動時点補正部；ステップＳ２＞
駆動時点補正部３００は、記憶部に記憶された補正係数cとdを用いて、駆動時点tk(V)を補正する。この結果、駆動時点tk(V)は調音パラメータの駆動時点とほぼ同じになる。
t’k(V)=[c(tk(V)-uk)+d+uk]
【００７７】
＜第３非負値時空間分解部；ステップＳ３＞
第３非負値時空間分解部１００−３は、LSPパラメータY(V)を、補正後の駆動時点t’k(V)を用いて再度空間行列A’(V)と時間関数行列F’(V)に分解する。この処理は、第２実施形態の調音パラメータ分解部と同じくダイナミックプログラムを用いないＮＴＤによって実現できる。
これにより、求まった時間関数行列F’(V)が調音パラメータをNTDしたときの時間関数行列F(A)とほぼ同じであると仮定できる。
【００７８】
＜空間行列推定部；ステップＳ４＞
空間行列推定部１０３は、記憶部に記憶された変換関数ｆTと、第３非負値時空間分解部で求めた空間行列A’(V)とを用いて、
A’(A)=ｆT（A’(V)）
によって、調音パラメータをNTDしたときの空間行列の推定値A’(A)を求める。
【００７９】
＜調音パラメータ推定部；ステップＳ５＞
調音パラメータ推定部１５０は、空間行列推定部で求めた空間行列の推定値A’(A)と第３非負値時空間分解部で求めた時間関数行列F’(V)を用いて、
Y’(A)＝A’(A)＊F’(V)
によって、調音パラメータの推定値Y’(A)を求め、これを出力する。
【００８０】
第３実施形態において調音パラメータとLSPパラメータを入れ替えた場合には、つまり調音パラメータを入力とすれば、同じ処理で調音パラメータからの順方向変換でLSPパラメータを求めることができ、このLSPパラメータを用いて音声合成を実現できる。
【００８１】
＜実験結果＞
調音・音声同時観測データとして、男性話者５名がそれぞれ３７５文章を発声したものを用いた。２次元磁気センサシステムを用いて毎秒２５０回のレートで計測された下歯茎１点、上・下唇それぞれ１点、舌上の３点の計６点の水平および垂直位置を調音パラメータとした。LSPパラメータは毎秒２５０回のレートで音声信号から求めた。予め音素に対応する駆動時点の初期値ukを決定した。αは調音パラメータに対しては１００００、LSPパラメータに対しては１００とした。δ＝１０の場合のLSPパラメータから求めた駆動時点と調音パラメータから求めた駆動時点の２次元ヒストグラムを図７（ａ）に示す。調音パラメータのヒストグラムは、LSPパラメータのヒストグラムと比較して広がりが小さいことが分かる。また調音パラメータとLSPパラメータの駆動時点の差のヒストグラムには広がりがあり、LSPパラメータの駆動時点と調音パラメータの駆動時点が異なっていることが分かる。図７（ｂ）の太線は第１実施形態を用いて変換したLSPパラメータの駆動時点と調音パラメータの駆動時点の差であり、細線は（ａ）の駆動時点の差と同じであるが、変換を行うことによって、駆動時点の差のヒストグラムの広がりが小さくなっていることが分かる。ここで、第１実施形態を用いて求まったcとdはそれぞれ0.27と0.14であった。
【００８２】
図８は、初期駆動時点、LSPパラメータの駆動時点、変換したLSPパラメータの駆動時点を用い、調音パラメータからDPを用いないNTDによる再合成歪みである。LSPパラメータの駆動時点を用いた場合、初期駆動時点を用いるよりも歪みが大きくなるが、駆動時点の変換を行うことによって歪みが小さくなることが分かる。
【００８３】
なお、上記の実施例では、声道スペクトルパラメータとして、LSPパラメータを用いた場合の例を用いて説明したが、フォルマント周波数やケプストラムパラメータなどをLSPパラメータの代わりとして用いることも可能である。
【００８４】
＜駆動時点決定装置／調音パラメータ推定装置のハードウェア構成例＞
上述の実施形態に関わる駆動時点決定装置と調音パラメータ推定装置はそれぞれ、キーボードなどが接続可能な入力部、液晶ディスプレイなどが接続可能な出力部、ＣＰＵ（Central Processing Unit）〔キャッシュメモリなどを備えていてもよい。〕、メモリであるＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）と、ハードディスクである外部記憶装置、並びにこれらの入力部、出力部、ＣＰＵ、ＲＡＭ、ＲＯＭ、外部記憶装置間のデータのやり取りが可能なように接続するバスなどを備えている。また必要に応じて、駆動時点決定装置あるいは調音パラメータ推定装置に、ＣＤ−ＲＯＭなどの記憶媒体を読み書きできる装置（ドライブ）などを設けるとしてもよい。このようなハードウェア資源を備えた物理的実体としては、汎用コンピュータなどがある。
【００８５】
駆動時点決定装置／調音パラメータ推定装置の外部記憶装置には、上述の処理を実行するためのプログラム並びにこのプログラムの処理において必要となるデータなどが記憶されている〔外部記憶装置に限らず、例えばプログラムを読み出し専用記憶装置であるＲＯＭに記憶させておくなどでもよい。〕。また、これらのプログラムの処理によって得られるデータなどは、ＲＡＭや外部記憶装置などに適宜に記憶される。
【００８６】
駆動時点決定装置／調音パラメータ推定装置では、記憶装置に記憶された各プログラムとこの各プログラムの処理に必要なデータが必要に応じてＲＡＭに読み込まれて、ＣＰＵで解釈実行・処理される。この結果、ＣＰＵが所定の機能を実現することで上述の処理が実現される。
【００８７】
＜補記＞
本発明は上述の実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。また、上記実施形態において説明した処理は、記載の順に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されるとしてもよい。
【００８８】
また、上記実施形態において説明したハードウェアエンティティ（駆動時点決定装置／調音パラメータ推定装置）における処理機能をコンピュータによって実現する場合、ハードウェアエンティティが有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記ハードウェアエンティティにおける処理機能がコンピュータ上で実現される。
【００８９】
この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。具体的には、例えば、磁気記録装置として、ハードディスク装置、フレキシブルディスク、磁気テープ等を、光ディスクとして、ＤＶＤ（Digital Versatile Disc）、ＤＶＤ−ＲＡＭ（Random Access Memory）、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、ＣＤ−Ｒ（Recordable）／ＲＷ（ReWritable）等を、光磁気記録媒体として、ＭＯ（Magneto-Optical disc）等を、半導体メモリとしてＥＥＰ−ＲＯＭ（Electronically Erasable and Programmable-Read Only Memory）等を用いることができる。
【００９０】
また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。
【００９１】
このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。そして、処理の実行時、このコンピュータは、自己の記録媒体に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。
【００９２】
また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、ハードウェアエンティティを構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。
【図１】
2014153658.tif 000031
【図２】
2014153658.tif 000032
【図３】
2014153658.tif 000033
【図４】
2014153658.tif 000034
【図５】
2014153658.tif 000035
【図６】
2014153658.tif 000036
【図７】
2014153658.tif 000037
【図８】
2014153658.tif 000038