(57)【要約】【課題】変換音声の自然性を従来よりも向上させるために、ある声道スペクトルの時系列に対応する発話リズムを他の音声スペクトルの時系列に対応する発話リズムに変換するための行列である変換行列を生成する技術を提供する。【解決手段】発話リズム変換行列生成装置は、音素に対する重みと時刻との関係を示す関数を時間関数とし、非負値時空間分解法により、第一音声データの第一声道スペクトルに対する時間関数である第一時間関数を求める非負値時空間分解部と、第一時間関数と対応する音素に対する重みと時刻との関係を示す時間関数を第二時間関数とし、第二時間関数に対応する声道スペクトルを第二声道スペクトルとし、第一時間関数と第二時間関数とを用いて、第一声道スペクトルの発話リズムを第二声道スペクトルの発話リズムに変換するための行列である変換行列を生成する変換行列生成部と、を含む。【選択図】図１
2015203766.tif 000002
【特許請求の範囲】
【請求項１】
音素に対する重みと時刻との関係を示す関数を時間関数とし、非負値時空間分解法により、第一音声データの第一声道スペクトルに対する時間関数である第一時間関数を求める非負値時空間分解部と、
第一時間関数と対応する音素に対する重みと時刻との関係を示す時間関数を第二時間関数とし、第二時間関数に対応する声道スペクトルを第二声道スペクトルとし、前記第一時間関数と第二時間関数とを用いて、前記第一声道スペクトルの発話リズムを第二声道スペクトルの発話リズムに変換するための行列である変換行列を生成する変換行列生成部と、を含む、
発話リズム変換行列生成装置。
【請求項２】
請求項１の発話リズム変換行列生成装置であって、
前記第一声道スペクトルの時間長をT、前記第二声道スペクトルの時間長をSとし、前記変換行列をS行T列の行列とし、s=1,…,S、t=1,…,T、前記変換行列のs行t列の要素をG(s,t)とし、前記第一声道スペクトルに含まれる音素の総数をKとし、前記第一声道スペクトルの時系列の音素のそれぞれに付与される音素番号をkとし、k=1,…,K、時刻tにおけるk番目の音素に対応する第一時間関数をφk(t)とし、時刻sにおけるk番目の音素に対応する第二時間関数をωk(s)とし、前記第一声道スペクトルにおけるk番目の音素の中心の時刻をtkとし、前記第二声道スペクトルにおけるk番目の音素の中心の時刻をskとし、前記変換行列生成部は、
【数２１】
2015203766.tif 000023
で定義される前記変換行列を生成する、
発話リズム変換行列生成装置。
【請求項３】
請求項１の発話リズム変換行列生成装置であって、
前記第一声道スペクトルの時間長をT、前記第二声道スペクトルの時間長をSとし、前記変換行列をS行T列の行列とし、s=1,…,S、t=1,…,T、前記変換行列のs行t列の要素をG(s,t)とし、前記第一声道スペクトルに含まれる音素の総数をKとし、前記第一声道スペクトルの時系列の音素のそれぞれに付与される音素番号をkとし、k=1,…,K、時刻tにおけるk番目の音素に対応する第一時間関数をφk(t)とし、時刻sにおけるk番目の音素に対応する第二時間関数をωk(s)とし、前記第一声道スペクトルにおけるk番目の音素の中心の時刻をtkとし、前記第二声道スペクトルにおけるk番目の音素の中心の時刻をskとし、sk-1≦s≦skにおいて時刻sに対して|φk(t)-ωk(s)|を最小とするt(ただし及びtk-1≦t≦tk)をt*(s)とし、前記変換行列生成部は、
【数２２】
2015203766.tif 000024
として、
【数２３】
2015203766.tif 000025
とし、それ以外の場合、
G(s,t*(s))=0
として定義される前記変換行列を生成する、
発話リズム変換行列生成装置。
【請求項４】
請求項１の発話リズム変換行列生成装置であって、
前記第一声道スペクトルの時間長をT、前記第二声道スペクトルの時間長をSとし、前記変換行列をS行T列の行列とし、s=1,…,S、t=1,…,T、前記変換行列のs行t列の要素をG(s,t)とし、前記第一声道スペクトルに含まれる音素の総数をKとし、前記第一声道スペクトルの時系列の音素のそれぞれに付与される音素番号をkとし、k=1,…,K、時刻tにおけるk番目の音素に対応する第一時間関数をφk(t)とし、時刻sにおけるk番目の音素に対応する第二時間関数をωk(s)とし、前記第一声道スペクトルにおけるk番目の音素の中心の時刻をtkとし、前記第二声道スペクトルにおけるk番目の音素の中心の時刻をskとし、sk-1≦s≦skにおいて時刻sに対して|φk(t)-ωk(s)|を最小とするt(ただし及びtk-1≦t≦tk)をt*(s)とし、aを1以上の整数の何れか、t*(s)-a≦τ≦t*(s)+aとし、重みの和が１となるための制約のための重み係数をαとし、前記変換行列生成部は、所定の条件を満たすまで、
【数２４】
2015203766.tif 000026
または、
【数２５】
2015203766.tif 000027
または、
【数２６】
2015203766.tif 000028
により、要素G(s,t)を更新し、前記変換行列を生成する、
発話リズム変換行列生成装置。
【請求項５】
請求項１の発話リズム変換行列生成装置であって、
前記第一声道スペクトルの時間長をT、前記第二声道スペクトルの時間長をSとし、前記変換行列をS行T列の行列とし、s=1,…,S、t=1,…,T、前記変換行列のs行t列の要素をK(s,t)とし、前記第一声道スペクトルに含まれる音素の総数をKとし、前記第一声道スペクトルの時系列の音素のそれぞれに付与される音素番号をkとし、k=1,…,K、時刻tにおけるk番目の音素に対応する第一時間関数をφk(t)とし、時刻sにおけるk番目の音素に対応する第二時間関数をωk(s)とし、前記第一声道スペクトルにおけるk番目の音素の中心の時刻をtkとし、前記第二声道スペクトルにおけるk番目の音素の中心の時刻をskとし、
【数２７】
2015203766.tif 000029
とし、sk-1≦s≦skにおいて時刻sに対して|φk(t)-ωk(s)|を最小とするt(ただし及びtk-1≦t≦tk)をt*(s)とし、
【数２８】
2015203766.tif 000030
とし、
【数２９】
2015203766.tif 000031
とし、それ以外の場合、
G2(s,t*(s))=0
とし、aを1以上の整数の何れか、t*(s)-a≦τ≦t*(s)+aとし、重みの和が１となるための制約のための重み係数をαとし、所定の条件を満たすまで、
【数３０】
2015203766.tif 000032
または、
【数３１】
2015203766.tif 000033
または、
【数３２】
2015203766.tif 000034
により、G3(s,t)を更新するものとし、
【数３３】
2015203766.tif 000035
とし、w1≧0、w2≧0、w3≧0、0≦w1+w2+w3≦1とし、前記変換行列生成部は、
【数３４】
2015203766.tif 000036
で定義される前記変換行列を生成する、
発話リズム変換行列生成装置。
【請求項６】
請求項１から請求項５の何れかの発話リズム変換行列生成装置で生成した変換行列を用いる発話リズム変換装置であって、
前記第一声道スペクトルに前記変換行列を乗じて、変換後第一声道スペクトルを求め、前記第一音声データの音源信号に前記変換行列を乗じて、変換後音源信号を求める発話リズム変換部と、
前記変換後音源信号と前記変換後第一声道スペクトルとを用いて音声合成を行う音声合成部とを含む、
発話リズム変換装置。
【請求項７】
音素に対する重みと時刻との関係を示す関数を時間関数とし、非負値時空間分解法により、第一音声データの第一声道スペクトルに対する時間関数である第一時間関数を求める非負値時空間分解ステップと、
第一時間関数と対応する音素に対する重みと時刻との関係を示す時間関数を第二時間関数とし、第二時間関数に対応する声道スペクトルを第二声道スペクトルとし、前記第一時間関数と第二時間関数とを用いて、前記第一声道スペクトルの発話リズムを第二声道スペクトルの発話リズムに変換するための行列である変換行列を生成する変換行列生成ステップと、を含む、
発話リズム変換行列生成方法。
【請求項８】
請求項１から請求項５の何れかの発話リズム変換行列生成装置、または、請求項６の発話リズム変換装置として、コンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ある音声データの発話リズムを他の音声データの発話リズムに変換する技術に関する。
【背景技術】
【０００２】
声道スペクトル、例えばLSPパラメータの時系列信号Yから時間関数Φを求める非負値時空間分解法という方法が提案されている（非特許文献１参照）。時系列信号Yの時間長をT、時刻を表すインデックスをt、Y={Y(1),…,Y(t),…,Y(T)}である。また、LSPパラメータの分析次数の総数をp、分析次数を表すインデックスをiとすると、Y(t)={y1(t),…,yi(t),…,yp(t)}である。よって、yi(t)は、時刻tにおけるLSPパラメータの分析次数iの値を表し、単にLSPパラメータyi(t)とも記載する。また、Φ={Φ(1),…,Φ(t),…,Φ(T)}であり、時系列信号Yに対応する音声データに含まれる音素の総数を(m-2)とし、kを音素を表すインデックス、k=1,…,mとすると(ただし、k=1、k=mをそれぞれ始まりと終わりを表すインデックスとする)、Φ(t)={φ1(t),…,φk(t),…，φm(t)}である。よって、φk(t)は時刻tにおける音素kの時間関数の値を表し、単に時間関数φk(t)とも記載する。時空間分解法では、以下の分解が行われる。
【数１】
2015203766.tif 000003
ここで、tkは、音素kの中心時刻を表す。このモデルでは、発話リズムを音素単位で表現し、また、隣り合う音素のみが影響を及ぼすことが考慮されている。
【０００３】
さて、異なる（あるいは同一）話者の同一文章発声のLSPパラメータの時系列信号Z={Z(1),…,Z(s),…,Z(S)}から非負値時空間分解法により求めた時間関数Ωに従ってLSPパラメータの時系列信号Yの発話リズムを、LSPパラメータの時系列信号Zの発話リズムに変換することを考える。時間関数Ωの時間長Sは、Tと異なってもよい。時間関数Φと時間関数Ωとに存在するそれぞれの音素が対応していれば、時間関数Φと時間関数Ωとを入れ替える、つまり
【数２】
2015203766.tif 000004
により、LSPパラメータの時系列信号Yの発話リズムを、LSPパラメータの時系列信号Zの発話リズムに変換することができる（非特許文献２参照）。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】S. Hiroya, “Non-negative temporal decomposition of speech parameters by multiplicative update rules”, IEEE Trans. Audio, Speech, Lang. Process., 2013, pp.2108-2117.
【非特許文献２】廣谷定男, “発話リズムを抽出・制御する音声信号処理”, NTT技術ジャーナル, 2013, pp26-29.
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、非特許文献２の方法により発話リズムを変換した声道スペクトルから音声を合成した場合、時刻tk-1≦t≦tkにおいて、時刻t=tk-1とt=tkとでは、実際に音声データから得られるLSPパラメータyi(tk-1)とyi(tk)の値が用いられるが、その間の時刻tk-1＜t＜tkのLSPパラメータはyi(tk-1)とyi(tk)の値の補間によって求められる。そのため、変換音声の自然性が不十分となる問題がある。
【０００６】
本発明は、変換音声の自然性を従来よりも向上させるために、ある声道スペクトルの時系列に対応する発話リズムを他の音声スペクトルの時系列に対応する発話リズムに変換するための行列である変換行列を生成する発話リズム変換行列生成装置、発話リズム変換装置、発話リズム変換行列生成方法、及びそのプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記の課題を解決するために、本発明の一態様によれば、発話リズム変換行列生成装置は、音素に対する重みと時刻との関係を示す関数を時間関数とし、非負値時空間分解法により、第一音声データの第一声道スペクトルに対する時間関数である第一時間関数を求める非負値時空間分解部と、第一時間関数と対応する音素に対する重みと時刻との関係を示す時間関数を第二時間関数とし、第二時間関数に対応する声道スペクトルを第二声道スペクトルとし、第一時間関数と第二時間関数とを用いて、第一声道スペクトルの発話リズムを第二声道スペクトルの発話リズムに変換するための行列である変換行列を生成する変換行列生成部と、を含む。
【０００８】
上記の課題を解決するために、本発明の他の態様によれば、発話リズム変換行列生成方法は、音素に対する重みと時刻との関係を示す関数を時間関数とし、非負値時空間分解法により、第一音声データの第一声道スペクトルに対する時間関数である第一時間関数を求める非負値時空間分解ステップと、第一時間関数と対応する音素に対する重みと時刻との関係を示す時間関数を第二時間関数とし、第二時間関数に対応する声道スペクトルを第二声道スペクトルとし、第一時間関数と第二時間関数とを用いて、第一声道スペクトルの発話リズムを第二声道スペクトルの発話リズムに変換するための行列である変換行列を生成する変換行列生成ステップと、を含む。
【発明の効果】
【０００９】
本発明により生成した変換行列を用いて、発話リズムを変換することで、変換音声の自然性を従来よりも向上させることができるという効果を奏する。
【図面の簡単な説明】
【００１０】
【図１】第一実施形態に係る発話リズム変換行列生成装置の機能ブロック図。
【図２】第一実施形態に係る発話リズム変換行列生成装置の処理フローの例を示す図。
【図３】時間関数を説明するための図。
【図４】第一実施形態に係る発話リズム変換装置の機能ブロック図。
【図５】第一実施形態に係る発話リズム変換装置の処理フローの例を示す図。
【図６】第一実施形態の変形例に係る発話リズム変換行列生成装置の機能ブロック図。図。
【図７】第一実施形態の変形例に係る発話リズム変換行列生成装置の処理フローの例を示す図。
【発明を実施するための形態】
【００１１】
以下、本発明の実施形態について説明する。なお、以下の説明に用いる図面では、同じ機能を持つ構成部や同じ処理を行うステップには同一の符号を記し、重複説明を省略する。また、ベクトルや行列の各要素単位で行われる処理は、特に断りが無い限り、そのベクトルやその行列の全ての要素に対して適用されるものとする。
【００１２】
＜第一実施形態＞
変換対象となる声道スペクトルの時系列をY、その時間関数をΦとした場合、与えられた時間関数Ωを用いて変換行列G、HまたはKを決定し、この変換行列を用いて声道スペクトルの時系列Yの発話リズムを時間関数Ωに対応する発話リズムに変換する。なお、時間関数とは、音素に対する重みと時刻との関係を示す関数であり、発話リズムを表す。
【００１３】
＜第一実施形態に係る発話リズム変換行列生成装置１０＞
図１は本実施形態に係る発話リズム変換行列生成装置１０の機能ブロック図を、図２はその処理フローの例を示す。
【００１４】
発話リズム変換行列生成装置１０は、声道スペクトル抽出部１１と、非負値時空間分解部１２と、変換行列生成部１３とを含む。
【００１５】
発話リズム変換行列生成装置１０は、話者Aの音声データXΦを受け取り、変換行列G,HまたはKを出力する。本実施形態では、話者Bの音声データXΩも受け取るものとする。なお、音声データXΩには、音声データXΦに含まれる音素の時系列と同じ時系列が含まれるものとする。例えば、話者A及び話者Bをそれぞれ日本語母語話者及び英語母語話者とし、話者A及び話者Bがそれぞれ同一文章を発声したものをマイクロホン等を用いてそれぞれ収音し、収音した音声データXΦ及びXΩを用いる。
【００１６】
＜声道スペクトル抽出部１１＞
声道スペクトル抽出部１１は、音声データXΦ及びXΩを受け取り、既知の技術を用いて、それぞれ声道スペクトル分析を行い、声道スペクトル（例えばLSPパラメータ）の時系列YΦ及びYΩを抽出し（ｓ１１）、非負値時空間分解部１２に出力する。例えば、非特許文献１や参考文献１の方法を用いて、声道スペクトルを抽出することができる。
（参考文献１）廣谷定男、持田岳美、「位相等化処理に基づく線形予測法を用いた頑健な声道スペクトルの推定」、信学技法、2010年、pp.41-46
【００１７】
＜非負値時空間分解部１２＞
非負値時空間分解部１２は、声道スペクトルの時系列YΦ及びYΩを受け取り、それぞれ既知の技術である非負値時空間分解法を用いて、
【数３】
2015203766.tif 000005
となるように、時間関数Φ及びΩを決定し（ｓ１２）、変換行列生成部１３に出力する。例えば、非特許文献１の方法を用いて、時間関数を決定することができる。ただし、声道スペクトルの時系列YΦ及びYΩの時間長をそれぞれT及びS、t=1,…,T、s=1,…,Sとすると、YΦ={YΦ(1),…,YΦ(t),…,YΦ(T)}、YΩ={YΩ(1),…,YΩ(s),…,YΩ(S)}である。また、声道スペクトルの分析次数の総数をp（なお、本実施形態では声道スペクトルの時系列YΦ及びYΩの分析次数の総数は何れもpとするが、声道スペクトルの時系列YΦの分析次数の総数と声道スペクトルの時系列YΩの分析次数の総数とは異なってもよい）、分析次数を表すインデックスをiとすると、YΦ(t)={yΦ,1(t),…,yΦ,i(t),…,yΦ,p(t)}、YΩ(s)={yΩ,1(s),…,yΩ,i(s),…,yΩ,p(s)}である。よって、yΦ,i(t)及びyΩ,i(s)は、それぞれ時刻t及びsにおける声道スペクトルの分析次数iの値を表し、それぞれ単に声道スペクトルyΦ,i(t)及びyΩ,i(s)とも記載する。また、Φ={Φ(1),…,Φ(t),…,Φ(T)}、Ω={Ω(1),…,Ω(s),…,Ω(S)}であり、時系列YΦ及びYΩに対応する音声データに含まれる音素の総数を(m-2)とし、kを音素を表すインデックス、k=1,…,mとすると(ただし、k=1、k=mをそれぞれ音素の時系列の始まりと終わりを表すインデックスとする)、Φ(t)={φ1(t),…,φk(t),…，φm(t)}及びΩ(s)={ω1(s),…,ωk(s),…，ωm(s)}である。よって、φk(t)及びωk(s)はそれぞれ時刻t及びsにおける音素kの時間関数の値を表し、それぞれ単に時間関数φk(t)及びωk(s)とも記載する。ここで、tk及びskは、それぞれ音声データXΦ及びXΩにおける音素kの中心時刻を表す。なお、音素kと中心時刻tk及びskとは、それぞれ予め音声データXΦ及びXΩに付加されているものとする。例えば、音声データに人手により付与してもよいし、既存の技術（例えば既知の音声認識技術）を用いて自動的に付与してもよい。式（１１）、（１２）のモデルでは、発話リズムを音素単位で表現し、また、隣り合う音素のみが影響を及ぼすことが考慮されている。
【００１８】
例えば、
【数４】
2015203766.tif 000006
により、時間関数φk-1(t)、φk(t)を求める。全ての時刻tについて時間関数φk-1(t)、φk(t)を求め、音素kをtk-1≦t≦tkを満たすように、時刻tに合わせて変更すればよい。ただし、本実施形態ではai,k=yΦ,i(tk)とする。なお、βは重みである。例えば、β=100とする。
【００１９】
同様の方法により、時間関数ωk-1(s)、ωk(s)を求めることができる。式中、ai,k=yΩ,i(sk)とし、yΦ,i(tk)をyΩ,i(sk)に、tをsに、tkをsk等のように置き換えることで、時間差分δk(s)、時間差分δk-1(s)を求めることができ、そこから時間関数ωk(s)、時間関数ωk-1(s)を求めることができる。
【００２０】
＜変換行列生成部１３＞
変換行列生成部１３は、時間関数Φ及びΩを受け取り、これらの値を用いて変換行列G、HまたはKを生成し（ｓ１３）、出力する。変換行列は、声道スペクトルYΦの発話リズムを声道スペクトルYΩの発話リズムに変換するための行列である。以下に変換行列G,H,Kの生成方法を説明する。
【００２１】
(生成方法１)
非負値時空間分解法で得られる時間関数は[0,1]の範囲に制限されるため、時刻ｓの時間関数ωk(s)の値に最も近い、時刻ｔの時間関数φk(t)の値を探索により求め、そのときの時刻ｔの声道スペクトルYφ(t)を時刻ｓにおける声道スペクトルY'φ(s)(=Yφ(t))として出力する。これを変換行列Gにより実現するためには、時間関数Ωの時刻ｓと、時間関数Φの時刻ｔとを関係付ければ良い。例えば、sk-1≦s≦sk、tk-1≦t≦tkにおいて、時刻sに対して、時間関数ωk(s)と時間関数φk(t)との差分が最も小さくなる時刻tを関係付ける。変換行列GはS行T列の行列であり、そのs行t列の要素をG(s,t)とすると、
【数５】
2015203766.tif 000007
として決定できる。全てのkについて、計算することで、S行T列の変換行列Gを求めることができる。ここで、時刻ｓに対して関係付られた時刻ｔをt*(s)とする。変換行列Gの数値例は、
【数６】
2015203766.tif 000008
であり、S行T列の行列の対角近傍の成分が1となり、それ以外の成分が0となる。
【００２２】
(生成方法２)
生成方法１により求まる変換行列Gを用いて声道スペクトルYの変換を行った場合、Gの値が離散的に変化するため、声道スペクトルが不連続に変化する可能性がある。そこで、時刻t-1の声道スペクトルYφ(t-1)と時刻tの声道スペクトルYφ(t)との重み付け和を考え、声道スペクトルが時間的に連続して変化するように、変換行列Gを生成する。例えば式（１８）〜式（２２）を用いて変換行列Gを生成する。生成方法１で求まったt*(s)（時刻ｓに対して関係付られた時刻ｔ）を用いて、
【数７】
2015203766.tif 000009
として、
【数８】
2015203766.tif 000010
とし、それ以外の場合、
G(s,t*(s))=0    (22)
とする。式（１８）、（１９）において、要素G(s,t*(s)-1)と要素G(s,t*(s))とは、時間関数φk(t*(s)-1)と時間関数φk(t*(s))とを時間関数ωk(s)で内分したものである（図３参照）。
【００２３】
式（２０）、（２１）において、要素G(s,t*(s))と要素G(s,t*(s)+1)とは、時間関数φk(t*(s))と時間関数φk(t*(s)+1)とを時間関数ωk(s)で内分したものである。Gの数値例は、
【数９】
2015203766.tif 000011
で、S行T列の行列の対角近傍の成分が非零となり、それ以外の成分が0となる。
【００２４】
(生成方法３)
生成方法２では、2点間の重み付け和となるように変換行列の要素G(s,t)を決定したが、3点以上の重み付け和となるように要素G(s,t)を決定してもよい。その場合、要素G(s,t)の値を解析的に求めることが困難であるため、非特許文献１で用いられている乗算型更新を用いて、以下の評価関数Qを最小にするような要素G(s,t)の値を反復的に求める。
【数１０】
2015203766.tif 000012
【００２５】
ここで、第１項は時間関数φk(s)と時間関数ωk(s)との二乗誤差で、第２項は重みの和が1となるための制約、αはその制約のための重み係数である。例えば、α=1とする。非特許文献１で用いられている乗算型更新を用いることで、変換行列Gの初期値が非負値であれば非負値に収束するため、要素G(s,t)が非負値となるような制約を評価関数Qに加える必要はない。乗算型更新式は、評価関数Qを微分した結果、正の符号をもつ項を分母、負の符号をもつ項を分子とすることで次のように求まる。
【数１１】
2015203766.tif 000013
【００２６】
例えば5点の重み付け和としたい場合、生成方法１で求まったt*(s)を用いて、τの範囲をt*(s)-2〜t*(s)+2のようにすればよい。例えば、変換行列Gの要素G(s,t)の初期値を[0,1]の範囲の乱数に設定し、更新による評価関数Qの値の変化が十分小さくなったとき、あるいは予め指定した更新回数に達したとき（所定の条件を満したとき）の変換行列Gの値を出力する。二乗誤差ではなく、カルバック・ライブラー距離や板倉斉藤歪みなどの距離尺度を用いることも可能である。
【００２７】
例えば、カルバック・ライブラー距離を用いたとき、評価関数Qは次式により表される。
【数１２】
2015203766.tif 000014
【００２８】
さらに、この評価関数Qを最小にする乗算型更新式は、次式により表される。
【数１３】
2015203766.tif 000015
【００２９】
また、板倉斉藤歪みを用いたとき、評価関数Qは次式により表される。
【数１４】
2015203766.tif 000016
【００３０】
さらに、この評価関数Qを最小にする乗算型更新式は、次式により表される。
【数１５】
2015203766.tif 000017
【００３１】
(生成方法４)
2つの駆動時点tk-1とtkの声道スペクトルの補間となるような変換行列Hを求める。行列の要素は、
【数１６】
2015203766.tif 000018
で求められる。Hの数値例は、
【数１７】
2015203766.tif 000019
で、tk-1番目の列とtk番目の列に値を持つ行列となる。この変換行列Hを用いた変換により得られる声道スペクトルは、非特許文献２において、時間関数Φと時間関数Ωを入れ替えた場合に得られるものと一致する。
【００３２】
例えば、日本語母語話者と英語母語話者とが同じ文や単語を発声した場合、それぞれの音声データに含まれる音素が異なる場合がある。例えば、英文を読んだときに、英語母語話者は、日本語母語話者に比べ母音を省略する傾向があり、そのような場合、一方の音声データに含まれる音素の時系列が、他方の音声データに含まれる音素の時系列とは異なる。その場合、生成方法１〜３で求めた変換行列Gでは対応できないが、本生成方法で求めた変換行列Hであれば、適切に音素を省略することができる。
【００３３】
例えば、”roundup”という単語の”du”に着目すると、日本語母語話者は/doa/と/d/の後に母音/o/を挿入して発声し、英語母語話者は/da/と発声する傾向がある。日本語母語話者の発話リズムを英語母語話者のそれに変換する場合、日本語母語話者の/o/は取り除くことが適切である。日本語母語話者の/d/と/a/の声道スペクトルと変換行列Hを用いることで、母音/o/を取り除き、かつ/d/と/a/の間の声道スペクトルを滑らかに変化させることができる。
【００３４】
この生成方法における時間関数φk(t)と時間関数ωk(s)との関係は、時刻tkと時刻skにおいてφk(tk)=ωk(sk)=1が満たされるのみであり、変換行列Hはほとんど時間関数φk(t)によって決まることが特徴である。
【００３５】
(生成方法５)
変換行列として、生成方法１〜４で求められた変換行列Gあるいは変換行列Hをそのまま用いることも可能であるが、変換行列を用いた変換による声道スペクトルの急激な変化を避けるため、変換行列G及びHを重みwによって補間することもできる。例えば、生成方法１〜３の何れかで生成される変換行列Gと、生成方法４で生成される変換行列Hとを用いて、次式により変換行列Kを生成する（図１参照）。
【数１８】
2015203766.tif 000020
【００３６】
ただし、0≦w≦1であり、例えばw=0.5に設定する。また、生成方法１〜３で生成される変換行列をそれぞれG1,G2及びG3とし、w1≧0、w2≧0、w3≧0、0≦w1+w2+w3≦1とし、
【数１９】
2015203766.tif 000021
とすることも可能である（図１参照）。例えばw1+w2+w3=0.5に設定する。式（３１）の三つの重みw1,w2,w3のうち、二つが０のとき式（３０）となる。なお、少なくともG1,G2及びG3の何れかの影響を変換行列Kに与えたい場合には、式（３０）及び（３１）において、それぞれ0＜w≦1、0＜w1+w2+w3≦1とすればよい。
【００３７】
＜第一実施形態に係る発話リズム変換装置２０＞
図４は本実施形態に係る発話リズム変換装置２０の機能ブロック図を、図５はその処理フローの例を示す。
発話リズム変換装置２０は、声道スペクトル抽出部２１、発話リズム変換部２２及び音声合成部２３を含む。
発話リズム変換装置２０は、話者Aの音声データXΦを受け取り、音声データX'Φを出力する。なお、音声データX'Φは、話者Aの音声データXΦの発話リズムを、話者Bの音声データXΩの発話リズムに変換したものである。
【００３８】
＜声道スペクトル抽出部２１＞
声道スペクトル抽出部２１は、音声データXΦを受け取り、既知の技術を用いて、声道スペクトル分析を行い、声道スペクトルの時系列YΦ及び音源信号の時系列ZΦを抽出し（ｓ２１）、発話リズム変換部２２に出力する。例えば、非特許文献１や参考文献１の方法を用いて、声道スペクトル及び音源信号を抽出することができる。
【００３９】
例えば、音源信号は、音声区間以外あるいは無声の音声区間では白色雑音に白色雑音ゲインを乗じたものを用いる。有声の音声区間では、基本周波数、パルスゲインおよびマルチパルス音源モデルから計算されるマルチパルス、あるいは基本周波数とパルスゲインから計算される単一パルス列を用いる。なお、基本周波数やゲイン（白色雑音ゲインやパルスゲイン）等は既知の技術を用いて抽出すればよい。例えば、参考文献２の方法により抽出することができる。
【００４０】
＜発話リズム変換部２２＞
発話リズム変換部２２は、声道スペクトルの時系列YΦ及び音源信号の時系列ZΦと変換行列G,HまたはKを受け取り、次式のように声道スペクトルの時系列YΦ及び音源信号の時系列ZΦに変換行列G,HまたはK(例えばG)を乗じて、声道スペクトルの時系列Y'Φ及び音源信号の時系列Z'Φを求め（ｓ２２）、音声合成部２３に出力する。
Y'Φ=G×YΦ    (32)
Z'Φ=G×ZΦ    (33)
なお、声道スペクトルの時系列Y'Φの発話リズムは、声道スペクトルの時系列YΩの発話リズムと同一である。
【００４１】
例えば、音源信号の時系列ZΦを求めるために、発話リズム変換部２２では、基本周波数やゲイン（白色雑音ゲインやパルスゲイン）等に変換行列を乗じ、声道スペクトルの時系列Y'Φに時間長が対応する基本周波数やゲインを求めればよい。
【００４２】
＜音声合成部２３＞
音声合成部２３は、音源信号の時系列Z'Φと声道スペクトルの時系列Y'Φとを受け取り、これらの値を用いて音声合成を行う。例えば、参考文献２の方法により音声合成を行い（ｓ２３）、音声データX'Φを、発話リズム変換装置２０の出力値として出力する。
（参考文献２）特開２０１１−１５０２３２号公報
例えば、声道スペクトルの時系列Y'Φと音源信号の時系列Z'Φを畳み込み演算することにより音声合成を行う。
【００４３】
なお、隣接するフレームで有声と無声（通常、基本周波数を0とする）が切り替わる場合、生成方法２〜５の重み付け和を用いると適切な変換とならないことがある。このようなフレームには、生成方法１を用いるとよい。
【００４４】
＜効果＞
このような構成により、生成した変換行列を用いて、発話リズムを変換することで、変換音声の自然性を従来よりも向上させることができる。
【００４５】
＜変形例＞
発話リズム変換行列生成装置１０のポイントは、時間関数ΩとΦを用いて、変換行列を生成する点にある。よって、他の装置で求められた時間関数ΩとΦを受け取り、変換行列生成処理（ｓ１３）を行い、変換行列を出力する構成としてもよい。その場合、声道スペクトル抽出部１１及び非負値時空間分解部１２を含まなくともよい。また、声道スペクトルを入力とし、声道スペクトル抽出部１１を含まない構成としてもよい。
【００４６】
本実施形態では、説明を簡潔にするため、音声データXΩに含まれる音素の時系列と音声データXΦに含まれる音素の時系列とが同一であるものとしているが、必ずしも同一でなくともよい。例えば、日本語母語話者と英語母語話者とが同じ文や単語を発声した場合、それぞれの音声データに含まれる音素が異なる場合がある。例えば、英文を読んだときに、英語母語話者は、日本語母語話者に比べ母音を省略する傾向があり、そのような場合、一方の音声データに含まれる音素の時系列が、他方の音素の時系列とは異なる。その場合、本実施形態の処理を行う前に、音素の多い音声データから音素を省略したり、音素の少ない音声データに音素を追加し、音素の数を同一とすればよい。よって、音声データXΩに含まれる音素の時系列と音声データXΦに含まれる音素の時系列とは必ずしも同一である必要はなく、対応するものであればよい。
【００４７】
変換対象となる声道スペクトルはLSPパラメータに限らない。他の声道スペクトルであってもよい。
【００４８】
発話リズム変換行列生成装置１０を発話リズム変換装置２０の内部に備えてもよい（図６参照）。非負値時空間分解処理（ｓ１２）及び変換行列生成処理（ｓ１３）を発話リズム変換処理（ｓ２２）に先立ち行っておく必要がある（図７参照）。
【００４９】
本実施形態では、式（１５）、式（１６）において、ai,k=yi(tk)としたが、以下の式（３３）、（３４）によりai,kを求めてもよい（非特許文献１参照）。
【数２０】
2015203766.tif 000022
【００５０】
本実施形態では、話者Bの音声データXΩに基づき声道スペクトル抽出処理（ｓ１２）、非負値時空間分解処理（ｓ１３）により時間関数Ωを求めているが、他の方法により、時間関数Ωを求めてもよい。例えば、時間関数Φからの変換により変換関数Ωを求めてもよい。例えば、ある母語話者に特徴的な時間関数Φを他の母語話者に特徴的な時間関数Ωに変換するための変換規則等が存在する場合には、その変換規則に従って、時間関数Φからの変換により変換関数Ωを求めてもよい。また、時間関数Φの時間軸を伸縮させることにより求めてもよいし、時間関数Ωの制約(sk-1≦s≦sk、ωk-1(s)+ωk(s)=1、ωk-1(s)>0、ωk(s)>0)を満たすものを任意に作成することで求めてもよい。また、通常、発話リズムを変えるために、話者A以外の話者が発声した音声データを用いるが、必ずしもA以外の話者である必要はなく、話者Aが発声した音声データを用いて時間関数Ωを求めてもよい。
【００５１】
＜その他の変形例＞
本発明は上記の実施形態及び変形例に限定されるものではない。例えば、上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。
【００５２】
＜プログラム及び記録媒体＞
また、上記の実施形態及び変形例で説明した各装置における各種の処理機能をコンピュータによって実現してもよい。その場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記各装置における各種の処理機能がコンピュータ上で実現される。
【００５３】
この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。
【００５４】
また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させてもよい。
【００５５】
このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶部に格納する。そして、処理の実行時、このコンピュータは、自己の記憶部に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実施形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよい。さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、プログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。
【００５６】
また、コンピュータ上で所定のプログラムを実行させることにより、各装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。
【図１】
2015203766.tif 000037
【図２】
2015203766.tif 000038
【図３】
2015203766.tif 000039
【図４】
2015203766.tif 000040
【図５】
2015203766.tif 000041
【図６】
2015203766.tif 000042
【図７】
2015203766.tif 000043