(57)【特許請求の範囲】
【請求項１】
変換対象話者の新音素体系における音素ラベリングデータである参照ラベリングデータと、複数話者のある音素体系における音素種別の音素継続時間長の平均値・分散値を統計的に信頼できる値として得ることが可能な数の音素種別を含む複数話者ラベリングデータを入力として、上記参照ラベリングデータを上記複数話者ラベリングデータで直線回帰し、上記複数話者ラベリングデータの全ての音素種別に対応する上記変換対象話者の音素継続時間長の平均値と分散値である音素継続時間長分布を求める音素継続時間長分布推定過程と、
変換対象話者の変換前の音素ラベリングデータである既存音素ラベリングデータを新音素体系の音素ラベリングデータに変換する音素変換過程と、
上記音素継続時間長分布と上記新音素体系の音素ラベリングデータを入力として、１つの音素情報に１個の音素継続時間長を持つ音素ラベリングデータはそのまま新音素ラベリングデータとして通過させ、１個の音素継続時間長に対して複数の音素情報を持つ音素ラベリングデータは音素情報毎に音素継続時間長を分割して新音素ラベリングデータとして出力する音素継続時間長分割過程と、
を備える音素ラベリングデータ音素継続時間長変換方法。
【請求項２】
請求項１に記載した音素ラベリングデータ音素継続時間長変換方法において、
上記音素継続時間長分布推定過程は、
上記参照ラベリングデータと上記複数話者ラベリングデータのそれぞれの平均値・分散値を計算する平均値・分散値計算ステップと、
上記参照ラベリングデータの平均値・分散値を、上記複数話者ラベリングデータで直線回帰する線形関係式を推定する直線回帰式推定ステップと、
上記複数話者ラベリングデータに対応する上記変換対象話者の全ての音素種別の音素継続時間長の平均値と分散値を上記線形関係式で推定する音素継続時間長分布推定ステップと、
を含むことを特徴とする音素ラベリングデータ音素継続時間長変換方法。
【請求項３】
請求項１又は２に記載した音素ラベリングデータ音素継続時間長変換方法において、
上記音素継続時間長分割過程は、
音素列ｘｉを構成する音素数nを求める音素数取得ステップと、
音素列xiを構成する全ての音素xi,k(k=1,2,…，n)について音素継続時間長の平均値μx,I,k、分散σx,I,k2を、上記音素継続時間長分布から取得し、平均値の合計値Mと分散の合計値Sを求め、それぞれの合計値を求める合計値取得ステップと、
上記新音素ラベリングデータの音素継続時間長情報t′を、
【数９】
0005498439.tif 000014
ここでtiは分割前の音素継続時間長、
で求める音素継続時間長情報取得ステップと、
を含むことを特徴とする音素ラベリングデータ音素継続時間長変換方法。
【請求項４】
変換対象話者の新音素体系における音素ラベリングデータである参照ラベリングデータと、
複数話者のある音素体系における音素種別の音素継続時間長の平均値・分散値を、統計的に信頼できる値として得ることが可能な数の全ての音素種別を含む音素ラベリングデータである複数話者ラベリングデータと、
変換対象話者の変換前の音素ラベリングデータである既存音素ラベリングデータと、
上記参照ラベリングデータと上記複数話者ラベリングデータを入力として、上記参照ラベリングデータを上記複数話者ラベリングデータで直線回帰し、上記複数話者ラベリングデータの全ての音素種別に対応する上記変換対象話者の音素継続時間長の平均値と分散値である音素継続時間長分布を求める音素継続時間長分布推定部と、
上記既存音素ラベリングデータを新音素体系の音素ラベリングデータである分割前音素ラベリングデータに変換する音素変換部と、
上記音素継続時間長分布と上記新音素体系の音素ラベリングデータを入力として、１つの音素情報に１個の音素継続時間長を持つ音素ラベリングデータはそのまま新音素ラベリングデータとして通過させ、１個の音素継続時間長に対して複数の音素情報を持つ音素ラベリングデータは音素情報毎に音素継続時間長を分割して新音素ラベリングデータとしてを出力する音素継続時間長分割部と、
を具備する音素ラベリングデータ音素継続時間長変換装置。
【請求項５】
請求項４に記載した音素ラベリングデータ音素継続時間長変換装置としてコンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、音素ラベリングデータベースの音素ラベリングデータを、例えば異なる音声合成システム用の音素ラベリングデータに変換する音素ラベリングデータ音素継続時間長変換方法と、その装置とプログラムに関する。
【背景技術】
【０００２】
音素ラベリングとは、音声データ内で発声されている音素の種別と音素の境界を表すラベルを付与することである。ある既存の音素体系で音素ラベリングされた音声データベースが既に存在している場合において、その音声データベースを音声体系の異なる音素体系に基づく音声合成や音声認識等で利用するためには、基本的には新しい音素体系で新たにラベリングする必要がある。
【０００３】
新しい音素体系で新たにラベリングする方法としては、人手によるラベリングや自動ラベリングがある。自動ラベリング方式は、例えば非特許文献１に開示されている。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】中村孝、宮崎昇、水野秀之、「発音変動に対応した多段階自動ラベリング方式の検討」日本音響学会講演論文集、p265-268,2009年9月
【発明の概要】
【発明が解決しようとする課題】
【０００５】
従来方法の人手によるラベリングは、高精度なラベリングが行えるが、人手によるため多くの時間・費用が必要でありコストがかかる。一方自動ラベリングは、コストは低く抑えられるがラベリング精度が低く、用途によってはそのまま利用することが出来ない課題がある。そこで、既存の音素データベースを、目的のシステムに対応した音素データベースに変換する方法が、最も現実的のように思われる。しかしながら、音素境界を機械的に変換することが難しいことから、そのような音素データベースを変換する装置や方法は、今まで無かった。
【０００６】
つまり、新しい音素体系では単一の音素が、既存の音素体系では複数の音素に対応する場合や、その逆の関係の場合もあり、音素境界を単純な規則で変換することが出来ない課題があり、その実現が難しかった。
【０００７】
この発明は、このような課題に鑑みてなされたものであり、既存の音素データベースを異なる音素体系にコストを掛けずに精度良く変換する音素ラベリングデータ音素継続時間長変換方法と、その装置とプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
この発明の音素ラベリングデータ音素継続時間長変換方法は、音素継続時間長分布推定過程と、音素変換過程と、音素継続時間長分割過程と、を備える。音素継続時間長分布推定過程は、変換対象話者の新音素体系における音素ラベリングデータである参照ラベリングデータと、複数話者のある音素体系における音素種別の音素継続時間長の平均値・分散値を、統計的に信頼できる値として得ることが可能な数の音素種別を含む複数話者ラベリングデータを入力として、参照ラベリングデータを複数話者ラベリングデータで直線回帰し、複数話者ラベリングデータの全ての音素種別に対応する変換対象話者の音素継続時間長の平均値と分散値である音素継続時間長分布を求める。音素変換過程は、変換対象話者の変換前の音素ラベリングデータである既存音素ラベリングデータを新音素体系の音素ラベリングデータに変換する。音素継続時間長分割過程は、音素継続時間長分布と新音素体系の音素ラベリングデータを入力として、１つの音素情報に１個の音素継続時間長を持つ音素ラベリングデータはそのまま新音素ラベリングデータとして通過させ、１個の音素継続時間長に対して複数の音素情報を持つ音素ラベリングデータは音素情報毎に音素継続時間長を分割して新音素ラベリングデータとして出力する。
【発明の効果】
【０００９】
この発明の音素ラベリングデータ音素継続時間長変換方法は、少量の新音素体系の音素ラベリングデータを、大量の複数話者ラベリングデータで直線回帰し、複数話者ラベリングデータの全ての音素種別に対応する変換対象話者の音素継続時間長分布を求める。そして、１つの音素ラベルに複数の音素を含む音素ラベリングデータを、大量の複数話者ラベリングデータから求めた平均値と分散値に基づいて音素毎の継続時間長に分割した新たな音素体系の音素ラベリングデータとして出力する。したがって、少量の音素ラベリングデータから新音素体系の大量の音素ラベリングデータを精度良く求めることが出来る。
【図面の簡単な説明】
【００１０】
【図１】この発明の音素ラベリングデータ音素継続時間長変換装置１００の機能構成例を示す図。
【図２】音素ラベリングデータ音素継続時間長変換装置１００の動作フローを示す図。
【図３】音素継続時間長分布推定部４０の機能構成例を示す図。
【図４】音素継続時間長分布推定部４０の動作フローを示す図。
【図５】音素変換部５０の動作フローを示す図。
【図６】音素継続時間長分割部６０の動作フローを示す図。
【図７】変換対象話者の音素継続時間長の平均値μx′と、複数話者の音素継続時間長の平均値μxとの相関を例示する図。
【図８】変換対象話者の音素継続時間長の分散値σx′2と、複数話者の音素継続時間長の分散値σx2との相関を例示する図。
【発明を実施するための形態】
【００１１】
以下、この発明の実施の形態を図面を参照して説明する。複数の図面中同一のものには同じ参照符号を付し、説明は繰り返さない。
【実施例１】
【００１２】
図１に、この発明の音素ラベリングデータ音素継続時間長変換装置１００の機能構成例を示す。その動作フローを図２に示す。音素ラベリングデータ音素継続時間長変換装置１００は、音素継続時間長分布推定部４０と、音素変換部５０と、音素継続時間長分割部６０と、具備する。音素ラベリングデータ音素継続時間長変換装置１００の各部の機能は、例えばＲＯＭ、ＲＡＭ、ＣＰＵ等で構成されるコンピュータに所定のプログラムが読み込まれて、ＣＰＵがそのプログラムを実行することで実現されるものである。
【００１３】
音素継続時間長分布推定部４０は、参照ラベリングデータ１０と複数話者ラベリングデータ２０を入力として、参照ラベリングデータ１０を複数話者ラベリングデータ２０で直線回帰し、複数話者ラベリングデータ２０の全ての音素種別に対応する変換対象話者の音素継続時間長の平均値と分散値である音素継続時間長分布を求める（ステップＳ４０）。音素継続時間長分布は、図１に破線で示すように、ＲＯＭ、ＲＡＭ、やハードディスクに記憶するようにしても良い。
【００１４】
参照ラベリングデータ１０は、変換対象話者の新音素体系における少数の音素ラベリングデータである。半分以下の音素の音素継続時間長の平均値・分散値を統計的に信頼できる値として得ることが可能な数であり、複数話者ラベリングデータ２０を例えば６０２２文章、音素数６１種類とした時に、参照ラベリングデータ１０は例えば５文章１４種類程度の数である。ただし、１文章には少なくとも主語と述語が含まれるものとする。５文章以上で統計的に信頼できる平均値・分散値が求まることを実験で確認した。
【００１５】
複数話者ラベリングデータ２０は、複数話者の新音素体系における音素種別の音素継続時間長の平均値・分散値を、統計的に信頼できる値として得ることが可能な数の全ての音素種別を含む音素ラベリングデータである。
【００１６】
音素変換部５０は、既存音素ラベリングデータ３０を新音素体系の音素ラベリングデータである分割前音素ラベリングデータに変換する（ステップＳ５０）。表１に、既存音素ラベリングデータ３０の一部を例示する。分割前音素ラベリングデータは、音素継続時間長分布と同様にＲＯＭ、ＲＡＭ、やハードディスクに記憶するようにしても良い。
【００１７】
【表１】
0005498439.tif 000002
【００１８】
既存音素ラベリングデータの新音素体系への変換は、以下の２段階の処理にて行う。
既存音素ラベリングデータ３０は、音素ラベルと音素継続時間長が一対一に対応したデータである。既存音素ラベリングデータ３０は、変換したい新音素体系とは異なる他の音素体系の変換対象話者の既存のデータであり、音素変換部５０によって新音素体系の分割前音素ラベリングデータに変換される。
表２に、分割前音素ラベリングデータの一部を例示する。表２は、表１の音素を新音素体系に基づいて変換した一段階目の処理の例である。
【００１９】
【表２】
0005498439.tif 000003
【００２０】
既存音素ラベリングデータ３０の「t」が、分割前音素ラベリングデータの「cT,T」に対応している。このように「t」は、新音素体系では２つの音素に対応するが、ここでは個々の音素の継続時間長は求めず、複数の音素の音素情報とその音素継続時間長の合計値に２つの音素を対応させている。
【００２１】
音素継続時間長分割部６０は、音素継続時間長分布推定部４０が出力する音素継続時間長分布と、音素変換部５０が出力する分割前音素ラベリングデータを入力として、１つの音素情報に１個の音素継続時間長を持つ音素ラベリングデータはそのまま通過させて新音素ラベリングデータとし、１個の音素継続時間長に対して複数の音素情報を持つ音素ラベリングデータは、音素情報毎に音素継続時間長を分割して新音素ラベリングデータとして出力する（ステップＳ６０）。
【００２２】
表３に、新音素ラベリングデータの一部を例示する。表３は、表２の音素を新音素ラベリングデータに変換した例である。
【００２３】
【表３】
0005498439.tif 000004
【００２４】
分割前音素ラベリングデータの「cT,T」が、「cT:70ms」と「T:20ms」の２つの音素情報に分割されている。１つの音素情報に１個の音素継続時間長が対応する分割前音素ラベリングデータ「A」は、そのまま新音素ラベリングデータとして出力される。
【００２５】
この音素継続時間長の分割は、少量の参照ラベリングデータ１０と大量の複数話者ラベリングデータ２０との直線回帰により求めた音素継続時間長分布に基づいて行われる。したがって、少量の一部の新音素体系の音素ラベリングデータから大量の新音素体系の音素ラベリングデータを精度良く生成することが可能になる。
【００２６】
以降、音素ラベリングデータ音素継続時間長変換装置１００の各部の動作をより詳しく説明する。
〔音素継続時間長分布推定部〕
図３に、音素継続時間長分布推定部４０の機能構成例を示す。その動作フローを図４に示す。
音素継続時間長分布推定部４０は、平均値・分散値計算手段４１と、直線回帰式推定手段４２と、音素継続時間長分布推定手段４３と、を備える。平均値・分散値計算手段４１は、複数話者ラベリングデータ２０内の全ての音素集合をXとして、x∈Xである全ての音素xの音素継続時間長の平均値μxと分散値σx2を求める（ステップＳ４１a〜Ｓ４１c）。
【００２７】
そして、参照ラベリングデータ１０についても、その全ての音素集合をX′（但し、X′⊆X）として、x∈X′である全ての音素xの出現回数nx′と、音素継続時間長の平均値μx′と分散σx′2を求め、この平均値の集合M1と分散の集合Σ1を求める（ステップＳ４１e）。
【００２８】
【数１】
0005498439.tif 000005
【００２９】
直線回帰式推定手段４２は、参照ラベリングデータの平均値μx′及び分散値σx′2と、複数話者ラベリングデータ２０の平均値μxと分散値σx2との直線回帰式を最小二乗法で求める（ステップＳ４２a）。
【００３０】
【数２】
0005498439.tif 000006
【００３１】
統計的に十分信頼のある平均値と分散値が得られる音素の出現回数の規定値をn（nは少なくとも５以上の値が望ましい）として、nx′≧nである全ての音素の集合Y={x|x∈X′,nx′≧n}について、最小二乗法で次式に示すようにパラメータa1,a2,b1,b2を求める。
【００３２】
【数３】
0005498439.tif 000007
【００３３】
ここで、N(Y)は音素集合Yの要素数である。
複数話者ラベリングデータ２０内に出現して、参照ラベリングデータ１０内に出現しなかった音素、及び統計的に十分信頼できない回数出現した音素（nx′＜nである音素x）の集合をZ=X-Y={x|x∈X,nx′≧n}とする。
音素継続時間長分布推定手段４３は、Zの全ての音素x（ｘ∈Z）について式（３）を用いて、平均値μx′と分散値σx′2を求め、平均値の集合M2と分散値の集合Σ2を求める（ステップＳ４３a）。
【００３４】
【数４】
0005498439.tif 000008
【００３５】
そして、音素集合X内の全ての音素の音素継続時間長分布として下記の平均値集合M、分散値集合Σを得る（ステップＳ４３b）。
【００３６】
【数５】
0005498439.tif 000009
【００３７】
〔音素変換部〕
図５に示す音素変換部５０の動作フローを参照してその動作を説明する。音素変換部５０は、既存音素ラベリングデータ３０を新しい音素体系における新音素ラベリングデータに変換する。
【００３８】
まず最初に、既存の音素体系における音素列x=(x1,x2,…,xn)が、新しい音素体系において音素列y=(y1,y2,…,ym)に対応する場合、既存の音素体系から新しい音素体系への全変換ルールをFとし、F(x)=yとする。また、F(x)が定義されている全ての音素列xの集合（Fの定義域）をXとする（ステップ５００）。表４に、変換ルールの例を示す。
【００３９】
【表４】
0005498439.tif 000010
【００４０】
次に、音素列の集合X内で音素列を構成する音素の数が最大であるものの音素数Lを求める（ステップＳ５０１）。そして、全ての既存音素ラベリングデータ３０に対して下記の操作を行い、新しい音素体系による分割前音素ラベリングデータを出力する。
【００４１】
既存音素ラベリングデータ３０のラベルデータ番号を現す数をiとして、i←１とする（ステップＳ５０２）。例えば、上記した表１ではi番目のラベルデータは、i=１のとき「t,70」、i=２のとき「a,60」である。そして、音素列を構成する音素の数kをk←Lとする。ステップＳ５０２の処理は、既存音素ラベリングデータの音素ラベル数をNとして、N＜iの場合、つまり全てのラベルデータを変換し終わるまで繰り返される（ステップＳ５０９）。
【００４２】
既存音素ラベリングデータ３０のi番目の音素情報xiからi+k-1番目の音素情報xi+k-1を取得し、音素列x=(xi,xi+1,…,xi+k-1)を作る（ステップＳ５０４）。
X∈Xの場合（変換ルール内の変換前音素列に定義されているとき）、次の操作を行う（ステップＳ５０５のYes）。
既存音素ラベリングデータ３０のi番目の音素継続時間長情報をtiとして、新しい音素体系の音素情報y=F(x)と、音素継続時間長の合計値t′を求める（ステップＳ５０７）。
【００４３】
【数６】
0005498439.tif 000011
【００４４】
分割前音素ラベリングデータとして、音素情報y、音素継続時間長情報t′を出力する（ステップＳ５０８）。変換した音素の数だけラベルデータの番号を進めるため、i←i+kとする。音素列を構成する音素の数kをk←Lとする処理（ステップＳ５０３）に戻る。
【００４５】
x∈Xで無い場合（変換ルール内の変換前音素列に定義されていないとき）音素列を構成する音素の数を減らすため、k←k-1とする（ステップＳ５０６）。次の音素ラベルの処理（ステップＳ５０４）に戻る。
【００４６】
〔音素継続時間長分割部〕
図６に示す音素継続時間長分割部６０の動作フローを参照してその動作を説明する。音素継続時間長分割部６０は、音素変換部５０で得られた分割前ラベリングデータから、複数の音素へ変換されている音素情報について音素継続時間長を分割する。
【００４７】
全ての分割前ラベリングデータに対して次の操作を行う。
分割前音素ラベリングデータのラベルデータ番号を表す数をiとして、i←１とする（ステップＳ６００）。例えば、上記した表２においてi=１のとき「cT,T,70」、i=2のとき「A,60」である。分割前音素ラベリングデータの音素ラベル数をNとして、N＜iの場合（つまり、全てのラベルデータを分割し終えたとき）終了する（ステップＳ６０９）。
【００４８】
i番目の分割前音素ラベリングデータの音素情報xi=(xi,1,xi,2,…,xi,n)と音素継続時間長情報tiを取得する（ステップＳ６０１）。上記した表２においてi=１のとき、xi=(cT,T),ti=70であり、xi,1=cT,xi,2=Tである。
【００４９】
音素列xiを構成する音素数nを求める（ステップＳ６０２）。例えば、xi=(cT,T)のときn=2。
音素列xiを構成する全ての音素xi,k(k=1,2,…,n)について、音素継続時間長の平均値μx.i.k、分散値σx.i.k2を音素継続時間長分布から取得し、それぞれの値の合計値MとSを求める（ステップＳ６０３）。
【００５０】
【数７】
0005498439.tif 000012
【００５１】
次に、下記の操作を行い各音素情報と音素継続時間長を出力する。
音素列xiを構成する音素の中の音素番号をkとして、k←１とする（ステップＳ６０４）。n＜kの場合（つまり、音素列xiの全ての音素を出力し終えたとき）は、i←i+1としてステップＳ６０１に戻って、次のラベルデータの処理を行う。
【００５２】
出力する音素情報をxとおいて、x←xi,kとする（例えば、xi=(cT,T）のとき、k=1のときx=xi,k=cT,k=2のときx=xi,k=T）（ステップＳ６０５）。
音素継続時間長分布から音素情報xの音素継続時間長の平均値μx、分散値σx2を取得し、式（１３）で分割された音素継続時間長情報t′を求める（ステップＳ６０６）。
【００５３】
【数８】
0005498439.tif 000013
【００５４】
求めた音素情報xと音素継続時間長情報t′は、新音素ラベリングデータとして出力される（ステップＳ６０７）。そして、k←k+1として次の音素番号の処理（ステップＳ６０５）に戻る。
〔直線回帰について〕
音素継続時間長分布推定部４０の直線回帰式推定手段４２で求めた直線回帰式の相関係数を示して、この発明の有効性について説明する。具体的なデータに基づいて求めた相関関係を図７と図８に示す。図７は、音素継続時間長の平均値の相関を示す。図８は、その分散値の相関を示す。
【００５５】
相関係数は、次のデータで求めた。複数話者ラベリングデータのラベルデータ数は33763文で音素数は117種類、変換対象話者１のラベルデータ数は6022文で音素数89種類、変換対象話者２のラベルデータ数は94文で音素数56種類のデータを用いた。
【００５６】
平均値μx′と平均値μxの相関係数は、話者１（図７の■）で相関係数γ=0.99、話者２（図７の◆）で相関係数γ=0.96と、非常に高い相関が見られた。また、分散値σx′2と分散値σx2との相関も、話者１（図８の■）でγ=0.81、話者２（図８の◆）でγ=0.73と良好な値を示した。
【００５７】
この相関係数から、この発明の音素ラベリングデータ音素継続時間長変換装置１００を用いることで、少量の音素ラベリングデータから新音素体系の大量の音素ラベリングデータを、精度良く求めることが可能であることが分かる。
【００５８】
上記装置における処理手段をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、各装置における処理手段がコンピュータ上で実現される。
【００５９】
この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。具体的には、例えば、磁気記録装置として、ハードディスク装置、フレキシブルディスク、磁気テープ等を、光ディスクとして、ＤＶＤ（Digital Versatile Disc）、ＤＶＤ−ＲＡＭ（Random Access Memory）、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、ＣＤ−Ｒ（Recordable）/ＲＷ（ReWritable）等を、光磁気記録媒体として、ＭＯ（Magneto Optical disc）等を、半導体メモリとしてＥＥＰ−ＲＯＭ（Electronically Erasable and Programmable-Read Only Memory）等を用いることができる。
【００６０】
また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記録装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。
【００６１】
また、各手段は、コンピュータ上で所定のプログラムを実行させることにより構成することにしてもよいし、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。
【図１】
0005498439.tif 000015
【図２】
0005498439.tif 000016
【図３】
0005498439.tif 000017
【図４】
0005498439.tif 000018
【図５】
0005498439.tif 000019
【図６】
0005498439.tif 000020
【図７】
0005498439.tif 000021
【図８】
0005498439.tif 000022