(57)【要約】【課題】制御及び修正が容易で、高精度な音声合成パラメータを生成する音声合成パラメータ生成装置を提供する。【解決手段】音声パラメータ生成装置２７０は、プログラム、HMM音響モデル１３６、DNN音響モデル２８０を記憶するメモリと、プログラムを実行して音声パラメータ系列をフレームごとに出力するプロセッサとを含む。プロセッサが実行するプログラムは、HMM音響モデル１３６によりラベル列１３２に対応したHMMパラメータ系列を出力するステップと、DNN音響モデル２８０によりラベル列に対応したDNNのパラメータ系列をフレームごとに出力するステップと、このHMMパラメータ系列と、DNNパラメータ系列とを、フレームごとにProduct-of-Expertsフレームワークにより統合して統合モデルパラメータを出力するステップ２８４と、ステップ２８４において出力された統合モデルパラメータに基づいて音声合成パラメータを生成し出力するステップ２９０とを含む。【選択図】図５
2018013721.tif 000002
【特許請求の範囲】
【請求項１】
発話すべき音素及びその文脈情報を表すラベルからなるラベル列を受けて、音声の特徴を示す音声パラメータ系列を、音声合成の時間的単位であるフレームごとに出力し、音声パラメータから音声合成のための音声合成パラメータを生成する音声合成パラメータ生成装置であって、
プログラム、隠れマルコフモデル（HMM）からなる第１の音響モデル、及びニューラルネットワーク（NN）からなる第２の音響モデルを記憶するメモリと、
前記メモリに記憶された前記プログラムを実行することにより、前記音声パラメータ系列をフレームごとに出力するプロセッサとを含み、
前記プロセッサは、前記プログラムにより、
前記ラベル列に対応したHMM状態系列を出力する継続長モデルを参照して、前記ラベル列に対応したHMMの状態系列を決定し出力する状態系列決定ステップと、
前記第１の音響モデルを参照して、前記状態系列を入力として、HMMから推定されるHMMパラメータ系列を状態ごとに出力する第１のモデルパラメータ生成ステップと、
前記第２の音響モデルを参照して、前記状態系列と前記ラベル列を入力として、NNから推定されるNNパラメータ系列をフレームごとに出力する第２のモデルパラメータ生成ステップと、
前記第１のモデルパラメータ生成ステップにおいて出力された前記HMMパラメータ系列と、前記第２のモデルパラメータ生成ステップにおいて出力された前記NNパラメータ系列とを、フレームごとにProduct-of-Experts（PoE）フレームワークにより統合して統合モデルパラメータとして出力するモデル統合ステップと、
前記モデル統合ステップにおいて出力された前記統合モデルパラメータに基づいて前記音声合成パラメータ系列を生成し出力する音声合成パラメータ生成ステップとを含む方法を実行するようプログラムされている、音声合成パラメータ生成装置。
【請求項２】
前記音声パラメータ系列を構成する音声パラメータの各々は複数の要素を持つベクトルであり、
前記HMMの各状態の出力の確率密度関数と、前記NNがモデリングする第２の確率密度関数は、いずれも前記音声パラメータの前記ベクトルと同次元数のガウス分布を含む、請求項１に記載の音声合成パラメータ生成装置。
【請求項３】
前記第１のモデルパラメータ生成ステップにおいて出力される前記HMMパラメータ系列の各々は、状態ごとの出力の確率密度関数であるガウス分布を定義する平均ベクトル及び共分散行列を含み、
前記第２のモデルパラメータ生成ステップにより生成される前記NNパラメータ系列を構成するNNパラメータの各々は、フレームごとのガウス分布を定義する平均ベクトルを含み、
前記モデル統合ステップは、前記第１のモデルパラメータ生成ステップにおいて出力された前記平均ベクトル及び前記共分散行列により定義されるガウス分布と、前記第２のモデルパラメータ生成ステップにおいて出力された前記平均ベクトル及び予めされたグローバル平均及び共分散行列により定義されるガウス分布とを、フレームごとにPoEフレームワークにより乗算して前記統合モデルパラメータとして出力するステップを含む、請求項２に記載の音声合成パラメータ生成装置。
【請求項４】
前記第１のモデルパラメータ生成ステップにおいて出力される前記HMMパラメータの各々は、状態ごとに確率密度関数として定義されるガウス分布の平均ベクトル及び共分散行列を含み、
前記第２のモデルパラメータ生成ステップにより生成される前記NNパラメータは、フレームごとに定義されるガウス分布の平均ベクトルを含み、
前記モデル統合ステップは、前記第１のモデルパラメータ生成ステップにおいて出力された前記平均ベクトル及び前記共分散行列により定義されるガウス分布と、前記第２のモデルパラメータ生成ステップにおいて出力された前記平均ベクトル及び予め算出された固定の共分散行列により定義されるガウス分布とを、フレームごとにPoEフレームワークにより重み付けで加算して前記統合モデルパラメータとして出力するステップを含む、請求項２に記載の音声合成パラメータ生成装置。
【請求項５】
コンピュータを、請求項１〜請求項４のいずれかに記載の音声合成パラメータ生成装置として機能させる、コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は統計的パラメトリック音声合成(Statistical  Parametric  Speech  Synthesis  SPSS)に関し、特に、合成音声の品質を従来技術より高めることができる統計的パラメトリック音声合成に関する。
【背景技術】
【０００２】
SPSSは、統計モデルに基づき音声信号を生成するためのパラメータを推定し、推定されたパラメータから音声を合成する枠組みである。SPSSは、発話様式制御等、柔軟な音声合成処理を容易に実現できる等、様々な利点を持つ。一方で、SPSSを用いた音声合成では、合成された音声の品質に関して、肉声と比べて種々の理由により劣化する傾向にある。したがって合成音声の改善は、SPSSにおける重要な研究課題である。
【０００３】
SPSSには主に２種の手法がある。一方が隠れマルコフモデル(Hidden  Markov  Model：HMM)に基づく手法であり、他方がディープニューラルネットワーク（Deep  Neural  Network：DNN）に基づく手法である。以下、これら従来の２種の手法について説明する。
【０００４】
HMMは、発話が音素に対応する状態の遷移から生じると考える。状態及び状態の遷移は観測できないが、状態の遷移に伴って出力される発話から得られる情報系列を観測し統計的に処理することにより、状態とその遷移、すなわち音素列を推定することが可能になる。発話から得られる情報としては、音声信号を所定時間長で所定シフト量のフレームに分割（重複可能）し、各フレームの音声信号から得た特徴量を用いる。特徴量としては複数の値が用いられ、特徴量ベクトルをなす。音声合成の分野では一般的に、特徴量としてはメルケプストラム係数（Mel-Cepstrum  coefficients）及びパワー、それらのデルタ（隣接フレーム間の差分）及びデルタデルタ（隣接するデルタの差分）等が用いられる。
【０００５】
ここでは図１に示す３状態のHMM６０について説明する。なお、以下の説明では、同じ部品には同じ参照番号を付すものとし、それらの詳細については繰り返さない。
【０００６】
図１を参照して、HMM６０は、このHMM６０が表す音素に対応する状態Ｓ１２と、その音素の前に位置する音素に対応する状態Ｓ１１と、後に位置する音素に対応する状態Ｓ１３とを含む。発話に出現する各音素について、その前後の音素との組み合わせに応じてこのHMM６０のようなモデルを準備する。したがって、同じ音素でも前後の音素が異なる場合には別々のHMMが用いられる（記憶領域を節約するために、異なる組み合わせを１つのHMMで表す場合もある）。なお、状態数は３に限定されず、他の数の状態が用いられる場合もある。
【０００７】
図１を参照して、状態Ｓ１１から状態Ｓ１２への遷移８０には遷移確率ａ１２が割り当てられる。状態Ｓ１２から状態Ｓ１３への遷移８２には遷移確率ａ２３が割り当てられる。状態Ｓ１３からこのHMM６０の終端への遷移８４には遷移確率ａ３ｅが割り当てられる。状態Ｓ１１、状態Ｓ１２、及び状態Ｓ１３はそれぞれ自分自身への遷移７０、７２、及び７４を持ち、これらにはそれぞれ遷移確率ａ１１、ａ２２、及びａ３３が割り当てられる。これら遷移確率は、学習データを用いて予め算出される。
【０００８】
図２を参照して、HMMを用いる従来の音声合成装置１００は、入力テキスト１０２が与えられると、その入力テキストに応じた音声を生成するためのパラメータを出力するパラメータ生成部１１０と、パラメータ生成部１１０により生成されたパラメータを用いて音声信号１０４を合成し出力する音声合成部１１２とを含む。
【０００９】
パラメータ生成部１１０は、入力テキスト１０２に対して形態素解析、構文解析等を行って、発話すべき音素及びその文脈情報等を表すラベルからなるラベル列１３２を出力するテキスト解析処理部１３０と、ラベル列１３２に依存した決定木からなり、ラベル列１３２に対応する各音素の継続長を出力する継続長モデル１３４と、ラベル列１３２に依存した決定木に基づきHMMの状態ごとに音声合成パラメータの確率密度関数を出力するHMM音響モデル１３６と、ラベル列１３２を入力として、継続長モデル１３４の決定木に基づきHMMの状態系列を出力するHMM状態系列決定部１３８と、HMM状態系列決定部１３８が出力するHMM状態系列からHMM音響モデル１３６を用いて推定した各状態の確率密度関数に基づいて、Ｆ０パラメータ１４２、有声／無声パラメータ１４４及び調音のためのスペクトル包絡パラメータ１４６を出力する音声合成パラメータ算出部１４０とを含む。スペクトル包絡パラメータ１４６は、例えば、ケプストラム係数、メルケプストラム係数、線形予測係数などが考えられる。
【００１０】
音声合成部１１２は、音声合成パラメータ算出部１４０からＦ０パラメータ１４２及び有声／無声パラメータ１４４を受けて音源信号を生成する音源信号生成部１５０と、音源信号生成部１５０により生成される音源信号にスペクトル包絡パラメータ１４６に基づいて変調することにより音声信号１０４を出力する音声合成フィルタ１５２とを含む。
【００１１】
【数１】
2018013721.tif 000003
【００１２】
音声合成時、HMM状態系列決定部１３８は、ラベル列１３２を入力として、継続長モデル１３４の決定木を探索することにより、HMM状態系列の各状態の継続長を決定し、その時間情報が付されたラベル列を音声合成パラメータ算出部１４０に与える。音声合成パラメータ算出部１４０は、発話のフレームごとに、そのフレームに対応する状態の出力の確率密度関数を用いて、最尤となる音声合成パラメータ系列を推定し、Ｆ０パラメータ１４２、有声／無声パラメータ１４４、及びスペクトル包絡パラメータ１４６を生成して音声合成部１１２に与える。
【００１３】
音声合成部１１２の音源信号生成部１５０は、音声合成パラメータ算出部１４０からのＦ０パラメータ１４２及び有声／無声パラメータ１４４にしたがって音源信号を生成する。音声合成フィルタ１５２がこの音源信号をスペクトル包絡パラメータ１４６により定まる特性で変調し、音声信号１０４を出力する。
【００１４】
HMM音声合成は、利点として、長年の知見が蓄積され、声質及び発話様式に対する制御及び操作技術が確立していることが挙げられる。そのため、生成されたパラメータに異音が発生した場合でもその問題特定と修正が容易である。一方、状態単位のモデル化及びHMM状態系列決定の際の決定木によるハードクラスタリングが要因となって、合成音声の品質の低下を招くという問題がある。
【００１５】
一方、DNN音声合成は、図３に概略を示すDNN１７０のようなDNNをパラメータ生成に用いる。図３に示すDNN１７０は、ラベル列１３２に基づき生成されたベクトルを入力として、そのラベル列１３２に対応する音声パラメータを出力する。ネットワーク重み及びバイアスは、学習データを用いて予め算出される。
【００１６】
DNN１７０は、ラベル列１３２を２値表現又は数値に変換したベクトルをノードに持つ入力層１７２と、音声パラメータからなるノードを持つ出力層１７８と、入力層１７２と出力層１７８との間に順番に設けられた１又は複数の隠れ層１７４及び１７６とを含む。図３では、図を簡略にするために各層が持つノード数は同じとしているが、隠れ層が持つノードの数はこれらに限定されない。また、図３で隠れ層は２つだが、１つでもよいし、３つ以上であってもよい。また、図３に示すDNN１７０は入力が入力層１７２から出力層１７８に向けて順次伝搬する形となっているが、途中の隠れ層の一部の出力をその入力に戻すパスを持つ、いわゆるリカレント型NN等、他の形式のNNを用いても良い。
【００１７】
図４を参照して、従来のDNNを用いた音声合成装置２００は、入力テキスト１０２を受けて、Ｆ０パラメータ２４２、有声／無声パラメータ２４４及びスペクトル包絡パラメータ２４６を出力するためのパラメータ生成部２１０と、パラメータ生成部２１０が出力するＦ０パラメータ２４２、有声／無声パラメータ２４４及びスペクトル包絡パラメータ２４６を受けて音声信号２０４を出力する、図２と同じ音声合成部１１２とを含む。
【００１８】
パラメータ生成部２１０は、入力テキスト１０２を受けてラベル列１３２を出力するテキスト解析処理部１３０と、ラベル列１３２を入力として受けてフレームごとに音声パラメータの確率密度関数の平均ベクトルを出力するDNNからなるDNN音響モデル２３０と、予め学習データに基づいて算出された、音声パラメータのグローバル平均ベクトルと共分散行列を記憶する正規化パラメータ記憶部２３４と、DNN音響モデル２３０から与えられる平均ベクトルと、正規化パラメータ記憶部２３４から読み出したグローバル平均ベクトルと共分散行列とに基づいて逆正規化した音声合成パラメータを算出した後、最も尤度が高くなるような音声合成パラメータであるＦ０パラメータ２４２、有声／無声パラメータ２４４、及びスペクトル包絡パラメータ２４６の系列を出力し音声合成部１１２に与える音声合成パラメータ算出部２３２とを含む。Ｆ０パラメータ２４２及び有声／無声パラメータ２４４は音源信号生成部１５０に、スペクトル包絡パラメータ２４６は音声合成フィルタ１５２に、それぞれ与えられる。正規化パラメータ記憶部２３４に記憶されるグローバル平均ベクトル及び共分散行列は、DNNの学習時に学習データから算出され、全てのフレームにおいて共通して用いられる。
【００１９】
【数２】
2018013721.tif 000004
【００２０】
テキスト解析処理部１３０が出力するラベル列１３２はDNN音響モデル２３０の入力にフレームごとに与えられる。この入力に応答してDNN音響モデル２３０はフレームごとに出力の確率密度関数の平均ベクトルを出力する。このベクトルは音声合成パラメータ算出部２３２に与えられる。音声合成パラメータ算出部２３２は、正規化パラメータ記憶部２３４から正規化パラメータを読み出し、DNN音響モデル２３０からの平均ベクトルと組み合わせて得られる確率密度関数にしたがって、Ｆ０パラメータ２４２、有声／無声パラメータ２４４及びスペクトル包絡パラメータ２４６を生成し出力する。
【００２１】
音声合成部１１２の音源信号生成部１５０及び音声合成フィルタ１５２は、図２に示すものと同様にして音声信号２０４を合成し出力する。
【００２２】
DNN音声合成は、DNNに基づき、フレーム単位でモデル化が可能であり、加えて、HMM音声合成よりも高い品質の音声を生成可能である。しかしその中核をなすDNNについての制御・操作技術は未だ限定的であり、異音が発生した場合の修正の難しさ、及び、近年音声合成に適用されたことによる知見の少なさが問題点として挙げられる。
【先行技術文献】
【非特許文献】
【００２３】
【非特許文献１】B.  Chen,  Z.  Chen,  J.  Xu  and  K.  Yu,  “An  investigation  of  context  clustering  for  statistical  speech  synthesis  with  deep  neural  network,”  in  Proc.  ICASSP,  pp.  2212-2216,  2015.統合手法
【非特許文献２】H.  Zen,  M.  Gales,  Y.  Nankaku  and  K.  Tokuda,  “Product  of  experts  for  statistical  parametric  speech  synthesis.”  Audio,  Speech,  and  Language  Processing,  IEEE  Transactions  on,  20(3)  pp.  794-805,  2012.
【発明の概要】
【発明が解決しようとする課題】
【００２４】
SPSSの品質改善のため、様々な取り組みがなされている。その一つとして、異なるモデルを統合する試みがある。モデル統合には主に２種の方法が考えられる。一方はモデル同士を直列に接続する手法であり、他方は、モデルを並列に接続する手法である。
【００２５】
直列に接続する手法として、SPSSの代表的な手法であるDNNとHMM音声合成を組み合わせる手法が提案されている（非特許文献１）。この手法では、HMMの推定結果をDNNの入力としている。しかし、モデルを直列に接続しているため、柔軟にモデルを変更したり、複数のモデルを統合したりすることが困難である。
【００２６】
一方、並列に接続する手法は、柔軟性に優れ、簡易に複数のモデルを統合することが可能である。この手法の例として、Product-of-Experts（PoE）のフレームワークを用いた統合が挙げられる（非特許文献２）。非特許文献２に記載の手法では、2つの異なる種類のHMMをPoEにしたがって統合している。しかし、この手法は依然としてHMM音声合成を用いていることにより、確率密度関数が状態単位でしか変化しないため、フレーム単位で精緻にモデル化可能なDNNと比較して、性能面で課題が残る疑念がある。
【課題を解決するための手段】
【００２７】
HMM音声合成は、ラベル列から状態ごとに確率密度関数を推定し、系列として出力する。そのため、得られた確率分布系列は、状態ごとに平均ベクトル、共分散行列が変化する。また、DNN音声合成は、フレーム単位で確率密度関数の平均ベクトルを高精度に推定するが、共分散行列は全てのフレームで予め計算された固定の値を用いる。HMMとDNN音声合成の利点を活かすため、本発明では、PoEのフレームワークで両者を組み合わせる手段を提供する。
【００２８】
本発明の第１の局面に係る音声合成パラメータ生成装置は、発話すべき音素及びその文脈情報等を表すラベルからなるラベル列を受けて、音声の特徴を示す音声パラメータ系列を、音声合成の時間的単位であるフレームごとに出力し、音声パラメータから音声合成のための音声合成パラメータを生成する。この装置は、プログラム、HMMからなる第１の音響モデル、及びニューラルネットワーク（Neural Network：NN）からなる第２の音響モデルを記憶するメモリと、メモリに記憶されたプログラムを実行することにより、音声パラメータ系列をフレームごとに出力するプロセッサとを含む。プロセッサは、プログラムにより、ラベル列に対応したHMM状態系列を出力する継続長モデルを参照して、ラベル列に対応したHMMの状態系列を出力する状態系列決定ステップと、第１の音響モデルを参照して、前記状態系列を入力として、HMMから推定されるHMMパラメータ系列を状態ごとに出力する第１のモデルパラメータ生成ステップと、第２の音響モデルを参照して、前記状態系列とラベル列を入力として、NNから推定されるNNパラメータ系列をフレームごとに出力する第２のモデルパラメータ生成ステップと、第１のモデルパラメータ生成ステップにおいて出力されたHMMパラメータ系列と、第２のモデルパラメータ生成ステップにおいて出力されたNNパラメータ系列とを、フレームごとにPoEフレームワークにより統合して統合モデルパラメータとして出力するモデル統合ステップと、モデル統合ステップにおいて出力された統合モデルパラメータに基づいて音声合成パラメータ系列を生成し出力する音声合成パラメータ生成ステップとを含む方法を実行するようプログラムされている。
【００２９】
好ましくは、音声パラメータ系列を構成する音声パラメータの各々は複数の要素を持つベクトルである。HMMの各状態の出力の確率密度関数と、NNがモデリングする第２の確率密度関数は、いずれも音声パラメータのベクトルと同次元数のガウス分布を含む。
【００３０】
より好ましくは、第１のモデルパラメータ生成ステップにおいて出力される状態系列を構成する状態パラメータの各々は、状態ごとの出力の確率密度関数であるガウス分布を定義する平均ベクトル及び共分散行列を含む。第２のモデルパラメータ生成ステップにより生成されるNNパラメータ系列を構成するNNパラメータの各々は、フレームごとのガウス分布を定義する平均ベクトルを含む。抽出モデル合成ステップは、第１のモデルパラメータ生成ステップにおいて出力された平均ベクトル及び共分散行列により定義されるガウス分布と、第２のモデルパラメータ生成ステップにおいて出力された平均ベクトル並びに予め算出されたグローバル平均ベクトル及び固定の共分散行列により定義されるガウス分布とを、フレームごとにPoEフレームワークにより乗算して統合モデルパラメータとして出力するステップを含む。
【００３１】
第１のモデルパラメータ生成ステップにおいて出力される状態系列を構成するHMMパラメータの各々は、状態ごとに確率密度関数として定義されるガウス分布の平均ベクトル及び共分散行列を含む。第２のモデルパラメータ生成ステップにより生成されるNNパラメータは、フレームごとに定義されるガウス分布の平均ベクトルを含む。モデル統合ステップは、第１のモデルパラメータ生成ステップにおいて出力された平均ベクトル及び共分散行列により定義されるガウス分布と、第２のモデルパラメータ生成ステップにおいて出力された平均ベクトル並びに予め算出された固定のグローバル平均ベクトル及び共分散行列により定義されるガウス分布とを、フレームごとにPoEフレームワークにより重み付けで乗算して統合モデルパラメータとして出力するステップを含む。
【００３２】
第１のモデルパラメータ生成ステップにおいて出力される状態系列を構成するHMMパラメータの各々は、状態ごとのガウス分布を定義する平均ベクトル及び共分散行列を含んでもよい。第２のモデルパラメータ生成ステップにより生成されるNNパラメータは、フレームごとのガウス分布を定義する平均ベクトルを含んでもよい。第２のモデルパラメータ生成ステップは、第２の音響モデルを参照して、各フレームについて、第１のモデルパラメータ生成ステップにより当該フレームに割り当てられた状態に対応する音素のNNパラメータを出力するステップを含んでもよい。
【００３３】
本発明の第２の局面に係るコンピュータプログラムは、コンピュータを、上記したいずれかの音声合成パラメータ生成装置として機能させる。
【図面の簡単な説明】
【００３４】
【図１】HMMの概念的構成を示す模式図である。
【図２】従来のHMM音声合成手法を用いる音声合成装置のブロック図である。
【図３】DNNの概念的構成を示す模式図である。
【図４】従来のDNN音声合成手法を用いる音声合成装置のブロック図である。
【図５】本発明の実施の形態に係る音声合成装置のブロック図である。
【図６】PoEによる確率密度関数の乗算結果を説明するグラフである。
【図７】本発明の実施の形態に係る音声合成装置においてフレームごとに音声合成パラメータを生成する処理を実現するコンピュータプログラムの概略フローチャートである。
【図８】本発明の実施の形態に係る音声合成装置において使用するHMM及びDNNの学習を行うモデル学習装置のブロック図である。
【図９】本発明に係る音声合成装置で使用するモデルにおいてHMMとDNNを統合する際の重みによるＦ０パラメータの２乗平均誤差の変化を示すグラフである。
【図１０】本発明の各実施の形態に係る音声合成装置を実現するためのコンピュータシステムの外観を示す図である。
【図１１】図１０に示すコンピュータシステムを構成するコンピュータのハードウェア構成を示すブロック図である。
【発明を実施するための形態】
【００３５】
以下の説明及び図面では、同一の部品には同一の参照番号を付してある。したがって、それらについての詳細な説明は繰り返さない。以下に述べる実施の形態は、いずれもPoEのフレームワークを用いてDNNとHMMとを組み合わせる手法を採用している。なお、本実施の形態ではDNNを用いているが、NNとしてはこれに限らず、リカレントNN等を用いても良い。
【００３６】
＜構成＞
本発明の実施の形態に係る音声合成パラメータ生成装置を含む音声合成装置の概略ブロック図を図５に示す。図５を参照して、この音声合成装置２６０は、入力テキスト１０２を受けて、HMMとDNNを用いて入力テキスト１０２に対する音声合成パラメータを推定し、Ｆ０パラメータ２９２、有声／無声パラメータ２９４、及びスペクトル包絡パラメータ２９６を生成するパラメータ生成部２７０と、パラメータ生成部２７０からＦ０パラメータ２９２、有声／無声パラメータ２９４及びスペクトル包絡パラメータ２９６を受けて音声信号２６２を出力する、従来の技術で説明したものと同じ構成の音声合成部１１２とを含む。
【００３７】
パラメータ生成部２７０は、入力テキスト１０２に対して従来と同一のテキスト解析処理を行って、音素情報及び文脈情報を含むラベル列１３２を出力するテキスト解析処理部１３０と、ラベル列１３２を入力として受けてフレームごとに音声パラメータの確率密度関数の平均ベクトルを出力する、DNNからなるDNN音響モデル２８０と、図２に示したものと同様に接続された継続長モデル１３４及びHMM状態系列決定部１３８と、HMM音響モデル１３６とを含む。
【００３８】
パラメータ生成部２７０はさらに、DNN音響モデル２８０からフレームごとに出力される平均ベクトル、及び、DNN音響モデル２８０の学習時に予め算出されたグローバル平均ベクトルと共分散行列により規定される確率密度関数と、HMM状態系列決定部１３８から出力されるHMM系列にしたがってHMM音響モデル１３６から状態ごとに出力される平均ベクトル及び共分散行列により規定される確率密度関数とを、PoEフレームワークにしたがってフレームごとに重み付きで乗算して音声パラメータを統合し、統合後の音声パラメータを出力する音声パラメータ統合部２８４と、音声パラメータ統合部２８４による音声パラメータの統合時に使用される重みを記憶し音声パラメータ統合部２８４に出力する重み記憶部２８８と、DNN音響モデル２８０に対応する固定したグローバル平均ベクトルと共分散行列を記憶し、DNN音響モデル２８０の出力する音声パラメータを正規化するために音声パラメータ統合部２８４に出力する正規化パラメータ記憶部２８６と、音声パラメータ統合部２８４から出力される合成後の音声パラメータを用いて、Ｆ０パラメータ２９２、有声／無声パラメータ２９４、及びスペクトル包絡パラメータ２９６からなる音声合成パラメータを生成し出力する音声合成パラメータ算出部２９０とを含む。なお、上記した確率密度関数は、本実施の形態では、平均ベクトル及び共分散行列により定義されるガウス分布である。
【００３９】
この実施の形態では、前述したようにHMMとDNNとから得られる音声パラメータをPoEフレームワークにしたがって統合する。以下、この統合について説明する。PoEは複数の確率密度関数を、それらの間の積をとることにより１つの確率密度関数に統合する。
【００４０】
図６に示すように、乗算により、HMMとDNNを同時に満たす確率密度関数が得られる。図６において、横軸は確率変数を表し、縦軸は確率密度を表す。
【００４１】
本実施の形態では、DNNにより予測された確率密度関数と、HMMにより予測された確率密度関数とを以下のように統合する。なおこの実施の形態でも、DNNの確率密度関数のグローバル平均ベクトル及び共分散行列は、予め学習データから求められた、全てのフレームに共通のものを用いる。
【００４２】
【数３】
2018013721.tif 000005
【００４３】
この式によれば、一方では、PoEによる確率密度関数の平均ベクトルはDNNから得られる平均ベクトルの変動とともにフレームごとに変動する。他方では、確率密度関数の共分散行列はHMMの状態遷移に伴う共分散行列の変動とともに状態ごとに変動する。したがって、この確率密度関数は、フレームの移動に追従して変動する平均ベクトルと、HMMの状態の移動に追従して変動する共分散行列とにより定義されることになり、DNNとHMMの良い所を組み合わせたものとなる。
【００４４】
なお、本実施の形態ではさらに、両者の合成の際の重みを導入し、以下の式によりPoEによるモデルの合成を行う。
【００４５】
【数４】
2018013721.tif 000006
【００４６】
図７は、図５に示す音声パラメータ統合部２８４をコンピュータにより実現するためのコンピュータプログラムの制御構造を示すフローチャートである。図７を参照して、このプログラムは、以下に説明するモデル合成ステップ３３２を、音声合成の各フレームについて実行するステップ３３０を含む。
【００４７】
モデル合成ステップ３３２は、図５のHMM状態系列決定部１３８が出力するHMMの状態系列のうち、処理対象のフレームの時刻を含む状態の平均ベクトルと共分散行列とを含むHMMパラメータを読むステップ３４０と、図５のDNN音響モデル２８０が処理対象のフレームについて出力する平均ベクトルと、正規化パラメータ記憶部２８６に記憶されている固定されたグローバル平均ベクトル及び共分散行列とを含むDNNパラメータを読むステップ３４２とを含む。
【００４８】
【数５】
2018013721.tif 000007
【００４９】
上記した実施の形態に係るDNN音響モデル２８０及びHMM音響モデル１３６とは、互いに独立に学習したものでもよいが、PoEによる統合を行うために最適化されたものであればより好ましい。以下、DNNとHMMとをこの実施の形態に係る音声合成装置２６０のために最適化するためのDNNとHMMの同時学習方法について説明する。
【００５０】
図８に、このDNNとHMMの同時学習方法をフローチャート形式で示す。図８を参照して、この学習方法３６０は、通常のDNN及びHMMの学習と同様に、音響特徴量と、各音響特徴量に対応する音素及び文脈情報からなるラベル列とを含む学習データ３６２を準備するステップと、この学習データ３６２を用いて初期HMMの学習を行うステップ３８０及び初期DNNの学習を行うステップ３８２とを含む。このようにして初期学習が行われたHMMのパラメータ集合及びDNNのパラメータ集合を、ステップ３８４においてPoEにより次の式で与えられる尤度関数を最大化することにより最適化する。
【００５１】
【数６】
2018013721.tif 000008
【００５２】
【数７】
2018013721.tif 000009
【００５３】
【数８】
2018013721.tif 000010
【００５４】
【数９】
2018013721.tif 000011
ここで、EMアルゴリズムのEステップで算出される事後確率密度関数は次の式で与えられる。
【００５５】
【数１０】
2018013721.tif 000012
【００５６】
すなわち、図８を参照して、ステップ３８４は、与えられたHMM及びDNNを用いてPoEモデルを算出し、そのモデルを用いてHMM及びDNNに対する潜在変数の事後確率密度関数を同時に推定するEステップ４００と、Eステップ４００でそれぞれのモデルについて推定された事後確率分布を観測ベクトルとしてDNN及びHMMのパラメータを別々に最尤推定するMステップ４０２と、終了条件が充足するまで、Mステップ４０２の結果得られたモデルパラメータを新たなモデルパラメータとして、Eステップ４００及びMステップ４０２を繰り返し行うステップ４０４と、ステップ４０４で終了条件が成立したと判定されたときに、そのときのHMM及びDNNのパラメータ集合をHMM音響モデル３６４及びDNN音響モデル３６６として出力するステップ３８０とを含む。終了条件としては、PoEによる尤度関数が収束したか否か、HMM及びDNNのパラメータが収束したか否か、又は所定回数の繰り返しが終了したか否か、等が用いられる。HMM及びDNNのパラメータ集合はいずれも事前学習の段階で一度収束するまで学習が行われている。したがって、この処理で改めて更新する場合にも収束は早く、１回又は２回、上記処理を繰り返すことにより収束することが多い。
【００５７】
Eステップ４００は、入力されるHMM及びDNNに基づいてPoEモデルを算出するステップ４２０と、ステップ４２０で算出されたPoEモデルを用いてHMM及びDNNに対する潜在変数を同時推定し出力するステップ４２２とを含む。
【００５８】
Mステップ４０２は、ステップ４２２で同時推定された潜在変数を用いた事後確率分布を観測ベクトルとしてHMMのパラメータ集合を最尤推定し更新するステップ４４０と、同様にDNNのパラメータ集合を最尤推定し更新するステップ４４２とを含む。
【００５９】
HMMのパラメータ集合の更新には最急降下法等が用いられる。DNNのパラメータ集合の更新には確率的勾配降下法等が用いられる。
【００６０】
＜動作＞
図５〜図７に示した装置は以下のように動作する。なお、HMM及びDNNの最適化は、図８に示したとおりである。最適化したときの重みは重み記憶部２８８に記憶される。また、DNNの学習時にDNNの出力の確率密度関数の共分散行列が計算され、正規化パラメータ記憶部２８６に記憶される。
【００６１】
図５を参照して、テキスト解析処理部１３０は、入力テキスト１０２を解析することにより、ラベル列１３２を出力する。ラベル列１３２の各ラベルは、発話を構成する音素と、文脈情報とを含む。
【００６２】
DNN音響モデル２８０は、ラベル列１３２を受けて、発話のフレームごとに平均ベクトルを出力し音声パラメータ統合部２８４に与える。HMM状態系列決定部１３８は、ラベルに応じて決定木を探索して継続長モデル１３４から継続長を読み出すことにより入力テキスト１０２に対応するHMM状態系列を決定し、各状態における出力の確率密度関数の平均ベクトル及び共分散行列をHMM状態系列として音声パラメータ統合部２８４に与える。
【００６３】
音声パラメータ統合部２８４は、フレームごとに以下の処理（図７のステップ３３２）を繰り返す。すなわち、まずそのフレームを含む状態におけるHMMパラメータ（平均ベクトルと共分散行列）を読む（ステップ３４０）。続いて、そのフレームに対するDNNパラメータ（平均ベクトル）と、正規化パラメータ記憶部２８６に記憶されたグローバル平均ベクトル及び共分散行列を読む（ステップ３４２）。ステップ３４３で、両者の有声／無声パラメータが一致するか否かを判定する。両者が一致する場合、ステップ３４４で、PoEに基づくモデルの確率密度関数の平均ベクトル及び共分散行列を式（７）及び式（８）により算出する。さもなければ、ステップ３４５で有声／無声パラメータを除いてPoEに基づくモデルの確率密度関数の平均ベクトル及び共分散行列をそれぞれ式（７）及び式（８）により算出し、有声／無声パラメータとしてはDNNのものをそのまま出力する。続くステップ３４６で、こうして算出された平均ベクトルと共分散行列を現フレームにおける確率密度関数として出力する。
【００６４】
ステップ３３２の処理を、発話を構成する全てのフレームについて行うことにより、入力テキスト１０２に基づく音声合成が行われる。
【００６５】
我々は、PoEによるモデルの合成において、DNNとHMMとの重みを様々な値に替えて、得られたPoEモデルによる音声合成の品質について調べた。結果を図９に示す。
【００６６】
図９を参照して、HMMの重みが１でDNNの重みが０のときが左端、HMMの重みが０でDNNの重みが１のときが右端である。図９のグラフから、DNNの重みが０．７５から０．９８程度の範囲でPoEによるシステムがDNN及びHMMの単独のシステムの性能を明らかに上回っている。DNNの重みが０．９の前後±0.05の範囲で特に性能が高くなることが分かる。
【００６７】
なお、上記実施の形態では、図７に示すようにフレームごとにそのフレームに対応するDNNからのパラメータ及びHMMからのパラメータを読み出している。しかし本発明はそのような実施の形態には限定されない。HMMパラメータは状態ごとに変化するだけなので、状態が変化したときにのみ読みだすこととし、各フレームの処理では読み出さないようにしてもよい。
【００６８】
また上の実施の形態は、２つのモデルDNNとHMMをPoEフレームワークにより合成している。しかし本発明はそのような実施の形態には限定されない。３つ以上のモデルであっても、一つのモデルの欠点を他のモデルにより補うことができるような場合、すなわち、互いが異なる考え方により作成された音響モデルであるような場合には、本発明を適用できる。
【００６９】
［コンピュータによる実現］
本発明の実施の形態に係る音声合成パラメータ生成装置を含む音声合成装置２６０は、コンピュータハードウェアと、そのコンピュータハードウェア上で実行されるコンピュータプログラムとにより実現できる。図１０はこのコンピュータシステム５３０の外観を示し、図１１はコンピュータシステム５３０の内部構成を示す。
【００７０】
図１０を参照して、このコンピュータシステム５３０は、メモリポート５５２及びＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｃ）ドライブ５５０を有するコンピュータ５４０と、キーボード５４６と、マウス５４８と、モニタ５４２とを含む。
【００７１】
図１１を参照して、コンピュータ５４０は、メモリポート５５２及びＤＶＤドライブ５５０に加えて、ＣＰＵ（中央処理装置）５５６と、ＣＰＵ５５６、メモリポート５５２及びＤＶＤドライブ５５０に接続されたバス５６６と、ブートプログラム等を記憶する読出専用メモリ（ＲＯＭ）５５８と、バス５６６に接続され、プログラム命令、システムプログラム及び作業データ等を記憶するランダムアクセスメモリ（ＲＡＭ）５６０と、ハードディスク５５４を含む。コンピュータシステム５３０はさらに、他端末との通信を可能とするネットワーク５６８への接続を提供するネットワークインターフェイス（Ｉ／Ｆ）５４４を含む。
【００７２】
コンピュータシステム５３０を上記した実施の形態に係る音声合成装置２６０の各機能部として機能させるためのコンピュータプログラムは、ＤＶＤドライブ５５０又はメモリポート５５２に装着されるＤＶＤ５６２又はリムーバブルメモリ５６４に記憶され、さらにハードディスク５５４に転送される。又は、プログラムはネットワーク５６８を通じてコンピュータ５４０に送信されハードディスク５５４に記憶されてもよい。プログラムは実行の際にＲＡＭ５６０にロードされる。ＤＶＤ５６２から、リムーバブルメモリ５６４から又はネットワーク５６８を介して、直接にＲＡＭ５６０にプログラムをロードしてもよい。
【００７３】
このプログラムは、コンピュータ５４０を、上記実施の形態に係る音声合成装置２６０の各機能部として機能させるための複数の命令からなる命令列を含む。コンピュータ５４０にこの動作を行わせるのに必要な基本的機能のいくつかはコンピュータ５４０上で動作するオペレーティングシステム若しくはサードパーティのプログラム又はコンピュータ５４０にインストールされる、ダイナミックリンク可能な各種プログラミングツールキット又はプログラムライブラリにより提供される。したがって、このプログラム自体はこの実施の形態のシステム、装置及び方法を実現するのに必要な機能全てを必ずしも含まなくてよい。このプログラムは、命令のうち、所望の結果が得られるように制御されたやり方で適切な機能又はプログラミングツールキット又はプログラムライブラリ内の適切なプログラムを実行時に動的に呼出すことにより、上記したシステム、装置又は方法としての機能を実現する命令のみを含んでいればよい。もちろん、プログラムのみで必要な機能を全て提供してもよい。
【００７４】
＜実施の形態の作用及び効果＞
本発明では、HMM音声合成とDNN音声合成のモデルを、どちらの制約も満たすことの出来るProduct-of-Expertsのフレームワークを用いて、統合する。つまり、HMMとDNNの制約を満たした上で、平均ベクトルは精度の高いDNNを用いて、分散はHMMを利用するといったことが可能となる。DNN音声合成の精度で平均ベクトルを推定しつつ、HMM音声合成の分散を考慮した音声合成パラメータを生成することが可能となり、より品質の高い合成音声を生成する。すなわち、DNNとHMM音声合成等、音声合成のための複数の異なるタイプのモデルで生成されたパラメータの内、どちらか一方では品質劣化を招く場合に、もう一方のパラメータで補うことが出来る。同様の考え方で、複数のモデルを統合することも可能である。統合する対象のモデルも、互いに異なる種類のモデルで相互の長所を組み合わせることができるモデルであれば、それらから得られるパラメータを統合して音声合成パラメータの品質を高くできる。また上記実施の形態のように、統合対象となるモデルを最適化するにあたって、PoEのフレームワークに潜在変数を導入することにより、統合元のモデルに対して条件付き独立性を生み出し、EMアルゴリズムによる学習を可能にする。EMアルゴリズムにより、最尤な解に収束することが保証される。したがって複数のモデルから得た音声パラメータを安定して統合することが可能になる。複数のモデルの制約を満たした音声パラメータ系列が生成できることにより、合成音声の品質劣化を防止し、品質の高い合成音声が生成できる。
【００７５】
今回開示された実施の形態は単に例示であって、本発明が上記した実施の形態のみに制限されるわけではない。本発明の範囲は、発明の詳細な説明の記載を参酌した上で、特許請求の範囲の各請求項によって示され、そこに記載された文言と均等の意味及び範囲内での全ての変更を含む。
【符号の説明】
【００７６】
Ｓ１１、Ｓ１２、Ｓ１３  状態
６０  HMM
１００、２００、２６０  音声合成装置
１０２  入力テキスト
１０４、２０４、２６２  音声信号
１１０、２１０、２７０  パラメータ生成部
１１２  音声合成部
１３０  テキスト解析処理部
１３２  ラベル列
１３４  継続長モデル
１３６、３６４  HMM音響モデル
１３８  HMM状態系列決定部
１４０、２３２、２９０  音声合成パラメータ算出部
１４２、２４２、２９２  Ｆ０パラメータ
１４４、２４４、２９４  有声／無声パラメータ
１４６、２４６、２９６  スペクトル包絡パラメータ
１５０  音源信号生成部
１５２  音声合成フィルタ
１７０  DNN
１７２  入力層
１７４、１７６  隠れ層
１７８  出力層
２３０、２８０、３６６  DNN音響モデル
２３４、２８６  正規化パラメータ記憶部
２８４  音声パラメータ統合部
２８８  重み記憶部
３３２  モデル合成ステップ
３６２  学習データ
４００  Eステップ
４０２  Mステップ
【図１】
2018013721.tif 000013
【図２】
2018013721.tif 000014
【図３】
2018013721.tif 000015
【図４】
2018013721.tif 000016
【図５】
2018013721.tif 000017
【図６】
2018013721.tif 000018
【図７】
2018013721.tif 000019
【図８】
2018013721.tif 000020
【図９】
2018013721.tif 000021
【図１０】
2018013721.tif 000022
【図１１】
2018013721.tif 000023