(57)【要約】【課題】学習データに含まれない変動要因値の組に対応する合成音声を生成することができる技術を提供する。【解決手段】ニューラルネットワーク学習部１２は、音声データ及び発話情報の組のそれぞれには２以上の変動要因のそれぞれにおける変動要因値が対応付けられているとし、ニューラルネットワークを構成する少なくとも１つの層のそれぞれを変動層とし、各変動層は各変動要因における各変動要因値に対応する層を含むとして、音声データ及び発話情報の組を用いたニューラルネットワークの学習を、上記変動層として上記音声データ及び発話情報に対応する各変動要因値に対応する層を用いて行うことにより音声合成用ニューラルネットワークを生成する。【選択図】図１
2018205654.tif 000002
【特許請求の範囲】
【請求項１】
音声データ及び発話情報の組のそれぞれには２以上の変動要因のそれぞれにおける変動要因値が対応付けられているとし、ニューラルネットワークを構成する少なくとも１つの層のそれぞれを変動層とし、各変動層は各変動要因における各変動要因値に対応する層を含むとして、音声データ及び発話情報の組を用いたニューラルネットワークの学習を、上記変動層として上記音声データ及び発話情報に対応する各変動要因値に対応する層を用いて行うことにより音声合成用ニューラルネットワークを生成するニューラルネットワーク学習部、
を含む音声合成学習装置。
【請求項２】
請求項１の音声合成学習装置において、
上記変動層の入力値は音声データ及び発話情報に対応する各変動要因値に対応する層に入力され、音声データ及び発話情報に対応する各変動要因値に対応する層からの出力値の加算値が上記変動層の出力値とされる、
音声合成学習装置。
【請求項３】
請求項１の音声合成学習装置において、
上記変動層の入力値は音声データ及び発話情報に対応する各変動要因値に対応する層に入力され、音声データ及び発話情報に対応する各変動要因値に対応する層からの出力値を上記各変動要因値を重みとして重み付き加算した値が上記変動層の出力値とされる、
音声合成学習装置。
【請求項４】
請求項１から３の何れかの音声合成装置により生成された音声合成用ニューラルネットワークが記憶されている音声合成用ニューラルネットワーク記憶部と、
上記音声合成用ニューラルネットワークを構成する少なくとも１つの層のそれぞれを変動層とし、各変動層は各変動要因における各変動要因値に対応する層を含むとして、上記音声合成用ニューラルネットワーク記憶部から読み込んだ音声合成用ニューラルネットワークに、音声合成の対象となるテキストの各発話情報を入力することにより音声特徴量を生成する処理を、上記変動層として入力された各変動要因における変動要因値に対応する層を用いて行う音声特徴量生成部と、
上記生成された音声特徴量に基づいて合成音声を生成する音声合成部と、
を含む音声合成装置。
【請求項５】
ニューラルネットワーク学習部が、音声データ及び発話情報の組のそれぞれには２以上の変動要因のそれぞれにおける変動要因値が対応付けられているとし、ニューラルネットワークを構成する少なくとも１つの層のそれぞれを変動層とし、各変動層は各変動要因における各変動要因値に対応する層を含むとして、音声データ及び発話情報の組を用いたニューラルネットワークの学習を、上記変動層として上記音声データ及び発話情報に対応する各変動要因値に対応する層を用いて行うことにより音声合成用ニューラルネットワークを生成するニューラルネットワーク学習ステップ、
を含む音声合成学習方法。
【請求項６】
音声特徴量生成部が、音声合成用ニューラルネットワークを構成する少なくとも１つの層のそれぞれを変動層とし、各変動層は各変動要因における各変動要因値に対応する層を含むとして、請求項５の音声合成方法により生成された音声合成用ニューラルネットワークが記憶されている音声合成用ニューラルネットワーク記憶部から読み込んだ音声合成用ニューラルネットワークに、音声合成の対象となるテキストの各発話情報を入力することにより音声特徴量を生成する処理を、上記変動層として入力された各変動要因における変動要因値に対応する層を用いて行う音声特徴量生成ステップと、
音声合成部が、上記生成された音声特徴量に基づいて合成音声を生成する音声合成ステップと、
を含む音声合成方法。
【請求項７】
請求項１から３の何れかの音声合成学習装置又は請求項４の音声合成装置の各部としてコンピュータを機能させるためのコンピュータ読み取り可能なプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、合成音声を生成するための学習技術又は合成音声を生成する技術に関する。
【背景技術】
【０００２】
音声合成の分野で、Deep Neural Network（DNN）に基づく音声合成技術が提案されている（例えば、非特許文献１参照。）。この音声合成技術は、これまでの手法と比較すると高品質な合成音声が生成可能であることが知られている。また、１つのDNNで複数の話者の音声特徴量（スペクトル、音高等）をモデル化する手法も提案されており、有効性が知られている（例えば、非特許文献２参照。）。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】Zen, Heiga, Andrew Senior, and Mike Schuster. "Statistical parametric speech synthesis using deep neural networks." Acoustics, Speech and Signal Processing (ICASSP), 2013 IEEE International Conference on. IEEE, 2013.
【非特許文献２】Fan, Yuchen, et al. "Multi-speaker modeling and speaker adaptation for DNN-based TTS synthesis." Acoustics, Speech and Signal Processing (ICASSP), 2015 IEEE International Conference on. IEEE, 2015.
【発明の概要】
【発明が解決しようとする課題】
【０００４】
非特許文献２の技術では、１つのDNNで複数の話者の音声特徴量をモデル化するために、ネットワークの出力層を話者ごとに保持するという構造をとっている。しかし、この構造では、学習データに含まれない話者及び発話様式の合成音声を生成することができない。ここで、発話様式とは感情表現（楽しい、悲しい、怒り等）や場面に応じた話し方（丁寧に話す、ぞんざいに話す等）といった話し方に関する情報のことである。例えば、学習データとして、話者Aについては発話様式1, 2, 3、話者Bについては発話様式1のみが与えられる場合に、話者Bの発話様式2の合成音声を生成することはできない。
【０００５】
この発明の目的は、学習データに含まれない変動要因値（例えば、話者及び発話様式）の組に対応する合成音声を生成するための音声合成用ニューラルネットワークを生成することができる音声合成学習装置、学習データに含まれない変動要因値の組に対応する合成音声を生成することができる音声合成装置、これらの方法及びプログラムを提供することである。
【課題を解決するための手段】
【０００６】
この発明の一態様による音声合成学習装置は、音声データ及び発話情報の組のそれぞれには２以上の変動要因のそれぞれにおける変動要因値が対応付けられているとし、ニューラルネットワークを構成する少なくとも１つの層のそれぞれを変動層とし、各変動層は各変動要因における各変動要因値に対応する層を含むとして、音声データ及び発話情報の組を用いたニューラルネットワークの学習を、変動層として音声データ及び発話情報に対応する各変動要因値に対応する層を用いて行うことにより音声合成用ニューラルネットワークを生成するニューラルネットワーク学習部を備えている。
【０００７】
この発明の一態様による音声合成装置は、の音声合成装置により生成された音声合成用ニューラルネットワークが記憶されている音声合成用ニューラルネットワーク記憶部と、音声合成用ニューラルネットワークを構成する少なくとも１つの層のそれぞれを変動層とし、各変動層は各変動要因における各変動要因値に対応する層を含むとして、音声合成用ニューラルネットワーク記憶部から読み込んだ音声合成用ニューラルネットワークに、音声合成の対象となるテキストの各発話情報を入力することにより音声特徴量を生成する処理を、変動層として入力された各変動要因における変動要因値に対応する層を用いて行う音声特徴量生成部と、生成された音声特徴量に基づいて合成音声を生成する音声合成部と、備えている。
【発明の効果】
【０００８】
この発明により、学習データに含まれない変動要因値の組に対応する合成音声を生成するための音声合成用ニューラルネットワークを生成することができる。または、この発明により、学習データに含まれない変動要因値の組に対応する合成音声を生成することができる。
【図面の簡単な説明】
【０００９】
【図１】音声合成学習装置及び音声合成装置の例を説明するためのブロック図。
【図２】音声合成学習方法及び音声合成方法の例を説明するための流れ図。
【図３】音素セグメンテーション情報の例を示す図。
【図４】変動要因値の例を示す図。
【図５】ニューラルネットワーク学習部１２の処理の例を説明するための図。
【図６】ニューラルネットワーク学習部１２の処理の例を説明するための図。
【図７】変動要因値の例を示す図。
【発明を実施するための形態】
【００１０】
［音声合成学習装置及び方法］
図１に示すように、音声合成学習装置は、モデル学習部１及び音声合成用ニューラルネットワーク記憶部２を例えば備えている。モデル学習部１は、ベクトル表現獲得部１１と、ニューラルネットワーク学習部と例えばを備えている。
【００１１】
音声合成学習方法は、音声合成学習装置が、図２及び以下に説明するステップＳ１１からステップＳ１２の処理を行うことにより例えば実現される。
【００１２】
モデル学習部１には、音声データ、発話情報及び変動要因値が入力される。
【００１３】
音声データは、予め収録された、音声合成用ニューラルネットワークの学習に使用される音声データである。音声データは、例えば、N,Sをそれぞれ2以上の整数として、N名の話者がS個の発話様式で発話した音声のデータである。音声データは、収録により得られた音声信号に対して信号処理を行うことにより得られる音響特徴量である。音響特徴量の例は、基本周波数等の音高パラメータ、ケプストラム、メルケプストラム等のスペクトルパラメータの少なくとも１つである。
【００１４】
発話情報は、音声データ中の各発話に対して付与された発音等の情報である。音声データ中の各発話に１つの発話情報が付与されている。発話情報には、各音素、その各音素の開始時間、終了時間の情報等の音素セグメンテーション情報が保存されている。この開始時間及び終了時間は、各発話の始点を0[秒]とした時の経過時間である。音素セグメンテーション情報の例を図３に示す。また、発話情報には、音素セグメンテーション情報以外にも、アクセント型、アクセント句長等のアクセント情報、品詞情報等が含まれていてもよい。
【００１５】
音声データには、各変動要因の値である変動要因値が付与されているものとする。変動要因は、非言語情報、パラ言語情報といった音韻以外で音声が変化する要素である。非言語情報は、話者によって意図的に変化させることができない、話者、健康状態等の要因である。パラ言語情報は、話者によって意図的に変化させることができる、発話様式等の要因である。発話様式は、楽しい、悲しい、怒り等の感情表現や、場面に応じた丁寧に話す、ぞんざいに話す等の話し方といった話し方に関する情報のことである。
【００１６】
変動要因として、話者、発話様式という２種類の変動要因を用いた場合を例に挙げて説明する。もちろん、３種類以上の変動要因が用いられてもよい。
【００１７】
話者、発話様式以外の変動要因の例としては、話者の性別（男性、女性）、話者の年代（成人、高齢者、子供等）、話者の健康状態（風邪をひいている等）、声質の特徴（かすれた声、太い声等）等が挙げられる。
【００１８】
変動要因は、少なくとも１つの変動要因値を取ることができる。例えば、話者の変動要因は、話者A、話者B等の変動要因値を取ることができる。また、発話様式の変動要因は、発話様式1、発話様式2等の変動要因値を取ることができる。変動要因値は、変動要因を識別するための識別子でもある。
【００１９】
変動要因値の例を図４に示す。図４の例では、一発話の中で、話者、発話様式は変化しないものとして、一発話において話者、発話様式の識別子は共通のものが付与されている。図４の例は、ある音声データのある発話についての、話者の変動要因の変動要因値が話者Aであり、発話様式の変動要因値が発話様式1であることを表している。
【００２０】
ベクトル表現獲得部１１は、発話情報及び変動要因値を、ニューラルネットワーク学習部１２で使用可能な数値表現に変換する（ステップＳ１１）。具体的には、ベクトル表現獲得部１１は、発話情報を言語ベクトルに変換し、話者の変動要因値を話者ベクトルに変換し、発話様式の変動要因値を発話様式ベクトルに変換する。変換された数値表現、言い換えれば、言語ベクトル、話者ベクトル及び発話様式ベクトルは、ニューラルネットワーク学習部１２に出力される。
【００２１】
発話情報から言語ベクトルへの変換は、例えば非特許文献１に記載された手法と同様の手法を用いて、発話情報の中の音素やアクセント等を数値ベクトルへ変換することにより行われる。もちろん、非特許文献１に記載された手法以外の数値ベクトルへの変換手法が用いられてもよい。
【００２２】
話者の変動要因値から話者ベクトルへの変換及び発話様式の変動要因値から発話様式ベクトルへの変換には、いわゆるone-hot表現が用いられる。ある変動要因における取り得る変動要因値の数をMとすると、one-hot表現のベクトルは、M次元であり、その変動要因値に対応する次元が1、それ以外の次元が0となるベクトルである。
【００２３】
例えば、話者の変動要因は、話者A、話者Bという２個の変動要因値を取り得るとする。この場合、話者Aの話者ベクトルは(1,0)、話者Bの話者ベクトルは(0,1)となる。
【００２４】
また、例えば、発話様式の変動要因は、発話様式1、発話様式2、発話様式3という３個の変動要因値を取り得るとする。この場合、発話様式1の発話様式ベクトルは(1,0,0)、発話様式2の話者ベクトルは(0,1,0)、発話様式3の話者ベクトルは(0,0,1)となる。
【００２５】
ニューラルネットワーク学習部１２には、音声データ及び発話情報の組のそれぞれと、その音声データ及び発話情報の組に対応する変動要因値が入力される。例えば、音声データである音響特徴量と、その音声データの発話情報の言語ベクトルと、その音声データ及び発話情報の組に対応する変動要因値の話者ベクトル及び発話様式ベクトルとがニューラルネットワーク学習部１２に入力される。
【００２６】
ニューラルネットワーク学習部１２は、これらの入力された情報を用いて、音響特徴量を推定するニューラルネットワークを学習する（ステップＳ１２）。学習により得られた音声合成用ニューラルネットワークは、音声合成用ニューラルネットワーク記憶部２に記憶される。
【００２７】
ニューラルネットワークの学習アルゴリズムとしては、非特許文献１、非特許文献２等に記載された既存の学習アルゴリズムを用いることができる。しかし、非特許文献２では出力層を話者によって切り替えているのに対し、ここでは、以下に説明するように、任意の層（出力層、隠れ層又は入力層）を話者ベクトル、発話様式ベクトルによって選択される２つの層を用いて学習を行う。
【００２８】
例えば、ニューラルネットワークを構成する少なくとも１つの層のそれぞれを変動層とする。そして、各変動層は各変動要因における各変動要因値に対応する層を含むとする。図５に、変動層が出力層という１個の層であり、話者及び発話様式という２個の変動要因がある場合のニューラルネットワークの模式図の例を示す。図５のように、変動層は、話者の変動要因の各変動要因値に対応する層である話者A, 話者B,…, 話者Nの層と、発話様式の変動要因の各変動要因値に対応する層である発話様式1, 発話様式2,…, 発話様式Sの層とを含んでいる。
【００２９】
ここで、各変動要因において、入力された変動要因値に対応する層が選択される。例えば、音声データ及び発話情報の組に対応する話者ベクトルに対応する層が話者A, 話者B,…, 話者Nの中から選択され、音声データ及び発話情報の組に対応する発話様式ベクトルに対応する層が発話様式1, 発話様式2,…, 発話様式Sの中から選択される。そして、その音声データ及び発話情報の組を用いたニューラルネットワークの学習の際には、これらの選択された２個の層が変動層として用いられる。すなわち、変動層の入力値は、選択された２個の層のそれぞれに入力され、選択された２個の層のそれぞれに対応する演算が行われる。そして、選択された２個の層のそれぞれからの演算結果である出力値の加算値が、変動層の出力値となる。
【００３０】
なお、図６のように、変動層が出力層という１個の層であり、Ｆを３以上の所定の整数として、Ｆ個の変動要因がある場合には、変動層は、変動要因１の各変動要因値に対応する層であるFactor 1-1, Factor 1-2,…, Factor 1-N1の層と、変動要因２の各変動要因値に対応する層であるFactor 2-1, Factor 2-2,…, Factor 2-N2の層と、・・・、変動要因Ｆの各変動要因値に対応する層であるFactor F-1, Factor F-2,…, Factor 2-NFの層とを含んでいる。この場合には、入力された変動要因１の変動要因値に対応する層が、Factor 1-1, Factor 1-2,…, Factor 1-N1の中から選択され、入力された変動要因２の変動要因値に対応する層が、Factor 2-1, Factor 2-2,…, Factor 2-N2の中から選択され、・・・、入力された変動要因Ｆの変動要因値に対応する層が、Factor F-1, Factor F-2,…, Factor F-NFの中から選択される。そして、対応する音声データ及び発話情報の組を用いたニューラルネットワークの学習の際には、これらの選択されたＦ個の層が変動層として用いられる。すなわち、変動層の入力値は、選択されたＦ個の層のそれぞれに入力され、選択されたＦ個の層のそれぞれに対応する演算が行われる。そして、選択されたＦ個の層のそれぞれからの演算結果である出力値の加算値が、変動層の出力値となる。
【００３１】
このように、変動層の入力値は音声データ及び発話情報に対応する各変動要因値に対応する層に入力され、音声データ及び発話情報に対応する各変動要因値に対応する層からの出力値の加算値が変動層の出力値とされる。
【００３２】
ニューラルネットワーク学習部１２は、上記の処理を、音声データ及び発話情報の複数の組のそれぞれに対して行う。
【００３３】
なお、ニューラルネットワークとして、通常のMultilayer perceptron（MLP）だけでなく、Recurrent Neural Network（RNN）、RNN-LSTM（long short term memory）、Convolutional Neural Network（CNN）等のニューラルネットワーク、またそれらを組み合わせたニューラルネットワークを使用することが可能である。
【００３４】
このように、例えば変動層は各話者に相当する層及び各発話様式に相当する層を有するとして、ニューラルネットワーク学習部１２は、話者ベクトル及び発話様式ベクトルに応じて学習対象とする層を切り替える。これにより、各話者に相当する層には発話様式によらずその各話者の情報が含まれるようになり、各発話様式に相当する層には話者によらずその各発話様式の情報が含まれるようになる。このため、後述する音声合成部４において、例えば、学習データに含まれない話者と発話様式の組合せの合成音声を生成することが可能となる。
【００３５】
［音声合成装置及び方法］
図１に示すように、音声合成装置は、音声合成用ニューラルネットワーク記憶部２、テキスト解析部３、音声特徴量生成部４及び音声合成部５を例えば備えている。
【００３６】
音声合成方法は、音声合成装置が、ステップＳ３からステップＳ５の処理を行うことにより例えば実現される。
【００３７】
音声合成用ニューラルネットワーク記憶部２には、音声合成学習装置により生成された音声合成用ニューラルネットワークが記憶されている。［音声合成学習装置及び方法］の欄で説明したニューラルネットワークと同様に、音声合成用ニューラルネットワークは、音声合成用ニューラルネットワークを構成する少なくとも１つの層のそれぞれを変動層として、各変動層は各変動要因における各変動要因値に対応する層を含む。ここで、考慮する変動要因は、予め定められたものであり、音声合成用ニューラルネットワーク記憶部２に記憶された音声合成用ニューラルネットワークを生成するときに考慮した変動要因と同じであるとする。
【００３８】
テキスト解析部３には、音声合成の対象となるテキストが入力される。テキスト解析部３は、入力されたテキストをテキスト解析することにより、入力テキストに対応する発話情報を得る（ステップＳ３）。また、テキスト解析部３は、得られた発話情報を、音声特徴量生成部４で使用可能な数値表現に変換する。具体的には、テキスト解析部３は、発話情報を言語ベクトルに変換する。言語ベクトルへの変換は、ベクトル表現獲得部１１で行われた言語ベクトルへの変換と同様に行われる。変換された言語ベクトルは、音声特徴量生成部４に出力される。
【００３９】
音声特徴量生成部４には、テキスト解析部３により得られた発話情報（より正確には発話情報の言語ベクトル）と、各変動要因の変動要因値とが入力される。ユーザは、キーボード、マウス等の入力手段により、各変動要因について所望の変動要因値が入力可能であるとする。
【００４０】
音声特徴量生成部４は、音声合成用ニューラルネットワーク記憶部２から読み込んだ音声合成用ニューラルネットワークに、音声合成の対象となるテキストの各発話情報を入力することにより音声特徴量を生成する処理を、変動層として入力された各変動要因報に対応する各変動要因値に対応する層を用いて行う（ステップＳ４）。生成された音声特徴量は、音声合成部５に出力される。
【００４１】
この際、各変動要因において、入力された変動要因値に対応する層が選択される。また、変動層の入力値は選択された各変動要因値に対応する層に入力され、選択された各変動要因値に対応する層からの出力値の加算値が変動層の出力値とされる。
【００４２】
変動要因値に対応する層の選択及び変動層における演算の例は、ニューラルネットワーク学習部１２の説明の中で示した例と同じである。
【００４３】
音声合成部５には、音声特徴量生成部４で生成された音声特徴量が入力される。音声合成部５は、入力された音声特徴量から、音声波形生成により合成音声を得る（ステップＳ５）。
【００４４】
音声波形生成には、例えば参考文献１に記載された音声波形生成技術を用いることができる。
【００４５】
〔参考文献１〕今井他，“音声合成のためのメル対数スペクトル近似（MLSA）フィルタ”，電子情報通信学会論文誌 A  Vol.J66-A  No.2  pp.122-129, Feb. 1983.
【００４６】
なお、音声合成部５は、音声波形生成の前に、例えば参考文献２に記載されたmaximum likelihood generation (MLPG) アルゴリズムを用いて時間方向に平滑化された音声パラメータ系列を得てもよい。この場合、音声合成部５は、平滑化された音声パラメータ系列に基づいて、音声波形生成により合成音声を得る。
【００４７】
〔参考文献２〕益子他，“動的特徴を用いたHMMに基づく音声合成”，信学論，vol.J79-D-II，no.12，pp.2184-2190，Dec. 1996.
【００４８】
本発明のニューラルネットワーク構造では、例えば、話者に相当する層には発話様式によらず当該話者の情報が含まれるように、各発話様式に相当する層には話者によらず当該発話様式の情報が含まれることが期待される。そのため、音声合成装置において指定される音声合成対象の話者、発話様式の組み合わせが、学習時の音声データに存在しない場合でも、対象となる話者、発話様式の合成音声を生成することが可能となる。例えば、話者Bの音声データ中に発話様式1しかない場合でも、話者Aに発話様式2の音声データがあれば話者Bの発話様式2の合成音声が生成できるようになる。
【００４９】
［変形例］
上記の実施形態では、例えば話者、発話様式を識別子として与えていたが、それでは例えば発話様式の表出度合（感情表現が強い、弱い等）を反映した合成音声を生成することができない可能性がある。また、実際の音声データでは感情の表出度合いは常に一定ではなく、発話によってばらついているため、そういったばらつきを考慮してニューラルネットワークを学習することが望ましい。そのため、例えば、話者、発話様式とその表出度合を使用することで、発話様式の表出度合を制御可能にしてもよい。
【００５０】
この変形例では、各変動要因の変動要因値として、その各変動要因が取り得る変動要因値のそれぞれの重みが付与される。重みの付与は、予め人手によって主観的に行われてもよいし、例えば［参考文献３］の手法により自動的に行われてもよい。発話様式の変動要因だけではなく、話者の変動要因についても変動要因値として例えば［参考文献３］の手法により自動的に重みが付与されてもよい。
【００５１】
〔参考文献３〕T. Nose, et al., "A technique for estimating intensity of emotional expressions and speaking styles in speech based on multiple-regression", HSMM, IEICE TRANSACTIONS on Information and Systems, 2010
【００５２】
変形例における変動要因値の例を、図７に示す。図７（ａ）の例では、発話様式の変動要因は、発話様式（楽しい）、発話様式（悲しい）、発話様式（怒り）という３個の変動要因値を取り得る。そして、発話様式（楽しい）の変動要因値として０．５、発話様式（悲しい）の変動要因値として０、発話様式（怒り）の変動要因値として０という重みがそれぞれ与えられている。図７（ｂ）の例では、発話様式（楽しい）の変動要因値として０．５、発話様式（悲しい）の変動要因値として０、発話様式（怒り）の変動要因値として０．２という重みがそれぞれ与えられている。
【００５３】
この場合、音声合成学習装置のニューラルネットワーク学習部１２では、変動層の入力値は音声データ及び発話情報に対応する各変動要因値に対応する層に入力され、音声データ及び発話情報に対応する各変動要因値に対応する層からの出力値を各変動要因値を重みとして重み付き加算した値が変動層の出力値とされる。また、音声合成装置の音声特徴量生成部では、変動層の入力値は入力された各変動要因値に対応する層に入力され、各変動要因値に対応する層からの出力値を各変動要因値を重みとして重み付き加算した値が変動層の出力値とされる。
【００５４】
例えば、話者及び発話様式という２個の変動要因があり、話者の変動要因については、話者Aの変動要因値として１、話者Bの変動要因値として０、発話様式の変動要因については、発話様式（楽しい）の変動要因値として０．５、発話様式（悲しい）の変動要因値として０、発話様式（怒り）の変動要因値として０．２という重みがそれぞれ与えられている場合には、変動層の入力値は、話者Aの変動要因値に対応する層、話者Bの変動要因値に対応する層、発話様式（楽しい）の変動要因値に対応する層、発話様式（悲しい）の変動要因値に対応する層及び発話様式（怒り）の変動要因値に対応する層のそれぞれに入力される。
【００５５】
これらの各層では、変動層の入力値に対して、その各層に対応する演算が行われる。話者Aの変動要因値に対応する層における演算結果をRA、話者Aの変動要因値に対応する層における演算結果をRB、発話様式（楽しい）の変動要因値に対応する層における演算結果をR1とし、発話様式（悲しい）の変動要因値に対応する層における演算結果をR2とし、発話様式（怒り）の変動要因値に対応する層における演算結果をR3とする。これらの演算結果RA,RB,R1,R2,R3は、変動要因値に基づいて重み付き加算され、この加算結果が変動層の出力値とされる。すなわち、変動層の出力値は、RA×１+RB×０+R1×０．５+R2×０+R3×０．２となる。
【００５６】
このように、ある変動要因において、変動要因値の重みを０より大の重みを有する変動要因値の数を２個以上とすることで、単一の変動要因値ではなく、２個以上の変動要因値を考慮した合成音声を生成することが可能となる。
【００５７】
その他、この発明の趣旨を逸脱しない範囲で適宜変更が可能であることはいうまでもない。
【００５８】
［プログラム及び記録媒体］
音声合成学習装置又は音声合成装置の各部における処理をコンピュータによって実現する場合、これらの装置の各部がが有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、その各部の処理がコンピュータ上で実現される。
【００５９】
この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。
【００６０】
また、各部の処理は、コンピュータ上で所定のプログラムを実行させることにより構成することにしてもよいし、これらの処理の少なくとも一部をハードウェア的に実現することとしてもよい。
【図１】
2018205654.tif 000003
【図２】
2018205654.tif 000004
【図３】
2018205654.tif 000005
【図４】
2018205654.tif 000006
【図５】
2018205654.tif 000007
【図６】
2018205654.tif 000008
【図７】
2018205654.tif 000009