(57)【要約】【課題】外れ値が発生することが無いため、音響特徴量の予測精度が良好である。【解決手段】音声合成装置１０はＣＰＵを含み、ＣＰＵは音声コーパスに基づき継続長ＤＮＮおよび音響特徴量ＤＮＮを学習し、構築された継続長ＤＮＮおよび音響特徴量ＤＮＮを自由文章のテキストに対応する合成音声を生成する。学習に用いられるテキストに基づく言語特徴量は、１発話内の値のみを用いて、言語的に関連する属性の比を取ることにより正規化される。また、合成音声を生成する場合に合成するテキストに基づく言語特徴量についても同様に正規化される。このため、外れ値が発生することが無い。【選択図】  図１
2020106643.tif 000002
【特許請求の範囲】
【請求項１】
合成音声を生成する音声合成装置のディープニューラルネットワークに入力され、複数の異なる属性で構成される言語特徴量ベクトル系列を正規化する言語処理装置であって、
１発話分の前記言語特徴量ベクトル系列における第１の属性を、当該第１の属性とは異なる第２の属性で正規化する正規化手段を備える、言語処理装置。
【請求項２】
前記第１の属性および前記第２の属性は、言語的に関連のある値である、請求項１記載の言語処理装置。
【請求項３】
前記正規化手段は、前記第１の属性を前記第２の属性で除することで正規化する、請求項１または２記載の言語処理装置。
【請求項４】
前記第１の属性の絶対値は、前記第２の属性の絶対値以下である、請求項１から３までのいずれかに記載の言語処理装置。
【請求項５】
合成音声を生成する音声合成装置のディープニューラルネットワークに入力され、複数の異なる属性で構成される言語特徴量ベクトル系列を正規化する言語処理装置によって実行される言語処理プログラムであって、
前記言語処理装置のプロセッサに、１発話分の前記言語特徴量ベクトル系列における第１の属性を、当該第１の属性とは異なる第２の属性で正規化する正規化ステップを実行させる、言語処理プログラム。
【請求項６】
前記第１の属性および前記第２の属性は、言語的に関連のある値である、請求項３記載の言語処理プログラム。
【請求項７】
前記正規化手段は、前記第１の属性を前記第２の属性で除することで正規化する、請求項５または６記載の言語処理プログラム。
【請求項８】
前記第１の属性の絶対値は、前記第２の属性の絶対値以下である、請求項５から７までのいずれかに記載の言語処理プログラム。
【請求項９】
合成音声を生成する音声合成装置のディープニューラルネットワークに入力され、複数の異なる属性で構成される言語特徴量ベクトル系列を正規化する言語処理方法であって、
１発話分の前記言語特徴量ベクトル系列における第１の属性を、当該第１の属性とは異なる第２の属性で正規化する、言語処理方法。
【請求項１０】
前記第１の属性および前記第２の属性は、言語的に関連のある値である、請求項９記載の言語処理方法。
【請求項１１】
前記第１の属性を前記第２の属性で除することで正規化する、請求項９または１０記載の言語処理方法。
【請求項１２】
前記第１の属性の絶対値は、前記第２の属性の絶対値以下である、請求項９から１１までのいずれかに記載の言語処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は言語処理装置、言語処理プログラムおよび言語処理方法に関し、特にたとえば、入力テキストに従う合成音声を生成および出力する、言語処理装置、言語処理プログラムおよび言語処理方法に関する。
【背景技術】
【０００２】
背景技術の一例が特許文献１に開示される。特許文献１によれば、音声データからディープニューラルネットワーク音響モデルを学習し、学習されたディープニューラルネットワーク音響モデルを用いて合成音声を生成する音声合成装置が開示される。この音声合成装置では、コンテキストデータを数値ベクトルで表現した言語特徴量ベクトルと、話者コードを連結したものを入力とし、話者、コンテキストデータに対応する音声パラメータを出力とするディープニューラルネットワーク音響モデルが学習される。
【０００３】
また、背景技術の他の例が特許文献２に開示される。特許文献２によれば、音声コーパスから時間長ＤＮＮ（ディープニューラルネットワーク）および音響特徴量ＤＮＮを事前学習し、学習された時間長ＤＮＮおよび音響特徴量ＤＮＮを用いてテキストに対応する音声波形を合成する音声合成装置が開示される。この音声合成装置では、事前学習部は、音声コーパスから音素の言語特徴量、音素フレームの言語特徴量、音素の時間長及び音素フレームの音響特徴量を生成し、話者ラベル及び感情ラベルを付与する。そして、事前学習部は、音素の言語特徴量、話者ラベル、感情ラベル及び音素の時間長を与えて時間長ＤＮＮを学習し、音素フレームの言語特徴量、話者ラベル、感情ラベル及び音素フレームの音響特徴量を与えて音響特徴量ＤＮＮを学習する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１７−０３２８３９
【特許文献２】特開２０１８―１４６８０３
【非特許文献】
【０００５】
【非特許文献１】H.Zen et al,IEICE Trans.Inf. & Syst.,vol.E90-D, no.5,pp.825-834,May 2007
【非特許文献２】Zhizheng Wu et al,ISCA SSW9,vol PS2-13,pp.218-223,Sep 2016
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献１や特許文献２においては、言語特徴量の正規化には何ら開示されていないが、これらの特許文献において参照される非特許文献１や非特許文献２においては、すべての学習データから計算される平均と分散または最小値と最大値による正規化が用いられている。しかし、これらの正規化手法では自由文章のテキストが入力となる音声合成装置においては、学習外となる値が言語特徴量に含まれることにより外れ値が発生する。さらに、ニューラルネットワークの外挿能力が不十分でないため、予測が不安定になる問題が生じる。この問題の対策として、一般的には、学習データを多くしてカバーする範囲を広くする対策を採る。しかし、この対策ではすべての入力のパターンをカバーすることはできない。また、多くの学習データを収集するのに必要なコストが高くなってしまう。
【０００７】
それゆえに、この発明の主たる目的は、新規な、言語処理装置、言語処理プログラムおよび言語処理方法を提供することである。
【０００８】
この発明の他の目的は、外れ値が発生するのを防止することができる、言語処理装置、言語処理プログラムおよび言語処理方法を提供することである。
【課題を解決するための手段】
【０００９】
第１の発明は、合成音声を生成する音声合成装置のディープニューラルネットワークに入力され、複数の異なる属性で構成される言語特徴量ベクトル系列を正規化する言語処理装置であって、１発話分の言語特徴量ベクトル系列における第１の属性を、当該第１の属性とは異なる第２の属性で正規化する正規化手段を備える、言語処理装置である。
【００１０】
第２の発明は、第１の発明に従属し、第１の属性および第２の属性は、言語的に関連のある値である。
【００１１】
第３の発明は、第１または第２の発明に従属し、正規化手段は、第１の属性を第２の属性で除することで正規化する。
【００１２】
第４の発明は、第１から第３の発明までのいずれかに従属し、第１の属性の絶対値は、第２の属性の絶対値以下である。
【００１３】
第５の発明は、合成音声を生成する音声合成装置のディープニューラルネットワークに入力され、複数の異なる属性で構成される言語特徴量ベクトル系列を正規化する言語処理装置によって実行される言語処理プログラムであって、言語処理装置のプロセッサに、１発話分の言語特徴量ベクトル系列における第１の属性を、当該第１の属性とは異なる第２の属性で正規化する正規化ステップを実行させる、言語処理プログラムである。
【００１４】
第６の発明は、合成音声を生成する音声合成装置のディープニューラルネットワークに入力され、複数の異なる属性で構成される言語特徴量ベクトル系列を正規化する言語処理方法であって、１発話分の言語特徴量ベクトル系列における第１の属性を、当該第１の属性とは異なる第２の属性で正規化する、言語処理方法である。
【発明の効果】
【００１５】
この発明によれば、１発話分の言語特徴量ベクトル系列における第１の属性を、当該第１の属性とは異なる第２の属性で正規化するので、外れ値が発生するのを防止することができる。
【００１６】
この発明の上述の目的，その他の目的，特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。
【図面の簡単な説明】
【００１７】
【図１】図１はこの実施例の音声合成装置の一例を示す機能ブロック図である。
【図２】図２は図１に示す事前学習部を説明するための図である。
【図３】図３は図２に示すテキスト解析部を説明するための図である。
【図４】図４は図２に示す音響分析部を説明するための図である。
【図５】図５は図１に示す合成処理部を説明するための図である。
【図６】図６は継続長ＤＮＮおよび音響特徴量ＤＮＮの入力データおよび出力データである音素の言語特徴量、音素フレームの言語特徴量、音素の継続長および音素フレームの音響特徴量の関係について説明するための図である。
【図７】図７は言語特徴量のデータの一例を示す図である。
【図８】図８は音声合成装置に内蔵されるＣＰＵの属性値算出処理を示すフロー図である。
【図９】図９は音声合成装置に内蔵されるＣＰＵの第１属性値算出処理を示すフロー図である。
【図１０】図１０は音声合成装置に内蔵されるＣＰＵの第２属性値算出処理を示すフロー図である。
【発明を実施するための形態】
【００１８】
図１はこの実施例の音声合成装置１０の機能ブロック図である。音声合成装置１０は、汎用のパーソナルコンピュータまたはワークステーションであり、後述する言語特徴量を正規化する言語処理装置または正規化処理装置としても機能する。図示等は省略するが、音声合成装置１０は、ＣＰＵ、メモリ（ＨＤＤ、ＲＯＭ、ＲＡＭ）および通信装置（ネットワーク接続装置）などのコンポーネントを備えている。
【００１９】
以下、音声合成装置１０について説明するが、学習および合成音声の生成に関する処理は、音声合成装置１０のＣＰＵが種々のプログラムに従って処理する。また、各記憶部１２、１６は、音声合成装置１０のメモリ（ＨＤＤまたは／およびＲＡＭ）、または、音声合成装置１０がアクセス可能なネットワーク上のコンピュータに内蔵されるメモリまたはアクセス可能なネットワーク上のデータベースを意味する。
【００２０】
図１に示すように、音声合成装置１０は、記憶部１２、事前学習部１４、記憶部１６および合成処理部１８を備える。記憶部１２は、音声コーパスを記憶する。音声コーパスは、特定の文章が１または複数の話者によって読み上げられた音声に関する情報である。この実施例では、音声に関する情報は、テキストおよび音声波形である。ただし、テキストおよびそれを読み上げた音声についての音声波形はペアとして（互いに紐付けて）記憶部１２に記憶される。
【００２１】
事前学習部１４は、記憶部１２から読み出した音声コーパスのテキストに対して所定のテキスト解析を行うとともに、当該テキストに対する音声波形に対して所定の音響分析を行うことで、継続長ＤＮＮを学習するための言語特徴量および音響特徴量ＤＮＮを学習するための音響特徴量等の情報を生成する。ただし、ＤＮＮは、ディープニューラルネットワークを意味する。事前学習部１４は、言語特徴量および音響特徴量などの情報を用いて、記憶部１６に記憶された継続長ＤＮＮおよび音響特徴量ＤＮＮを事前に学習する。
【００２２】
なお、テキスト解析の手法および音響解析の手法は既知であるから、この実施例では、その詳細な説明は省略することにする。また、この実施例では、継続長ＤＮＮおよび音響特徴量ＤＮＮは同じ記憶部１６に記憶するようにしてあるが、それぞれ異なる記憶部に記憶されてもよい。
【００２３】
この実施例では、継続長ＤＮＮおよび音響特徴量ＤＮＮは、それぞれ、複数のノードを、入力層、複数の隠れ層（中間層）および出力層で構成した順伝播型のネットワークである。
【００２４】
継続長ＤＮＮは、学習時に、音素の言語特徴量が入力層の各ユニットに与えられ、音素の継続長が出力層のユニットに与えられることで、入力層、隠れ層および出力層の各ユニットの重みなどが計算され、音素単位の学習が行われる。この実施例では、学習のための音素の言語特徴量は、たとえば、音素ラベル、モーラの情報、アクセント句の情報、呼気段落の情報および発話の情報などを含む。ただし、音素の継続長は、音素を構成する音素フレームの数で表される。この実施例では、音素フレームの１フレームの長さは５ｍｓｅｃである。
【００２５】
後述する音声合成処理を実行するときには、継続長ＤＮＮの入力層の各ユニットに、音素の言語特徴量が与えられる。すると、継続長ＤＮＮの出力層のユニットから、入力層に与えられた音素の言語特徴量に対応する音素の継続長が出力される。
【００２６】
また、音響特徴量ＤＮＮは、学習時に、音素フレームの言語特徴量が入力層の各ユニットに与えられ、音素フレームの音響特徴量が出力層の各ユニットに与えられることで、入力層、隠れ層及び出力層の各ユニットの重みなどが計算され、音素フレーム単位の学習が行われる。この実施例では、音素フレームの音響特徴量は、たとえば、スペクトル係数、雑音性係数、ピッチ、有声／無声判定などの情報を含む。
【００２７】
後述する音声合成処理を実行するときには、音響特徴量ＤＮＮの入力層の各ユニットに、音素フレームの言語特徴量が与えられる。すると、音響特徴量ＤＮＮの出力層の各ユニットから、入力装置に与えられた音素フレームの言語特徴量に対応する音素フレームの音響特徴量が出力される。
【００２８】
図２は、図１に示した事前学習部１４を説明するための図である。図２に示すように、事前学習部１４は、テキスト解析部１４ａと音響分析部１４ｂを含む。図３に示すように、テキスト解析部１４ａは、テキスト解析手段１４０、フレーム処理手段１４２および正規化処理手段１４４を含む。
【００２９】
テキスト解析手段１４０は、記憶部１２の音声コーパスから読み出されたテキストに対して形態素解析などのテキスト解析を行い、音素毎に音素の言語特徴量を生成し、音素の言語特徴量をフレーム処理手段１４２および正規化処理手段１４４に出力するとともに、音素の言語特徴量に含まれる音素ラベルを音響分析部１４ｂに出力する。
【００３０】
ここで、音素の言語特徴量は、テキスト解析により生成された情報を意味する。たとえば、テキスト解析により生成された音素の言語特徴量は、音素毎に、音素ラベル、アクセントの位置、品詞情報、アクセント句情報、呼気段落情報および総数情報などの各種の情報を含む。ただし、音素ラベルは、テキストを構成する音素を特定するための情報（音素情報）であり、当該音素に加え、前後の音素も含まれる。
【００３１】
フレーム処理手段１４２は、テキスト解析手段１４０から、事前学習のための音素の言語特徴量を入力されるとともに、音響分析部１４ｂから音素の継続長を入力される。フレーム処理手段１４２は、事前学習のための音素の言語特徴量および音素の継続長に基づいて、音素の継続長が示す音素フレーム数分の音素フレームの言語特徴量を生成する。生成された音素フレームの言語特徴量は、正規化処理手段１４４に出力される。
【００３２】
正規化処理手段１４４は、音素の言語特徴量および音素フレームの言語特徴量のそれぞれについて正規化を行い、正規化された音素言語特徴量を継続長ＤＮＮに出力するとともに、正規化された音素フレームの言語特徴量を音響特徴量ＤＮＮに出力する。
【００３３】
なお、正規化処理手段１４４における正規化処理については後で詳細に説明することにする。
【００３４】
図４に示すように、音響分析部１４ｂは、音素区切り処理手段１５０と音響分析手段１５２を含む。音素区切り処理手段１５０は、テキスト解析部１４ａから音素ラベルを入力され、記憶部１２の音声コーパスから読み出された音声波形に対して、所定の学習データを用いて音響分析を行う。音素区切り処理手段１５０は、音素ラベルの示す音素が音声波形内でどの位置にあるかを特定し、音素の区切り位置を求める。求められた音素の区切り位置は、音響分析手段１５２に出力される。
【００３５】
また、音素区切り処理手段１５０は、音素の区切り位置に基づいて、音素ラベルの示す音素の継続長を求める。上述したように、音素の継続長は、音素を構成する音素フレームの数で表される。求められた音素の継続長は、記憶部１６の継続長ＤＮＮにおける出力層の各ユニットに出力されるとともに、テキスト解析部１４ａ（フレーム処理手段１４２）に出力される。
【００３６】
音響分析手段１５２は、音素区切り処理手段１５０から音素の区切り位置を入力され、記憶部１２の音声コーパスから読み出された音声波形に対して音響分析を行い、音素を構成する複数の音素フレームのそれぞれについて、音素フレームの音響特徴量を生成する。たとえば、音素フレームの音響特徴量は、スペクトル係数、雑音性係数、ピッチ、音声／無声判定等の情報を含む。生成された音素フレームの音響特徴量は、記憶部１６の音響特徴量ＤＮＮにおける出力層の各ユニットに出力される。
【００３７】
なお、音響分析により音素の区切り位置及び音素の継続長を求め、音素フレームの音響特徴量を生成する手法は既知であるから、この実施例では、その詳細な説明は省略する。
【００３８】
上述したように、テキスト解析部１４ａが、事前学習のための音素の言語特徴量を継続長ＤＮＮの入力層に出力するとともに、音響分析部１４ｂが、音素の継続長を継続長ＤＮＮの出力層に出力する。これにより、継続長ＤＮＮの事前学習が行われる。また、テキスト解析部１４ａが、音素フレームの言語特徴量を音響特徴量ＤＮＮの入力層に出力するとともに、音響分析部１４ｂが、音素フレームの音響特徴量を音響特徴量ＤＮＮの出力層に出力する。これにより、音響特徴量ＤＮＮの事前学習が行われる。
【００３９】
図５は、図１に示した合成処理部１８の具体的な構成の一例を示す図である。図５に示すように、合成処理部１８は、テキスト解析部１８０、継続長生成部１８２、音響特徴量生成部１８４および音声波形合成部１８６を含む。
【００４０】
テキスト解析部１８０は、図２に示したテキスト解析部１４ａと同様の処理を行う。具体的には、テキスト解析部１８０は、自由文章によるテキストを入力され、このテキストに対してテキスト解析を行い、音素毎に音素の言語特徴量を生成し、正規化する。テキスト解析部１８０は、テキスト解析にて生成および正規化した音素の言語特徴量に基づいて、図２に示したテキスト解析部１４ａにより生成された事前学習のための音素の言語特徴量と同様の音素の言語特徴量を生成する。そして、テキスト解析部１８０は、生成した音素の言語特徴量を、継続長生成部１８２および音響特徴量生成部１８４に出力する。
【００４１】
また、テキスト解析部１８０は、継続長生成部１８２および音響特徴量生成部１８４から、当該継続長生成部１８２および音響特徴量生成部１８４に出力した音素の言語特徴量に対応する音素の継続長を入力し、音素の言語特徴量及び音素の継続長に基づいて、音素の継続長が示す音素フレーム数分の音素フレームの言語特徴量を生成する。そして、テキスト解析部１８０は、音素フレームの言語特徴量を、継続長生成部１８２および音響特徴量生成部１８４に出力する。
【００４２】
継続長生成部１８２は、テキスト解析部１８０から音素の言語特徴量を入力され、記憶部１６の継続長ＤＮＮを用いて、音素の言語特徴量に基づいて音素の継続長を生成する。そして、継続長生成部１８２は、音素の継続長をテキスト解析部１８０に出力する。また、音響特徴量生成部１８４は、テキスト解析部１８０から音素フレームの言語特徴量を入力され、記憶部１６の音響特徴量ＤＮＮを用いて、音素フレームの言語特徴量に基づいて、音素フレームの音響特徴量を生成し、音素フレームの音響特徴量を音声波形合成部１８６に出力する。
【００４３】
音声波形合成部１８６は、音響特徴量生成部１８４から音素フレームの音響特徴量を入力され、音素フレームの音響特徴量に基づいて、音声波形を合成し、合成した音声波形を出力する。具体的には、音声波形合成部１８６は、音素フレームの音響特徴量に含まれるピッチ、雑音特性等の情報に基づいて、声帯音源波形を生成する。そして、音声波形合成部１８６は、声帯音源波形に対し、音素フレームの音響特徴量に含まれるスペクトル係数等の情報に基づいて声道フィルタ処理を施し、音声波形を合成する。つまり、テキストに対応する合成音声が生成および出力される。
【００４４】
なお、音素フレームの音響特徴量に基づいて音声波形を合成する手法は周知であるため、この実施例では、詳細な説明を省略する。
【００４５】
図６は、継続長ＤＮＮおよび音響特徴量ＤＮＮの入力データおよび出力データである音素の言語特徴量、音素フレームの言語特徴量、音素の継続長および音素フレームの音響特徴量の関係について説明するための図である。
【００４６】
図６に示すように、１発話分のテキストを「あれがこれで、それはどれ。」とした場合には、呼気段落は「あれがこれで」と「それはどれ」である。また、この場合、「あれがこれで」のアクセント句は「あれが」と「これで」である。さらに、この場合、「あれが」のモーラは、「あ」、「れ」および「が」である。この場合、「あ」の音素ラベルは「ａ」とされ、「れ」の音素ラベルは「ｒ」および「ｅ」とされ、「が」の音素ラベルは「ｇ」および「ａ」とされる。図６に示す例では、音素ラベル「ａ」、「ｒ」、「ｅ」、「ｇ」および「ａ」の音素の継続長は、それぞれ、「６」、「３」、「５」、「５」、「５」および「３」とする。このように、発話、呼気段落、アクセント句、モーラ、音素は階層的な構造となっており、これらに関する属性を要素とする情報も階層的な構造となっている。上述したように、この実施例では、音素フレームの１フレームの長さは、５msecである。
【００４７】
図６に示すように、音素ラベル「ａ」の時間区間において、この１音素に対応して、１組の音素の言語特徴量（上記の各情報）が生成され、６組の音素フレームの言語特徴量（の各情報）が生成され、６組の音素フレームの音響特徴量（の各情報）が生成される。また、音素ラベル「ｒ」の時間区間において、この１音素に対応して、１組の音素の言語特徴量が生成され、３組の音素フレームの言語特徴量が生成され、３組の音素フレームの音響特徴量が生成される。されに、音素ラベル「ｅ」の時間区間において、この１音素に対応して、１組の音素の言語特徴量が生成され、５組の音素フレームの言語特徴量が生成され、５組の音素フレームの音響特徴量が生成される。
【００４８】
このように、事前学習において、継続長ＤＮＮの入力層の各ユニットには、音素の言語特徴量が与えられ、出力層のユニットには、音素の継続長が与えられ、この事前学習は音素を単位として行われる。つまり、継続長ＤＮＮには、音素毎に、音素の言語特徴量および音素の継続長が与えられ、事前学習が行われる。また、音声合成においては、音素毎に、継続長ＤＮＮを用いて、音素の言語特徴量に基づいて、音素の継続長が生成され出力される。
【００４９】
また、上述したように、事前学習において、音響特徴量ＤＮＮの入力層の各ユニットには、音素フレームの言語特徴量が与えられ、出力層の各ユニットには、音素フレームの音響特徴量が与えられ、この事前学習は音素フレームを単位として行われる。つまり、音響特徴量ＤＮＮには、音素フレーム毎に、音素フレームの言語特徴量および音素フレームの音響特徴量が与えられ、事前学習が行われる。音声合成においては、音素フレーム毎に、音響特徴量ＤＮＮを用いて、音素フレームの言語特徴量に基づいて、音素フレームの音響特徴量が生成され、出力される。
【００５０】
図７は言語特徴量のデータの一例を示す図である。上述したように、言語特徴量は、音素に関する属性、モーラに関する属性、アクセント句に関する属性、呼気段落に関する属性および発話に関する属性を含み、時刻ｔにおいてｄ次元のベクトルで表される。言語特徴量としては、時刻ｔにおける各属性の情報が数値で表される。各属性の詳細についての説明は省略するが、一例として、アクセント句に関する属性には、「当該アクセント句中のモーラの昇順位置」が含まれる。ただし、「当該」とは、正規化処理を行う場合の処理の対象であることを意味する。
【００５１】
ここで、上述した正規化処理手段１４４には、テキスト解析手段１４０でテキスト解析された音素の言語特徴量と、テキスト解析された音素の言語特徴量に、フレーム処理手段１４２で処理を施された音素フレームの言語特徴量が入力される。入力される言語特徴量はベクトル系列であり、数１で示すことができる。正規化処理手段１４４は、数２に示すように、第１の属性（第１属性値）を、当該第１の属性とは異なる属性であり、かつ当該第１の属性よりも絶対値の大きいまたは等しい第２の属性（第２属性値）で除することで言語特徴量を正規化し、正規化した言語特徴量を出力する。ただし、第１の属性と第２の属性は関連があるものとする。また、１発話分の言語特徴量Ｌは、図７に示したように、時刻ｔにおけるｄ次元の属性を要素に持つ言語特徴量ベクトルの系列である。ただし、数２において、｜・｜は絶対値を意味する。なお、この実施例では、第１属性値の絶対値は、第２属性値の絶対値以下である。
【００５２】
【数１】
2020106643.tif 000003
【００５３】
【数２】
2020106643.tif 000004
【００５４】
また、上記の「関連があるもの」について図６および図７を用いて説明する。テキスト解析手段１４０によってテキストを解析すると、図７のように、発話、呼気段落、アクセント句、モーラ、音素に関する属性を要素とする情報が得られる。これらの情報は、図６のように階層的な構造となっており、各階層の情報は主に下位の階層の情報で構成される。たとえば、アクセント句の階層は、モーラと音素の階層を下位に持ち、アクセント句の属性には、当該アクセント句中のモーラの昇順位置や、当該アクセント句中のモーラの総数などがある。よって、この実施例の正規化処理手段１４４における正規化処理では、基本的に、位置に関する属性は同じ階層という関連性のもとで同じ階層の総数に関する属性で除され、総数に関する属性は総数という関連性のもとで別の階層の総数に関する属性で除されることになる。また、継続長に関しては総数と同様である。なお、正規化処理はすべての階層に対して適用される。
【００５５】
数２に示す正規化手法は、非特許文献１および非特許文献２のようにすべての学習データから計算した平均と分散または最小値と最大値のような当該発話以外の条件が入ることはなく、１発話内の限られた条件で計算されるため外れ値が発生しない。そのため、外れ値による予測性能の低下を回避することができ、従来よりも安定した音響特徴量の予測を可能にする。
【００５６】
図８は図１に示した音声合成装置１０のＣＰＵの属性正規化処理の一例を示すフロー図である。この属性正規化処理についてのプログラム（「言語処理プログラム」に相当する）は、音声合成装置１０のメモリに記憶され、ＣＰＵによって実行される。学習処理および音声合成処理に必要な他のプログラムおよびデータについても同様である。
【００５７】
また、この実施例では、言語特徴量に含まれる複数の属性のうちの「当該アクセント句中のモーラの昇順位置」の属性を正規化する場合の処理について説明する。詳細な説明は省略するが、他の属性についても同様の属性正規化処理が実行される。
【００５８】
図８に示すように、ＣＰＵは、属性正規化処理を開始すると、ステップＳ１で、後述する第１属性値算出処理（図９参照）を実行し、ステップＳ３で、後述する第２属性値算出処理（図１０参照）を実行する。
【００５９】
次のステップＳ５では、時刻についての変数ｔを初期化し、配列array m[T]を設定する。つまり、ＣＰＵは、変数ｔに０を代入し、音素フレームの最大値Ｔまでの要素（ここでは、当該アクセント句中のモーラの昇順位置）を格納可能な配列array m[T]を設定する。ただし、変数ｔはフレーム数をカウントするための変数である。これは、後述する第１属性値算出処理（図９）および第２属性値算出処理（図１０）においても同じである。また、配列array m[T]は正規化された属性値を格納するための配列である。なお、最大値Ｔは１発話における音素フレームの総数である。
【００６０】
次のステップＳ７では、変数ｔが音素フレームの最大値Ｔよりも小さいかどうかを判断する。ステップＳ７で“ＮＯ”であれた、つまり、変数ｔが音素フレームの最大値Ｔ以上であれば、「当該アクセント句中のモーラの昇順位置」をすべてのモーラについて正規化したと判断し、属性正規化処理を終了する。
【００６１】
一方、ステップＳ７で“ＹＥＳ”であれば、つまり、変数ｔが音素フレームの最大値Ｔ未満であれば、「当該アクセント句中のモーラの昇順位置」を正規化していないモーラが残っていると判断し、ステップＳ９で、昇順の位置が変数ｔにおける要素ｍ［ｔ］を算出し（ｍ［ｔ］＝ｘ［ｔ］／ｙ［ｔ］）、ステップＳ１１で、変数ｔを１加算して（ｔ＝ｔ＋１）、ステップＳ７に戻る。
【００６２】
図９は図８に示したステップＳ１および後述する図１０のステップＳ５１で実行されるＣＰＵの第１属性値算出処理を示すフロー図である。以下、第１属性値算出処理について説明するが、既に説明した処理と同じ処理については、簡単に説明することにする。
【００６３】
図９に示すように、ＣＰＵは、第１属性値算出処理を開始すると、ステップＳ２１で、変数ｔおよび変数ｉを初期化するととに（t=0, i=1）、配列array x[T]を用意する（x[0],x[1],…,x[T-1]）。ただし、変数ｉは、当該アクセント句中のモーラの昇順位置をカウントするための変数である。図１０においても同じである。また、配列array x[T]は、各属性値についてのモーラの昇順位置を格納するための配列である。
【００６４】
次のステップＳ２３では、変数ｔが音素フレームの最大値Ｔよりも小さいかどうかを判断する。ステップＳ２３で“ＮＯ”であれば、第１属性値算出処理を終了して、図８に示した属性正規化処理にリターンする。
【００６５】
一方、ステップＳ２３で“ＹＥＳ”であれば、ステップＳ２５で、要素ｘ［ｔ］に変数ｉの数値を代入する。つまり、当該アクセント句における当該モーラの昇順の番号が割り当てられる。次のステップＳ２７では、変数ｔにおいてモーラの終わりかどうかを判断する。ここでは、ＣＰＵは、変数ｔが当該モーラにおける最終フレームを示すかどうかを判断する。ステップＳ２７で“ＹＥＳ”であれば、つまり、変数ｔにおいてモーラの終わりでなければ、ステップＳ３１に進む。一方、ステップＳ２７で“ＮＯ”であれば、つまり、変数ｔにおいてモーラの終わりであれば、ステップＳ２９で、変数ｉを１加算して（i=i+1）、ステップＳ３１に進む。
【００６６】
ステップＳ３１では、変数ｔにおいてアクセント句の終わりであるかどうかを判断する。ここでは、ＣＰＵは、変数ｔが当該アクセント句における最終フレームを示すかどうかを判断する。
【００６７】
ステップＳ３１で“ＮＯ”であれば、変数ｔにおいてアクセント句の終わりでなければ、ステップＳ３５に進む。一方、ステップＳ３１で“ＹＥＳ”であれば、変数ｔにおいてアクセント句の終わりであれば、ステップＳ３３で、変数ｉを初期値に設定し、ステップＳ３５で、変数ｔを１加算して（t=t+1）、ステップＳ２３に戻る。
【００６８】
図１０は図８に示したステップＳ３の第２属性値算出処理のフロー図である。図１０に示すように、第２属性値算出処理を開始すると、ステップＳ５１で、図９に示した第１属性値算出処理を実行する。
【００６９】
次のステップＳ５３では、変数ｔおよび変数ｉを初期化するとともに（t=T, i=x[T-1]）、配列array y[T]を用意する（y[0],y[1],…,y[T-1]）。ただし、配列array y[T]は、第１属性値の各要素を正規化するための第２属性値（ここでは、、当該アクセント句中のモーラの総数）の各要素を格納するための配列である。なお、この第２属性値算出処理においては、配列array y[T]は末尾の要素ｙ[T-1]から先頭の要素y[0]に向けて値が代入される。
【００７０】
続いて、ステップＳ５５では、変数ｔが０よりも大きいかどうかを判断する。ステップＳ５５で“ＮＯ”であれば、第２属性値算出処理を終了して、図８に示した属性正規化処理にリターンする。
【００７１】
一方、ステップＳ５５で“ＹＥＳ”であれば、ステップＳ５７で、変数ｔを１減算して（t=t-1）、ステップＳ５９で、変数ｔにおけるアクセント句の終わりかどうかを判断する。ステップＳ５９で“ＮＯ”であれば、つまり、変数ｔにおけるアクセント句の終わりでなければ、ステップＳ６３に進む。
【００７２】
一方、ステップＳ５９で“ＹＥＳ”であれば、つまり、変数ｔにおけるアクセント句の終わりであれば、ステップＳ６１で、変数ｉに要素ｘ［ｔ］を代入し（i=x[t]）、さらに、ステップＳ６３で、要素ｙ［ｔ］に変数ｉを代入して（y[t]=i）、ステップＳ５５に戻る。
【００７３】
この実施例によれば、１発話内の値のみを用いて、言語的に関連する属性の比を取ることにより、言語特徴量を正規化するので、外れ値が発生するのを防止することができる。このため、音響特徴量の予測精度が良好である。
【００７４】
また、この実施例によれば、外れ値が発生しないため、外れ値が発生するのを防止するために学習データを増やす必要が無い。つまり、この実施例によれば、少量の学習データであっても、音響特徴量の予測精度が良好である。
【００７５】
なお、この実施例では、第１属性値（Ｌｔｄ）の絶対値が第２属性値（Ｌｔδ)の絶対値以下であることを条件とすることにより（数２）、ＤＮＮの入力値が０から１の間（または範囲）に収まるように言語特徴量（の各属性）を正規化したが、これに限定される必要はない。たとえば、第１属性値の絶対値が第２属性値の絶対値よりも大きいことを条件とし、第１属性値（Ｌｔｄ）および第２属性値（Ｌｔδ）に所定の定数を加算したり乗算したりすることでスケールを変化させ、正規化後の値を０から１の範囲を超える値にするようにしてもよい。この場合、各属性値のスケールが変化するだけであるため、スケールを変化させる前と同様の効果が得られる。また、正規化後の値の範囲によっては、第２属性値の絶対値が第１属性値の絶対値より大きいこと（｜Ｌｔｄ｜＜｜Ｌｔδ｜）を条件としてもよい。
【００７６】
なお、上述の実施例で示した具体的な数値は単なる一例であり、限定されるべきではなく、実施される製品等に応じて適宜変更可能である。
【符号の説明】
【００７７】
１０  …音声合成装置
１２、１６  …記憶部
【図１】
2020106643.tif 000005
【図２】
2020106643.tif 000006
【図３】
2020106643.tif 000007
【図４】
2020106643.tif 000008
【図５】
2020106643.tif 000009
【図６】
2020106643.tif 000010
【図７】
2020106643.tif 000011
【図８】
2020106643.tif 000012
【図９】
2020106643.tif 000013
【図１０】
2020106643.tif 000014