(57)【要約】      （修正有）【課題】音声波形の尤度を最大化するように、複数の音響モデルパラメータが複数の励振モデルパラメータと一緒に推定される音声合成方法を提供する。【解決手段】テキスト入力を受けており、前記テキスト入力に対応する音声を確率論的モデルを使用して出力し、前記確率論的モデルは音響モデル及び励振モデルを具備し、前記音響モデルは単語または単語の部分を特徴に関連づける複数の確率分布を記述する複数のモデルパラメータを有し、前記励振モデルは、前記特徴を使用して前記音声を出力するために、声帯及び肺をモデル化するために使用される励振モデルパラメータを具備し、ここで音響パラメータ及び励振パラメータは一緒に推定され、前記音声を出力することを具備する。【選択図】図３
2011237795.tif 000002
【特許請求の範囲】
【請求項１】
テキスト入力を受け取り、確率論的モデルを使用して前記テキスト入力に対応する音声を出力し、前記確率論的モデルは音響モデルと励振モデルとを具備し、前記音響モデルは単語または単語の部分をある特徴に関連づける複数の確率分布を記述する複数のモデルパラメータを有し、前記励振モデルは声帯及び肺をモデル化して特徴を使用して音声を出力するために使用される励振モデルパラメータを具備し、
前記音響パラメータ及び前記励振パラメータは一緒に推定され、
前記音声を出力することを具備する音声処理方法。
【請求項２】
前記テキスト入力は、前記音響モデルによって処理され、Ｆ０及びスペクトルの特徴を出力し、
パルス列を形成するために前記Ｆ０特徴を処理し、
励振信号を生成するために前記励振モデルから導かれる複数の励振パラメータを使用して前記パルス列をフィルタリングし、
前記スペクトル特徴から導かれる複数のフィルタパラメータを使用して前記励振信号をフィルタリングすることをさらに具備する請求項１に記載の音声合成方法。
【請求項３】
音声合成に関する統計モデルをトレーニングする方法であって、
トレーニングデータを受け取り、前記トレーニングデータは音声と前記音声に対応するテキストとを具備し、
確率論的モデルをトレーニングし、前記確率論的モデルは音響モデルと励振モデルとを具備し、前記音響モデルは単語またはその単語の部分を特徴ベクトルに関連づける複数の確率分布を記述する複数のモデルパラメータを有していて、前記励振モデルは声帯及び肺をモデル化して前記音声を出力する複数の励振モデルパラメータを具備し、
前記音響パラメータ及び前記励振パラメータはトレーニング処理の間に一緒に推定される方法。
【請求項４】
前記音響モデルパラメータは、前記確率分布の平均と分散とを具備する請求項３に記載の方法。
【請求項５】
前記音響モデルによって出力される前記特徴はＦ０特徴とスペクトル特徴を具備する請求項３に記載の方法。
【請求項６】
前記励振モデルパラメータは、Ｆ０特徴から導かれるパルス信号をフィルタリングするフィルタ係数を具備する請求項５に記載の方法。
【請求項７】
共同に推定する処理は、再帰的な処理を具備し、
１つのステップでは励振パラメータが音響パラメータの最新の推定を使用して更新され、別のステップでは音響モデルパラメータが励振パラメータの前記最新の推定を使用して更新される請求項３に記載の方法。
【請求項８】
共同に推定する処理は、最大尤度技術を使用する請求項３に記載の方法。
【請求項９】
前記確率論的モデルは、マッピングモデルをさらに具備し、前記マッピングモデルは複数のマッピングモデルパラメータを具備し、前記マッピングモデルは複数のスペクトル特徴を、人間の声道を表現する複数のフィルタ係数にマッピングする請求項５に記載の方法。
【請求項１０】
前記パラメータは以下のように一緒に推定され、
【数１】
2011237795.tif 000091
ここで、λは最適化される前記励振モデルと音響モデルとのパラメータを表し、ｓは自然な音声波形であり、
【数２】
2011237795.tif 000092
は前記音声波形の表記である請求項３に記載の方法。
【請求項１１】
λは、人間の声道を表現するために、複数のスペクトルパラメータをフィルタ関数にマッピングするマッピングモデルの複数のパラメータをさらに具備する請求項１０に記載の方法。
【請求項１２】
前記スペクトル特徴とフィルタ係数との間の関係は、ガウスプロセスとしてモデル化される請求項１１に記載の方法。
【請求項１３】
ｐ（ｓ｜ｌ，λ）は以下のように表され、
【数３】
2011237795.tif 000093
ここで、Ｈｃは前記人間の声道をモデル化するために使用されるフィルタ関数であり、ｑは状態であり、λｅは励振パラメータであり、λｃは音響モデルパラメータであり、λｈはマッピングモデルパラメータであり、ｃはスペクトル特徴である請求項１１に記載の方法。
【請求項１４】
ｑに渡る和は固定された状態シーケンスによって近似されて次を与え、
【数４】
2011237795.tif 000094
ここで
【数５】
2011237795.tif 000095
は状態シーケンスである請求項１３に記載の方法。
【請求項１５】
前記全ての可能なＨｃ及びｃに渡る積分は、スペクトル応答及びインパルス応答のベクトルによって近似され、次を与え、
【数６】
2011237795.tif 000096
ここで、
【数７】
2011237795.tif 000097
は固定されたスペクトル応答である請求項１４に記載の方法。
【請求項１６】
ｐ（ｓ｜ｌ，λ）の対数尤度関数は以下
【数８】
2011237795.tif 000098
によって与えられる請求項１５に記載の方法。
【請求項１７】
コンピュータを制御して、請求項１から請求項１６のいずれか１項の方法を実行させるコンピュータ読み取り可能な指示を運ぶキャリア媒体。
【請求項１８】
単語のシーケンスを具備するテキスト入力を受け取るレシーバーと、
プロセッサと、を具備し、前記プロセッサは前記入力テキストに対応する出力音声の尤度を確率論的モデルを使用して判定し、前記確率論的モデルは音響モデルと励振モデルを具備し、前記音響モデルは単語または単語の部分と特徴とを関連づける複数の確率分布を記述する複数のモデルパラメータを有して、前記励振モデルは、前記声帯及び肺をモデル化して前記特徴を使用して前記音声を出力するために使用される複数の励振モデルパラメータを具備し、
前記音響パラメータ及び励振パラメータは一緒に推定され、前記装置は前記音声のための出力を具備する音声処理装置。
【請求項１９】
入力音声認識部と、翻訳部と、請求項１８に記載の音声合成装置と、を具備する音声翻訳システム。
【発明の詳細な説明】
【技術分野】
【０００１】
ここに記述された本発明の実施形態は一般に、音声合成の分野に関係がある。
【背景技術】
【０００２】
音響モデルは音声合成のバックボーンとして使用される。音響モデルは、複数の単語の順序または複数の単語の部分を、複数の特徴ベクトルの配列に関連づけるために使用される。統計のパラメータの音声合成では、励振モデルは音響モデルと組み合わせて使用される。励振モデルは、より自然な音声を出力するために、肺と声帯の作用をモデル化するために使用される。
【０００３】
既知の統計音声合成では、ケプストラム係数のような特徴は、音声波形及びそれらのトラジェクトリから抽出され、隠れマルコフモデル（ＨＭＭ）のような統計モデルによってモデル化される。統計モデルの複数のパラメータは、トレーニングデータへのその尤度を最大化するか、あるいはトレーニングデータと生成された複数の特徴との間のエラーを最小化するように推定される。合成段階では、センテンスレベルモデルは、入力テキストにしたがって、推定された統計モデルから構成され、次に、複数の特徴は、そのようなセンテンスモデルから生成され、その結果それらの出力確率を最大化するか、または目的関数を最小化する。
【発明の概要】
【０００４】
【図面の簡単な説明】
【０００５】
本発明は、下記の限定されない実施形態を参照して記述されるだろう。
【図１】非常に基本的な音声合成システムの概略図である。
【図２】テキスト音声合成のために形成されたプロセッサのアーキテクチャの概略図である。
【図３】音声合成システムのブロック図であり、その複数のパラメータは本発明の実施形態に従って推定される。
【図４】特別の単語あるいはその部分を観測に関連づけるガウス分布のプロットである。
【図５】本発明の実施形態に従って音声合成モデルをトレーニングする方法での初期化ステップを示すフローダイアグラムである。
【図６】本発明の実施形態に従って音声合成モデルをトレーニングする方法での反復ステップを示すフローダイアグラムである。
【図７】本発明の実施形態に従う音声合成の方法を示すフローダイアグラムである。
【発明を実施するための形態】
【０００６】
現在の音声合成システムは、しばしばソースフィルタモデルを使用する。このモデルでは、励振信号は生成されフィルタリングされる。スペクトル特徴シーケンスは、音声から抽出され、別々に音響モデルと励振モデルのパラメータを評価するために利用される。したがって、複数のスペクトル特徴は、励振モデルを考慮に入れることによって、最適化されない。また逆の場合も同じである。
【０００７】
本発明の発明者は、音響及び励振モデルのパラメータを推定する問題への完全に異なるアプローチをとっており、ある実施形態では、音声波形の尤度を最大化するように、複数の音響モデルパラメータが複数の励振モデルパラメータと一緒に推定される方法を提供する。
【０００８】
実施形態によれば、複数のスペクトル包絡線特徴から導かれるゆっくり変化する声道インパルス応答フィルタと、励振源との畳み込みによって音声が表現されることが推定される。提案されたアプローチでは、複数のスペクトル特徴の抽出は、音響及び励振のモデルの組み合わせられたトレーニングに融合する。最大尤度（ＭＬ：maximum likelihood）基準に基づく問題となっている複数のモデルの複数のパラメータの推定は、自然及び合成された音声波形との間での距離の暗黙の最小化で、本格的な波形レベル閉ループトレーニングとして見られ得る。
【０００９】
実施形態では、統計的なパラメータ音声合成に関する、音響及び励振のモデルの共同の推定は、最大尤度に基づいている。
【００１０】
生じるシステムは、トラジェクトリＨＭＭで解析された要因として解釈されるうるものになる。共同の音響及び励振のモデルの複数のパラメータの推定に関してなされた複数の近似は、１つの最良のスペクトル係数ベクトルのトレーニング及び導出に沿って固定される状態シーケンスを固定することを具備する。
【００１１】
実施形態では、音響モデルの複数のパラメータは、励振モデルを考慮に入れることにより更新される。また、後者の複数のパラメータは音響モデルから生成されたスペクトルを仮定して計算される。生じるシステムは、トラジェクトリＨＭＭで分析された要因に類似する手法で、スペクトル包絡線パラメータ抽出と、励振信号モデルとを結びつける。提案されたアプローチは、自然及び合成された音声との間での距離を最小化するための波形レベル閉ループトレーニングとして解釈されうる。
【００１２】
実施形態では、音響及び励振のモデルは、統計の枠組みで直接、音声波形から一緒に最適化される。
【００１３】
したがって、複数のパラメータは、次のように一緒に推定される。
【数１】
2011237795.tif 000003
【００１４】
ここでλは最適化される励振モデル及び音響モデルのパラメータを表わし、ｓは自然な音声波形であり、
【数２】
2011237795.tif 000004
【００１５】
は音声波形の表記である。
【００１６】
実施形態では、上記のトレーニング方法は、統計パラメトリック原理にしたがって構築された、テキストから音声への（ＴＴＳ：text-to-speech）合成器に適用することができる。従って、それはまた、音声翻訳及び会話のシステムのような、上記ＴＴＳシステムが埋め込まれている任意のタスクに適用されうる。
【００１７】
１つの実施形態では、ソースフィルタモデルが使用され、ここでは、前記テキスト入力が前記音響モデルによって処理され、Ｆ０（基本周波数）及びスペクトルの特徴を出力する。方法は、パルス列を形成するために複数の前記Ｆ０特徴を処理し、励振信号を生成するために前記励振モデルから導かれる複数の励振パラメータを使用して前記パルス列をフィルタリングし、複数の前記スペクトル特徴から導かれる複数のフィルタパラメータを使用して前記励振信号をフィルタリングすることをさらに具備する。
【００１８】
複数の音響モデルパラメータは、複数の前記確率分布の複数の平均及び複数の分散を具備してもよい。前記音響モデルによって出力される複数の特徴の例は、複数のＦ０特徴及び複数のスペクトル特徴である。
【００１９】
複数の励振モデルパラメータは、複数のＦ０特徴及び白色雑音から導かれるパルス信号をフィルタリングする複数のフィルタ係数を具備してもよい。
【００２０】
実施形態では、前記共同推定処理は、再帰的な処理を具備する。この処理では、あるステップで複数の励振パラメータが複数の音響パラメータの最新の推定を使用して更新され、別のステップで複数の音響モデルパラメータが複数の励振パラメータの最新の推定を使用して更新される。好ましくは、前記共同推定処理は最大尤推定法技術を使用する。
【００２１】
さらなる実施形態では、前記確率論的モデルはマッピングモデルをさらに具備し、前記マッピングモデルは複数のマッピングモデルパラメータを具備し、前記マッピングモデルは、人間の声道を表す複数の係数をフィルタリングするために、複数のスペクトル特徴をマップするように構成される。好ましくは、複数のスペクトル特徴と複数のフィルタ係数との関係は、ガウスプロセスとしてモデル化される。
【００２２】
本発明の実施形態は、ハードウェアでも汎用コンピュータでのソフトウェアでも実行されうる。さらに、本発明は、ハードウェアとソフトウェアとの組み合わせで実行されうる。本発明はまた、単一処理装置あるいは複数の処理装置の分散型ネットワークによって実行されうる。
【００２３】
本発明はソフトウェアによって実行されうるので、本発明は、任意の適切なキャリア媒体で汎用コンピュータに提供されるコンピュータコードを包含する。キャリア媒体は、フロッピー（登録商標）ディスク、ＣＤ ＲＯＭ、磁気デバイスあるいはプログラム可能メモリ装置のような任意の記憶媒体、あるいは任意の信号（例えば電気的、光学的、またはマイクロ波信号）のような任意の一時的な媒体（transient medium）を具備することができる。
【００２４】
図１は非常に基本的な音声処理システムの概略図であり、図１のシステムは音声合成のために形成された。テキストはユニット１を介して受け取られる。ユニット１は、インターネットへの接続、プロセッサから出力されたテキストへの接続、音声から音声言語処理モジュール（携帯電話など）への入力、であってもよい。ユニット１は、以前に保存されたテキストデータを含んでいるメモリによって置き換えられる。
【００２５】
その後、テキスト信号は、図２を参照してより詳細に記述される音声プロセッサ３に導かれる。
【００２６】
音声プロセッサ３は、テキスト信号を取り込み、それをテキスト信号に対応する音声に変える。出力の様々な形式が利用可能である。例えば、出力は、スピーカーに出力する直接の音声出力５の形式でもよい。これは、自動車電話、衛星ナビゲーションシステムなどで実行されうる。あるいは、出力は、オーディオファイルとして保存されてもよいし、メモリに向けられてもよい。さらに、出力は、さらなるシステム９に提供される電子音声信号の形式になりうる。
【００２７】
図２は、テキストを音声に変換するシステム５１の基礎的なアーキテクチャを示す。テキストを音声に変換するシステム５１は、プログラム５５を実行するプロセッサ５３を具備する。テキストを音声に変換するシステム５１はさらに記憶装置５７を含む。記憶装置５７は、テキストを音声に変換するプログラム５５によって使用されるデータを格納する。テキストを音声に変換するシステム５１は、入力モジュール６１及び出力モジュール６３をさらに具備する。入力モジュール６１はテキスト入力６５に接続される。テキスト入力６５はテキストを受け取る。テキスト入力６５は例えばキーボードでもよい。
【００２８】
あるいは、テキスト入力６５は、外部記憶媒体あるいはネットワークからテキストデータを受け取る手段でもよい。
【００２９】
オーディオ６７のための出力が出力モジュール６３に接続される。音声出力６７は、テキスト入力からテキスト入力６３に変換された音声信号を出力するために使用される。音声出力６７は、例えば直接の音声出力（例えば、記憶媒体、ネットワーク等に送られる音声データファイルのための出力、またはスピーカー）でもよい。
【００３０】
使用中では、テキストを音声に変換するシステム５１は、テキスト入力６３を介してテキストを受け取る。プロセッサ５３で実行されるプログラム５５は、記憶装置５７に格納されるデータを使用して、テキストを音声データに変換する。音声は、音声出力６７に出力モジュール６５を介して出力される。
【００３１】
図３は音声生成のモデルの概略図である。モデルには２つのサブモデルがある。音響モデル１０１、及び励振モデル１０３である。
【００３２】
単語あるいはその部分が特徴または特徴ベクトルに変換される場合、音響モデルは、音声合成の技術においてよく知られている。この実施形態では、隠れマルコフモデル（ＨＭＭ）に基づく音響モデルが使用される。しかしながら、他のモデルを使用することができるかもしれない。
【００３３】
この実施形態で使用される実際のモデルは、標準モデルである。モデルの詳細はこの特許出願の範囲外である。しかしながら、モデルは、単語あるいはその部分に関係している特徴ベクトルによって表わされる観測の可能性に関係のある確率密度関数（ｐｄｆｓ）の提供を要求するだろう。一般に、この確率分布はｎ次元空間でのガウス分布になるだろう。
【００３４】
一般的なガウス分布の概要の例は図４に示される。ここで、水平軸は１次元での入力ベクトルのパラメータに対応する。また確率分布は、観測に関係のある特別の単語あるいはその部分に関する。例えば、図４では、特徴ベクトルｘに対応する観測は、その確率分布が図４に示される単語に対応する確率ｐ１を有する。ガウス分布の形状及び位置はその平均と分散とによって定義される。これらのパラメータは、語いに関するトレーニングの間に決定される。それらは音響モデルに関する「モデルパラメータ」と呼ばれるだろう。
【００３５】
音声へ出力されることになっているテキストは、最初に複数の電話ラベルに変換される。電話ラベルは、その音素に関する文脈情報を備えた音素を含む。文脈情報の例は、先行し後続する複数の音素、音素の単語内での位置、文での単語の位置などである。その後、音素ラベルは音響モデルに入力される。
【００３６】
音響モデルＨＭＭの出力、一旦複数のモデルパラメータが決定されると、複数の単語の順序または複数の単語の部分に対応する観測の順序の尤度を決定するために、モデルを使用することができる。
【００３７】
特にこの実施形態では、音響モデル１０１の出力である特徴はＦ０特徴及びスペクトルの特徴である。この実施形態では、複数のスペクトル特徴はケプストラム係数である。しかしながら、他の実施形態では、他の複数のスペクトル特徴が、線形予測係数（ＬＰＣ）、線スペクトルペア（ＬＳＰ）及びそれらの周波数が歪んだバージョンのように、使用される。
【００３８】
複数のスペクトル特徴は、ｈｃ（ｎ）として表現された声道フィルタ係数を形成するために変換される。
【００３９】
生成された複数のＦ０特徴はパルス列シーケンスｔ（ｎ）に変換される。また、Ｆ０値によれば、パルス列間の期間は決定される。
【００４０】
例えば、パルス列は時間領域での信号のシーケンスである：例えば
０１０００１００００１００
ここで１はパルスである。人間の声帯は、有声発話のための複数の周期信号を生成するために振動する。パルス列シーケンスはこれらの周期信号に近づけるために使用される。
【００４１】
白色雑音励起シーケンスｗ（ｎ）は白色ノイズ発生器（図示せず）から生成される。
【００４２】
パルス列ｔ（ｎ）及び白色雑音シーケンスｗ（ｎ）は、励振モデルパラメータＨｖ（ｚ）及びＨｕ（ｚ）によってそれぞれフィルタリングされる。励振モデルパラメータは励振モデル１０５から生成される。Ｈｖ（ｚ）は、有声インパルス応答フィルタ係数を表わし、それが声門の動作を表わすので、時々「声門フィルタ」と呼ばれる。Ｈｕ（ｚ）は無声フィルタ応答係数を表わす。Ｈｖ（ｚ）及びＨｕ（ｚ）はともに肺と声帯をモデル化する励振パラメータである。
【００４３】
時間領域信号である有声励振信号ｖ（ｎ）は、フィルタリングされたパルス列から生成される。また、さらに時間領域信号である無声励振信号ｕ（ｎ）は、白色雑音ｗ（ｎ）から生成される。これらの信号ｖ（ｎ）及びｕ（ｎ）は、混合されて（加算され）て、時間領域での複数の混合励振信号ｅ（ｎ）からなる。
【００４４】
最後に、複数の励振信号ｅ（ｎ）は、上で説明したように導かれる複数のスペクトル特徴から導かれるインパルス応答Ｈｃ（ｚ）によってフィルタリングされ、音声波形ｓ（ｎ）を得る。
【００４５】
音声合成ソフトウェア製品では、製品は、平均と分散のような音響モデルパラメータと共に、Ｈｖ（ｚ）及びＨｕ（ｚ）の係数を含んでいるメモリを具備する。製品はさらに、音響モデルから出力された複数のスペクトル特徴がＨｃ（ｚ）に変換されることを可能にするデータを含むだろう。複数のスペクトル特徴が複数のケプストラム係数である場合、Ｈｃ（ｚ）へのスペクトル特徴の変換は決定論的で、確率論的モデルをトレーニングするために使用されるデータの性質に依存しない。
【００４６】
しかしながら、スペクトル特徴が、線形予測係数（ＬＰＣ）、線スペクトルペア（ＬＳＰ）及びそれらの周波数が歪んだバージョンのような他の特徴を具備する場合は、スペクトル特徴とＨｃ（ｚ）との間でのマッピングは、決定論的でなく、音響及び励振パラメータが推定される場合に推定される必要がある。しかしながら、スペクトル特徴とＨｃ（ｚ）との間のマッピングが、決定論的であるか、マッピングモデルを使用して推定されるかに関わらず、好ましい実施形態では、ソフトウェア合成製品は、スペクトル特徴をＨｃ（ｚ）に変換するために必要とされる情報をちょうど具備するだろう。
【００４７】
音声合成システムのトレーニングは、複数のモデルの複数のパラメータを評価することを含んでいる。上記のシステムでは、音響、励振及び写像のモデルパラメータは、推定されることになっている。しかしながら、マッピングモデルパラメータを取り除くことができることは注意されるべきである。また、これは後で記述されるだろう。
【００４８】
本発明の実施形態に従うトレーニング方法では、音響モデルパラメータ及び励振モデルパラメータは、同じプロセスで同時に推定される。
【００４９】
違いを理解するために、これらのパラメータを推定するための従来のフレームワークが最初に記述される。
【００５０】
既知の統計パラメータの音声合成では、最初に、音声特徴の「スーパーベクトル」
【数３】
2011237795.tif 000005
【００５１】
が音声波形から抽出される。ここで、
【数４】
2011237795.tif 000006
【００５２】
フレームｔでのＣ次の音声パラメータベクトルであり、Ｔは全フレーム数である。音響モデルパラメータの推定は、ＭＬ基準を介して通常行われる：
【数５】
2011237795.tif 000007
【００５３】
ここで、
【数６】
2011237795.tif 000008
【００５４】
は音声波形の表記であり、λｃは１セットの音響モデルパラメータを示す。
【００５５】
合成中に、音声特徴ベクトルｃ’は、合成された
【数７】
2011237795.tif 000009
【００５６】
になるある与えられたテキストに関して、その出力確率を最大化するように、合成されるために生成される。
【数８】
2011237795.tif 000010
【００５７】
Ｆ０及び恐らくは期間と共のこれらの特徴は、図３を参照して説明されるように、ソースフィルタ生成アプローチを使用することによって、音声波形を生成するために利用される。
【００５８】
本発明の実施形態に従うトレーニング方法は、異なるアプローチを使用する。任意の音声合成装置の意図が、できる限り音声波形を模倣することであるので、本発明の実施形態では波形レベルで定義された統計モデルが提案される。提案されたモデルのパラメータは、波形それ自身の尤度を最大化するように推定される。すなわち、
【数９】
2011237795.tif 000011
【００５９】
ここで、
【数１０】
2011237795.tif 000012
【００６０】
は音声波形全体を含んでいるベクトルである。ｓ（ｎ）はサンプルｎの波形値である。Ｎはサンプル数である。また、λは、共同の音響励振モデルのパラメータのセットを示す。
【００６１】
２つの隠れた変数：状態シーケンスｑ＝｛ｑ０、……、ｑＴ−１｝（離散的）、スペクトルパラメータ
【数１１】
2011237795.tif 000013
【００６２】
（連続的）を導入することによって、式（３）は次のように書き直すことができる：
【数１２】
2011237795.tif 000014
【００６３】
ここでｑｔはフレームｔでの状態である。
【００６４】
式（５）の項、ｐ（ｓ｜ｃ，ｑ，λ）、ｐ（ｃ｜ｑ，λ）、ｐ（ｑ｜ｌ，λ）を、以下のように別々に分析することができる。
【００６５】
・ｐ（ｓ｜ｃ，ｑ，λ）：この確率は、スペクトル特徴とある与えられた状態シーケンスからの音声波形生成に関する。λに関するこの確率の最大化は、スペクトルモデルパラメタのＭＬ推定と密接な関係がある。この確率は想定された音声信号生成モデルに関連する。
【００６６】
・ｐ（ｃ｜ｑ，λ）：この確率は、ＨＭＭあるいは隠れた半マルコフモデル（ＨＳＭＭ）がその音響モデルとして使用される場合、複数の音声パラメータベクトルの複数の状態出力確率の積として与えられる。トラジェクトリＨＭＭが使用される場合、この確率は全体の音声パラメータベクトルの状態シーケンス出力確率として与えられる。
【００６７】
・ｐ（ｑ｜ｌ，λ）：この確率は表記
【数１３】
2011237795.tif 000015
【００６８】
に関して状態シーケンスｑの確率を与える。ＨＳＭＭまたはトラジェクトリＨＳＭＭが使用される場合、それは状態遷移及び状態持続の両方の確率を含む。
【００６９】
ＨＭＭ、ＨＳＭＭあるいはトラジェクトリＨＭＭのような既存する音響モデルを使用してｐ（ｃ｜ｑ，λ）、ｐ（ｑ｜ｌ，λ）をモデル化することが可能である。問題はｐ（ｓ｜ｃ，ｑ，λ）をどのようにモデル化するかである。
【００７０】
音声信号が図４のダイアグラムによって生成されると仮定されている、つまり、
【数１４】
2011237795.tif 000016
【００７１】
ここで＊は線形の畳み込みを示し、
・ｈｃ（ｎ）：声道フィルタインパルス応答である。
【００７２】
・ｔ（ｎ）：パルス列である。
【００７３】
・ｗ（ｎ）：平均０及び分散１を備えたガウスの白色雑音シーケンスである。
【００７４】
・ｈｖ（ｎ）：有声フィルタインパルス応答である。
【００７５】
・ｈｕ（ｎ）：無声フィルタ・インパルス応答である
ここで、声道、有声及び無声フィルタは、ｚ−変換領域で次の形をそれぞれ持つと仮定される：
【数１５】
2011237795.tif 000017
【００７６】
ここでＰ、Ｍ及びＬはそれぞれＨｃ（ｚ）、Ｈｖ（ｚ）及びＨｕ（ｚ）のオーダーである。フィルタＨｃ（ｚ）は、最小位相応答を有していると見なされる。なぜならそれが声道フィルタのインパルス応答を表わすからである。さらに、Ｈｕ（ｚ）の係数が、R. Maia, T. Toda, H. Zen, Y. Nakaku, and K. Tokuda, "An excitation model for HMM-based speech synthesis based on residual modelling," in Proc. of the 6th ISCA Workshop on Speech Synthesis, 2007で説明されるアプローチによって計算される場合は、Ｈｃ（ｚ）もまた、最小位相応答を有している。上記の発生モデルの複数のパラメータは、声道、有声及び無声のフィルタ、Ｈｃ（ｚ）、Ｈｖ（ｚ）及びＨｕ（ｚ）、及び、ｔ（ｎ）の位置及び振幅、
【数１６】
2011237795.tif 000018
【００７７】
（Ｚはパルス数）を具備する。Ｈｖ（ｚ）及びＨｕ（ｚ）を推定するいくつかの方法があるが、この報告書は、R. Maia, T. Toda, H. Zen, Y. Nakaku, and K. Tokuda, "An excitation model for HMM-based speech synthesis based on residual modelling," in Proc. of the 6th ISCA Workshop on Speech Synthesis, 2007に述べられていた方法に基づくだろう。
【００７８】
それぞれ行列及びベクトルを意味する大文字及び小文字の頭文字と共に、行列表記法を使用して、式（６）は次のように書くことができる。
【数１７】
2011237795.tif 000019
【００７９】
ここで、
【数１８】
2011237795.tif 000020
【００８０】
ベクトルｓｕは
【数１９】
2011237795.tif 000021
【００８１】
のサンプルを含んでいる。そして、ベクトルｓｕは、次の共分散行列と共に、音声信号の有声領域に関するモデルのエラーとして解釈されうる。
【数２０】
2011237795.tif 000022
【００８２】
ここで、
【数２１】
2011237795.tif 000023
【００８３】
ｗ（ｎ）がガウスの白色雑音であるので、ｕ（ｎ）＝ｈｕ（ｎ）＊ｗ（ｎ）は正規分布した確率過程になる。ベクトル表記法の使用によって、確率ｕは以下になる。
【数２２】
2011237795.tif 000024
【００８４】
ここでＮ（ｘ；μ，Σ）は、平均ベクトルμ及び共分散行列Σを備えたｘのガウス分布である。したがって、
【数２３】
2011237795.tif 000025
【００８５】
なので、音声ベクトルｓの確率は以下になる。
【数２４】
2011237795.tif 000026
【００８６】
Ｈｃの最後のＰ行が無視される（それは、サンプル
【数２５】
2011237795.tif 000027
【００８７】
を生成するＨｃ（ｚ）のゼロインパルス応答を無視することを意味する）場合、Ｈｃは、式（２４）が次式（２５）に書き直される次元（Ｎ＋Ｍ）ｘ（Ｎ＋Ｍ）を有する正方になる。
【数２６】
2011237795.tif 000028
【００８８】
ここで、
【数２７】
2011237795.tif 000029
【００８９】
は音声生成モデルの励起モデル部分のパラメータである。Ｈｃ（ｚ）による逆フィルタリングを介して音声信号ｓ（ｎ）から抽出される項
【数２８】
2011237795.tif 000030
【００９０】
が残りのシーケンスに対応することに注意することは興味深い。
【００９１】
R. Maia, T. Toda, H. Zen, Y. Nakaku, and K. Tokuda, "An excitation model for HMM-based speech synthesis based on residual modelling," in Proc. of the 6th ISCA Workshop on Speech Synthesis, 2007で提案されたように、ＨｖとＨｕが状態依存パラメータ結束構造を有すると仮定することによって、式（２５）は次式に書き直される。
【数２９】
2011237795.tif 000031
【００９２】
ここで、Ｈｖ，ｑ及びＧｑは、状態シーケンスｑに関して、それぞれ有声フィルタ及び逆無声フィルタインパルス応答行列である。
【００９３】
声道インパルス応答Ｈｃ（あるいはＨｃ（ｚ）の複数の係数）とスペクトル特徴ｃとの間に１対１の関係が通常ある。しかしながら、いくつかのスペクトル特徴の表現に関する閉じた形式でのｃから、Ｈｃを計算することは難しい。この問題に取り組むために、確率近似がｃとＨｃとの関係をモデル化するために導入される。ｃとＨｃとの間のマッピングが、確率ｐ（Ｈｃ｜ｃ，ｑ，λｈ）を有するガウスプロセス（ここでλｈはスペクトル特徴を声道フィルタインパルス応答にマッピングするモデルのパラメータセットである）によって表現されると考えられるならば、ｐ（ｓ｜ｃ，ｑ，λｅ）は以下になる。
【数３０】
2011237795.tif 000032
【００９４】
ここで、ｆｑ（ｃ）はｃをＨｃに変換するための近似された関数であり、Ωｑは問題となっているガウス分布の共分散行列である。この表現は、Ｈｃがｃから閉じた形式でその特別な場合として計算されうる場合（すなわち、ｆｑ（ｃ）は閉じた形式でマッピング関数になり、Ωｑはゼロ行列になる）を含んでいる。結果として生じるモデルは、ｆｑ（ｃ）に関する線形関数が利用され、それはｑに依存するパラメータ共有構造を有している場合に、共有の因子分析モデルに非常に類似していることに注目することは興味深い。
【００９５】
トラジェクトリＨＭＭが音響モデルｐ（ｃ｜ｌ，λｃ）として使用される場合に、ｐ（ｃ｜ｑ，λｃ）及びｐ（ｑ｜ｌ，λｃ）は次のように定義され得る。
【数３１】
2011237795.tif 000033
【００９６】
ここで、πｉは状態ｉの初期状態確率であり、αｉｊは状態ｉから状態ｊへの状態遷移確率であり、
【数３２】
2011237795.tif 000034
【００９７】
及びＰｑはｑに関するトラジェクトリＨＭＭの平均ベクトル及び共分散行列に対応する。式（２９）では、
【数３３】
2011237795.tif 000035
【００９８】
及びＰｑは以下のように与えられる。
【数３４】
2011237795.tif 000036
【００９９】
ここでＷは典型的には、力学的な特徴（速度及び加速度の特徴）とｃに付加する３Ｔ（Ｃ＋１）ｘＴ（Ｃ＋１）ウィンドウ行列である。例えば、ｃｔ、Δ（０）ｃｔ、Δ（１）ｃｔ及びΔ（２）ｃｔの静的な、速度の、加速度の特徴は次のように計算される。
【数３５】
2011237795.tif 000037
【０１００】
このとき、Ｗは以下のとおりである。
【数３６】
2011237795.tif 000038
【０１０１】
ここでＩと０は、（Ｃ＋１）ｘ（Ｃ＋１）の単位行列及びゼロ行列に対応する。式（３２）及び式（３３）でのμｑ及び
【数３７】
2011237795.tif 000039
【０１０２】
は、状態シーケンスｑに関して、３Ｔ（Ｃ＋１）ｘ１の平均パラメータベクトル及び３Ｔ（Ｃ＋１）ｘ３Ｔ（Ｃ＋１）の精度パラメータ行列に対応していて、次式で与えられる。
【数３８】
2011237795.tif 000040
【０１０３】
ここで、μｉとΣｉは、状態ｉに関して、３（Ｃ＋１）の平均パラメータベクトル及び３（Ｃ＋１）ｘ３（Ｃ＋１）の精度パラメータ行列が対応し、Ｙ＝diag｛Ｘ１、…、ＸＤ｝は行列｛Ｘ１、…、ＸＤ｝がＹの対角なサブ行列であることを意味する。平均パラメータベクトル及び精度パラメータ行列は以下で定義される。
【数３９】
2011237795.tif 000041
【０１０４】
ここでΔ（ｊ）μｉ及び
【数４０】
2011237795.tif 000042
【０１０５】
は、状態ｉと関連して、（Ｃ＋１）ｘ１の平均パラメータベクトル及び（Ｃ＋１）ｘ（Ｃ＋１）の精度パラメータ行列に対応する。
【０１０６】
最終のパラメータモデルは、マッピングモデルを介して音響及び励振のモデルを組み合わせることによって以下のように得られる：
【数４１】
2011237795.tif 000043
【０１０７】
ここで、
【数４２】
2011237795.tif 000044
【０１０８】
ここで、λ＝｛λｅ，λｈ，λｃ｝
ケプストラム係数、線形予測係数（ＬＰＣ）、線スペクトルペア（ＬＳＰ）及びそれらの周波数が歪んだバージョンのような様々な可能なスペクトル特徴がある。この実施形態では、ケプストラム係数は特殊な場合と見なされる。ケプストラム係数ベクトル
【数４３】
2011237795.tif 000045
【０１０９】
からその対応する声道フィルタインパルス応答ベクトル
【数４４】
2011237795.tif 000046
【０１１０】
へのマッピングは以下のような閉じた形式で書かれうる。
【数４５】
2011237795.tif 000047
【０１１１】
ここでEXP [.]は、[.]の要素の指数関数をとることによって導かれる行列を意味し、Ｄは（Ｐ＋１）ｘ（Ｃ＋１）のＤＦＴ（離散フーリエ変換）行列であり、
【数４６】
2011237795.tif 000048
【０１１２】
ここで
【数４７】
2011237795.tif 000049
【０１１３】
また、Ｄ＊は、次の形式を備えた（Ｐ＋１）ｘ（Ｐ＋１）のＩＤＦＴ（逆離散フーリエ変換）行列である。
【数４８】
2011237795.tif 000050
【０１１４】
ケプストラム係数と声道フィルタ応答との間のマッピングとして、閉じた形式でのコンピュータがあり得る。ｃとＨｃとの間の確率近似を使用する必要はない。式（１０）の生成モデルに現れる声道フィルタインパルス応答関連の項はＨＣでありｈｃでない。式（１２）及び（１３）として与えられたＨＣとｈｃとの間の関係は以下で与えられる。
【数４９】
2011237795.tif 000051
【０１１５】
ｈｃ、ｔはｔ番目のフレームの合成フィルタインパルス応答であり、Ｔは全フレーム数であり、以下のように書かれうる。
【数５０】
2011237795.tif 000052
【０１１６】
式（５３）では、Ｎは（データベースの）サンプル数であり、
【数５１】
2011237795.tif 000053
【０１１７】
ここでＢは、フレーム基底ｈｃベクトルをサンプル基底にマッピングするためのＮ（Ｐ＋１）ｘＴ（Ｐ＋１）行列である。
【０１１８】
最後のＰ行を無視することにより、Ｈｃの正方バージョンが考慮されることは注目すべきである。ＮｘＮ（Ｐ＋１）行列Ｊｎは以下のように構築される。
【数５２】
2011237795.tif 000054
【０１１９】
ここで、０Ｘ，ＹはＸ行Ｙ列でのゼロ要素の行列を意味し、ＩＸはＸサイズの単位行列である。
【０１２０】
モデルのトレーニングは今、図５及び６を参照して説明される。
【０１２１】
トレーニングは、共同モデルλのパラメータが次のように推定されることを可能にする：
【数５３】
2011237795.tif 000055
【０１２２】
ここで、励振モデルのパラメータに対応するλｅ＝｛Ｈｖ、Ｇ、ｔ｝でλ＝｛λｅ，λｈ，λｃ｝であり、音響モデルのパラメータを構成するλ＝｛ｍ，σ｝、
【数５４】
2011237795.tif 000056
【０１２３】
ここでＳは状態数である。ｍとσはそれぞれ、全ての状態の逆共分散行列の全ての平均及び対角を連結させることによって形成されるベクトルである。ここでｖｄｉａｇ｛［．］｝は［．］の対角要素によって形成されるベクトルを意味している。スペクトル特徴としてのケプストラム係数を仮定する尤度関数ｐ（ｓ｜ｌ，λ）は、以下のようになる。
【数５５】
2011237795.tif 000057
【０１２４】
残念ながら、期待値最大化（ＥＭ：expectation-maximization）を介するこのモデルの推定は、解決困難である。したがって、近似の再帰的なアプローチが採用される。
【０１２５】
式（６２）での全ての可能なｑに渡る和が固定された状態シーケンスによって近似される場合には、上記の尤度関数は以下になる。
【数５６】
2011237795.tif 000058
【０１２６】
ここで、
【数５７】
2011237795.tif 000059
【０１２７】
は状態シーケンスである。さらに、全ての可能なｃに渡る積分がスペクトルベクトル及びインパルス応答ベクトルによって近似される場合には、式（６３）は以下になる。
【数５８】
2011237795.tif 000060
【０１２８】
ここで、
【数５９】
2011237795.tif 000061
【０１２９】
は固定スペクトル応答ベクトルである。
【０１３０】
式（６４）の対数を取ること、または最大化されるコスト関数によって、音響、励振、及びマッピングモデルパラメータの更新を介して、以下が得られる。
【数６０】
2011237795.tif 000062
【０１３１】
最適化問題は２つの部分へ分割されうる：初期化と反復である。以下は、各部分で行なわれる計算について説明する。初期化は、図５を参照して説明され、反復は図６を参照して説明される。
【０１３２】
モデルは、対応するテキストデータを備えた音声データであり、ステップＳ２１０で入力されるトレーニングデータを使用してトレーニングされる。
【０１３３】
パート１−初期化  
１．ステップＳ２０３では、音声データは最初の１つのケプストラム係数ベクトルから抽出される。
【数６１】
2011237795.tif 000063
【０１３４】
２．ステップＳ２０５では、トラジェクトリＨＭＭパラメータλｃはｃを使用してトレーニングされる。
【数６２】
2011237795.tif 000064
【０１３５】
３．ステップＳ２０７では、最良の状態シーケンス
【数６３】
2011237795.tif 000065
【０１３６】
は、H. Zen, K. Tokuda, and T. Kitamura, "Reformulating the HMM as a trajectory model by imposing explicit relationships between static and dynamic feature vector sequence," Computer Speech and Language, vol. 21, pp. 153-173, Jan. 2007のアルゴリズムを使用することによって、トレーニングされたモデルからビタビパスとして決定される。
【数６４】
2011237795.tif 000066
【０１３７】
４．ステップＳ２０９では、
【数６５】
2011237795.tif 000067
【０１３８】
及びｃを仮定して、マッピングモデルパラメータλｈは推定される。
【数６６】
2011237795.tif 000068
【０１３９】
５．ステップＳ２１１では、R. Maia, T. Toda, H. Zen, Y. Nakaku, and K. Tokuda, "An excitation model for HMM-based speech synthesis based on residual modelling," in Proc. of the 6th ISCA Workshop on Speech Synthesis, 2007で記述されているアルゴリズムの１回の反復を使用することによって、励振パラメータλｅは
【数６７】
2011237795.tif 000069
【０１４０】
及びｃを仮定して、評価される。
【数６８】
2011237795.tif 000070
【０１４１】
部分２：反復
１．図６のステップＳ２１３では、最良のケプストラム係数ベクトル
【数６９】
2011237795.tif 000071
【０１４２】
は式（６５）の対数尤度関数を使用して推定される。
【数７０】
2011237795.tif 000072
【０１４３】
２．ステップＳ２１５では、声道フィルタインパルス応答Ｈｃは
【数７１】
2011237795.tif 000073
【０１４４】
及び
【数７２】
2011237795.tif 000074
【０１４５】
を仮定して推定される。
【数７３】
2011237795.tif 000075
【０１４６】
３．ステップＳ２１７では、励振モデルパラメータλｅは、
【数７４】
2011237795.tif 000076
【０１４７】
及び
【数７５】
2011237795.tif 000077
【０１４８】
を仮定して更新される。
【数７６】
2011237795.tif 000078
【０１４９】
４．ステップＳ２１９では、音響モデルパラメータが更新される。
【数７７】
2011237795.tif 000079
【０１５０】
５．ステップＳ２２１では、マッピングモデルパラメータが更新される。
【数７８】
2011237795.tif 000080
【０１５１】
再帰的なステップは数回繰り返されてもよい。以下では、それらの内のそれぞれ１つが詳細に説明される。
【０１５２】
反復は収束までに終了する。収束は多くの異なった方法で決定されてもよい。一実施形態では、尤度での変化が所定の最小値よりも小さい場合に収束は生じたと見なされるだろう。例えば、尤度Ｌでの変化が５％未満である。
【０１５３】
反復のステップ１  Ｓ２１３では、ケプストラム係数がスペクトル特徴として使用される場合には、式（６５）の尤度関数は次のように書かれる。
【数７９】
2011237795.tif 000081
【０１５４】
ｃに依存する項が選択され、以下によって与えられるコスト関数ｈｃを構成する。
【数８０】
2011237795.tif 000082
【０１５５】
最良のケプストラム係数ベクトル
【数８１】
2011237795.tif 000083
【０１５６】
は、コスト関数ｈｃを最大にするものとして定義されうる。最急勾配傾斜アルゴリズム（steepest gradient ascent algorithm）（例えばJ. Nocedal and S. J. Wright, Numerical Optimization. Springer, 1999を参照）、またはBroyden Fletcher Goldfarb Shanno (BFGS)アルゴリズムのような別の最適化方法を利用することによって、
【数８２】
2011237795.tif 000084
【０１５７】
に関するそれぞれの更新は以下によって計算することができる。
【数８３】
2011237795.tif 000085
【０１５８】
ここでγは収束ファクタ（定数）であり、ｉは反復インデックスであり、そして、
【数８４】
2011237795.tif 000086
【０１５９】
ここで、Ｄｉａｇ（［．］）はベクトル［．］の要素で形成される対角行列を意味し、
【数８５】
2011237795.tif 000087
【０１６０】
上記では、反復過程は収束まで継続する。好ましい実施形態では、連続する反復間の差が５％未満である場合に、収束が生じている。
【０１６１】
再帰的手続きのステップ３  Ｓ２１７では、励振パラメータλｅ＝｛Ｈｖ、Ｇ、Ｇ｝は、R. Maia, T. Toda, H. Zen, Y. Nakaku, and K. Tokuda, "An excitation model for HMM-based speech synthesis based on residual modelling," in Proc. Of the 6th ISCA Workshop on Speech Synthesis, 2007で説明されるアルゴリズムの１つの反復の使用により計算される。
【０１６２】
この場合、推定されたケプストラム係数ベクトル
【数８６】
2011237795.tif 000088
【０１６３】
は、残差ベクトル
【数８７】
2011237795.tif 000089
【０１６４】
を逆フィルタリングを介して抽出するために使用される。
【０１６５】
ステップ４  Ｓ２１９では、音響モデルパラメータの推定λ＝｛ｍ，σ｝は、観測として最良に推定されたケプストラムベクトル
【数８８】
2011237795.tif 000090
【０１６６】
を利用することによって、H. Zen, K. Tokuda, and T. Kitamura, "Reformulating the HMM as a trajectory model by imposing explicit relationships between static and dynamic feature vector sequence," Computer Speech and Language, vol. 21, pp. 153-173, Jan. 2007に記述されたようになされる。
【０１６７】
上記のトレーニング方法は、マッピングモデルの１セットのモデルパラメータλｈを使用して、ｆｑ（ｃ）によって予測されたＨｃの不確定性について記述する。
【０１６８】
しかしながら、他の実施形態では、決定論的な場合が仮定され、ｆｑ（ｃ）が完全にＨｃを予測する。この実施形態では、Ｈｃとｆｑ（ｃ）との間に不確定性はなく、したがって、λｈはもはや必要ではない。
【０１６９】
そのようなシナリオでは、マッピングモデルパラメータは図５のステップＳ２０９でゼロに設定され、図６のステップＳ２２１で再度推定されない。
【０１７０】
図７は、本発明の実施形態で用いる音声合成方法のフローチャートである。
【０１７１】
テキストはステップＳ２５１で入力される。音響モデルはこのテキスト上で実行され、スペクトル特徴及びＦ０特徴を含む特徴はステップＳ２５３で抽出される。
【０１７２】
インパルス応答フィルタ関数は、ステップＳ２５３で抽出されたスペクトル特徴からステップＳ２５５で生成される。
【０１７３】
入力テキストもまた励振モデルに入力される。また、励振モデルパラメータはステップＳ２５７で入力テキストから生成される。
【０１７４】
ステップＳ２５３で抽出された特徴に戻って、この段階で抽出されたＦ０特徴はステップＳ２５９でのパルス列に変換される。パルス列はステップＳ２５７で生成された有声フィルタ関数を使用してフィルタリングされる。
【０１７５】
白色雑音は白色ノイズ発生器によって生成される。その後、白色雑音はステップＳ２５７で生成された無声フィルタ関数を使用して、ステップＳ２６３でフィルタリングされる。
【０１７６】
その後、ステップＳ２６１で生成された有声励振信号、及びステップＳ２６３で生成された無声励振信号は、ステップＳ２６５での混合励振信号を生成するために混合される。
【０１７７】
その後、混合励振信号は、ステップＳ２５５で生成されたインパルス応答を使用して、ステップＳ２６７でフィルタリングされる。また、音声信号が出力される。
【０１７８】
共同の最適化を介して音響及び励振モデルをトレーニングすることによって、位相情報のような音声パラメータ抽出の間に失われる情報は、自然な音声により近づいて聞こえる合成音声になって、実行時間で回復されるかもしれない。したがって、統計パラメータのテキストを音声に変換するシステムは、自然な音声に非常に似ているように聞こえる合成音声を生産する能力で生産されうる。
【０１７９】
ある実施形態は記述されているが、これらの実施形態は例のみによって提示されていて、発明の範囲を制限するようには意図されない。実際、ここに記述された新しい方法及びシステムは様々な他の形式で具体化されてもよい。更に、ここに記述された方法及びシステムの形式での様々な省略、置換及び変更は、添付されたクレームによって定義されるような発明の範囲から外れずになされてもよい。
【図１】
2011237795.tif 000099
【図２】
2011237795.tif 000100
【図３】
2011237795.tif 000101
【図４】
2011237795.tif 000102
【図５】
2011237795.tif 000103
【図６】
2011237795.tif 000104
【図７】
2011237795.tif 000105
【手続補正書】
【提出日】平成23年6月24日(2011.6.24)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
テキスト入力を受け取り、確率論的モデルを使用して前記テキスト入力に対応する音声を出力し、前記確率論的モデルは音響モデルと励振モデルとを具備し、前記音響モデルは単語または単語の部分をある特徴に関連づける複数の確率分布を記述する複数のモデルパラメータを有し、前記励振モデルは声帯及び肺をモデル化して特徴を使用して音声を出力するために使用される励振モデルパラメータを具備し、
前記音響パラメータ及び前記励振パラメータは一緒に推定され、
前記音声を出力することを具備する音声処理方法。
【請求項２】
前記テキスト入力は、前記音響モデルによって処理され、Ｆ０及びスペクトルの特徴を出力し、
パルス列を形成するために前記Ｆ０特徴を処理し、
励振信号を生成するために前記励振モデルから導かれる複数の励振パラメータを使用して前記パルス列をフィルタリングし、
前記スペクトル特徴から導かれる複数のフィルタパラメータを使用して前記励振信号をフィルタリングすることをさらに具備する請求項１に記載の音声処理方法。
【請求項３】
音声合成に関する統計モデルをトレーニングする方法であって、
トレーニングデータを受け取り、前記トレーニングデータは音声と前記音声に対応するテキストとを具備し、
確率論的モデルをトレーニングし、前記確率論的モデルは音響モデルと励振モデルとを具備し、前記音響モデルは単語またはその単語の部分を特徴ベクトルに関連づける複数の確率分布を記述する複数のモデルパラメータを有していて、前記励振モデルは声帯及び肺をモデル化して前記音声を出力する複数の励振モデルパラメータを具備し、
前記音響パラメータ及び前記励振パラメータはトレーニング処理の間に一緒に推定される方法。
【請求項４】
前記音響モデルパラメータは、前記確率分布の平均と分散とを具備する請求項３に記載の方法。
【請求項５】
前記音響モデルによって出力される前記特徴はＦ０特徴とスペクトル特徴を具備する請求項３に記載の方法。
【請求項６】
前記励振モデルパラメータは、Ｆ０特徴から導かれるパルス信号をフィルタリングするフィルタ係数を具備する請求項５に記載の方法。
【請求項７】
共同に推定する処理は、再帰的な処理を具備し、
１つのステップでは励振パラメータが音響パラメータの最新の推定を使用して更新され、別のステップでは音響モデルパラメータが励振パラメータの前記最新の推定を使用して更新される請求項３に記載の方法。
【請求項８】
共同に推定する処理は、最大尤度技術を使用する請求項３に記載の方法。
【請求項９】
前記確率論的モデルは、マッピングモデルをさらに具備し、前記マッピングモデルは複数のマッピングモデルパラメータを具備し、前記マッピングモデルは複数のスペクトル特徴を、人間の声道を表現する複数のフィルタ係数にマッピングする請求項５に記載の方法。
【請求項１０】
前記パラメータは以下のように一緒に推定され、
【数１】
2011237795.tif 000106
ここで、λは最適化される前記励振モデルと音響モデルとのパラメータを表し、ｓは自然な音声波形であり、
【数２】
2011237795.tif 000107
は前記音声波形の表記である請求項３に記載の方法。
【請求項１１】
λは、人間の声道を表現するために、複数のスペクトルパラメータをフィルタ関数にマッピングするマッピングモデルの複数のパラメータをさらに具備する請求項１０に記載の方法。
【請求項１２】
前記スペクトル特徴とフィルタ係数との間の関係は、ガウスプロセスとしてモデル化される請求項１１に記載の方法。
【請求項１３】
ｐ（ｓ｜ｌ，λ）は以下のように表され、
【数３】
2011237795.tif 000108
ここで、Ｈｃは前記人間の声道をモデル化するために使用されるフィルタ関数であり、ｑは状態であり、λｅは励振パラメータであり、λｃは音響モデルパラメータであり、λｈはマッピングモデルパラメータであり、ｃはスペクトル特徴である請求項１１に記載の方法。
【請求項１４】
ｑに渡る和は固定された状態シーケンスによって近似されて次を与え、
【数４】
2011237795.tif 000109
ここで
【数５】
2011237795.tif 000110
は状態シーケンスである請求項１３に記載の方法。
【請求項１５】
前記全ての可能なＨｃ及びｃに渡る積分は、スペクトル応答及びインパルス応答のベクトルによって近似され、次を与え、
【数６】
2011237795.tif 000111
ここで、
【数７】
2011237795.tif 000112
は固定されたスペクトル応答である請求項１４に記載の方法。
【請求項１６】
ｐ（ｓ｜ｌ，λ）の対数尤度関数は以下
【数８】
2011237795.tif 000113
によって与えられる請求項１５に記載の方法。
【請求項１７】
単語のシーケンスを具備するテキスト入力を受け取るレシーバーと、
プロセッサと、を具備し、前記プロセッサは前記入力テキストに対応する出力音声の尤度を確率論的モデルを使用して判定し、前記確率論的モデルは音響モデルと励振モデルを具備し、前記音響モデルは単語または単語の部分と特徴とを関連づける複数の確率分布を記述する複数のモデルパラメータを有して、前記励振モデルは、前記声帯及び肺をモデル化して前記特徴を使用して前記音声を出力するために使用される複数の励振モデルパラメータを具備し、
前記音響パラメータ及び励振パラメータは一緒に推定され、前記装置は前記音声のための出力を具備する音声処理装置。
【請求項１８】
入力音声認識部と、翻訳部と、請求項１８に記載の音声処理装置と、を具備する音声翻訳システム。
【請求項１９】
コンピュータに、
テキスト入力を受け取る手順、確率論的モデルを使用して前記テキスト入力に対応する音声を出力する手順、前記確率論的モデルは音響モデルと励振モデルとを具備し、前記音響モデルは単語または単語の部分をある特徴に関連づける複数の確率分布を記述する複数のモデルパラメータを有し、前記励振モデルは声帯及び肺をモデル化して特徴を使用して音声を出力するために使用される励振モデルパラメータを具備し、
前記音響パラメータ及び前記励振パラメータは一緒に推定され、
前記音声を出力する手順を実行させるための音声処理プログラム。
【請求項２０】
音声合成に関する統計モデルをトレーニングするためのプログラムであって、
コンピュータに、
トレーニングデータを受け取る手順、前記トレーニングデータは音声と前記音声に対応するテキストとを具備し、
確率論的モデルをトレーニングする手順を実行させるためのものであり、前記確率論的モデルは音響モデルと励振モデルとを具備し、前記音響モデルは単語またはその単語の部分を特徴ベクトルに関連づける複数の確率分布を記述する複数のモデルパラメータを有していて、前記励振モデルは声帯及び肺をモデル化して前記音声を出力する複数の励振モデルパラメータを具備し、
前記音響パラメータ及び前記励振パラメータはトレーニング処理の間に一緒に推定されるプログラム。
【請求項２１】
コンピュータを、
単語のシーケンスを具備するテキスト入力を受け取るレシーバー手段と、
プロセッサ手段と、として機能させ、前記プロセッサ手段は前記入力テキストに対応する出力音声の尤度を確率論的モデルを使用して判定し、前記確率論的モデルは音響モデルと励振モデルを具備し、前記音響モデルは単語または単語の部分と特徴とを関連づける複数の確率分布を記述する複数のモデルパラメータを有して、前記励振モデルは、前記声帯及び肺をモデル化して前記特徴を使用して前記音声を出力するために使用される複数の励振モデルパラメータを具備し、
前記音響パラメータ及び励振パラメータは一緒に推定され、前記装置は前記音声のための出力手段として機能させるための音声処理プログラム。
【外国語明細書】
2011237795000001.pdf