(57)【特許請求の範囲】
【請求項１】
音響単位を発話ベクトルに関連付ける音響モデルを適応させる方法であって、前記音響モデルが、所与の発話因子に関連し、前記音響モデルが前記発話因子の異なる値を伴う発話ベクトルを出力することを可能にする、発話因子パラメータのセットを備え、
前記方法は、
前記発話因子の第１の値を伴う発話のサンプルを入力することと、
前記音響モデルが前記発話因子の前記第１の値を伴う発話を出力することを可能にする発話因子パラメータの前記セットの値を決定することと、
前記音響モデル中で発話因子パラメータの前記セットの前記決定された値を利用することと
を備え、
発話の前記サンプルが雑音によって破損しており、
発話因子パラメータの前記セットの前記値を決定することが、
（ｉ）前記雑音を特徴付ける雑音特徴付けパラメータを取得することと、
（ｉｉ）発話の前記サンプルに対して発話因子パラメータ生成アルゴリズムを実行することで、発話因子パラメータの前記セットの破損した値を生成することと、
（ｉｉｉ）発話因子パラメータの前記セットの前記破損した値を発話因子パラメータの前記セットの無雑音の値にマッピングするために前記雑音特徴付けパラメータを使用することと、ここにおいて、発話因子パラメータの前記セットの前記無雑音の値は、発話の前記サンプルが前記雑音によって破損していなかった場合、発話の前記サンプルに対して前記発話因子パラメータ生成アルゴリズムを実行することによって得られたであろう、前記発話因子パラメータの推定値である、
（ｉｖ）発話因子パラメータの前記セットの前記決定された値として、発話因子パラメータの前記セットの前記無雑音の値を利用することと、
を備える、方法。
【請求項２】
前記発話因子が話者の声である、請求項１に記載の方法。
【請求項３】
前記マッピングが、機械学習アルゴリズムを使用して訓練された適応モデルによって実行される、請求項１または請求項２に記載の方法。
【請求項４】
さらに、前記適応モデルが、
（ａ）雑音破損がない発話因子パラメータの前記セットの前記値と、
（ｂ）雑音によって破損した発話因子パラメータの前記セットおよび前記雑音破損に関する情報がネットワークに入力されたときの前記機械学習アルゴリズムの出力と、
の差の尺度を最小にするように、前記機械学習アルゴリズムの重み値を繰り返し調整することによって訓練されていた、請求項３に記載の方法。
【請求項５】
前記機械学習アルゴリズムがディープニューラルネットワークである、請求項３または請求項４に記載の方法。
【請求項６】
前記発話因子パラメータが最大尤度線形回帰変換のパラメータを備える、請求項１から５のいずれかに記載の方法。
【請求項７】
前記発話因子パラメータがクラスタ適応訓練重みを備える、請求項１から５のいずれかに記載の方法。
【請求項８】
前記発話因子パラメータが制約付き最大尤度線形回帰変換のパラメータを備える、請求項１から７のいずれかに記載の方法。
【請求項９】
音声を合成する方法であって、
テキストを入力することと、
入力された前記テキストを音響単位の列へと分割することと、
請求項１から８のいずれかの方法に従って音響モデルを適応させ、前記適応させられた音響モデルを使用して音響単位の前記列を発話ベクトルの列に変換することと、
発話因子の第１の値を伴うオーディオとして発話ベクトルの前記列を出力することとを備える、方法。
【請求項１０】
請求項５に記載の方法において使用するためのディープニューラルネットワークを訓練する方法であって、
（ｉ）訓練データを受け取ることと、前記訓練データは、
雑音によって破損した発話因子パラメータのセットの値と、
雑音破損がない発話因子パラメータの同じセットの値と、
前記雑音を特徴付けるデータ値と  を備える、
（ｉｉ）（ａ）雑音破損がない発話因子パラメータの前記セットの前記値と、（ｂ）雑音によって破損した発話因子パラメータの前記セットおよび前記雑音を特徴付ける前記データ値が前記ディープニューラルネットワークに入力されたときの前記ディープニューラルネットワークの出力と、の差の尺度を最小にするように、前記ディープニューラルネットワークの重み値を繰り返し調整することによって、前記ディープニューラルネットワークを訓練することと
を備える、方法。
【請求項１１】
前記尺度が、雑音破損がない発話因子パラメータの前記セットが前記ディープニューラルネットワークの前記出力として得られることの対数尤度に逆相関する、請求項１０に記載の方法。
【請求項１２】
前記尺度が、雑音破損がない発話因子パラメータの前記セットと、前記ディープニューラルネットワークの前記出力との、二乗平均平方根の差である、請求項１０に記載の方法。
【請求項１３】
音響単位を発話ベクトルに関連付ける音響モデルを適応させるための装置であって、前記音響モデルが、所与の発話因子に関連し、前記音響モデルが前記発話因子の異なる値を伴う発話ベクトルを出力することを可能にする、発話因子パラメータのセットを備え、
前記装置が、
前記発話因子の第１の値を伴う発話のサンプルを受け取るための受信機と、
（ａ）前記音響モデルが前記発話因子の前記第１の値を伴う発話を出力することを可能にする発話因子パラメータの前記セットの値を決定し、
（ｂ）前記音響モデル中で発話因子パラメータの前記セットの前記決定された値を利用する
ように構成されたプロセッサと
を備え、
発話の前記サンプルが雑音によって破損しており、
発話因子パラメータの前記セットの前記値の前記決定が、
（ｉ）発話の前記サンプルが破損させられている前記雑音を特徴付ける雑音特徴付けパラメータを取得することと、
（ｉｉ）発話の前記サンプルに対して発話因子パラメータ生成アルゴリズムを実行することで、発話因子パラメータの前記セットの破損した値を生成することと、
（ｉｉｉ）発話因子パラメータの前記セットの前記破損した値を発話因子パラメータの前記セットの無雑音の値にマッピングするために前記雑音特徴付けパラメータを使用することと
を備え、
ここにおいて、発話因子パラメータの前記セットの前記無雑音の値が、発話の前記サンプルが前記雑音によって破損していない場合に発話の前記サンプルに対して前記発話因子パラメータ生成アルゴリズムを実行することによって得られたであろう、前記発話因子パラメータの推定値である、装置。
【請求項１４】
入力テキストを受け取るための受信機と、
請求項１３に記載の装置と、
（ｉ）前記入力テキストを音響単位の列に分割し、
（ｉｉ）前記適応させられた音響モデルを使用して、音響単位の前記列を発話ベクトルの列に変換する
ように構成されたプロセッサと、
前記発話因子の第１の値を伴うオーディオとして発話ベクトルの前記列を出力するように構成された出力と
を備える、音声を合成するための装置。
【請求項１５】
コンピュータのプロセッサによって実行されると、前記プロセッサに、請求項１から１２のいずれかに記載の方法を実行させるように構成されたコンピュータ可読コードを備える、コンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
関連出願の相互参照
本出願は、２０１６年２月２日に出願された英国特許出願第１６０１８２８．５号に基づき、その優先権の利益を主張し、上記の出願の内容全体が参考として本明細書に組み込まれる。
【０００２】
本開示は、音響単位（acoustic unit）を発話ベクトル（speech vector）に関連付ける音響モデル（acoustic model）を適応させるためのシステムおよび方法に関する。このシステムおよび方法は、テキストツースピーチ（text-to-speech）のシステムおよび方法において利用され得る。
【背景技術】
【０００３】
テキストツースピーチシステムは、テキストファイルの受信に応答してオーディオ発話（audio speech）またはオーディオ発話ファイルが出力されるシステムである。
【０００４】
音声クローニング（Voice cloning）または顧客音声構築システム（customer voice building system）は、ある所与の話者の音声の数サンプルだけを用いて、その話者の音声で発話を合成できるシステムである。音声クローニングシステムは、しばしばテキストツースピーチシステム（text to speech system）と組み合わされる。
【０００５】
テキストツースピーチシステムおよび音声クローニングシステムは、電子ゲーム、電子書籍リーダー、電子メールリーダー、衛星ナビゲーション、自動化された電話システム、自動化された警告システムなどの、多種多様な用途で使用される。
【０００６】
システムを雑音に対してよりロバストにすることが継続的に必要とされている。
【発明の概要】
【０００７】
本発明の態様によれば、請求項１による音響単位を発話ベクトルに関連付ける音響モデルを適応させるための方法と、請求項１３による装置とが提供される。
【０００８】
この方法および装置は、請求項９によるテキストツースピーチ合成の方法、および請求項１４によるテキストツースピーチ装置においてそれぞれ、利用され得る。
【０００９】
次いで、本発明の非限定的な例に従ったシステムおよび方法が、添付の図面を参照して説明される。
【図面の簡単な説明】
【００１０】
【図１】本発明のある例によるテキストツースピーチシステムの概略図。
【図２】本発明のある例によるテキストツースピーチ処理の流れ図。
【図３】ガウス関数を示す図。
【図４】無雑音の発話（clean speech）を使用する音響モデル適応の流れ図。
【図５】有雑音の発話（noisy speech）を使用する音響モデル適応の流れ図。
【図６】話者パラメータ（speaker parameters）に対する雑音レベルの影響の概略的な表現の図。
【図７】本発明のある例による、有雑音から無雑音の発話パラメータへのマッピングの概略的な表現の図。
【図８】本発明のある例による、有雑音の発話パラメータを無雑音の発話パラメータにマッピングするためのシステムの概略的な表現の図。
【図９】本発明のある例によるニューラルネットワークの訓練（training）の流れ図。
【発明を実施するための形態】
【００１１】
図１は、本発明の発明の例によるテキストツースピーチシステムを示す。
【００１２】
テキストツースピーチシステム１は、プログラム５を実行するプロセッサ３を備える。プログラム５は音響モデルを備える。音響モデルは以下でより詳細に説明される。テキストツースピーチシステム１はさらに、記憶装置７を備える。記憶装置７は、テキストを発話に変換するためにプログラム５によって使用されるデータを記憶する。テキストツースピーチシステム１はさらに、入力モジュール１１と出力モジュール１３とを備える。入力モジュール１１はテキスト入力１５に接続されている。テキスト入力１５はテキストを受け取る（receive）。テキスト入力１５は、たとえばキーボードであり得る。代替的に、テキスト入力１５は、外部の記憶媒体またはネットワークからテキストデータを受信するための手段であり得る。
【００１３】
出力モジュール１３に接続されるのは、オーディオのための出力１７である。オーディオ出力１７は、テキスト入力１５に入力されるテキストから変換された発話信号を出力するために使用される。オーディオ出力１７はたとえば、音生成ユニット、たとえばスピーカーであってよく、または、記憶媒体への送信され得る、ネットワーク化（networked）などがされ得る、オーディオデータファイルのための出力であってよい。
【００１４】
テキストツースピーチシステム１はまた、オーディオ入力２３（マイクロフォンなど）とオーディオ入力モジュール２１とを備える。本発明のある例では、オーディオ入力モジュール２１がオーディオ入力２３からある入力オーディオ信号（「入力オーディオ」）を受け取ったときのオーディオ入力モジュール２１の出力が、テキストツースピーチシステムからの発話出力を適応させるために使用される。たとえば、システムは、オーディオ入力２３によって捕捉される（captured）発話のサンプルの話者音声（speaker voice）と同じ話者音声を用いて発話を出力するように構成され得る。
【００１５】
本発明のこの例では、テキストツースピーチシステム１は、オーディオ入力モジュール２１を通じてオーディオサンプルを受け取り、テキスト入力１５を通じてテキストを受け取る。プログラム５は、プロセッサ３上で実行され、入力オーディオサンプルと記憶装置７に記憶されているデータとを使用して、テキストを発話データに変換する。発話は、出力モジュール１３を介してオーディオ出力１７に出力される。
【００１６】
次いで、簡略化されたテキストツースピーチの処理が、図２を参照して説明される。
【００１７】
第１のステップＳ３１０１において、テキストが入力される。テキストは、キーボード、タッチスクリーン、テキスト予測器などを介して入力され得る。テキストは次いで、ステップＳ３１０３において音響単位の列（sequence）へと変換される。これらの音響単位は、音素（phonemes）または書記素（graphemes）であり得る。単位は、文脈に依存するもの、たとえば、選択された音素だけではなく、先行する音素および後続する音素も考慮するトライフォン（triphones）であり得る。テキストは、当技術分野においてよく知られておりここではさらに説明されない技法を使用して、音響単位の列へと変換される。
【００１８】
ステップＳ３１０５において、音響単位を発話パラメータに関連付ける確率分布が探索される（looked up）。本発明のこの例では、確率分布は、平均および分散によって定義されるガウス分布である。しかしながら、一部が平均および分散以外の変数によって定義される、ポワソン分布、ステューデントのｔ分布、ラプラス分布、またはガンマ分布などの他の分布を使用することが可能である。
【００１９】
各音響単位が、発話ベクトル、または当技術分野の用語を使用する「観察」に決定的な１対１の対応を有することは不可能である。多くの音響単位は同じように発音され、周囲の音響単位、語もしくは文におけるそれらの位置により影響を受け、または、異なる話者によって異なるように発音される。したがって、各音響単位は、ある確率で発話ベクトルに関連しているだけであり、テキストツースピーチシステムは、多くの確率を計算して、音響単位の列が与えられると最も可能性の高い観察の列を選ぶ。
【００２０】
ガウス分布が図３に示される。図３は、発話ベクトルに関連する音響単位の確率分布であると考えられ得る。たとえば、Ｘとして示される発話ベクトルは、図３に示される分布を有する音素または他の音響単位に対応することの確率Ｐを有する。
【００２１】
ガウシアンの形状および場所は、その平均および分散によって定義される。これらのパラメータは、システムの訓練時（during）に決定される。
【００２２】
ステップＳ３１０７において、これらのパラメータは次いで、音響モデルにおいて使用される。この説明では、音響モデルは隠れマルコフモデル（ＨＭＭ：Hidden Markov Model）である。しかしながら、他のモデルも使用され得る。
【００２３】
スピーチシステムのテキストのメモリは、音響単位、すなわち、音素、書記素、語、またはそれらの一部を発話パラメータに関連付ける多くの確率密度関数を記憶する。ガウス分布が一般に使用されるので、これらは一般にガウシアンまたは成分と呼ばれる。
【００２４】
隠れマルコフモデルまたは他のタイプの音響モデルでは、特定の音響単位に関するすべての可能性のある発話ベクトルの確率が考慮されなければならない。そして、音響単位の列に対応する可能性が最も高い発話ベクトルの列が考慮される。このことから、列のすべての音響単位にわたるグローバルな最適化は、２つの単位の互いへの影響の与え方を考慮するものであることが示唆される。結果として、特定の音響単位に対して最も可能性の高い発話ベクトルは、音響単位の列が考慮されるときには最良の発話ベクトルではない可能性がある。
【００２５】
本発明のいくつかの例では、ガウス関数を使用して各々モデル化される、複数の異なる状態があるだろう。たとえば、本発明のある例では、テキストツースピーチシステムは複数のストリームを備える。そのようなストリームは、スペクトルパラメータ（Ｓｐｅｃｔｒｕｍ）、基本周波数の対数（Ｌｏｇ  Ｆ0）、Ｌｏｇ  Ｆ0の一次微分（Ｄｅｌｔａ  Ｌｏｇ  Ｆ0）、Ｌｏｇ  Ｆ0の二次微分（Ｄｅｌｔａ−Ｄｅｌｔａ  Ｌｏｇ  Ｆ0）、バンド非周期性パラメータ（ＢＡＰ：Band aperiodicity parameter）、時間長などのうち１つまたは複数から選択され得る。ストリームはまた、無音（ｓｉｌ）、小休止（ｐａｕ）、および発話（ｓｐｅ）などのクラスにさらに分けられ得る。本発明の例では、ストリームおよびクラスの各々からのデータは、ＨＭＭを使用してモデル化されるだろう。ＨＭＭは異なる数の状態を備え得る。たとえば、本発明のある例では、５状態のＨＭＭが、上記のストリームおよびクラスのいくつかからデータをモデル化するために使用され得る。ガウシアン成分が各ＨＭＭ状態に対して決定される。
【００２６】
発話ベクトルの列が決定されると、ステップＳ３１０９において発話が出力される。
【００２７】
上で述べられたように、本発明のある例では、ステップＳ３１０５において利用されるパラメータは、図１のオーディオ入力モジュール２１を介してシステムに入力される入力オーディオに従って適応させられ得る。この適応により、入力オーディオの話者の声（および／または適宜、他の話者因子）を伴う発話が、テキストツースピーチシステムから出力されることが可能になる。
【００２８】
本発明のある例では、音響モデルは、発話データの何らかの他の因子、話者、または表現などの、発話データの帯域因子を捉えることが可能なモデルである。本発明のさらなる例では、出力発話は、入力オーディオサンプルの話者因子の値と同じ話者因子の値を備え、すなわち、テキストツースピーチシステム１は、出力発話がオーディオサンプルのそれと一致するように、音響モデルを適応させる。たとえば、出力発話は、入力発話と同じ話者の声を用いて出力される。
【００２９】
本発明のある例では、音響モデルは隠れマルコフモデル（ＨＭＭ）である。しかしながら、他のモデルも使用され得る。隠れマルコフモデルおよびその訓練は、付記１において説明される。話者の声などの発話因子のモデル化（modelling）については、ＨＭＭを訓練する３つの方法、すなわち、最尤線形回帰（ＭＬＬＲ）、クラスタ適応訓練（ＣＡＴ：Cluster Adaptive Training）、および制約付き最尤線形回帰（ＣＭＬＬＲ）に関して説明される。
【００３０】
任意の発話因子または複数の発話因子が、テキストツースピーチシステムの出力発話を適応させるための基礎として使用され得るが、以下の説明では、発話因子は話者の声のそれであると仮定される。
【００３１】
図４は、「無雑音」の条件のもとでオーディオが記録された入力オーディオに応答した、すなわち、入力オーディオが雑音によって破損していないことに応答した、そのようなモデルの適応の処理のフローチャートを示す。ステップＳ２０１において、入力オーディオ（入力発話）が受け取られる。ステップＳ２０３において、入力発話に最もよく一致する話者変換のセットが決定されるまで、音響モデルの話者変換が修正される。話者変換の性質および話者変換のセットを得るために利用される方法は、利用される音響モデルの性質に依存するだろう。
【００３２】
話者のばらつきを捉える３つの適切な音響モデルの訓練が、付記１において説明されている。訓練の間、各モデルに対する補助式（たとえば、ＭＬＬＲでは式（４８））が、対応する話者変換を得るために、各訓練話者に対して最小化される。本発明のある例では、適応の間、補助式は、入力話者の話者変換を得るために、入力適応データに対して最小化される。したがって、適応は、入力データを使用して音響モデルを効果的に再訓練することを備える。適応データの厳密な文脈が訓練データの中で見つからない場合、訓練データ内で類似する文脈を代わりに見つけるために、決定木（decision tree）が利用される。
【００３３】
ステップＳ２０５において、テキストツースピーチ合成が、図２に関して上で説明された処理に従ってステップＳ２０３において計算される話者変換を利用して実行される。したがって、入力テキストの発話は、ステップＳ２０１において受け取られた発話の声（voice）と同じ声を用いて出力される。
【００３４】
上の方法は、無雑音の条件のもとで、すなわち、高品質の機器を使用するスタジオなどの管理された音環境において発話サンプルが得られたときに、音響モデルを適応させ、受け取られた発話と一致する発話を得るのに適している。しかしながら、入力オーディオサンプルは、加法性雑音または畳み込み雑音により破損し得る。図４の方法が、有雑音の条件のもとで得られた発話のサンプルに対して利用された場合、適応の間に得られる話者変換は、破損した発話に対して適応させられるだろう、したがって、それ自体も雑音によって破損する。その結果、対応するオーディオ出力はまた、元の発話信号を破損させる雑音の影響を受けるだろう。雑音による破損（noise corruption）の程度によっては、発話サンプルが属した人物の声と出力オーディオとの一致の品質は悪い（poor）ことがある。本発明のある例では、図１によるシステムは、入力信号中の雑音を補償するように構成され、したがって、出力発話は、入力オーディオサンプルが受ける雑音による破損の程度には実質的に左右されない。
【００３５】
発話信号における雑音の影響は、次のようにモデル化され得る。本発明のある例では、発話信号ｓ（τ）が、加法性雑音信号ｎ（τ）および畳み込みチャネル雑音ｈ（τ）によって破損すると仮定される。観察される信号ｓO（τ）は、
【００３６】
【数１】
0006402211.tif 000002
【００３７】
であるだろう。
【００３８】
窓の影響を無視すると、時間τの周りのフレーム上での周波数ωに対するこの信号のスペクトルは、
【００３９】
【数２】
0006402211.tif 000003
【００４０】
であるだろう。
【００４１】
表記を簡単にするために、τは上の式から省略されていることに留意されたい。フレームのパワースペクトルは
【００４２】
【数３】
0006402211.tif 000004
【００４３】
であり、振幅の対数は
【００４４】
【数４】
0006402211.tif 000005
【００４５】
になる。｜Ｓ（ω）＋Ｎ（ω）｜2は、
【００４６】
【数５】
0006402211.tif 000006
【００４７】
として展開されることが可能であり、ここでθは位相を表す。式（４）の右側の第１項は、
【００４８】
【数６】
0006402211.tif 000007
【００４９】
として示されることが可能である。
【００５０】
本発明のある例では、発話信号はケプストラム（Cepstrum）として表され、これは対数スペクトルの離散コサイン変換（ＤＣＴ）である。等価的に、対数スペクトルのＤＣＴは、式（４）によって与えられる対数スペクトルベクトルの線形変換である。言い換えると、
【００５１】
【数７】
0006402211.tif 000008
【００５２】
であり、ここでＴはＤＣＴ変換行列であり、
【００５３】
【数８】
0006402211.tif 000009
【００５４】
であり、ここでｆは周波数インデックス（frequency index）である。
【００５５】
式（４）および（６）から、
【００５６】
【数９】
0006402211.tif 000010
【００５７】
ということになり、ここで、
【００５８】
【数１０】
0006402211.tif 000011
【００５９】
、
【００６０】
【数１１】
0006402211.tif 000012
【００６１】
、および
【００６２】
【数１２】
0006402211.tif 000013
【００６３】
であり、
【００６４】
【数１３】
0006402211.tif 000014
【００６５】
および
【００６６】
【数１４】
0006402211.tif 000015
【００６７】
である。
【００６８】
したがって、
【００６９】
【数１５】
0006402211.tif 000016
【００７０】
ということになり、ここで、
【００７１】
【数１６】
0006402211.tif 000017
【００７２】
である。
【００７３】
対数のテイラー級数展開は、信号対雑音比（ＳＮＲ）が正である限りは合理的な仮定である｜ｘ−１｜≦１のもとでは、
【００７４】
【数１７】
0006402211.tif 000018
【００７５】
によって与えられる。したがって、ｌn/sの各成分は、
【００７６】
【数１８】
0006402211.tif 000019
【００７７】
になり、これは、発話信号と加法性雑音の両方に対して非線形に依存する。したがって、有雑音の条件のもとで決定された話者変換から無雑音の話者変換を得ることは、自明ではない。
【００７８】
オーディオ入力が対応する話者に対応する発話を生成するように音響モデルを適応させるとき、目標は、対象の話者の特性を伴う発話を生成できるように、標準的なモデルを変換することである。無雑音の発話を利用するとき、適応パラメータは、話者間の違いをモデル化する。しかしながら、適応データに雑音があるとき、話者間の違いをただモデル化する代わりに、式（１５）において与えられるようなｃn/s項およびｃh項の寄与も調整しなければならない。加えて、雑音が有する正確な影響は、利用される標準的なモデルの形式に依存する。
【００７９】
ＭＬＬＲ、ＣＡＴ、およびＣＭＬＬＲのための適応パラメータにおける雑音の影響は、付記２において詳細に論じられている。しかしながら、現在の例の手法は、ここで説明されるように、どのようなタイプの音響モデルがシステムにおいて利用されるとしても、適用され得る。
【００８０】
図５は、有雑音の環境において得られた発話に音響モデルが適応させられ、次いで雑音の補償が実行される、本発明のある例による処理のフローチャートを示す。ステップＳ３０１において、発話が受け取られる。ステップＳ３０３において、入力発話と最もよく一致する話者変換のセットが決定されるまで、音響モデルの話者変換が修正される。この処理は、図４のステップＳ２０３のそれと完全に等価である。
【００８１】
ステップＳ３０５において、雑音の特性に関係する特徴が入力発話から決定される。これは、１つまたは複数の雑音パラメータによって定義される雑音の特性を与える。様々な雑音特徴が、発話サンプル中の雑音の特性を計算するために使用され得る。例としては、サンプルの非発話セグメントの平均スペクトルおよびメルケプストラム、または発話に対する雑音の比を含む。本発明の別の例では、発話を伴わないオーディオの（たとえば、数秒の）セグメントが入力され、分析器が発話を伴わないサンプルから雑音パラメータを計算する。
【００８２】
ステップＳ３０７において、ステップＳ３０３において計算された話者変換およびステップＳ３０５において計算された雑音パラメータが、「無雑音」の話者変換、すなわち、受け取られた発話が無雑音の条件のもとで得られた場合に得られていたであろう話者変換を決定するために利用される。本発明のある例では、このステップは、「有雑音」の話者変換を「無雑音」の話者変換にマッピングすることを備える。ここで、この処理が詳細に説明される。
【００８３】
図６は、本発明のある例による、話者変換空間の概略図である。話者変換における雑音の影響は、等高線によって示されている。３人の話者Ｓｐｋ１、Ｓｐｋ２、およびＳｐｋ３に対応する変換の場所が、４つの異なる雑音レベルＮｏｉｓｅＬｅｖｅｌ0、ＮｏｉｓｅＬｅｖｅｌ1、ＮｏｉｓｅＬｅｖｅｌ2、およびＮｏｉｓｅＬｅｖｅｌ3で示されている。ＮｏｉｓｅＬｅｖｅｌ0における話者変換は、無雑音の条件のもとで得られるそれらである。雑音のレベルは、ＮｏｉｓｅＬｅｖｅｌ0からＮｏｉｓｅＬｅｖｅｌ3に向かって増大する。図６は、雑音レベルが増大するにつれて、異なる話者の変換の間の差が減少することを示す。十分に高い雑音のレベル（すなわち、等高線の中心）では、異なる話者からの発話のサンプルから得られる話者変換に差はないだろう。
【００８４】
本発明のある例では、無雑音の話者変換を得ることは、ある雑音レベルにおいて得られた話者変換を、話者空間内で別の雑音レベルで得られたであろう話者変換にマッピングすることを備える。このマッピングが、図７に概略的に示されている。話者変換は、ＮｏｉｓｅＬｅｖｅｌ3における話者３からの発話のサンプルから得られる。このことは、図７において実線の三角形１０１１によって示されている。サンプル内での雑音のレベルについての知識を使用すると、話者変換は、ＮｏｉｓｅＬｅｖｅｌ3からＮｏｉｓｅＬｅｖｅｌ0に、すなわち場所１１０３にマッピングされる。
【００８５】
本発明のある例では、有雑音から無雑音の空間へのマッピングは、機械学習方法、たとえば人工的なディープニューラルネットワーク（ＤＮＮ：deep neural network）によって訓練された適応モデルを使用して実行される。本発明のある例では、ディープニューラルネットワークは、
【００８６】
【数１９】
0006402211.tif 000020
【００８７】
となるように関数ｆを決定するために利用され、ここで
【００８８】
【数２０】
0006402211.tif 000021
【００８９】
は雑音のもとで得られた変換であり、ｙnは雑音を特徴付けるベクトルであり、
【００９０】
【数２１】
0006402211.tif 000022
【００９１】
は雑音を伴わずに得られるであろう変換である。
【００９２】
図８は、マッピングを実行するためのシステムの概略図を示す。分析器２００１は、有雑音のデータから話者変換を決定する。分析器はまた、有雑音のデータの雑音特徴を決定する。分析器は、雑音の存在下での話者変換の値、すなわち図７において１１０１によって示される場所（「話者特徴」）を計算する。分析器はまた、発話中の雑音を特徴付ける雑音パラメータを計算する。雑音の計算はいくつかの方法で実行され得ることを当業者は理解するであろう。
【００９３】
話者変換と雑音特徴の両方が、ニューラルネットワーク２００３に入力される。ニューラルネットワークは、式（２１）を使用して、「有雑音」の話者変換を無雑音の話者変換にマッピングする。無雑音の話者変換
【００９４】
【数２２】
0006402211.tif 000023
【００９５】
は次いで、音響モデルに出力される。
【００９６】
最後に、図５の方法のステップＳ３０９において、ステップＳ３０７において得られる無雑音の話者変換は、図２に関して上で説明された処理を使用してオーディオを出力するために利用される。
【００９７】
図９は、本発明のある例において使用するためのニューラルネットワークを訓練するための一般化された処理を示す。この処理において、マッピングを訓練するために訓練データが利用される。訓練データは、何人かの異なる話者のための既存の無雑音のデータに異なるタイプの雑音を追加することによって作成され得る。
【００９８】
ステップＳ５０１において、１つまたは複数の音響モデルが、複数の話者（「訓練話者」）の各々に対する無雑音の発話のサンプルを用いて訓練される。本発明のある例による音響モデルの訓練が、付記１において説明されている。
【００９９】
その後、ステップＳ５０２からＳ５０４のセットが、訓練話者の各々に対して別々に実行され、それにより、各訓練話者に対してそれぞれの結果を生み出す。
【０１００】
ステップＳ５０２において、訓練話者のある所与の１人について、その訓練話者のための無雑音の発話訓練データに対する話者パラメータλ(t)が得られる。
【０１０１】
ステップＳ５０３において、有雑音の発話データηが作成される。本発明のある例では、これは、訓練話者のためのいくつかの既存の無雑音のデータに異なるタイプの雑音を追加することによって行われる。
【０１０２】
ステップＳ５０４において、
【０１０３】
【数２３】
0006402211.tif 000024
【０１０４】
として示される適応パラメータが、上で説明された適応の処理を使用して、作成された有雑音のデータηのために得られる。
【０１０５】
ステップＳ５０５において、ニューラルネットワークが初期化される。ニューラルネットワークを初期化するために、いくつかの標準的な方法が利用され得ることを当業者は理解するであろう。本発明のある例では、ランダムな初期化が利用される。
【０１０６】
ステップＳ５０６およびＳ５０７は、すべての訓練話者に対してステップＳ５０２およびＳ５０４において得られた結果を使用して実行される。すなわち、それぞれの複数の訓練話者に対してステップＳ５０２およびＳ５０４において得られた話者パラメータλ(t)および適応パラメータ
【０１０７】
【数２４】
0006402211.tif 000025
【０１０８】
は、ステップＳ５０６およびＳ５０７において使用される単一のデータセットへと組み合わされる。
【０１０９】
ステップＳ５０６において、ニューラルネットワークの誤差が計算される。有雑音の適応パラメータ
【０１１０】
【数２５】
0006402211.tif 000026
【０１１１】
が、雑音φnを特徴付けるためのパラメータ（雑音特徴）のベクトルとともに、ＤＮＮのための入力として使用される。ニューラルネットワークは次いで、「無雑音」の話者変換
【０１１２】
【数２６】
0006402211.tif 000027
【０１１３】
を出力する。
【０１１４】
ＤＮＮの出力は適応パラメータ
【０１１５】
【数２７】
0006402211.tif 000028
【０１１６】
のベクトルであるだろうし、これは、無雑音の発話を使用するときに得られたパラメータλ(t)に可能な限り近くなければならないだろう。ニューラルネットワーク誤差は、これらのパラメータの２つのセットを比較することによって計算される。
【０１１７】
本発明のある例では、ニューラルネットワーク誤差関数は、予測される話者変換と目標の係数との間の差、すなわち、二乗平均平方根誤差（ＲＭＳＥ）
【０１１８】
【数２８】
0006402211.tif 000029
【０１１９】
として計算され得る。ここで、ωはディープニューラルネットワーク（ＤＮＮ）のパラメータであり、
【０１２０】
【数２９】
0006402211.tif 000030
【０１２１】
の微分係数（「逆伝播誤差」）は
【０１２２】
【数３０】
0006402211.tif 000031
【０１２３】
によって与えられる。
【０１２４】
本発明の別の例では、誤差関数は、無雑音の訓練データにわたる対数尤度によって与えられ、すなわち
【０１２５】
【数３１】
0006402211.tif 000032
【０１２６】
であり、ここで補助関数
【０１２７】
【数３２】
0006402211.tif 000033
【０１２８】
が無雑音の変換λ(t)を使用することによって得られる状態占有γm（τ，ｔ）を用いて無雑音のデータにわたって計算される。
【０１２９】
【数３３】
0006402211.tif 000034
【０１３０】
の微分係数は、ＭＬＬＲおよびＣＬＬＲについてそれぞれ、付記の中の式（５０）および（６０）によって与えられる。本発明のこの例では、逆伝播誤差は
【０１３１】
【数３４】
0006402211.tif 000035
【０１３２】
として表されることが可能であり、ここで、ｋおよびＧは変換パラメータを推定するのに必要とされる、十分な統計である。
【０１３３】
ステップＳ５０７において、ニューラルネットワークは、上のステップＳ５０６において計算された誤差を減らすために、確率的勾配降下法を使用して修正される。本発明のある例では、これは、逆伝播誤差が０になるまでパラメータωを変化させることを備える。言い換えると、有雑音の発話と雑音を特徴付けるパラメータとを受け取ると、有雑音の発話が雑音によって破損していない場合に有雑音の発話に対してステップＳ５０２を実行することで得られたであろうパラメータの推定を生み出すように、ＤＮＮが訓練される。
【０１３４】
この処理は次いで、ステップＳ５０６に戻り、ＮＮの誤差が収束に達するまで繰り返す。
【０１３５】
したがって、ニューラルネットワークのパラメータは、有雑音の話者空間から無雑音の話者空間へのマッピングを学習するように更新される。
【０１３６】
本発明のある例では、
【０１３７】
【数３５】
0006402211.tif 000036
【０１３８】
および
【０１３９】
【数３６】
0006402211.tif 000037
【０１４０】
の良好な推定を与える雑音特徴ベクトルが、ＤＮＮ２００３への入力のために分析器２００１によって決定される。
【０１４１】
本発明の上の例による方法およびシステムは、任意の適応可能音響モデルに適用され得る。ニューラルネットワークはパターン認識が可能であるので、特定のモデルの話者変換と雑音との間の関係は、利用されるモデルとは無関係にネットワークによって学習され得る。付記２において示されるように、ＭＬＬＲ（またはＣＡＴ）モデルが利用されるとき、式（２１）の関数ｆは式（７１）によって与えられる。
【０１４２】
上で説明された本発明の例による方法およびシステムは、目標の声での発話の高品質で低雑音のサンプルを必要とすることなく、発話が目標の声で合成されることを可能にする。代わりに、目標の声のサンプルは、スタジオまたは高品質の機器を使用することなく提供され得る。話者の類似性は、雑音を補償または消去するための信号処理を使用することなく保たれる。
【０１４３】
いくつかの構成が説明されてきたが、これらの構成は例示としてのみ提示されており、本発明の範囲を制限することは意図されていない。実際には、本明細書で説明される新規の方法およびシステムは、様々な他の形式で具現化され得る。さらに、本明細書で説明される方法およびシステムの形式において様々な省略、置換、および変更が行われ得る。
付記１
隠れマルコフモデル（ＨＭＭ）に基づく発話処理システムにおいて、ＨＭＭはしばしば
【０１４４】
【数３７】
0006402211.tif 000038
【０１４５】
と表され、ここで
【０１４６】
【数３８】
0006402211.tif 000039
【０１４７】
であり、これは状態遷移確率分布であり、
【０１４８】
【数３９】
0006402211.tif 000040
【０１４９】
は状態出力確率分布であり、
【０１５０】
【数４０】
0006402211.tif 000041
【０１５１】
は初期の状態確率分布であり、ここでＮはＨＭＭにおける状態の数である。
【０１５２】
以下で説明される本発明の例では、状態遷移確率分布Ａおよび初期の状態確率分布は、本技術分野においてよく知られている手順に従って決定される。したがって、このセクションは、状態出力確率分布に関連するだろう。
【０１５３】
従来のテキストツースピーチシステムを訓練するときの目標は、所与の観察の列に対する尤度を最大にするモデルパラメータセットを推定することである。図１に示されるものと同じシステムが、テキストツースピーチシステムにおいて使用するための音響モデルを訓練するために使用され得る。しかしながら、音響モデルを訓練するとき、テキスト入力１５を介して入力されるテキストと一致するオーディオ入力を有することが必要である。したがって、モデルを訓練することは、オーディオ入力の尤度を最大にするモデルパラメータセットを最大にすることを備える。
【０１５４】
一般に、テキストツースピーチシステムでは、モデルセットＭの中のｍ番目のガウシアン成分からの状態出力ベクトルまたは発話ベクトルｏ（ｔ）は
【０１５５】
【数４１】
0006402211.tif 000042
【０１５６】
であり、ここでμmおよびΣmは、ｍ番目のガウシアン成分の平均および共分散である。
【０１５７】
いわゆる最大尤度（ＭＬ）の基準に基づいて、純粋に分析的に上記のモデルセットを得ることは可能ではないので、問題は従来、Ｂａｕｍ−Ｗｅｌｃｈアルゴリズムと呼ばれることの多い期待値最大化（ＥＭ）アルゴリズムとして知られている反復的な手法を使用することによって対処される。ここで、補助関数（「Ｑ」関数）が導出される。
【０１５８】
【数４２】
0006402211.tif 000043
【０１５９】
ただし、γm（ｔ）は、現在のモデルパラメータＭ’およびＭが新たなパラメータセットであるとした場合に、観察ｏ（ｔ）を生成する成分ｍの事後確率である。一回ごとの反復の後で、パラメータセットＭ’は、Ｑ（Ｍ，Ｍ’）を最大にする新たなパラメータセットＭによって置き換えらえる。ｐ（ｏ（ｔ），ｍ｜Ｍ）は、ＧＭＭ、ＨＭＭなどの生成モデルである。
【０１６０】
モデルは、発話データの何らかの他の因子、話者、表現、または雑音環境、などの、発話データの因子を組み込み得る。そして、モデルは、
【０１６１】
【数４３】
0006402211.tif 000044
【０１６２】
という状態出力ベクトルを有し、ここでｍ∈｛１，…，ＭＮ｝、τ、およびｔは、それぞれ、成分、時間および対象の話者、または、発話データの表現または何らかの他の因子、のインデックスである、ここで、ＭＮ、Ｔ、およびＳはそれぞれ、成分、フレーム、および話者（または、発話データの何らかの他の因子、表現、または、雑音環境）の総数である。以下の議論では、発話因子は話者であると仮定される。
【０１６３】
【数４４】
0006402211.tif 000045
【０１６４】
および
【０１６５】
【数４５】
0006402211.tif 000046
【０１６６】
の厳密な形式は、適用される任意の話者依存の変換に依存するだろう。そのような話者依存変換に対する３つの手法が以下で論じられる。しかしながら、他も可能である。
ＭＬＬＲ
最大尤度線形回帰（ＭＬＬＲ）変換を利用するとき、目標は、対象の話者ｔの適応データｃ(t)に関する確率を最大にする標準的なパラメータのアフィン変換（affine transformation）を見つけることである。この変換は、モデルの平均および共分散とは無関係である。平均に対する影響だけを考慮すると、ＭＬＬＲ平均変換は
【０１６７】
【数４６】
0006402211.tif 000047
【０１６８】
と書かれることが可能であり、ここで
【０１６９】
【数４７】
0006402211.tif 000048
【０１７０】
は回帰クラスｑ（ｍ）のためのガウシアン成分ｍの平均ベクトルに適用されるアフィン変換を表す。これは、
【０１７１】
【数４８】
0006402211.tif 000049
【０１７２】
としてよりコンパクトな形式で表されることが可能であり、ここで
【０１７３】
【数４９】
0006402211.tif 000050
【０１７４】
および
【０１７５】
【数５０】
0006402211.tif 000051
【０１７６】
である。
【０１７７】
【数５１】
0006402211.tif 000052
【０１７８】
における各次元ｄは、
【０１７９】
【数５２】
0006402211.tif 000053
【０１８０】
とも表されることが可能であり、ここで
【０１８１】
【数５３】
0006402211.tif 000054
【０１８２】
は
【０１８３】
【数５４】
0006402211.tif 000055
【０１８４】
行列のｄ番目の行であり、これは
【０１８５】
【数５５】
0006402211.tif 000056
【０１８６】
とも表され得る。
【０１８７】
λ(t)はすべての適応パラメータを伴うスーパーベクトルであり、Ｋq(m,d)はガウシアンｍおよび次元ｄのための選択行列である。
【０１８８】
ここで、式（４３）は
【０１８９】
【数５６】
0006402211.tif 000057
【０１９０】
と書き直されることが可能であり、ただしＭq(m)は、行が
【０１９１】
【数５７】
0006402211.tif 000058
【０１９２】
として定義される行列である。
【０１９３】
適応係数は、補助関数
【０１９４】
【数５８】
0006402211.tif 000059
【０１９５】
を最大にすることによって得られ、ここで、Σv(m)は成分ｍの共分散であり、ｏは静的なスペクトル係数と動的なスペクトル係数とをつなぐことによって通常は構築される観察ベクトルであり、たとえば、
【０１９６】
【数５９】
0006402211.tif 000060
【０１９７】
である。
【０１９８】
ΔおよびΔ2は通常、Ｗが不変の行列である場合のｏ＝Ｗｃとして要約され得る線形の演算子である。
【０１９９】
λ(t)に関する（４８）の微分係数は
【０２００】
【数６０】
0006402211.tif 000061
【０２０１】
であり、ここで
【０２０２】
【数６１】
0006402211.tif 000062
【０２０３】
であり、式（５０）が０に等しいとすると、解
【０２０４】
【数６２】
0006402211.tif 000063
【０２０５】
が得られる。
ＣＡＴ
クラスタ適応訓練（ＣＡＴ）は、クラスタへと配置されているモデルパラメータに重みを適用することによって異なる話者が対処される、ＭＬＬＲの特別な場合である。このモデルでは、平均値は
【０２０６】
【数６３】
0006402211.tif 000064
【０２０７】
として定義され、ここでＰはクラスタの総数である。
【０２０８】
その結果、Ｍq(m)が
【０２０９】
【数６４】
0006402211.tif 000065
【０２１０】
によって置き換えられた状態で、ＭＬＬＲに関して上で説明されたすべての式が等しくＣＡＴに適用される。
ＣＭＬＬＲ
制約付き最大尤度線形回帰（ＣＭＬＬＲ）変換を使用するとき、変換は特徴空間において適用される。適応の目標は、標準的な空間で訓練されたモデルに関して確率を最大にする、観察される特徴ベクトルのアフィン変換を見つけることである。状態出力ベクトルは、
【０２１１】
【数６５】
0006402211.tif 000066
【０２１２】
によって与えられる。
【０２１３】
ＭＬＬＲと同様に、ＣＭＬＬＲ変換は
【０２１４】
【数６６】
0006402211.tif 000067
【０２１５】
として表されることが可能であり、ただし
【０２１６】
【数６７】
0006402211.tif 000068
【０２１７】
である。
【０２１８】
式（４４）のように、
【０２１９】
【数６８】
0006402211.tif 000069
【０２２０】
の各次元は
【０２２１】
【数６９】
0006402211.tif 000070
【０２２２】
として表されることが可能である。
【０２２３】
したがって、ＭＬＬＲの場合のように、これは
【０２２４】
【数７０】
0006402211.tif 000071
【０２２５】
と書き直されることが可能であり、ここで、λ’(t)はすべてのＣＭＬＬＲ係数を伴うスーパーベクトルであり、Ｏq(m)は
【０２２６】
【数７１】
0006402211.tif 000072
【０２２７】
によって与えられる行を伴う行列であり、ただし
【０２２８】
【数７２】
0006402211.tif 000073
【０２２９】
はＣＭＬＬＲのための選択行列である。
λ’(t)と書かれる
【０２３０】
【数７３】
0006402211.tif 000074
【０２３１】
の微分係数はやはり
【０２３２】
【数７４】
0006402211.tif 000075
【０２３３】
として表されることが可能であり、ここで
【０２３４】
【数７５】
0006402211.tif 000076
【０２３５】
であり、これは解
【０２３６】
【数７６】
0006402211.tif 000077
【０２３７】
を与える。
付記２
ここで、付記１において論じられた音響モデルに従った変換に対する雑音の影響が説明される。
【０２３８】
本発明のある例では、利用される音響モデルは、最大尤度線形回帰モデル（ＭＬＬＲ）である。ＭＬＬＲでは、式（１５）および（４９）（付記１参照）から
【０２３９】
【数７７】
0006402211.tif 000078
【０２４０】
となる。
【０２４１】
（５１）に代入すると、
【０２４２】
【数７８】
0006402211.tif 000079
【０２４３】
が得られ、その結果、
【０２４４】
【数７９】
0006402211.tif 000080
【０２４５】
であり、ここで
【０２４６】
【数８０】
0006402211.tif 000081
【０２４７】
である。
【０２４８】
言い換えると、ＭＬＬＲ変換における加法性雑音および畳み込み雑音の影響は、その変換に対してバイアスを加えることであり、これは信号対雑音比に非線形な方法で依存する。
【０２４９】
上記から、ＭＬＬＲの場合、式（２１）の関数ｆはしたがって、（式（６７）から）
【０２５０】
【数８１】
0006402211.tif 000082
【０２５１】
として与えられ、ただし
【０２５２】
【数８２】
0006402211.tif 000083
【０２５３】
である。
【０２５４】
本発明の別の例では、ＣＡＴ音響モデルが利用される。ＣＡＴと一般的なＭＬＬＲとの主な違いは、無雑音の発話で訓練されたＣＡＴモデルが、その簡易性により、無雑音の発話の空間に厳しく制約されるということである。結果として、ｏn/sまたはｏhが無雑音の発話に直交する場合、その空間へのそれらの投影は０となるだろう、すなわち、
【０２５５】
【数８３】
0006402211.tif 000084
【０２５６】
である。
【０２５７】
本発明のさらに別の例では、ＣＭＬＬＲ音響モデルが利用される。ＣＭＬＬＲでは、式（６３）および（５９）から、
【０２５８】
【数８４】
0006402211.tif 000085
【０２５９】
である。
【０２６０】
ここで、ＣＭＬＬＲの場合の有雑音の項は、式（６２）の分子と分母の両方にある。したがって、有雑音の変換と無雑音の変換との関係は、ＭＬＬＲの場合よりもはるかに複雑である。
以下、本願出願当初の特許請求の範囲に記載された発明を付記する。
［Ｃ１］
音響単位を発話ベクトルに関連付ける音響モデルを適応させる方法であって、前記音響モデルが、所与の発話因子に関連し、前記音響モデルが前記発話因子の異なる値を伴う発話ベクトルを出力することを可能にする、発話因子パラメータのセットを備え、
前記方法は、
前記発話因子の第１の値を伴う発話のサンプルを入力することと、
前記音響モデルが前記発話因子の前記第１の値を伴う発話を出力することを可能にする発話因子パラメータの前記セットの値を決定することと、
前記音響モデル中で発話因子パラメータの前記セットの前記決定された値を利用することとを備え、
発話の前記サンプルが雑音によって破損しており、
発話因子パラメータの前記セットの前記値を決定することの前記ステップが、
（ｉ）前記雑音を特徴付ける雑音特徴付けパラメータを取得することと、
（ｉｉ）発話の前記サンプルに対して発話因子パラメータ生成アルゴリズムを実行することで、発話因子パラメータの前記セットの破損した値を生成することと、
（ｉｉｉ）発話因子パラメータの前記セットの前記破損した値を発話因子パラメータの前記セットの無雑音の値にマッピングするために前記雑音特徴付けパラメータを使用することと、ここにおいて、発話因子パラメータの前記セットの前記無雑音の値は、発話の前記サンプルが前記雑音によって破損していなかった場合、発話の前記サンプルに対して前記発話因子パラメータ生成アルゴリズムを実行することによって得られたであろう、前記発話因子パラメータの推定値である、
（ｉｖ）発話因子パラメータの前記セットの前記決定された値として、発話因子パラメータの前記セットの前記無雑音の値を利用することと、を備える、方法。
［Ｃ２］
前記発話因子が話者の声である、［Ｃ１］に記載の方法。
［Ｃ３］
前記マッピングが、機械学習アルゴリズムを使用して訓練された適応モデルによって実行される、［Ｃ１］または［Ｃ２］に記載の方法。
［Ｃ４］
さらに、前記適応モデルが、（ａ）雑音破損がない発話因子パラメータの前記セットの前記値と、（ｂ）雑音によって破損した発話因子パラメータの前記セットおよび前記雑音破損に関する情報がネットワークに入力されたときの前記ニューラルネットワークの出力と、の差の尺度を最小にするように、前記ディープニューラルネットワークの重み値を繰り返し調整することによって訓練されていた、［Ｃ３］に記載の方法。
［Ｃ５］
前記適応モデルがディープニューラルネットワークである、［Ｃ３］または［Ｃ４］に記載の方法。
［Ｃ６］
前記発話因子パラメータが最大尤度線形回帰変換のパラメータを備える、任意の先行する項に記載の方法。
［Ｃ７］
前記発話因子パラメータがクラスタ適応訓練重みを備える、［Ｃ１］から［Ｃ５］のいずれかに記載の方法。
［Ｃ８］
前記発話因子パラメータが制約付き最大尤度線形回帰変換のパラメータを備える、任意の先行する項に記載の方法。
［Ｃ９］
テキストツースピーチ合成の方法であって、
テキストを入力することと、
前記入力テキストを音響単位の列へと分割することと、
［Ｃ１］から［Ｃ８］のいずれかの方法に従って音響モデルを適応させ、前記適応させられた音響モデルを使用して音響単位の前記列を発話ベクトルの列に変換することと、
発話因子の第１の値を伴うオーディオとして発話ベクトルの前記列を出力することとを備える、方法。
［Ｃ１０］
［Ｃ５］に記載の方法において使用するためのディープニューラルネットワークを訓練する方法であって、
（ｉ）訓練データを受け取ることと、前記訓練データは、
雑音によって破損した発話因子パラメータのセットの値と、
雑音破損がない発話因子パラメータの同じセットの値と、
前記雑音を特徴付けるデータ値とを備える、
（ｉｉ）（ａ）雑音破損がない発話因子パラメータの前記セットの前記値と、（ｂ）雑音によって破損した発話因子パラメータの前記セットおよび前記雑音を特徴付ける前記データ値が前記ディープニューラルネットワークに入力されたときの前記ディープニューラルネットワークの出力と、の差の尺度を最小にするように、前記ディープニューラルネットワークの重み値を繰り返し調整することによって、前記ディープニューラルネットワークを訓練することとを備える、方法。
［Ｃ１１］
前記尺度が、雑音破損がない発話因子パラメータの前記セットが前記ディープニューラルネットワークの前記出力として得られることの対数尤度に逆相関する、［Ｃ１０］に記載の方法。
［Ｃ１２］
前記尺度が、雑音破損がない発話因子パラメータの前記セットと、前記ディープニューラルネットワークの前記出力との、二乗平均平方根の差である、［Ｃ１０］に記載の方法。
［Ｃ１３］
音響単位を発話ベクトルに関連付ける音響モデルを適応させるための装置であって、前記音響モデルが、所与の発話因子に関連し、前記音響モデルが前記発話因子の異なる値を伴う発話ベクトルを出力することを可能にする、発話因子パラメータのセットを備え、
前記システムが、
前記発話因子の第１の値を伴う発話のサンプルを受け取るための受信機と、
（ａ）前記音響モデルが前記発話因子の前記第１の値を伴う発話を出力することを可能にする発話因子パラメータの前記セットの値を決定し、
（ｂ）前記音響モデル中で発話因子パラメータの前記セットの前記決定された値を利用する
ように構成されたプロセッサとを備え、
発話の前記サンプルが雑音によって破損しており、
発話因子パラメータの前記セットの前記値の前記決定が、
（ｉ）発話の前記サンプルが破損させられている前記雑音を特徴付ける雑音特徴付けパラメータを取得することと、
（ｉｉ）発話の前記サンプルに対して発話因子パラメータ生成アルゴリズムを実行することで、発話因子パラメータの前記セットの破損した値を生成することと、
（ｉｉｉ）発話因子パラメータの前記セットの前記破損した値を発話因子パラメータの前記セットの無雑音の値にマッピングするために前記雑音特徴付けパラメータを使用することとを備え、ここにおいて、発話因子パラメータの前記セットの前記無雑音の値が、発話の前記サンプルが前記雑音によって破損していない場合に発話の前記サンプルに対して前記発話因子パラメータ生成アルゴリズムを実行することによって得られたであろう、前記発話因子パラメータの推定値である、装置。
［Ｃ１４］
入力テキストを受け取るための受信機と、
［Ｃ１３］に記載の装置と、
（ｉ）前記入力テキストを音響単位の列に分割し、
（ｉｉ）前記適応させられた音響モデルを使用して、音響単位の前記列を発話ベクトルの列に変換する
ように構成されたプロセッサと、
前記発話因子の第１の値を伴うオーディオとして発話ベクトルの前記列を出力するように構成された出力とを備える、テキストツースピーチ装置。
［Ｃ１５］
コンピュータのプロセッサによって実行されると、前記プロセッサに、［Ｃ１］から［Ｃ１２］のいずれかに記載の方法を実行させるように構成されたコンピュータ可読コードを備える、コンピュータ可読記憶媒体。
【図１】
0006402211.tif 000086
【図２】
0006402211.tif 000087
【図３】
0006402211.tif 000088
【図４】
0006402211.tif 000089
【図５】
0006402211.tif 000090
【図６】
0006402211.tif 000091
【図７】
0006402211.tif 000092
【図８】
0006402211.tif 000093
【図９】
0006402211.tif 000094