(57)【特許請求の範囲】
【請求項１】
話者から音声信号を受けるための手段、
前記音声信号を特徴ベクトルのデータセットに変換するための特徴抽出手段、
複数の話者独立モデルを記憶するための記憶手段であって、前記モデルは初期には未定のパラメータを有し、前記話者独立モデルは、各クラスターにおいて話者独立モデルにより共有される確率関数に従ってクラスターにて構成される前記記憶手段、
１組の訓練データから前記話者独立モデルのパラメータを求めるための訓練エンジン、
適応エンジンであって、
特定話者から音声データを受けることができ；
特定話者からの前記音声データを用いて、１組の訓練された話者独立モデルとは独立に前記話者独立モデルのパラメータを変換するための複数の変換のパラメータを決定することができ、いったん決定された前記パラメータは、少なくとも１つの話者独立モデルに対して利用できる話者依存データが存在しない場合であっても最尤技術を用いて該話者独立モデルを適応させることができるように、複数の話者独立モデルを適応させるのに用いることができ、その際、前記音声データは話者独立モデルのすべてに対応する必要はなく、少なくともいくつかに対応し；
話者独立モデルの対応する状態によって記述される音声データにおいて認識された状態に対し、適応特徴の整合性を評価でき；
話者独立モデルの夫々のクラスターについての改善された複数の確率関数をそれらのクラスターにおいて共同で推定でき；
所定のしきい量より多くの対応する適応データを利用可能な話者独立モデルについて、少なくとも１つの改善された確率関数を独立に再推定でき；及び
話者独立モデルを１組の話者適応モデルに変換して該１組の話者適応モデルを生成するために、前記改善された確率関数に従って複数の変換を決定できる前記適応エンジン；並びに
前記話者独立モデル及び前記話者適応モデルを用いて、表記されていなかった音声の１組の特徴ベクトルから単語を認識できる認識エンジン
から成る話者適応音声認識システム。
【請求項２】
話者独立及び話者適応モデルの各々が音声の亜単位と関連し、且つ、音声のその亜単位を複数の状態として表し、各状態はその確率関数に関連し、確率関数は訓練データから求められたパラメータを有し、確率関数は音声データの所与の組がその特定状態を表す確率を与える、請求の範囲第１項に記載のシステム。
【請求項３】
確率関数が、単純確率関数の混合としてシステム内に記憶される、請求の範囲第２項に記載のシステム。
【請求項４】
適応エンジン手段が、単純確率関数を変換することによりシステムを特定話者に適応する、請求の範囲第３項に記載のシステム。
【請求項５】
単純確率関数がガウシアンである、請求の範囲第１項に記載のシステム。
【請求項６】
前記適応エンジンが、前記特定話者からの表記されていなかった音声の特徴データを用いて前記話者独立モデルを変換できる、請求の範囲第１項に記載のシステム。
【請求項７】
音声の選択された亜単位を表す１組の話者独立モデルであって、各モデルはその複数の状態に関連し、各状態はその確率関数に関連し、確率関数は訓練データから求められたパラメータを有し、前記訓練データは訓練母集団からの複数の話者から与えられ、話者独立モデルは、各クラスターにおいて話者独立モデルにより共有される確率関数に従ってクラスターにて構成される、前記１組の話者独立モデル、
特定話者から１組の話者適応データを収集するための収集手段であって、適応データの前記組は話者が選択して話した単語から成り、前記適応データは話者独立モデルにおける全ての状態を必ずしも含まない、前記収集手段、
前記話者独立モデルの対応状態により記述される前記適応データにおいて認識された状態に対し、適応特徴の整合性を評価すること、及び変換を求めて前記話者独立モデルによる記述を改善することにより、前記話者適応データ及び前記話者独立モデルを用いてモデル群に適用可能な適応変換を求めるための手段、
話者独立モデルの夫々のクラスターについて複数の改善された確率関数をそのクラスターにおいて共同で推定するための手段；
所定のしきい量より多くの対応する適応データが利用可能な話者独立モデルについて、少なくとも１つの改善された確率関数を独立に再推定する手段；
話者独立モデルを１組の話者適応モデルに変換するために、前記改善された確率関数に従って前記複数の変換を決定する手段；
前記変換を前記話者独立モデルに適用して、話者適応モデルの完全な組を作るための手段であって、少なくとも１つの話者独立モデルに利用できる話者従属データが存在しない場合でも該少なくとも１つの話者独立モデルを適応させ得るように、複数の話者独立モデルを適応するのに前記変換を適応できる前記手段、及び
前記話者適応モデルを用いて、前記話者からの後続音声データを認識するための手段
から成る話者適応音声認識システム。
【請求項８】
確率関数が他の確率関数の混合により表され、前記適応手段は、前記他の確率関数を変換することによりシステムを話者に適応する、請求の範囲第７項に記載のシステム。
【請求項９】
前記他の確率関数がガウシアンである、請求の範囲第７項に記載のシステム。
【請求項１０】
話者独立確率関数が、
0004217275.tif 000023
の形式を有するガウシアン混合であり、ここでρ（ｗi｜ｓt）は係数マトリックスであり、Ｎ（ｙi；μig，Σig）は平均μigと共分散Σigとを有するガウシアン関数であり、ｙiは話者独立ベクトルプロセスであり、ｇはガウシアンコードブックのインデックスである、請求の範囲第７項に記載のシステム。
【請求項１１】
話者適応確率関数が、
0004217275.tif 000024
の形式を有し、ここでρは係数マトリックス、Ｎはガウシアン関数であり、μはＮの平均であり、ΣはＮの共分散であり、ｘtは話者依存ベクトルプロセスであり、Ａg及びＡgTはμ及びΣのスケーリング変換パラメータであり、ｂgはスケーリングされた変換Ａgμigの線形変換パラメータである、請求の範囲第１０項に記載のシステム。
【請求項１２】
変換が下記の工程、すなわち
全ての変換をＡg（０）＝Ｉ，ｂg（０）＝０，ｇ＝１，．．．，Ｎで初期化し、ｋ＝０に設定し、
Ｅ-工程：変換Ａg（ｋ），ｂg（ｋ）の現在の値で変換されたガウシアンを用いて、音声データに対して前方−後方アルゴリズムの１回の繰り返しを実行し、ここで、Ａg（ｋ）はスケーリング変換パラメータであり、ｂg（ｋ）は話者独立状態から話者依存状態へのｋ番目の成分ガウシアンを変換するためのｋ番目成分ガウシアンの線形変換パラメータであり、ｇはガウシアンクラスターの個々のコードブックのジェノンを表し、
全成分ガウシアン及び全ジェノンｇに対して、次式の十分な統計量を集め、
0004217275.tif 000025
ここで、μはガウシアンの平均であり、Σはガウシアンの共分散であり、νt（ｓt）は現在のＨＭＭパラメータλkが与えられた場合の時刻ｔに状態ｓtである確率であり、総和は同じ混合成分を共有する全ての時刻及びＨＭＭ状態に亘ってとられ、φit（ｓt）は事後確率
0004217275.tif 000026
であり、
Ｍ−工程：各ｇに対して、下記の等式を解くことにより得られる新しい変換パラメータＡg（ｋ＋１），ｂg（ｋ＋１）を計算し、
0004217275.tif 000027
ここで、オフセットｂは次式により与えられ、
0004217275.tif 000028
（ここでは、簡単のため、ｇへの依存は省略した。）変数
0004217275.tif 000029
はそれぞれ、ベクトル及び対角行列
0004217275.tif 000030
の要素であり、
そして、
もし収束基準が満たされなければ、Ｅ−工程に戻る、
から成る方法により行われる、請求の範囲第１１項に記載のシステム。
【請求項１３】
音声の選択された亜単位を表す１組の音声モデルであって、各音声モデルはその複数の状態に関連し、各状態はその確率関数に関連し、確率関数は訓練データから求められたパラメータを有し、前記音声モデルは、各クラスターにおいて音声モデルにより共有される確率関数に従ってクラスターにて構成される、前記１組の音声モデル、
複数のコードブックであって、各コードブックは１組の確率関数を含み、各コードブックは複数の前記状態に関連し、前記状態の各々の確率関数は、関連コードブックに記憶された確率関数の重み付き和である、前記複数のコードブック、
特定話者から１組の話者適応データを収集するための手段であって、話者適応データの前記組は話者が選択して話した単語から成る、前記収集手段、
前記話者適応データ及び前記音声モデルを用いて変換を求めるための手段であって、前記変換は前記話者音声モデルを１組の話者適応モデルに変換できる、前記変換手段、
音声モデルの夫々のクラスターに対して複数の改善された確率関数をそれらのクラスターについて共同で推定するための手段、
所定のしきい量より多くの対応する適応データを利用可能な音声モデルに対して、少なくとも１つの改善された確率関数を独立に再推定する手段、
音声モデルを１組の話者適応モデルに変換するために、改善された確率関数に従って前記複数の変換を決定する手段、
一つの状態から得られる変換をその状態に関連するコードブックに適用することにより、音声モデルの前記組への前記複数の変換を用いて１組の話者適応モデルを作り、それにより、そのコードブックに関連した他の全ての状態に対して音声モデルを変換するための手段、及び
前記話者適応モデルを前記話者からの後続音声データに適用するための手段から成る話者適応音声認識システム。
【請求項１４】
確率関数が確率関数の前記組の確率関数の混合により表され、前記変換するための手段が、確率関数の前記組の確率関数を変換することによりシステムを話者に適応する、請求の範囲第１３項に記載のシステム。
【請求項１５】
確率関数の前記組の確率関数がガウシアンである、請求の範囲第１３項に記載のシステム。
【請求項１６】
確率関数が
0004217275.tif 000031
の形式を有するガウシアン混合であり、ここでρ（ｗi｜ｓt）は係数マトリックス、Ｎ（ｙi；μig，Σig）は平均μigと共分散Σigとを有するガウシアン関数であり、ｙiは話者独立ベクトルプロセスであり、ｇはガウシアンコードブックのインデックスである、請求の範囲第１３項に記載のシステム。
【請求項１７】
話者適応確率関数が
0004217275.tif 000032
の形式を有し、ここでρは係数マトリックス、Ｎはガウシアン関数であり、μはＮの平均であり、ΣはＮの共分散であり、ｘtは話者依存ベクトルプロセスであり、Ａg及びＡgTはμ及びΣのスケーリング変換パラメータであり、ｂgはスケーリングされた変換Ａgμigの線形変換パラメータである、請求の範囲第１３項に記載のシステム。
【請求項１８】
デジタル音声を表す信号に応答するための音声認識システムにおいて、個々の話者に適応した音声モデルを発展させるための方法であって、
状態確率関数を有する多重状態モデルを選択する工程であって、前記確率関数は初期には未定のパラメータを有する一般形式である前記選択工程、
処理されるべき音声の各亜単位に対して音声モデルの個別の例を作り出す工程、
複数の話者からの訓練データを用いて、前記音声モデルの状態の音響的特徴を求め、前記音声モデルに対する確率密度関数を共同で推定する工程、
それらの音響的な類似性に基づいて状態をクラスタリングする工程、
複数のクラスターコードブックを作る工程であって、各クラスターに対して１つのコードブックがあり、前記クラスターコードブックは、各クラスターの状態により共有されている確率密度関数から成る前記工程、
各クラスターコードブックの確率密度、及び各クラスターにおける確率式のパラメータを独立に再推定する工程、
個々の話者から１組の話者依存訓練データを得る工程であって、前記組は前記個々の話者によりランダムに話された単語から成る前記工程、
前記訓練データを統計的音声モデルの特定状態により生成されたものとして認識する認識工程、
前記認識工程の結果を用いて、特定のコードブックに関連した変換のパラメータを決定する工程、及び
特定のコードブックについて推定されたパラメータを有する変換を用いて特定コードブックの音声モデルを前記個々の話者に適応させる工程、
から成る個々の話者に適応したモデルを発展させるための方法。
【請求項１９】
確率関数がガウシアンである、請求の範囲第１８項に記載の方法。
【請求項２０】
前記クラスターの数が、システム資源及び所望の性能特性に基づいて任意に選択された数である、請求の範囲第１８項に記載の方法。
【請求項２１】
コンピューター、
コンピューター読み取り可能手段、
コンピューター読み取り可能手段に記憶された音声の亜単位に対する１組のモデル、
前記コンピューターにより処理され得る特徴データを音声信号から抽出するための、コンピューター内に設けられた特徴抽出器、
音声データの識別されたサンプルからの特徴を用いてモデルを訓練するため、且つ、モデルによる使用のために確率密度関数の主コードブックを作るための、コンピューター内に設けられた訓練手段、
コードブックにおいて確率密度関数の部分集合を共有する状態のクラスターを特定するための、コンピューター内に設けられたクラスタリング手段、
主コードブックをクラスター化された状態により共有された確率密度の部分集合に分割することにより、クラスターコードブックを生成するための、コンピューター内に設けられた分割及び除去手段、
クラスターにおける状態に対するモデルを再訓練し、各クラスターコードブックにおける確率密度を再計算するための再推定手段、
未確認音声データからの特徴をモデルにマッチングさせ、モデルを介して最も起こり得る経路を作り出すための認識手段であって、該経路は音声データにおいて最も起こり得る亜単位及び単語を定める前記認識手段、及び
前記コードブックに対する変換を決定する１組の訓練された話者依存モデルとは独立に、個々の話者からの少ない量の話者適応データを用いて、各クラスターコードブックを個々の話者に適応するための話者適応手段であって、話者適応データは、前記モデルのすべてに対応する必要はないが少なくともいくつかには対応する前記話者適応手段、
から成り、前記話者適応手段が、
前記モデルの対応する状態によって記述される話者適応データにおいて認識された状態に対し、適応特徴の整合性を評価するための評価手段；
話者独立モデルの夫々のクラスターについて複数の改善された確率関数をそれらのクラスターにおいて共同で推定するための推定手段；
所定のしきい量より多くの対応する話者適応データが利用可能なモデルについて少なくとも１つの改善された確率関数を独立に再推定するための再推定手段；及び
前記モデルを１組の話者適応モデルに変換して該組の話者適応モデルを生成するために、前記改善された確率関数に従って前記複数の変換を決定するための決定手段
を含む、話者適応音声認識器。
【請求項２２】
個々の話者に対する訓練エンジンにより訓練された複数の話者依存モデルを記憶するための手段、
前記話者適応モデルのパラメータを前記話者依存モデルのパラメータと結合して、改善された話者依存モデルを発生するための手段
をさらに含む、請求の範囲第１項に記載のシステム。
【請求項２３】
前記改善された話者依存モデルが、
0004217275.tif 000033
の形式の数式により得られるパラメータを有し、μigCOMは結合された前記話者適応モデルと前記話者依存モデルのガウシアン成分密度の平均であり、ΣigCOMはガウシアン成分密度の共分散である、請求の範囲第２２項に記載のシステム。
【請求項２４】
話者から音声信号を受けるための手段、
前記音声信号を特徴ベクトルのデータセットに変換するための特徴抽出手段、
複数の話者独立モデルを記憶するための手段であって、前記モデルは初期には未定のパラメータを有し、前記話者独立モデルは、各クラスターにおいて話者独立モデルにより共有される確率関数に従ってクラスターにて構成される前記記憶手段、
１組の訓練データから前記話者独立モデルのパラメータを求めるための訓練エンジン、
適応エンジンであって、
最尤技術を用いて１組の訓練された話者依存モデルとは独立に前記話者独立モデルのパラメータを変換するために、特定話者から音声データを受けることができ、ここで、音声データは話者独立モデルのすべてに対応する必要はなく、少なくともいくつかに対応し；
話者独立モデルの対応する状態によって記述される音声データにおいて認識された状態に対し、適応特徴の整合性を評価でき；
話者独立モデルの夫々のクラスターについての改善された複数の確率関数をそれらのクラスターにおいて共同で推定でき；
所定のしきい量より多くの対応する適応データを利用可能な話者独立モデルについて、少なくとも１つの改善された確率関数を独立に再推定でき；及び
話者独立モデルを１組の話者適応モデルに変換して該１組の話者適応モデルを生成するために、前記改善された確率関数に従って複数の変換を決定できる適応エンジン；並びに
前記話者独立モデル及び前記話者適応モデルを用いて、１組の特定されていない特徴ベクトルから単語を認識できる認識エンジンであって、
個々の話者に対して訓練エンジンにより訓練された複数の話者依存モデルを記憶するための手段；
前記話者適応モデルのパラメータと前記話者依存モデルのパラメータを結合して改善された話者適応モデルを生成する手段
をさらに備える認識エンジン
から成る話者適応音声認識システム。
【請求項２５】
前記改善された話者依存モデルが、
0004217275.tif 000034
（ここで、μはガウス関数の平均であり、Σはガウス関数の共分散であり、ｘ，ｘt及びｎは話者独立の出現回数と話者依存の出現回数の線形結合で表わされる）の形式の数式により得られるパラメータを有する、請求の範囲第２４項に記載のシステム。
【請求項２６】
初期の話者独立モデルを新しい音声データに適応させる方法であって、
前記話者独立モデルのパラメータに適用する変換を選択する工程、
前記変換のための変換パラメータを決定するために、特定話者に関連付けられた新しい音声データを用いる工程であって、前記新しい音声データは、話者独立モデルのすべてに対応する必要はないが少なくともいくつかには対応している工程、
話者独立モデルの対応する状態によって記述される前記新しい音声データにおいて認識された状態に対し、適応特徴の整合性を評価する工程、
話者独立モデルの夫々のクラスターについて複数の改善された確率関数をそれらのクラスターにおいて共同で推定する工程、
所定のしきい量より多くの対応する新しい音声データが利用可能な話者独立モデルに対して、少なくとも１つの改善された確率関数を独立に再推定する工程、
話者独立モデルを１組の話者適応モデルに変換して前記組の話者適応モデルを生成するために、改善された確率関数に従って前記選択された変換を決定する工程、及び
適応モデルを得るために変換パラメータを用いて変換を話者独立モデルのパラメータに適用する工程であって、前記変換は利用可能な話者データがないモデルを変換できる工程
を含む方法。
【請求項２７】
前記話者独立モデルが、状態確率関数を有する多状態モデルであり、前記状態確率関数は、初期には未決定のパラメータを有する一般形式である、請求の範囲第２６項に記載の方法。
【請求項２８】
前記話者独立モデルが隠れマルコフモデル（ＨＭＭ）である、請求の範囲第２６項に記載の方法。
【請求項２９】
前記話者独立モデル及び前記新しい音声データが、１組の話者適応データであり、前記変換は、個々の変換を前記話者独立モデルの平均と前記話者独立モデルの共分散の両方に適用することにより実行される、請求の範囲第２６項に記載の方法。
【請求項３０】
前記個々の変換の１つは、前記平均に定数を掛ける、請求の範囲第２９項に記載の方法。
【請求項３１】
観測された物理的データを表す信号に応答するための音声認識システムであって、
変換Ａg及びｂgをガウス関数Ｎの平均μに適用し、Ａg、ＡgT及びｂgをガウス関数Ｎの共分散Σに適用することにより、元の組の訓練されたモデルＰsa（ｗi｜ｓ）から
0004217275.tif 000035
（ここで、ρは係数行列であり、ｘiは話者依存ベクトルプロセスであり、Ａg及びＡgTはμ及びΣのスケーリング変換パラメータであり、ｂgはＰsa（ｗi｜ｓ）をＰsa（ｘt｜ｓ）に変換するためのスケーリングされた変換Ａgμigの線形変換パラメータである）なる形式を有する１組の適応モデルＰsa（ｘt｜ｓ）を得ること、及び
前記適応モデルを使用して観測された物理的データを表す前記信号を認識すること
を伴い、入力データを特定の適応モデルに関連付けるための関連付け手段を含む音声認識システム。
【請求項３２】
前記個々の変換の１つは、前記共分散に定数を掛ける、請求の範囲第３０項に記載の方法。
【請求項３３】
話者適応音声認識システムであって、
音声の選択された亜単位を表す１組の話者独立モデルであって、各話者独立モデルはその複数の状態に関連し、各状態はその確率関数に関連し、確率関数は訓練データから求められたパラメータを有し、前記訓練データは訓練母集団からの複数の話者から与えられる、前記１組の話者独立モデル、
特定話者から１組の話者適応データを収集するための収集手段であって、話者適応データの前記組は話者が選択して話した単語から成り、前記適応データは話者独立モデルにおける全ての状態を必ずしも含まない、前記収集手段、
前記モデルの対応状態により記述される前記適応データにおいて認識された状態に対し、適応特徴の整合性を評価すること、及び変換を決定して前記モデルによる記述を改善することにより、前記話者適応データ及び前記モデルを用いて適応変換を決定するための手段、
前記変換を前記組の話者独立モデルに適用して完全な組の話者適応モデルを生成するための手段、及び
前記話者からの後続の音声データを認識するために前記話者適応モデルを使用するための手段
を含み、ここで、話者独立確率関数は、
0004217275.tif 000036
の形式を有するガウス混合であり、話者適応確率関数は、
0004217275.tif 000037
の形式を有し、ここで、ρは係数行列であり、Ｎはガウス関数であり、μはＮの平均であり、ΣはＮの共分散であり、ｘtは話者依存ベクトルプロセスであり、Ａg，及びＡgTはμ及びΣのスケーリング変換パラメータであり、ｂgは話者独立状態から話者依存状態にμ及びΣを変換するためのスケーリングされた変換Ａgμigの線形変換パラメータである、話者適応音声認識システム。
【請求項３４】
Ａg（０）＝Ｉ，ｂg（０）＝０，ｇ＝１，…，Ｎによりすべての変換を初期化し、ｋ＝０に設定する工程；
Ｅ工程：変換Ａg（ｋ），ｂg（ｋ）の現在の値により変換されたガウシアンを用いて、音声データに対して前方-後方アルゴリズムの１つの反復を実行する工程、ここで、Ａg（ｋ）はスケーリング変換パラメータであり、ｂg（ｋ）は話者独立状態から話者依存状態へのｋ番目の成分ガウシアンを変換するためのｋ番目成分ガウシアンの線形変換パラメータであり、ｇはガウシアンクラスターの個々のコードブックのジェノンを表し、；
すべての成分ガウシアン及びすべてのジェノンｇに対して十分な統計量：
0004217275.tif 000038
を収集する工程、ここで、μはガウシアンの平均であり、Σはガウシアンの共分散であり、γt（Ｓt）は現在のＨＭＭパラメータλkが所与の時間ｔにて状態ｓtである確率であり、総和はすべての時間及び同じ混合成分を共有するＨＭＭ状態にわたって取られ、φit（Ｓt）は事後確率
0004217275.tif 000039
であり、
Ｍ工程：各ｇに対して次の表式
0004217275.tif 000040
を解くことにより得られる新しい変換パラメータ［Ａg（ｋ＋１），ｂg（ｋ＋１）］を計算する工程、ここで、オフセットｂが与えられており（簡単のためｇへの依存性は省いた）、変数
0004217275.tif 000041
はベクトル
0004217275.tif 000042
の要素であり、変数
0004217275.tif 000043
はそれぞれベクトル及び直角行列
0004217275.tif 000044
の要素であり、もし収束基準が満たされなければＥ工程に進む、
を含む方法により変換を実行する、請求の範囲第３３項に記載のシステム。
【請求項３５】
話者適応音声認識システムであって、
音声の選択された亜単位を表す１組の音声モデルであって、各音声モデルはその複数の状態に関連し、各状態はその確率関数に関連し、確率関数は訓練データから求められたパラメータを有する、前記１組の音声モデル、
複数のコードブックであって、各コードブックは１組の確率関数を含み、各コードブックは複数の前記状態に関連し、前記状態の各々の確率関数は、関連コードブックに記憶された確率関数の前記組の確率関数の重み付き和である、前記複数のコードブック、
特定話者から１組の話者適応データを収集するための手段であって、話者適応データの前記組は話者が選択して話した単語から成る、前記収集手段、
前記話者適応データ及び前記音声モデルを用いて変換を決定するための手段であって、前記変換は前記話者音声モデルを１組の話者適応モデルに変換できる、前記変換手段、
一つの状態から得られる変換をその状態に関連するコードブックに適用することにより、音声モデルの前記組への前記変換を用いて１組の話者適応モデルを作り、それにより、そのコードブックに関連した他の全ての状態に対して音声モデルを変換するための手段、及び
前記話者適応モデルを前記話者からの後続音声データに適用するための手段
を含み、ここで、話者適応確率関数は、
0004217275.tif 000045
の形式を有し、ここで、ρは係数行列であり、Ｎはガウス関数であり、μはＮの平均であり、ΣはＮの共分散であり、ｘtは話者依存ベクトルプロセスであり、Ａg，及びＡgTはμ及びΣのスケーリング変換パラメータであり、ｂgは話者独立状態から話者依存状態にμ及びΣを変換するためのスケーリングされた変換Ａgμigの線形変換パラメータである、話者適応音声認識システム。
【発明の詳細な説明】
著作権についての注意
この特許書類で開示する一部には、著作権の保護を受けるものが含まれる。著作権者は、特許庁の特許ファイル又は記録に載る場合に特許書類又は特許開示に関して誰かが複写複製を行うことには異議を唱えないが、その他の場合には全ての著作権を保持する。
本発明の背景
本発明は、一部は海軍リサーチ庁（Office of Naval Research）（契約N00014-93-C-0142及びN00014-92-C-0154）からの補助を受け、一部はＳＲＩインターナショナル（メンロパーク、カルフォルニア）によって援助されたものである。政府はこの件に関し一定の権利を有する。
この発明は自動音声認識に係り、特に、音声認識システムで用いられるモデルを特定の話者に適応するための方法及びシステムに関する。
当該技術では、隠れマルコフモデルを用いる音声認識システムにおける技術状況はもちろんのこと、統計学とマルコフプロセスに精通していることが仮定される。関連する米国特許出願第０８／２７６，７４２号（１９９４年７月１８日提出）において、当該技術状況に関して詳細に述べられているので、参考までにここに編入するが、ここには引用された全ての従来技術に関する説明が含まれている。
音声認識システムを特定話者に適応するという特定分野に関する技術状況の例として、以下の特許及び刊行物を参照されたい。これらは、本発明に関して発明者の注意を惹くようになったものである。これらの全てが関連する従来技術であると考えられているのではない。
0004217275.tif 000002
（論文）
Ｌ．Ｒ．バル、Ｆ．ジェリネク（Jelinek）及びＲ．Ｌ．マーサー（Mercer）、「連続音声認識への最尤アプローチ（A Maximum Likelihood Approach to Continuous Speech Recognition）」、IEEE Trans.、パターン分析とマシンインテリジェンス、第PAMI-5（2）巻、第１７９−１９０頁、１９８３年３月。
Ｊ．ベルガーダ（Bellegarda）、「区分線形音響マッピングを用いたロバスト話者適応（Robust Speaker Adaptation Using a Piecewise Linear Acoustic Mapping）」、プロシーディングICASSP、第Ｉ−４４５乃至Ｉ−４４８頁、サンフランシスコ、カルフォルニア、１９９２年。
Ｐ．ブラウン（Brown）、Ｃ．−Ｈ．リー（Lee）及びＪ．スポラー（Spohrer）、「音声認識におけるベイズの適応（Bayesian Adaptation in Speech Recognition）」、プロシーディングICASSP、第７６１−７６４頁、ボストン、マサチューセッツ、１９８３年。
Ｋ．チョクリ（Choukri）、Ｇ．チョレット（Chollet）及びＹ．グレニア（Grenier）、「ＡＳＲにおける話者適応のための標準相関分析によるスペクトル変換（Spectral Transformations through Canonical Correlation Analysis for Speaker Adaptation in ASR）」、プロシーディングICASSP、第２６５９−２６６２頁、東京、日本、１９８６年。
Ｓ．フルイ、「階層的話者クラスタリングに基づいた非管理話者適応方法（Unsupervised Speaker Adaptation Method Based on Hierarchical Speaker Clustering）」、プロシーディングICASSP、第２８６−２８９頁、グラスゴー、スコットランド、１９８９年。
Ｘ．ハング（Huang）及びＫ．−Ｆ．リー（Lee）、「話者独立、話者依存及び話者適応音声認識について（On Speaker-Independent, Speaker-Dependent and Speaker-Adaptive Speech Recognition）」、IEEE Trans.、音声及びオーディオ処理について、第１巻、第２号、第１５０−１５７頁、１９９３年４月。
Ｂ．−Ｈ．ジャング（Juang）、「マルコフチェーンの混合多変量確率観測のための最尤概算（Maximum-Likelihood Estimation for Mixture Multivariate Stochastic Observations of Markov Chains）」、ＡＴ＆Ｔテクニカルジャーナル、第６４巻、第６号、１９８５年７月−８月。
Ｃ．−Ｈ．リー（Lee）、Ｃ．−Ｈ．リン（Lin）及びＢ．−Ｈ．ジャング（Juang）、「連続密度隠れマルコフモデルのパラメーターの話者適応に関する研究（A Study on Speaker Adaptation of the Parameters of Continuous Density Hidden Markov Models）」、IEEE Trans.、音響、音声及び信号処理について、第ASSP-39（4）巻、第８０６−８１４頁、１９９１年４月。
Ｒ．シュワルツ（Schwartz）、Ｙ．Ｌ．ショウ（Chow）及びＦ．クバラ（Kubala）、「蓋然的スペクトルマッピングを用いた高速話者適応（Rapid Speaker Adaptation Using a Probabilistic Spectral Mapping）」、プロシーディングICASSP、第６３３−６３６頁、ダラス、テキサス、１９８７年。
自動音声認識システムにおける最近の傾向は、連続混合密度（continuous-mixture-density）隠れマルコフモデル（ＨＭＭｓ：Hidden Markov Models）を用いることである。ＨＭＭｓを用いて音声を認識するシステム及び方法は、本出願の譲り受け人に譲渡された関連米国特許出願第０８／２７６，７４２号に開示されている。豊富な語彙の適用においてＨＭＭシステムが平均して達成する良好な認識性能にもかかわらず、個々の話者に対する性能は大きく変わってしまう。強いアクセントで話すユーザーのように、訓練母集団とは根本的に異なるユーザーの場合には、性能は急速に低下し得る。音声認識システムの性能と頑強性を改善しうる技術の一つは、システムを話者に適応すること、もっと一般的には、チャンネル及びタスクに適応することである。
従来技術において提案されている適応機構は、２つの類型に分けられる。一つは、個々の話者の特徴空間を変換することに基づいており、それを訓練母集団の特徴空間に「マッチング」させる。この技術は一般に、特徴空間変換に基づくアプローチ（ＦＳＴ：Feature-Space Transformation-based approach）と称される。この技術の利点は単純さにあり、もし変換に関する自由パラメータの数が少なければ、素早く適応するという望ましい特徴を有する。
適応方法の二番目の主類型はベイズのアプローチ（Bayesian approach）に従うものであり、このアプローチは、漸進的にＨＭＭｓを変換してモデルが個々の話者から適応データを最もよく予測するようにする。ベイズのアプローチでは、モデルパラメータが幾つかの既知のモデルパラメータ値を用いて再推定される。通常、ベイズのアプローチは望ましい漸近特性を有する。即ち、適応音声の量が増すに従い、話者適応システムの性能は話者依存訓練システムの性能に収斂する。この方法の欠点は、適応レートが通常は遅いことである。
求められるのは、訓練母集団とは非常に異なるアクセントで話す話者を含めて個々の話者に対して優れた性能を有し、且つ、少ない適応データ量を用いて特定の話者に素早く適応できる話者適応方法及びシステムである。
本発明の概略
本発明により、音声認識システムは、拘束最尤変換（ＣＭＬ：constrained maximum likelihood transformation）をその記憶された音声認識モデルに適用することにより、自身を特定の話者に適応する。このＣＭＬアプローチは、適応方法の三番目の主類型を示す。拘束線形変換は、相対的に少ない量の話者依存（ＳＤ：speaker dependent）訓練データから導かれる。認識システムに記憶された話者独立（ＳＩ：speaker independent）モデルに変換を適用することにより、一組の話者適応（ＳＡ：speaker adapted）モデルが作り出される。本発明に従う認識システムがこれらのＳＡモデルを用いるとき、個々の話者に対する非常に改善された認識性能が達成される。強いアクセントで話す話者のように訓練母集団とは非常に異なって話す話者の場合でさえ、認識性能は非適応システムに比べて大きく改善される。
別の実施例による音声認識システムは、ベイズのアプローチと結合したＣＭＬアプローチを使用して優れた性能を達成する。図１Ａ、１Ｂ、１Ｃは本発明のＣＭＬアプローチ、既知のベイズのアプローチ及び結合アプローチを表す。
図１Ａは本発明によるＣＭＬアプローチを示す。適応データ１２が変換２２を導出するのに用いられる。この変換２２が用いられて、ＳＩモデル１０のパラメータを変換してＳＡモデル２０を得る。
図１Ｂは音声認識を特定の話者に適応するための既知のベイズアプローチを示す。システムは、ＳＩモデル１０として表されたモデルパラメータについての「事前知識」を幾つか最初に有してスタートする。特定の話者からの適応データがバウム−ウェルチ（Baum-Welch）アルゴリズム１４により処理されてＳＤモデル１６が作られる。ベイズアプローチにより、これらのＳＤモデルは加算器によりＳＩモデルと結合されて一組のＳＡ認識モデル２０が作られる。ベイズアプローチにより、ＳＡモデル２０は本方法において事前の知識であるＳＩモデル１０の代わりとして用いることができる。
図１Ｃは本発明による結合アプローチを示す。ＳＡモデル２０がＣＭＬアプローチにおいて得られ、そしてベイズ型アプローチにおいて「事前知識」として用いられ、ＳＡモデルとＳＤモデル１６を結合することによりＳＡ”モデル２２が得られる。
本発明が効率的に用いられる一特定タイプの音声認識システムでは、多次元ガウシアン混合密度が用いられて、認識モデルに記憶された種々の音声状態の確率関数をモデル化する。モデルが訓練されて単純ガウシアン曲線の重み付き和として認識システムに記憶されるとき、ガウシアン混合密度がＳＩ訓練データから得られる。ＳＩ訓練データは典型的には幾つかの異なる話者（「訓練母集団」）からの音声サンプルから成り、各話者は表記された音声サンプルを話す。
このようなシステムでの特定の状態のガウシアン混合密度は、一般に単純ガウシアン曲線の重み付き和として記憶される。特定状態をモデル化するのに用いられる単純ガウシアン曲線の組は、当該技術において「コードブック」と称される。十分に結合した音声認識システムでは、単純ガウシアン曲線の一つのコードブックが用いられて、システムにおける全音声状態の確率密度関数をモデル化する。各確率密度関数は、共有コードブックにおいてガウシアンに適用される一組の重み付き係数と関連する。十分に結合してないシステムでは、単純ガウシアン曲線の分離コードブックが用いられて、システムにおける各分離音声状態の確率密度関数をモデル化する。
関連特許出願ＳＮ０８／２７６，７４２には、部分的に結合したシステムが開示されており、複数のコードブックが存在し、単純ガウシアン曲線の単一コードブックが用いられて関連音声状態の１グループ又は「クラスター」の確率密度関数をモデル化する。特定の一実施例による本発明では、特定のコードブックにおいて全てのガウシアンに対して効率的に同じ変換が使用できることを仮定することにより、このような認識システムで素早く効率的な適応が達成される。従って、ＳＤデータの量が少なくても、記憶されたガウシアン全てに対して変換が計算できる。発明の別の実施例によると、異なる関連コードブックにより線形変換が共有できる。
一実施例による本発明では、音声データを直接変換するよりはむしろ音声認識モデルを変換するためのパラメータを推定するというＣＭＬアプローチが用いられる。本発明ではこの技術により、周知の期待値最大化（ＥＭ：Expectation-Maximization）アルゴリズムを用いてこれらのパラメータの最尤（ＭＬ：Maximum Likelihood）推定値を求めることができる。ＥＭアルゴリズムを用いる利点は、幾つかの従来技術のシステムでは要求されるのであるが、新しい話者データと訓練データとの間の時間調整の幾つかの形式を必要とすることなく、新しい話者ＳＤデータのみから変換を本発明においては推定できることである。さらに、特徴変換に基づいた事前の適応機構とは対照的に、本発明は、前もって特定的に表記された文を新しい話者が記録する必要がないという利点を有する。
本発明は語彙の多いウォールストリートジャーナルの総集に基づいて、アメリカ英語のネイティブ及び非ネイティブの話者に対して評価された。ネイティブ話者に対しては、適応後の認識性能は、訓練データの６倍のデータを用いる話者依存システムの性能と同等である。非ネイティブ話者に対しては、認識エラーレートは約半分でありネイティブ話者のエラーレートに近づいており、用いる適応データの量はほんの少しだけである。
【図面の簡単な説明】
図１Ａ−Ｃは、本発明によるモデル変換を用いた適応、ベイズの技術を用いた適応、及び本発明により結合モデル変換とベイズ技術を用いた適応を示す図である。
図２は、単一音のためのＨＭＭの図である。
図３は、ガウシアン曲線の混合を１音の一状態の観測された特徴データに適合するための方法を示す図である。
図４は、本発明の一実施例により構築された音声認識システムのブロック図である。
図５は、本発明の別の実施例により構築された音声認識システムのブロック図である。
図６は、ネイティブ話者に対するＳＩ、ＳＡ及びＳＤ単語エラーレートを示すグラフである。
図７は、混合結合の種々の度合い及び種々の数の変換の場合での、非ネイティブ話者に対するＳＩ及びＳＡ単語エラーレートを示す表である。
図８は、変換に基づいた適応における種々の数の変換に対する単語エラーレートを示すグラフである。
図９は、結合適応における種々の数の変換に対する単語エラーレートを示すグラフである。
図１０は、変換のみの方法の場合、近似ベイズの方法の場合、及び結合方法の場合のエラーレートを比較するグラフである。
図１１は、バイグラム（bigram）及びトライグラム（trigram）言語モデルを用いた適応を示す表である。
好適実施例の説明
明瞭にするために、本発明の特定の実施例に関して本発明の方法及びシステムを説明するが、この実施例では、上記特許出願ＳＮ０８／２７６，７４２において開示されたように、ガウシアン混合を有するＨＭＭｓを用い且つ任意の度合いの混合結合をした音声認識システム内に組み込まれる。しかしながら、本発明の方法がより広い範囲の認識システム、特に連続混合密度を用いる如何なるシステムＨＭＭｓにおいても使用できることは、当業者には明らかである。
入力音声信号を記憶音にマッチングするための共通技術では、隠れマルコフモデル（ＨＭＭｓ）が用いられる。一つのＨＭＭ音声認識システムは、各音に対して３状態指示ＨＭＭを構成する。ＨＭＭを訓練することは、音声の既知のフレーズを話す種々の話者からの音声サンプルの集団から特徴を抽出すること、及び抽出された特徴を用いて最適ＨＭＭパラメータを求めることから成る。特徴を抽出するプロセスは、音声信号を一般には等しい持続時間から成る幾つかの時間ウィンドウに分割する（当該技術においてはフレームと称される）。各ＨＭＭに対するパラメータが一旦求められると、訓練されたＨＭＭｓはそれらのパラメータと共に音声認識システムに記憶される。そうすると、認識システムは未知の音声信号を処理する準備が整い、その音声から抽出された特徴をＨＭＭｓに記憶された音声状態の確率関数と比較することにより最も適当な（話された）単語を求める。
図２は、単語「water」の最初の母音を表す音「ao」のような単音に対する３状態ＨＭＭのうちの１タイプを示す。３つの状態であるｓ1，ｓ2，ｓ3が、所与のフレームの間に検出される特徴の集団に関連する。フレーム間で遷移する確率は、状態間の各遷移に関連する。この確率はモデルが選択される時には設定されてないが、実際の音声データを用いる訓練工程において決定される。遷移確率分布は、暗黙のうちに、異なる音声レートや異なる発音の故に音声の異なる部分において可能な持続時間の変化を伴いモデル化する。
確率関数Ｐ（ｙ｜ｓ1）、Ｐ（ｙ｜ｓ2）、Ｐ（ｙ｜ｓ3）は、３つの可能なＨＭＭ状態の各々に関連し、これらの確率関数は、観測された特徴セットｙがその夫々の状態での音声信号により発生された確率を与える。例として、関数Ｐ（ｙ｜ｓ1）は異なる特徴セットｙ’よりはむしろ状態ｓ1でｙを観測する確率を与える。さらに、ＨＭＭは、関連する確率関数Ｐ（ｓ1｜ｓ1），Ｐ（ｓ2｜ｓ1），Ｐ（ｓ2｜ｓ2），Ｐ（ｓ2｜ｓ3），Ｐ（ｓ3｜ｓ3），Ｐ（ｓexit｜ｓ3）と共に、６つの遷移ｔ１−６を含む。モデルに従って、遷移は全てのフレーム境界で発生し、前述の遷移確率関数は、システムが特定状態にある場合に特定遷移が生じるという確率を定める。
音声認識システムに対してモデルを選択する仕事の一部として、システム設計者は確率式Ｐ（ｙ｜ｓ1），Ｐ（ｙ｜ｓ2），Ｐ（ｙ｜ｓ3）の型を定める。効率的に活用されてきたこれらの数式のうちの一つの型は、重み付きガウシアン曲線の和として数式を表している。このような和は図３に表されている。曲線６０は、観測された訓練特徴データから定められたＰ（ｙ｜ｓ1）を表す。音声認識システムの設計者はＰ（ｙ｜ｓ1）についての確率関数を発展させることを欲する。この確率関数は、観測されたデータ６０に「適合」しなけらばならない。現在の音声認識システムにおいては、訓練データが曲線６２ａ−ｅとして示されている重み付きガウシアン確率関数の和により表され得ることが分かっている。（これらの曲線６２ａ−ｅは、実際の多次元ガウシアン関数のうちの１次元表現である。）この重み付きガウシアン和は、当該技術においては「ガウシアン混合（Gaussian mixture）」と称される。もし各ガウシアン曲線６２ａ−ｅが重み付きガウシアン関数λiＧi（ｙ）により表されるならば、確率Ｐ（ｙ｜ｓ1）は次の関数により表される。
0004217275.tif 000003
ここで、ｓはＨＭＭ状態を表し、ｙは所与のフレームｔで観測された特徴を表し、Ｇi（ｙ）は一連のガウシアン曲線を表し、λiは一連の重み付き定数を表す。もし音声認識システムの設計者が数式（１）の形式の確率関数を用いるモデルを選択するならば、モデルを訓練する仕事とは、各ＨＭＭ状態に対して観測された訓練データを最高に適合させるガウシアン曲線Ｇi及び重み付き因子λiの１組を求めることである。一旦ガウシアン曲線と重み付き因子が決まったら、それらは認識に用いられる為にシステムにより記憶される。本発明による音声認識システムは、記憶されたガウシアン曲線Ｇ及び（ある実施例では）重み付き定数λを特定の話者に適応させて、その話者の認識性能を改善する。
従来技術の認識器と異なる一つの特徴は、記憶されたガウシアン曲線６２ａ−ｅが異なるＨＭＭ状態間で共有されることである。ガウシアン混合を用いる完全に連続的なＨＭＭシステムでは、共有はない。各々の異なるＨＭＭ状態に対しては、異なる組のガウシアン曲線Ｇsiが推定され記憶される。他のシステムは或程度の混合結合を有する。このようなシステムでは、同じ組のガウシアン曲線が一つより多いＨＭＭ状態に対して用いられ、重み付け係数λiのみが結合されたＨＭＭ状態に対して変更される。用語「コードブック」は、当該技術においては一般にガウシアン曲線の組ＧCiを示すのに用いられ、これは結合された混合システムにおけるＨＭＭ状態を近似するのに用いられる。
図４は、本発明に従って構築された音声認識システムのブロック図である。システムは、マイクロフォン１００、特徴抽出モジュール１０３、訓練エンジン１０７、認識エンジン１１０、適応エンジン１１３、１組の記憶されたＳＩモデル１１７、クラスタリングエンジン１２０、１組の記憶されたＳＡモデル１２３及び出力装置１２５から成る。
システムの動作は以下のようにして行われる。マイクロフォン１００が音声信号を受ける。抽出器１０３が、残りのシステムにより操作することが出来るデータにそれらの音声信号をデコードする。最初は、音声信号は、１つの話者グループにより話された表記文から成る訓練データである。訓練エンジン１０７はこれらの表記文を用いて、システムにおける音声状態の非結合コードブックに対する初期パラメータを求め、それらのパラメータを１１７内に記憶する。
クラスタリングエンジン１２０は、上記関連特許出願に開示された方法に従って、訓練されたモデル１１７に作用して１組の結合モデルを作り出す。クラスタリングエンジン１２０は、類似のガウシアンを共有する状態を識別し、それらの状態をクラスターにグループ分けし、クラスターを分割し、そして各クラスターに対して個々の「コードブック」又は「ジェノン（genone）」を作り出す。これらのコードブックはそのクラスターにおける状態を推定するのに用いられる１組のガウシアンを含む。クラスタリングエンジン１２０の動作の後、状態ｓに対して１１７内に記憶された確率関数は、次式のように記述できる。
0004217275.tif 000004
ここで、ＧCiは、クラスターＣに対するコードブックにおけるガウシアンである。任意の度合いの混合結合を有するクラスタリングエンジン１１７により作られたガウシアンコードブックは、「ジェノンズ（genones）」と称され、任意の度合いのジェノン共有を有するＨＭＭシステムは、ジェノンのＨＭＭｓと称される。
一旦クラスタリングエンジン１１７がＳＩモデルをジェノンのＳＩ  ＨＭＭｓに変換したならば、これらのモデルは認識エンジン１１０により使用されて以下に示す通りに非表記音声を識別できる。非表記音声はマイクロフォン１００により受けられ、その特徴は１０３により抽出される。抽出器１０３は特徴データセットｘを認識エンジン１１０に与える。認識エンジン１１０は、（２）の形式を有する１１７に記憶されたモデルを用いて、データｘに対する音声状態の最も起こり得る経路を求める。この最も起こり得る状態経路は、図１に示されるように特定の単語に関連する。認識器１１０は出力装置１２５に認識された単語を表示できる。
一旦認識システムが数式（２）の形式のＳＩモデルの十分に訓練された組を含めば、認識エンジン１１０は非表記音声を認識する準備ができている。しかしながら、本システムを使用する新しい話者は、モデルを訓練するのに用いた訓練データとは大きく異なったアクセント又は音声パターンを有しているかもしれない。このような場合には、大部分の単語や状態はＳＩ  ＨＭＭｓ1 １７を用いる認識エンジン１１０により認識さるかもしれないが、認識エラーレートは高くなるであろう。適応エンジン１１３が本発明に従って使用でき、以下に示すように、認識エンジン１１０の性能を改善する。マイクロフォン１００に話す新しい話者からの信号は抽出器１０３により処理され、特徴データセットｙが認識エンジン１１０及び適応エンジン１１３に与えられる。それから、認識エンジン１１０は特徴データから認識状態を求め、それらの状態を適応エンジン１１３に知らせる。それから、適応エンジン１１３は、認識状態に対して記憶されたＳＩデータを新しい話者からの実際のデータと比較し、それらの状態の確率モデルが新しい話者からの実際のデータに良く適合するように、確率モデルに対する１組の変換を定める。新しい話者からの制限された数量データを受け取った後、適応エンジン１１３はこれらの変換をＳＩ  ＨＭＭｓの全ての状態に適用して１組のＳＡ  ＨＭＭｓ1 ２３を発生する。一旦ＳＡ  ＨＭＭｓ1 ２３が発生されたならば、それらのＨＭＭｓは認識エンジン１１０により使用されて入来する音声信号における状態を識別する。一実施例によると、適応エンジン１１３は新しい話者が話している間中、ＳＡ  ＨＭＭｓを改善し続けることができ、その結果、ＳＡ  ＨＭＭｓはその特定話者に対して発展したモデルの形式に徐々に近づく。
もし数式（２）の確率密度関数が下記の形式の観測密度を有したＳＩベクトルプロセス［ｙt］に対する話者独立ＨＭＭとして書き換えられるならば、本発明の適応エンジン１１３により用いられる変換はさらに容易に説明することができる。
0004217275.tif 000005
ここで、Ｐ（ｗi｜ｓi）はλiに対応する係数マトリックスであり、Ｎ（ｙi；μi；Σi）は平均μiと共分散Σiを伴うガウシアン関数であり、Ｎwは特定コードブックにおけるガウシアンの数に等しい整数であり、ｇはガウシアンコードブック（又はジェノン）指標である。
このシステムの適応は、本発明の一実施例に従って各ジェノンの全ガウシアンを共同で変換することにより達成される。特に、ＨＭＭ状態ｓtのジェノン指標が与えられれば、話者依存ベクトルプロセス［ｘt］は基本的な話者独立ベクトルプロセス［ｙt］を変換ｘt＝Ａgｙt＋ｂgにより変換することにより得られることが、本発明では仮定される。このモデルは、下記の既知の混合密度を有する非観測ベクトルｙからアフィン変換ｘ＝Ａｙ＋ｂを介してランダムベクトルｘが得られると仮定することと等価である。
0004217275.tif 000006
拘束ガウシアン混合モデルの最尤（ＭＬ）推定は、従属変数ｘの観測及び非観測変数ｙの分布の知識をも用いて回帰パラメータＡ，ｂを推定することと等価である。
変換を適用すると、本発明によるＳＡ観測密度は下記の形式を有し、変換パラメータＡg，ｂg，ｇ＝１，．．．，Ｎgのみがエンジン１１３により推定されなけらばならない。
0004217275.tif 000007
ここで、Ｎgは別個の変換の数である。同じ変換を異なるＨＭＭ状態に適用でき、変換のこの結合は、利用できる適応データの量に基づいて性能を最適化するのに用いることができる。
ガウシアン混合の拘束された推定に対する既知の期待値最大化（ＥＭ）方法の拡張により、適応エンジン１１３は変換パラメータＡg，ｂg，ｇ＝１，．．．，Ｎgを推定する。本発明に従いバウム−ウェルチ（Baum-Welch）アルゴリズムを用いた訓練手順は以下のようにまとめられる。
１．  Ａg（０）＝Ｉ，ｂg（０）＝０，ｇ＝１，．．．，Ｎとして全ての変換を初期化する。ｋ＝０と設定する。
２．  Ｅ−工程：変換Ａg（ｋ），ｂg（ｋ）の現在の値で変換されたガウシアンを用いて、前方−後方アルゴリズムの１回の繰り返しを音声データに対して実行する。全ての要素ガウシアン及び全てのジェノンズｇに対して、下記の十分な統計量を収集する。
0004217275.tif 000008
ここで、γt（ｓt）は現在のＨＭＭパラメータλｋが与えられた時刻ｔにおいて状態ｓtとなる確率であり、加算は、同じ混合要素を共有する全ての時刻及びＨＭＭ状態に亘って行われ、φit（ｓt）は下記の事後確率である。
0004217275.tif 000009
３．  Ｍ−工程：新しい変換パラメータを計算する。対角共分散と変換マトリックスを仮定すると、Ａg（ｋ＋１），ｂg（ｋ＋１）の要素ａ及びｂは、各ｇに対して下記の等式を解くことにより得られる。
0004217275.tif 000010
ここで、オフセットｂは次式によって与えられる。
0004217275.tif 000011
ここでは簡単のために、ｇへの依存は省略した。変数
0004217275.tif 000012
は、それぞれベクトル及び対角マトリックス
0004217275.tif 000013
の要素である。
４．  もし収束基準が満たされなければ、工程２に戻る。
本発明により用いられるガウシアン適応変換は、拘束混合密度を有するＨＭＭｓのバウム−ウェルチアルゴリズムの例であるので、効率的に実行できる。特に、十分な統計量は、非拘束混合密度の場合と同じである。よって、適応アルゴリズムの各繰り返しにおけるＥ−工程では、これらの統計量の計算及び記憶が必要となり、そのＥ−工程は非拘束混合密度に対するバウム−ウェルチアルゴリズムのＥ−工程と等しい。Ｍ−工程の計算上の要求は、Ｅ−工程に比して非常に少ない。
本発明によると、閾値を設定し且つその閾値より多い数のサンプルが割当てられた個々のガウシアンの全てを拘束なく再推定することにより適応音声の量が増すにつれて、上記変換も変更され得て話者依存（ＳＤ）訓練に単調に近づく。従って、十分多くの量の適応音声を有する全てのガウシアンは独立して再推定されるが、適応データがほとんど無いか又は無い場合のガウシアンはグループに適応される。加えて、もし特定ジェノンに用いられる適応データの総量が予め決められた閾値より少ないならば、恒等変換がそのガウシアンの全てに対して用いられる。一旦変換パラメータが定められたなら、平均と共分散の拘束ＭＬ推定値は下記の数式を用いることにより得られる。
0004217275.tif 000014
結合変換及びベイズ適応
本発明の別の実施例によると、図５に示されているように、変換に基づく話者適応技術が既知のベイズ適応技術に効果的に結合され、優れた認識性能を達成する。ベイズの適応技術では、制限された量の適応データが、話者独立訓練データから得られる事前知識と最適に結合される。事前の分布を適当に選択して、単一ガウシアン観測密度を有するＨＭＭｓの平均及び共分散の帰納的最大（ＭＡＰ：maximum a posteriori）推定値は、事前の分布のパラメータに依存する幾つかの量と話者依存出現回数の線形結合を用いることにより得られる（リー（Lee）１９９１年参照）。出現回数なる用語は、適応データに前方−後方アルゴリズムの１回の繰り返しを実行することにより収集された十分な統計量を示す。連続混合密度ＨＭＭｓのパラメータのＭＡＰ推定値も同じ方法で得られる（リー、１９９３年参照）。例えば、状態ｓのＨＭＭ混合密度でのｉ番目のガウシアンの平均μについてのＭＰＡ推定値は、下記の数式を用いることにより得られる。
0004217275.tif 000015
ここで、γt（ｓ）は現在のＨＭＭパラメータが与えられた場合の時刻ｔで状態ｓである確率であり、φit（ｓ）は次式で表されるｉ番目の混合成分の事後確率である。
0004217275.tif 000016
量τi（ｓ），ｍi（ｓ）は混合パラメータの結合事前密度であり、この事前密度はディリクレ及び正規−ウィシャート（normal-Wishart）密度の積として選択されたものである。パラメータτi（ｓ）は普通は経験的に推定され、適応レートを制御するのに用いることができる。同様な推定式がガウシアンの共分散σに対して使用できる。二次の統計量の同様な公式に基づいて、各成分密度に対する話者独立及び話者依存出現回数を線形結合することにより、近似ＭＡＰ（ＡＭＡＰ）が実行できる。
0004217275.tif 000017
ここで、右側の上付き文字は、前方−後方アルゴリズムの一回の繰り返しの間に以下の統計量（出現回数）が収集される範囲のデータを示す。
0004217275.tif 000018
それから、各ガウシアン成分密度の平均及び共分散が、結合された出現回数を用いて推定される。重みλが適応レートを制御する。この方法は近似ベイズ適応と称される。同様の適応機構が離散ＨＭＭｓに対して提出されており（ハング（Huang）、１９９３年参照）、これらはここに記載された近似ベイズ機構において混合重みを適応するのに用いることができる。
重みλは適応レートを制御する。結合された出現回数を用いると、次式から各ガウシアン成分密度の平均及び共分散のＡＭＡＰ推定値を計算できる。
0004217275.tif 000019
同様の適応機構が離散ＨＭＭｓ［１１］に対しても提出されており、これらはここに記載された近似ベイズ機構において混合重みを適応するのに用いることができる。
ベイズ適応機構では、適応データの幾つかを発生したと最も考えられる話者独立モデルのガウシアンのみが、話者に適応される。これらのガウシアンは、多くのガウシアンを有する連続ＨＭＭｓにおける総数のうちの小部分のみを表すことができる。一方、適応データの量が増すにつれ、話者依存統計量は話者独立の事前（priors）を支配し、ベイズ技術は話者依存性能に近づく。従って、我々は、多くの量の適応データに対するベイズ機構の良好な特性を維持する適応機構を目的とすべきであり、少ない量の適応データに対して性能を改善してきた。事前処理工程として我々の変換に基づく適応を用いて、話者独立モデルが新しい話者特徴によりよくマッチングし且つＭＡＰ推定機構における事前情報を改善するようにこれらのモデルを変換することにより、我々は上記目的を達成できる。
変換方法及び近似ベイズ方法を結合するために、本発明ではまず、上記拘束ＭＬ（ＣＭＬ）方法により推定された変換パラメータを用いて、話者独立出現回数が変換される。
0004217275.tif 000020
変換された出現回数は、下記の適応データを用いて集められた話者依存出現回数と結合される。
0004217275.tif 000021
さらに、結合された方法のモデルは、次式を用いてこれらの出現回数から推定できる。
0004217275.tif 000022
この手順は図１ｃに概略的に示されている。この手順を利用する音声認識システムのブロック図は図５に示される。図４中の構成要素に加えて、この認識システムは１組の話者依存モデル１３０及びＳＤモデル１３２とＳＡモデル１２３を結合するための結合エンジン１３２を含み、モデル１２３の認識性能を改善する。
ＣＭＬ方法の実験結果
我々は語彙の多いウォールストリートジャーナル総集で我々の適応アルゴリズムを評価した。実験は、ＳＲＩのデシファー（DECIPHER）音声認識システムを用いて行われた。このシステムは、６個の特徴フロントエンドで構成され、１２個のケプストラル（cepstral）係数（ｃ1−ｃ12）、ケプストラルエネルギー（ｃ0）及びそれらの一次と二次の差を出力する。ケプストラル特徴はＦＦＴフィルターバンクから計算され、後続のケプストラル平均規格化が文ベースで実行される。我々は、異なるＨＭＭ状態を越えて共有する任意の度合いのガウシアンを有するジェノンの隠れマルコフモデルを用いた。実験を素速くするため、我々はプログレッシブ検索機構を用いた。バイグラム（bigram）言語モデルを有する初期の話者独立認識器は、テストセットでの全発音に対する単語ラティス（word lattices）を出力する。これらの単語ラティスは話者依存又は話者適応モデルを用いて再記録される。我々は２つの連続した実験を米国英語のネイティブ及び非ネイティブ話者に対して夫々行った。全ての実験は５０００単語閉語彙タスクclosed-vocabulary task）に対して行われ、以下で説明する。
ネイティブ話者でのＳＩ，ＳＤ及びＳＡ認識性能を比較するために、我々はフェイズ０のＷＳＪ総集で我々の適応アルゴリズムの初期研究を行った。我々は、同じ混合成分を共有する同じ文脈独立音の全ての異音を伴い、音声学的に結合された混合ＨＭＭシステムを使用した。即ち、我々は１音当たり１ジェノンを有するシステムを使用した。話者独立システムは４２男性話者からの３５００文に対して訓練された。異なるケプストラル特徴が独立観測ストリームとしてモデル化され、各コードブックはベクトル特徴に対する５０個のガウシアンとスカラー（エネルギー）特徴に対する１５個のガウシアンを使用した。総計で６３００個の音声学的モデルが存在し、各々は３つの状態を有した。数少ないパラメータを有するよりコンパクトなシステムがより適応に適するので、異なる出力分布の数は、状態に基づいたクラスタリングを用いて６３００（３倍減少）にまでクラスタリングされた。適応アルゴリズムの性能は、訓練／適応文の量を変えるため６人の男性話者（００１，００ｂ，００ｃ，００ｄ，４００，４３１）からの１００個の文で評価された。これらの話者に対するＳＩ単語エラーレートは、削除及び挿入を含めて１５．５１％であった。我々は、６００発音を用いる６人の話者の各々に対する話者依存システムを別々に訓練することにより、ＳＤ性能をも評価し、ＳＤエラーレートが１１．５１％であることが分かった。我々は、少ない量の適応データ（４０発音）を用いて、適応アルゴリズムをテストしたが、適応後の単語エラーレートは１３．６０％であった。従って、４０個の適応文を用いて、ＳＩとＳＤ間のギャップの６０％が克服された。
それから、我々は、適応データの量を変えるため、話者のうちの３人を使ってＳＡシステムの性能を評価した。結果は図６にまとめてある。１００個の適応文を用いて、適応機構は、６倍の訓練データを用いた話者依存システムの性能を達成する。全てのＳＤ訓練データが適応データとして使用されると、ＳＡシステムは、エラーレートに関してＳＩシステムに対して５０％減少、ＳＤシステムに対して２５％の減少を達成する。
ＳＩエラーレートはどんな実際の適用においても高すぎるので、話者適応は非ネイティブ話者にとって非常に重要な技術となる。フェーズ−１ウォールストリートジャーナル総集の「スポーク３」での適応アルゴリズムのテスト中、我々は適応を用いて米国英語の非ネイティブ話者に対する認識性能を改善することに集中した。フェーズ−１総集はこの一連の実験の間利用できたので、１４０人の男性話者からの１７０００個の訓練発音を用いてＳＩシステムが構築された。計算量を減らすため、我々はフェーズ−１ＷＳＪディベロップメントデータセットにおいて５人の男性話者を用いてアルゴリズムを調整した。発展フェーズの終わりに１回だけ、評価データセットが用いられる。データセットは１話者当たり４０個のテスト文と音声学的にバランスのとれた４０個の適応文を含む。話者は英語における彼らの流暢さにより選択され、強いアクセントから軽いアクセントまでカバーする。
我々はまず４つの異なるシステムをテストし、このタスクに対する共有ガウシアンの最適度合いを求めた。システムの全ては、１１９３２個の文脈依存音声モデルを使用し、各々は３つの状態を有した。単語境界を越えて同時調音をモデル化することは、非ネイティブ話者に対する認識性能を改善しないことを、我々は予備実験において確認したので、文脈依存が単語内においてのみモデル化された。これらのシステムで用いられるジェノンの数は、４０（１音当たり１ジェノン）、２００、５００及び９５０であった。各ジェノンは３２個のガウシアン分布の混合から成っていた。ＳＩ及びＳＡ性能は図７に示されている。適応はガウシアン分布及び混合重みに順番に適応された。
ジェノニックＨＭＭｓでは、異なるＨＭＭ状態を結合する混合の任意の度合いは、集積的クラスタリング手順により選択できる。もし結合の度合いが小さく、従って、ジェノンの数が大きければ（図７の５００及び９５０ジェノンシステムのように）、多くの数の線形変換が適応中に推定されなければならない。我々は異なるジェノンに対して変換を結合することにより、この問題を克服でき、また、ジェノン構築に用いられる集積的クラスタリング機構はこのことに非常に適している。クラスタリング中に発生されたツリー（tree）内の各ノードは、１組の状態に対応し、単一のＨＭＭ状態に対応するツリーの葉（leaves）を備える。特定システムで用いられる結合の度合いは、ツリーを通るカット（cut）により表すことができる。カットの位置は、集積的クラスタリングの停止基準により決められる。よって、もし我々がシステムにおけるジェノンの数より少ない数の変換を用いることを欲すれば、我々は停止基準をいくらか緩めることがきで（即ち、より積極的にクラスタリングでき）、ツリーを通してより高いレベルで第２カットを定めることができる。新しいカットの同じノードとなる元のカットの全ノード（即ち、全ジェノン）は、同じ変換を共有できる。図７中の第３コラムは、ガウシアン分布を推定するのに用いられる線形変換の数を示す。最初の二つのシステムでは、我々は１ジェノン当たり１つの変換を使用した。多くのジェノンを有する残り２つのシステムでは、我々は推定されるべきパラメータの数を減らすために変換をグループ分けした。
種々のシステムに対するＳＩ単語エラーレートは、２８．７％から３０．１％までの範囲であり、類似していた。９５０及び５００ジェノンシステムに対する適応中に変換の結合を用い、且つ、変換の数を９５０及び５００から２００に減じることにより、ＳＡエラーレートが１７．７％から１５．８％に、及び１６．６％から１５．１％にそれぞれ減少した。１５．１％のＳＡエラーレートは、我々が調べたシステム全てのうちで最も低いものであり、５人の話者に対する適応アルゴリズムによる平均改善は４７％であった。我々の適応機構の２つのステージの相対的な貢献を評価するために、我々は欠陥のある混合重み適応を有する我々の最高のシステムに対してＳＡエラーレートを評価した。拘束推定方法のみを用いてガウシアンコードブックを適応することにより、ＳＡ単語エラーレートが１５．６％であることが分かった。よって、連続ＨＭＭｓに対して、適応中の大抵の性能利得はガウシアンコードブックを適応することにより達成される。
結合された方法の実験結果
我々はまた、語彙の多いウォールストリートジャーナル総集のフェーズ−１の「スポーク３」において結合された方法を評価し、米国英語の非ネイティブ話者に対する認識性能を改善しようとした。我々が適応のためのシード（seed）モデルとして用いた話者独立連続ＨＭＭシステムは、性依存であり、各性に対して１４０人の話者及び１７０００個の文で訓練された。２つのシステムの各々は、１２０００個の文脈依存音声学的モデルを有し、これらのモデルは、１コードブック当たり３２個のガウシアン成分を有する５００個のガウシアンコードブックを共有した。素早く実験するために、我々は漸進的サーチ機構を使用した。即ち、バイグラム（bigram）言語モデルを用いた初期の話者独立認識器は、テストセットにおいて全発音に対する単語ラティスを出力する。これらの単語ラティスは、それから、話者適応モデルを用いて再記録される。我々は、リンコン研究所（Lincoln Laboratory）により与えられたベースライン５０００単語閉語彙バイグラム及びトライグラム言語モデルを使用した。バイグラム言語モデルを用いて発生されたＮベスト文仮説のリストを再記録することにより、トライグラム言語モデルはＮベスト再記録パラダイムを用いて実行された。
最初の一連の実験では、我々はバイグラム言語モデルを使用した。我々はまず、種々の数の変換及び種々の量の適応データに対して、変換に基づいた適応の性能を評価した。適応文の数の関数として単語エラーレートをプロットした図８から分かるように、多重変換は１又は２の変換を用いる非常に拘束された機構よりは性能が優れている。２０及び４０個の変換を有した性能も同様であり、１６０個の変換の拘束の少ない場合よりは優れている。しかしながら、適応データの量が増すにつれ、１６０変換は追加データを利用し、より拘束された機構よりは優れた性能を有する。エラーレートの著しい減少は、ほんの５つの適応文を用いて得られる。単一文を用いた適応のときは、２つの変換の場合を除いて、異なる数の変換に対する性能は類似している。その理由は、実行に際し、観測の数が閾値より大きいときのみ変換が再推定され、その他では全データから評価されたグローバル変換が用いられるからである。大抵の変換は単一適応文の場合にグローバル変換まで後退するので、異なる数の変換を有する機構は同様の性能を示す。
図９では、図８と同じ数の変換及び適応文に対して、結合機構の単語エラーレートがプロットされている。セクション３で説明したように、図８の結果を得るのに用いられるシステムは、後続のベイズ推定工程で事前（priors）として用いられる。結合機構の性能は特に多くの数の適応文と共に用いられる変換の数に対してより敏感でないことが分かる。適応データの量が増すにつれ、ベイズ機構は漸近的に話者依存性能に収斂していくので、上記挙動が期待されるのである。しかしながら、適応文の数が少ないときは、変換の適切な数を選択し且つ良好な事前情報をベイズ工程に与えることが重要である。
図１０では、２０及び１６０変換を有する変換のみの方法、従来の事前（priors）を有する近似ベイズ方法、及び種々の量の適応データに対する結合方法の単語エラーレートが比較されている。後者では、変換の数は利用可能な量の適応データにより最適化された。１０より少ない文が適応に用いられる場合には、２０個の変換を有する変換のみの方法は、従来事前を有するベイズ機構よりは性能が良いが、もっと多くの適応文が使用されると状況は逆転する。このことは、変換に基づいた方法がより速く適応するという我々のクレームと一致するが、ベイズ機構はより漸近的な特性を有する。多くの量の適応データに対する変換アプローチの性能は、変換の数を増すことにより改善できる。同図において、結合方法の成功が見てとれ、これは我々が調べた適応文の全範囲に対して最初の２つの方法よりは著しく優れた性能を有する。ほとんど適応文が用いられないときには、変換工程は素早い適応を与えるし、ベイズ推定工程は漸近性能を改善する。
最後に、トライグラム言語モデルを用いて、ＷＳＪ総集の発展及び以前には見られてない１１月９３年ＡＲＰＡ評価セットにおいて、４０個の適応文に対して最高の性能を有する構成の単語エラーレートを評価した。図１１に示された我々の結果は、この仕事におけるこれまでの結果を最高に良く報告した結果を表す。４０個の文のみを用いた適応後の非ネイティブ認識性能は、ネイティブ話者の性能より僅かに高く、同じ話者独立モデルに対して、バイグラム及びトライグラム言語モデルについて夫々９．７％及び７．２％である。最初にリストに挙げられた発明者、即ち、特に重いアクセントを有した米国英語の非ネイティブ話者は、発展セットの一部であった。追加の適応データは彼には利用可能であったので、我々は２８５個までの適応文（音声で約４０分）に対する適応性能を評価した。この特定の話者に対して、話者独立エラーレートは４０及び２８５個の適応文を用いて夫々ファクター４及び６だけ減少する。７．１％の話者適応エラーレートは、このタスクでのネイティブ話者に対する最新式のものの性能に匹敵する。
本発明はここでは特定の実施例に関して説明されてきた。その他の実施例も当業者には明らかとなるであろう。従って、添付の請求の範囲に示されたのを除いて、本発明が制限されることを意図しない。
【図１Ａ】
0004217275.tif 000046
【図１Ｂ】
0004217275.tif 000047
【図１Ｃ】
0004217275.tif 000048
【図２】
0004217275.tif 000049
【図３】
0004217275.tif 000050
【図４】
0004217275.tif 000051
【図５】
0004217275.tif 000052
【図６】
0004217275.tif 000053
【図７】
0004217275.tif 000054
【図８】
0004217275.tif 000055
【図９】
0004217275.tif 000056
【図１０】
0004217275.tif 000057
【図１１】
0004217275.tif 000058