(57)【特許請求の範囲】
【請求項１】
自動音声認識のための文脈依存モデルを作成する方法であって、
学習用話者群を表す固有空間を生成し、
少なくとも１人の学習用話者について音響データを準備し、この音響データを前記固有空間内に表して、前記学習用話者について、少なくとも１つの異音中心を決定し、
前記中心を前記音響データから減じ、前記学習用話者について、話者調整音響データを生成し、
前記話者調整音響データを用いて、他の異音についての文脈依存モデルを持つ葉節点を有する決定木の少なくとも１つを、成長させる
ことを特徴とする文脈依存モデル作成方法。
【請求項２】
請求項１記載の文脈依存モデル作成方法において、
複数の学習用話者についての音響データを用いて、前記複数の学習用話者のぞれぞれについて、前記話者調整音響データを生成する
ことを特徴とする文脈依存モデル作成方法。
【請求項３】
請求項１記載の文脈依存モデル作成方法において、
前記固有空間の生成は、
前記学習用話者群の音声を基にして、スーパーベクトルを生成し、
前記スーパーベクトルに対して次元数削減を行い、前記学習用話者群にわたる削減化次元空間を定めることによって行う
ことを特徴とする文脈依存モデル作成方法。
【請求項４】
請求項１記載の方法によって作成された文脈依存モデルを用いた音声認識方法であって、
新たな話者の音声データを準備し、
前記固有空間を用いて、少なくとも１つの新話者中心を決定するとともに、この新話者中心を前記新たな話者の音声データから減じて、話者調整データを生成し、
前記話者調整データを、前記文脈依存モデルを利用する音声認識装置に与える
ことを特徴とする音声認識方法。
【請求項５】
請求項１記載の方法によって作成された文脈依存モデルを用いる音声認識方法であって、
新たな話者の音声データを準備し、
前記固有空間を用いて、少なくとも１つの新話者中心を決定するとともに、この新話者中心を前記文脈依存モデルに加えて、新たな話者調整文脈依存モデルを生成し、
前記音声データを、前記話者調整文脈依存モデルを利用する音声認識装置に与える
ことを特徴とする音声認識方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、音声認識に関する技術に属する。
【０００２】
【従来の技術】
少語彙音声認識システムは、基本単位として該少語彙中に認識語を有する。例えば、英語のアルファベット認識システムは、一般的に、アルファベット一文字につき一のモデルで計２６のモデルを有することになる。その方法では、中・大語彙音声認識システムにとり、実用的ではない。これらの多量語彙音声認識システムは、一般的に、その基本単位として言語の音素あるいは音節を用いる。あるシステムが言語の音素ごとに一のモデル（例えば、隠れマルコフモデル）を含んでいる場合、そのシステムは「文脈非依存（context-independent ）」音響モデルと呼ぶ。
【０００３】
あるシステムが、周辺音素の同一性に依存して、所定の音素のために異なるモデルを用いた場合、そのシステムは「文脈依存（context-dependent ）」音響モデルを用いたと言える。異音とは、文脈により画定された音素の特殊化された態様であり、例えば、「ｂａｔ」や「ｆａｔ」等のように「ｔ」の前に発音される‘ａｅ’は全て、異音［ａｅ」となる。
【０００４】
多くの言語にとり、ある音素の音声認識はその前後の音素に非常に強く依存している。例えば、「ｙ」に続く‘ｅｈ’（例えば「ｙｅｓ」）は、「ｓ」に続く‘ｅｈ’（例えば「ｓｅｔ」）とは異なる。このため、中・大サイズの語彙を扱うシステムにとり、文脈依存音響モデルの性能は文脈非依存音響モデルよりもかなり優れている。中・大語彙認識システムの実用的なアプリケ−ションのほとんどは、今日、文脈依存音響モデルを用いている。
【０００５】
多くの文脈依存音響認識システムは、今日、文脈依存、不特定話者音響モデルを画定するために決定木クラスタリングを用いている。木成長アルゴリズムは、対象となる音素を囲む音素群に関する質問を発見し、音響的に非類似の音素を分離する。この結果が、所定の異音を最適に認識する音響モデルを選択するためのｙｅｓ−ｎｏ質問決定木である。一般的に、そのｙｅｓ−ｎｏ質問は、異音が文脈上どのように現われるか（例えば、隣接音素は何か）に関わる。
【０００６】
従来の決定木は、各音素のために、根節点や各中間節点（根節点の子や孫等）のおいてｙｅｓ−ｎｏ質問を含む二分木を規定する。その末端節点すなわち葉節点は、その音素のある異音のために設計された音響モデルを含む。このため、使用の際、認識システムは、適用可能モデルを含む葉節点が識別されるまで、対象となる音素の文脈に基づき「ｙｅｓ」または「ｎｏ」に分岐しながら木を走査する。その後、識別されたモデルが認識のために使用される。
【０００７】
【発明が解決しようとする課題】
不幸なことに、従来の異音モデリングはうまく作用しないことがある。これは、現在のモデルが各学習用話者の特異性を考慮していないためであると、我々は考えている。現在の方法は、多量の学習用話者群が利用されている場合には、個々の話者の特異性が平均化されると仮定する。しかしながら、実際には、我々はこの仮定が必ずしも機能しないことを発見した。従来の決定木に基づく異音モデルは、ある新たな話者の音声が、たまたま学習用話者群の音声と似ているとき、かなり良く作用する。しかしながら、その新たな話者の音声が学習用話者群の領域外に位置するとき、従来の技術は作用しない。
【０００８】
【課題を解決するための手段】
本発明は、個々の話者の特異性を迅速に識別でき、かつ、認識式から取り除くことができる次元数削減話者空間評価技術（a reduced dimensionality speaker space assessment technique ）を通じて、上記問題点を解決する。この結果、より汎用的で強固な異音モデルを提供することができる。次元数削減話者空間評価技術は、固有音声空間（Eigenvoice space）または固有空間（Eigenspace）と呼ばれる次元数削減空間で実行される。我々の固有音声技術の重要な利点の一つはスピードである。ある新たな話者が認識装置を使用するとき、彼または彼女の音声は、学習用話者群から導き出された固有空間に迅速に位置づけられ、投影される。新たな話者のまさに最初の発声であっても、その話者を固有空間に位置づけるために用いられる。固有空間では、異音は、話者空間における話者位置のような無関係な要素によってほとんど影響を受けることなく、表現される。
【０００９】
具体的には、請求項１の発明が講じた解決手段は、自動音声認識のための文脈依存モデルを作成する方法として、学習用話者群を表す固有空間を生成し、少なくとも１人の学習用話者について音響データを準備し、この音響データを前記固有空間内に表して、前記学習用話者について、少なくとも１つの異音中心を決定し、前記中心を前記音響データから減じ、前記学習用話者について話者調整音響データを生成し、前記話者調整音響データを用いて、他の異音についての文脈依存モデルを持つ葉節点を有する決定木の少なくとも１つを成長させるものである。
【００１０】
請求項２の発明は、前記請求項１の文脈依存モデル作成方法は、複数の学習用話者についての音響データを用いて、前記複数の学習用話者のぞれぞれについて、前記話者調整音響データを生成するものとする。
【００１１】
請求項３の発明では、前記請求項１の文脈依存モデル作成方法における固有空間の生成は、前記学習用話者群の音声を基にして、スーパーベクトルを生成し、前記スーパーベクトルに対して次元数削減を行い、前記学習用話者群にわたる削減化次元空間を定めることによって行うものとする。
【００１２】
請求項４の発明が講じた解決手段は、前記請求項１の方法によって作成された文脈依存モデルを用いた音声認識方法として、新たな話者の音声データを準備し、前記固有空間を用いて、少なくとも１つの新話者中心を決定するとともに、この新話者中心を前記新たな話者の音声データから減じて話者調整データを生成し、前記話者調整データを前記文脈依存モデルを利用する音声認識装置に与えるものである。
【００１３】
請求項５の発明が講じた解決手段は、前記請求項１の方法によって作成された文脈依存モデルを用いる音声認識方法として、新たな話者の音声データを準備し、前記固有空間を用いて、少なくとも１つの新話者中心を決定するとともに、この新話者中心を前記文脈依存モデルに加えて新たな話者調整文脈依存モデルを生成し、前記音声データを、前記話者調整文脈依存モデルを利用する音声認識装置に与えるものである。
【００１６】
【発明の実施の形態】
以下、本発明の実施形態について、図面を参照して説明する。
【００１７】
本発明の技術は、様々な異なる音声認識問題に適用できる。独自モデルによっては各々の完全語を表わすことができないアプリケ−ションにおいて、当技術はおそらく非常に役に立つ。ここでは、本発明の２つの実施形態について説明する。本発明の原理は、他の実施形態にもまた拡張できると理解されるであろう。
【００１８】
第１の実施形態は、各学習用話者が適量の学習用データ（例えば、話者当たり２０〜３０分の学習用データ）を提供するアプリケ−ションにとって、最大限に活用される。この程度の量の学習用データを用いれば、各話者についてかなり優れた文脈依存、特定話者モデルを構築するために十分なだけの音響音声サンプルが得られると期待できる。必要な場合には、文脈非依存モデルに教え込む（train ）十分なデータを生成するために、話者適応化技術（speaker adaptation techniques ）が利用され得る。各話者について全ての異音の完全なセットを持つことは必要ではないが、そのデータは、データ中のどこかに存する各音素のための最も重要な異音を反映すべきである（すなわち、その異音は、少なくとも少数話者により何度も発音されたものである）。
【００１９】
本実施形態の認識システムは、各異音に適したモデルを、その異音の文脈に基づいて（例えば隣接音素に基づいて）識別するための決定木を用いる。しかしながら、従来の決定木に基づくモデリングシステムとは異なり、本実施形態では、決定木の構築において、話者調整（speaker-adjusted）学習用データが用いられる。話者調整処理は、事実上、より優れた異音モデルが生成され得るように各学習用話者の音声の特異性を取り除く。その後、音声認識システムが用いられるとき、同様の調整が新たな話者の音声に対して施され、そして、話者調整異音モデルが、質の高い文脈依存音声認識を実行するために利用される。
【００２０】
本実施形態に係る認識システムにおいて、重要な構成要素は、個々の話者の特異性を抽出するために学習用話者および新たな話者の音声を迅速に分析するための固有音声技術である。以下で詳細に述べるが、固有音声技術は学習用話者群を集合的に表わす次元数削減固有空間を画定する。音声認識中に新たな話者が話すとき、彼または彼女の音声は、話者の音声の重心（centroid）が学習用話者に関する話者空間内にどのように配置されるかを極めて迅速に決定するため、固有空間内に迅速に配置されまたは射影される。
【００２１】
詳細に説明する通り、新たな話者の重心（および各学習用話者の重心）は、各話者がシステムにおける音素を平均的にどのように発生するかによって画定される。便宜上、重心ベクトル（centroid vector ）として、ある話者の文脈非依存モデルにおける各音素の隠れマルコフモデル（ＨＭＭ）の各状態を表す連接ガウス平均ベクトル（concatenated Gaussian mean vectors）からなるものを想定することができる。しかしながら、「重心」の概念は測定可能であり、また学習用話者一人当たりに利用可能なデータ量に依存する。例えば、学習用データが十分にあり、各話者用の幾分豊富な話者依存モデル（例えば重音モデル（diphone model ））を教え込むことができるときは、各学習用話者の重心は、この特定話者重音モデルから得た連接ガウス平均値（concatenated Gaussian means ）で表せる。もちろん、三重音モデルなどの他のモデルについても、同様に実行できる。
【００２２】
図１は重心の概念を説明するための図であり、６人の相異なる学習用話者Ａ〜Ｆが相異なる文脈の中で‘ａｅ’という音素をどのように発音するかを図示したものである。図１では便宜上、話者空間を二次元空間で表しており、各話者の重心が、二次元空間内で、その話者のために集められた異音ベクトルの中心に置かれている。このため、図１では、話者Ａの重心は、話者Ａが次の単語［ｍａｓｓ」「ｌａｃｋ」および「ｈａｄ」を発音したときに得られた各異音ベクトルの原点に位置している。したがって、話者Ａの重心は、概略的に言うと、その話者の「平均」音素‘ａｅ’を表わす情報を含む。
【００２３】
比較すると、話者Ｂの重心は、話者空間内において、話者Ａの右に位置する。話者Ｂの重心は、次の「ｌａｕｇｈ」「ｒａｐ」および「ｂａｇ」の発音から生成されている。図示したように、他の話者Ｃ〜Ｆは話者空間内の他の領域に位置している。各話者は、重心から発したベクトル（図１では３個の異音ベクトルが発している）として表わされた異音の集合を有することに注意せよ。図示したように、これらのベクトルは、異なる話者間でよく概略比較される角度関係を定める。話者Ａの角度１０と話者Ｂの角度１２とを比較せよ。しかしながら、各話者の重心は互いに一致はしないので、話者Ａと話者Ｂの異音は結果的に同一ではない。本発明は、相異なる重心位置によって特徴付けられた特定話者の特異性を取り除くことによって、この問題を対処するものである。
【００２４】
異音ベクトル間の角度関係は、一般に、話者間で比較可能だが、このことは異音ベクトルが同一であることを意味しない。実際、ベクトル長は、話者ごとに異なり得る。男性話者と女性話者とでは、異音ベクトル長はおそらく互いに異なっているだろう。さらに、話者の方言の相違によって、角度関係が異なる場合もあり得る。この点で、話者Ｅの角度１４と話者Ａの角度１０とを比較せよ。この角度の相違は、例えば、北アメリカ方言を話す話者Ａに対して南アメリカ方言を話す話者Ｅを反映しているだろう。
【００２５】
このようなベクトル長と角度の相違は別にして、重心位置の相違は、従来の文脈依存認識装置では処理できない重要な特定話者の所産（artifact）を表わしている。以下で更に詳細に説明するように、本発明は、重心位置の相違を迅速に補償し、また、他のベクトル長および角度の相違をも補償するような手法を提供する。
【００２６】
図２は第１の実施形態を示す図であり、固有重心を加えたデルタ木手法（Eigen centroid plus delta embodiment）と呼ばれる形態を示す図である。具体的には、図２は、認識装置によって後に利用されるデルタ木の育成のための好ましいステップを示している。そして、図３および図４は新たな話者により提供された音声についてその認識装置を利用する形態を示す図である。
【００２７】
図２に示すように、本実施形態において用いられるデルタ決定木は、複数の学習用話者から得た音響データ１６を提供することによって、育成される。各学習用話者から得た音響データは、固有空間１８に射影（project ）されまたは配置（place ）される。本実施形態では、固有空間は、そのサイズと計算の複雑さを削減するために切り縮め（truncate）られる。ここで、サイズ縮小された固有空間をＫ空間（K-sapce ）という。
【００２８】
固有空間１８を生成する手法の１つが、ステップ２０〜２６に示されている。この手法では、ステップ２０に示すように、学習用話者音響データ１６を用いて、各学習用話者用の特定話者（ＳＤ：speaker dependent ）モデルを生成する。そして、これらのモデルはステップ２２でベクトル化される。本実施形態では、特定話者モデルは、各話者の音声モデルのパラメータを連結することによってベクトル化される。典型的には、隠れマルコフモデルが用いられ、この結果、各話者に対して、その話者の隠れマルコフモデルのパラメータの少なくとも一部に対応するパラメータ（例えば浮動小数点）の順序付けられたリストを有するスーパーベクトルが生成される。このパラメータは、どのような順序で並べてもかまわない。その順序は重要ではない。ただし、ある順序を一旦採用した場合、全ての学習用話者にこれと同じ順序を用いる必要がある。
【００２９】
次にステップ２４において、次元数削減ステップはスーパーベクトルについて実行され、固有空間が画定される。次元数削減は、元の高次元スーパーベクトルを単位ベクトル（basis vector）に削減する様々な線形変換によって、行うことができる。次元数削減の手法としては、例えば、主成分分析法（ＰＣＡ）、独立成分分析法（ＩＣＡ）、線形識別分析法（ＬＤＡ）、因子分析法（ＦＡ）および特異値分析法（ＳＶＤ）などがある。
【００３０】
ステップ２４で生成された単位ベクトルは、固有ベクトルによって測定（span）された固有空間を画定する。次元数削減は、学習用話者それぞれについて、一の固有ベクトルを生成する。したがって、ｎ人の学習用話者がいるとき、次元数削減ステップ２４はｎ個の固有ベクトルを生成する。これらの固有ベクトルは、我々が固有音声空間または固有空間とよぶものを表す。
【００３１】
固有空間を構築する固有ベクトルは、それぞれ、異なる話者が識別される異なる次元を表わしている。元の学習用セットにおける各スーパーベクトルは、これらの固有ベクトルの線形結合として表わされ得る。固有ベクトルはそのデータをモデル化する際に、その重要性に応じて配列される。例えば、第１の固有ベクトルは第２の固有ベクトルよりも重要であり、第２は第３よりも重要である、というように。
【００３２】
ステップ２４では最大ｎ個の固有ベクトルが生成されるが、実際には、最初のＫ個の固有ベクトルのみを保持しつつ、いくつかの固有ベクトルを捨てることは可能である。このため、ステップ２６では、ｎ個の固有ベクトルからＫ個を任意に抽出して、縮小パラメータ固有空間すなわちＫ空間を構成する。順序が後の固有ベクトルは、一般に話者間を区別するための重要な情報をあまり含んでいないので、切り捨てられ得る。固有音声空間を、学習用話者の総数以下に削減することによって、元の学習用データにあるノイズを除くことができる。また、これに起因してデータ圧縮が実現され、限られたメモリとプロセッサ資源の中で実際のシステムを構築する際に、有益となる。
【００３３】
固有空間１８が構築されると、ステップ２８において、個々の学習用話者の音響データは固有空間内に射影され、配置される。固有空間（Ｋ空間）における各話者データの位置は、各話者の重心、または平均的な音素の発音を表わしている。図１に示すように、これらの重心は、話者ごとに異なるものと考えられる。スピードが、固有空間手法を用いて話者音素重心を決定することの重要な利点の１つである。
【００３４】
固有空間内に各話者データを配置するためには、最尤評価手法（ＭＬＥＤ：Maximum Likelihood Estimation Technique ）を用いるのが好ましい。実際には、最尤法を用いた場合、現実に利用可能な音声の量にかかわらず、話者入力音声と最もよく整合する固有空間内のスーパーベクトルが選択されるだろう。
【００３５】
説明上、話者がアラバマ生まれの若い女性と仮定する。最尤法は、この話者から発せられた少数の音節を受けて、話者生来のアラバマ女性のアクセントと整合する全ての音素（入力音声にまだ表わされていない音素でさえも）を表わす固有空間内のある一点を選択する。
【００３６】
最尤法は、予め定めた隠れマルコフモデルについて観測データを生成する確率を表わす確率関数（probability function）Ｑを採用する。確率関数が、確率項Ｐのみならずその対数項ｌｏｇＰも含んでいるとき、確率関数Ｑの操作がより容易になる。各固有値に関して個別に確率関数の導関数を導き出すことによって、確率関数は最大化される。例えば、もし固有空間の次元数が１００であるとき、このシステムは確率関数Ｑの１００個の導関数を計算し、それぞれをゼロに設定して、各固有値Ｗを求めるために解く。
【００３７】
この結果得られた固有値Ｗｓの集合は、最大尤点に対応する固有空間の点を特定するために必要な固有値を表わす。このため、固有値Ｗｓ集合は、固有空間内の一個の最尤ベクトルを構成する。そして、この最尤ベクトルは固有空間における最適点に対応するスーパーベクトルを構築するために利用される。
【００３８】
本発明に係る最尤手法においては、与えられたモデルに関する観測値Ｏの尤度を最大化することが望ましい。これは、
【数１】
0003683177.tif 000002
で示す補助関数Ｑの最大化によって繰り返し実行される。
【００３９】
ここで、λは反復計算のモデルであり、
【数２】
0003683177.tif 000003
は推測モデルである。
【００４０】
事前の近似値として、平均値のみに関して最大化を実行することもある。確率Ｐが隠れマルコフモデル集合によって与えられた場合には、次の式を得る。
【数３】
0003683177.tif 000004
ここで、
【数４】
0003683177.tif 000005
であり、さらに
Ｏt は時間ｔにおける特徴ベクトル
Ｃm(s)-1は状態ｓにおける混合型ガウス関数（mixture Gaussian）ｍの逆共分散
【数５】
0003683177.tif 000006
は状態ｓと混合成分ｍの概算された適応化平均値
【数６】
0003683177.tif 000007
は（混合型ガウス関数ｍ｜λ，ＯT を用いた）確率Ｐ
【００４１】
そして、新たな話者の隠れマルコフモデルのガウス平均値（Gaussian means）は固有空間内にあると仮定する。この空間は、平均スーパーベクトル
【数７】
0003683177.tif 000008
により測定（span）される。
【数８】
0003683177.tif 000009
ここで、
【数９】
0003683177.tif 000010
は固有ベクトル（固有モデル）ｊの状態ｓにおける混合型ガウス関数ｍの平均ベクトルを表わす。
【００４２】
そして、
【数１０】
0003683177.tif 000011
ここで、
【数１１】
0003683177.tif 000012
は直交（othogonal ）であり、Ｗj は話者モデルの固有値である。ここで、いかなる新たな話者も、観測された話者のデータベースの一次結合（linear combination）としてモデル化されると仮定する。そして、
【数１２】
0003683177.tif 000013
ここで、ｓはモデルλの状態にあり、ｍはＭの混合型ガウス関数にある。
【００４３】
確率関数Ｑを最大化する必要があるので、
【数１３】
0003683177.tif 000014
を設定する。
（但し、固有ベクトルは直交であるので、
【数１４】
0003683177.tif 000015
）
それゆえ、
【数１５】
0003683177.tif 000016
となり、上記導関数を計算して、
【数１６】
0003683177.tif 000017
であり、
【数１７】
0003683177.tif 000018
の一次方程式の組を得ることができる。
【００４４】
一旦、各話者の重心が決定されると、ステップ３０において、その重心を減じることによって、話者調整音響データを生成する。図１から分かるように、この重心削減処理は、話者空間内の全ての話者を、その重心が互いに一致するように移動させることになる。この結果、話者の特異性が排除されて、異音関連データのみが残される。
【００４５】
全ての学習用話者について上記のような処理が実行された後、得られた話者調整学習データは、ステップ３２において、３４に図示されたようなデルタ決定木を成長させるために用いられる。決定木は、各音素について、このように成長する。３４には音素‘ａｅ’について示されている。各木は、音素の文脈についての質問（すなわち、その音素の隣接音素や他の文脈情報に関する質問）を含む根節点３６を備えている。根節点の質問は“ｙｅｓ”か“ｎｏ”で回答され、これに応じて、２個の子節点のうちの左か右に枝分かれする。子節点は、３８に示すような更なる質問や、４０に示すような音声モデルを有する。全ての葉節点すなわち節点４０，４２および４４は音声モデルを有することに注目せよ。これらのモデルの中から、特定の音素を認識するために最も適したモデルが選択される。このように、葉節点の音声モデルは、文脈依存性がある。
【００４６】
デルタ決定木が構築された後、図１に示すように、このシステムは新たな話者の音声認識のために用いられる。図３および図４を参照して、音声認識の実施形態を２種類説明する。この２つの実施形態は、文脈依存の音声認識の前に、新たな話者の重心を音響データから減じる（図３）か、または、文脈依存の音声認識の前に、重心の情報を文脈依存モデルに付加するか、という点で、基本的に異なる。
【００４７】
図３に示すように、新たな話者５０は、図示されたいくつかの処理ブロックに送られる言葉を発する。不特定話者認識装置５２はその言葉を受けて、ＭＬＥＤ処理を単に初期化するために機能する。
【００４８】
新たな話者の言葉が文脈依存認識装置６０に送られる前に、新たな話者の重心情報が、その話者の音響データから減じられる。このことは、固有空間（Ｋ空間）内における新たな話者の位置を計算し（ブロック６２）、これにより新たな話者の重心を決定することによって（ブロック６４）、実現される。好ましくは、上述したＭＬＥＤ手法が、Ｋ空間内の新たな話者の位置を計算するのに用いられる。
【００４９】
新たな話者の重心が求められると、その重心データは新たな話者の音響データから減じられる（ブロック６６）。これにより、話者調整音響データ６８が生成され、この話者調整音響データ６８は文脈依存認識装置６０に与えられる。
【００５０】
図４に示す他の実施形態も、多少似通った動作を行う。新たな話者の言葉は、先の例と同様に不特定話者認識装置５２に送られ、ＭＬＥＤ処理が初期化される。もちろん、ＭＬＥＤ処理を用いない態様の場合には、不特定話者認識装置は不要である。
【００５１】
一方、新たな話者の言葉は固有空間に置かれ（ブロック６２）、新たな話者の重心が決定される（ブロック６４）。重心情報は文脈依存モデルに付加され（ブロック７２）、これにより、話者調整文脈依存モデル７４が生成される。その後、文脈依存認識装置６０はこの話者調整モデルを用いて認識装置出力７０を生成する。表１は重心を減じることによる話者データの話者調整を示す表であり、３人の話者のデータを例にとって示している。表中のデータは、文脈は異なるが、全て音素‘ａｅ’の発音である。
【００５２】
【表１】
0003683177.tif 000019
図５は話者調整データを用いた，デルタ木の構築方法を示す図であり、図６は音響空間における話者調整データのグルーピングを示す図である。図６において、「＋１」は次の音素を意味する。摩擦音は｛ｆ，ｈ，ｓ，ｔｈ，…｝、有声子音は｛ｂ，ｄ，ｇ，…｝である。
【００５３】
なお、話者調整モデルにおいて、平均とともに標準偏差を用いてもかまわない。これは例えば、単位分散状態（unit variance condition ）を利用する（cepstral 正規化（normalization）と同様）ことによって実現される。話者依存重心学習の後、ＭＬＥＤに与えられたスーパーベクトルは、平均とともに標準偏差を含むことになる。各学習データは、そのデータから音素状態重心が減じられた後、重心標準偏差により分割されることによって、さらに適合化される。この結果、さらに精度よく、木に異音データを与えることができる。この手法を用いる際には、実行時間において若干の計算コストがかかる。なぜなら、入力されるフレームの話者調整は、わずかに複雑になるからである。
【００５４】
先に述べたように、調音結合は話者のタイプによって、異音ベクトルの方向が変わってしまうという点で、影響を受けうる。このことは、図１に示すように、オフセットベクトルの角関係が、その話者が北部出身か南部出身かによって異なる点からも分かる。この現象は、固有次元に関する質問を決定木に含めることによって、考慮に入れることができる。図７はデルタ決定木の一例を示しており、この決定木は、ある異音に適用すべきモデルを決定するための固有次元に関する質問を含んでいる。図７において、質問８０，８２が固有次元に関する質問である。ここでは、ある固有次元（ここでは次元３）は零よりも大きいか否かを質問している。もちろん、固有次元に関して他の質問をしてもかまわない。
【００５５】
本発明の他の実施形態について、図８を参照して説明する。本実施形態は、話者１人当たりにつき十分な量のデータがあり、かなり正確な話者依存モデルを学習できるようなアプリケーションに適している。本実施形態では、各話者の重心を求める必要はない。
【００５６】
しかしながら、固有音声手法を利用するためには、スーパーベクトルを、各学習話者依存モデルにつきそれぞれ求める必要がある。これらのスーパーベクトルは、同一の次元を有しなければならず、かつ、同じ意味で、すなわち、指数ｉが全ての話者依存モデルにわたって同じパラメータを表すように、配列されなければならない。
【００５７】
このため、本実施形態では、ある音素に対し、話者で共用可能な良い文脈依存異音木を成長させるために、複数の話者からのデータを蓄えるとともに、どのデータがどの話者から得られたかという履歴を保存する。質問を選択するための最尤評価（ＭＬＥ）基準は、各テスト質問に対する全体スコアを累積するために拡張される。その一方で、各話者のスコアはそれぞれ評価され、保存される。図８はこのような手法を示している。
【００５８】
図８において、決定木構造は、質問プール１００を与えることによって成長する。これらの質問は木成長アルゴリズムによって独立にテストされ、異音木の構造を最も良く表す質問が決定される。
【００５９】
プールされた質問は、反復手法によって、一度に１個ずつテストされる。このために、図８のシステムは、テストの対象となる質問をプール１００から選択するための反復器１０４を備えている。現在テスト中の質問は１０４である。
【００６０】
各テスト質問は、音素が生じる文脈にある意味で関係することを思い出せ。すなわち、テスト質問は例えば、与えられた音素は摩擦音に続くか否か、というようなものである。木成長アルゴリズムは、各音素について、根節点質問から始めて、その音素の異音が木構造によって十分に表されるまで必要に応じて付加節点に進ませて、木を成長させる。根節点の質問および中間節点の質問の選択は、図８に示すように行われる。
【００６１】
テスト質問の選択処理は、現在評価中の質問（質問１０４）が木の当該節点について選択されたと仮定して行われる。学習用話者１０６からの話者データはテスト質問１０４によって評価され、これにより、その音声データは２つの部分、すなわち、テスト質問に対して“ｙｅｓ”と答えられた部分とテスト質問に対して“ｎｏ”と答えられた部分とに分けられる。このとき、音声モデルはテスト話者データを用いて構築される。具体的には、“ｙｅｓ”モデル１０６と“ｎｏ”モデル１０８が、各話者について構築される。これは、全ての話者のデータが蓄えられ、ある質問に対し、蓄えられたデータから、１つの“ｙｅｓ”モデルと１つの“ｎｏ”モデルが学習される従来の処理とは異なる。これらのモデルは、テスト質問に対して“ｙｅｓ”と答えた全ての音声データの音響特性を学習することによって、また同様に、テスト質問に対して“ｎｏ”と答えたデータの音響特性を学習することによって、学習される。
【００６２】
各話者について“ｙｅｓ”モデル１０６と“ｎｏ”モデル１０８を生成した後、本システムは、“ｙｅｓ”モデル１０６に与えられた全ての“ｙｅｓ”データの確率スコアを計算し、また“ｎｏ”モデル１０８に与えられた全ての“ｎｏ”データの確率スコアを計算する。高い確率スコアは、構築されたモデルが、学習データのその部分を認識するのに良い仕事をしている、ということを意味する。低い確率スコアは、そのモデルが、おそらく学習データを用いて生成された最適なモデルであるのだが、対象となる音素を認識するために良い仕事をしていない、ということを意味する。
【００６３】
確率スコアは、テスト質問１０４についての全体スコアを計算することによって、評価される。その計算は図８に示すように、次のように行われる。まず、“ｙｅｓ”モデルと“ｎｏ”モデルに対する確率スコアを、第１の学習用話者（話者Ａ）について計算する。計算された確率スコアは掛け合わされ、この結果、これらのモデルが話者Ａに対してどの程度機能しているかを示す累積スコアが得られる（ステップ１１２）。同様の処理が、残りの学習用話者について、一度に一人ずつ実行される（ステップ１１４，１１６）。最後に、全ての学習用話者について処理が実行されたとき、各話者について得られた積を掛けることによって、全体スコアが得られる。このように、ステップ１１２，１１４，１１６で求めた積を掛け合わせることによって、テスト質問に対する全体スコアが生成される（ステップ１１８）。
【００６４】
第１のテスト質問について全体スコアが生成されると、反復器１０２はその全体スコア結果を格納し、質問プール１０から、同様にしてテストを行う第２の質問を引き出す。プール内の全ての質問についてテストが終了したとき、最良の全体スコアが得られた質問を、決定木の当該節点について選択する。
【００６５】
上述したように決定木の根節点が決定されると、反復器１０２は、さらなる中間節点が、異音認識において、木に付加節点を追加することを正当とするのに十分な改善を生むか否かを評価する。最後に、木がこのように成長したとき、葉節点は当該音素の異音を最も良く認識するモデルを備える。
【００６６】
以上のような処理によって決定木構造が決定された後は、固有音声手法が適用可能となる。もし、異音を表現するのに、葉節点当たり単一のGaussianで十分であるなら、異音話者依存モデルは、共通の木構造を用いて学習され、次元削減を通して固有空間を構築するために用いられるスーパーベクトルが得られる。完全に学習する場合には、オンラインステップは、固有音声係数の単純なＭＬＥＤ評価である。多重ガウスモデル（Multiple Gaussian models）は、一連の質問を用いなければならないので、少し複雑になる。すなわち、話者依存モデル１の葉節点Ｎと話者依存モデル２の葉節点Ｎとが同じ異音を表すことがわかっているからといって、話者依存モデル１の葉節点ＮのGaussian  ｉと話者依存モデル２の葉節点ＮのGaussian  ｉとが同じ事象を表すとは限らない。この問題に対処する１つの方法は、話者依存モデルの各葉について重心を求め、そして、全ての葉に達するデータを話者調整化させることである。そして、話者依存モデルにおいてある葉についてデータをプールし、共用デルタGaussianを計算すればよい。実行中に、ＭＬＥＤによって全ての葉の重心の評価が得られ、得られた重心は、新たな話者データから、デルタGaussianに対して評価される前に減じられる。
【００６７】
以上のように、本発明は、固有音声学習手法をうまく利用して、中・大量語彙音声認識システム用の文脈依存音響モデルを構築するものである。なおここでは、本発明は、好ましい実施形態によって説明したが、特許請求の範囲に表された本発明の主旨から外れない範囲で、他の様々な実施形態に適用できることはいうまでもない。
【図面の簡単な説明】
【図１】話者空間を示す概念図であり、話者群の重心とこれに対応する異音ベクトルが話者同士でどのように相違するかを理解するための図である。
【図２】第１の実施形態を示すブロック図であり、固有重心を加えたデルタ木手法と呼ばれるものを示す図である。
【図３】図２に示す実施形態によって構築されたデルタ決定木を利用する音声認識装置の一例である。
【図４】図２に示す実施形態によって生成されたデルタ決定木を利用する音声認識装置の他の例である。
【図５】図２に示す実施形態によって生成された話者調整データを用いる、デルタ木の構築方法を示す図である。
【図６】図５のデルタ木に対応する音響空間内の話者調整データの集合を示す図である。
【図７】固有空間次元に関する質問を含むデルタ決定木の一例を示す図である。
【図８】本発明の第２の実施形態を示す図であり、話者当たりのデータ量がより豊富なアプリケーションに有益なものを示す図である。
【図１】
0003683177.tif 000020
【図２】
0003683177.tif 000021
【図３】
0003683177.tif 000022
【図４】
0003683177.tif 000023
【図５】
0003683177.tif 000024
【図６】
0003683177.tif 000025
【図７】
0003683177.tif 000026
【図８】
0003683177.tif 000027