(57)【要約】本発明は音声認識法に関するものであり、（a）デジタル化された音声信号が多数の部分に分割されるステップ、（b）前記部分のそれぞれが表現ベクトルＸtを用いて表現されるステップ、及び（c）前記表現ベクトルＸtが分類され、前記ステップが２もしくはより多くの多段階二分木残差ベクトル量子化を含むステップから成るものである。本発明によれば、音声表現は音声表現の系列を生成するために分類ステップの際にそれぞれの表現ベクトルＸtに関連付けられる。
2005524869.tif 000002
【特許請求の範囲】
【請求項１】
（ａ）デジタル化された音声信号を複数の部分に分解するステップと、
（ｂ）前記部分のそれぞれを、表現ベクトルＸｔによって表現するステップと、
（ｃ）音声表現の系列の取得を可能にする、それぞれの表現ベクトルＸｔが音声表現に関連付けられる、前記表現ベクトルＸｔを分類するステップとを含む音声認識手順であって、
前記分類するステップが、少なくとも１つの多段階二分木残差ベクトル量子化を含むことを特徴とする音声認識手順。
【請求項２】
前記分類するステップが、少なくとも２つの連続するベクトル量子化を含むことを特徴とする、請求項１に記載の手順。
【請求項３】
前記分類するステップが、前記表現ベクトルＸｔのそれぞれを、２５６の可能なグループのうちのあるグループに分類するのに適した第１のベクトル量子化と、前記２５６の各グループ内に分類された前記表現ベクトルＸｔのそれぞれを、前記グループのそれぞれについて、少なくとも４０９６の可能なサブグループ、また好ましくは１６，７７７，２１６の可能なサブグループのうちの、あるサブグループに分類するのに適した第２のベクトル量子化とを含むことを特徴とする、請求項２に記載の手順。
【請求項４】
複数の前記ベクトル量子化のうちの少なくとも１つが、対称反射残差ベクトル量子化を含む、多段階二分木であることを特徴とする、請求項２または３に記載の手順。
【請求項５】
前記音声表現が下位音声要素であることを特徴とする、請求項１から４の少なくとも１項に記載の手順。
【請求項６】
前記部分が部分的に重複することを特徴とする、請求項１から５の少なくとも１項に記載の手順。
【請求項７】
前記分類するステップの後に、前記音声表現が結合されて、さらに長い音声長のグループを形成できるようにする、セグメント化のステップを含むことを特徴とする、請求項１から６の少なくとも１項に記載の手順。
【請求項８】
前記セグメント化のステップが、それぞれが少なくとも１つの補助音素を含む、少なくとも２つの下位音声要素をグループ検索すること、および下位音声要素のセグメントを形成する、前記グループの各対の間に含まれる、前記下位音声要素をグループ化することを含むことを特徴とする、請求項７に記載の手順。
【請求項９】
前記セグメント化のステップが、下位音声要素を、音素にグループ化するステップを含み、前記グループ化のステップが、下位音声要素の前記セグメントのそれぞれについて実施され、
１．下位音声要素のセグメントの系列：
【数１】
2005524869.tif 000061
から開始するサブステップであって、Ｌがセグメント長であるサブステップと、
２．ｉ＝１に初期設定するサブステップと、
３．ｌ≦ｊ≦６０；ｌ≦ｍ≦６０について、ｓ＝ｉ；ｅ＝ｉ；ｎｊ＝０；ｎｍ＝０に初期設定するサブステップと、
４．
【数２】
2005524869.tif 000062
の場合、
【数３】
2005524869.tif 000063
とするサブステップと、
５．
【数４】
2005524869.tif 000064
かつ
【数５】
2005524869.tif 000065
の場合、グループ化
【数６】
2005524869.tif 000066
が実施され、
ｉ＝ｉ+１とし、ｉ＜Ｌ−１の場合、サブステップ３に戻り、そうでない場合、セグメント化を終了するサブステップと、
６．ｉ＝ｉ+１とし、ｉ＜Ｌ−１の場合、サブステップ４に戻り、そうでない場合、サブステップ５に進み、セグメント化を終了するサブステップとを含むことを特徴とする、請求項７または８に記載の手順。
【請求項１０】
少なくとも１つの既知のデジタル化された音声信号が、音素列に分解され、またそれぞれの音素が、下位音声要素の系列に分解され、次いで、
１．
【数７】
2005524869.tif 000067
が、前記音素列であり、前記音素
【数８】
2005524869.tif 000068
は、表現ベクトル{Ｘｔ}の系列に対応して、時間セグメント
【数９】
2005524869.tif 000069
で生成されるという規則と、
２．表現ベクトル{Ｘｔ}が、規則：
【数１０】
2005524869.tif 000070
に従って下位音声単位に割り当てられるという規則とに従って、下位音声要素がそれぞれの表現ベクトルＸｔに割り当てられる学習ステップを含むことを特徴とする、請求項１から９の少なくとも１項に記載の手順。
【請求項１１】
１．ｐ＝ステップ数に、初期値が与えられるサブステップと、
２．ステップｐで位置が定められた、前記残差ベクトル量子化の枝、すなわち
【数１１】
2005524869.tif 000071
であるベクトル
【数１２】
2005524869.tif 000072
が取られるサブステップと、
３．ベクトル
【数１３】
2005524869.tif 000073
及びベクトル
【数１４】
2005524869.tif 000074
が両方とも、同じ下位音声要素
【数１５】
2005524869.tif 000075
に関連している場合は、ステップｐは、放棄され、下位音声要素
【数１６】
2005524869.tif 000076
が、ベクトル
【数１７】
2005524869.tif 000077
に関連付けられるサブステップと、
４．ｐ＞２の場合、ｐ＝ｐ−１として、サブステップ２が繰り返されるサブステップとを含む、残差ベクトル量子化ツリーの換算ステップを含むことを特徴とする、請求項１から１０の少なくとも１項に記載の手順。
【請求項１２】
前記残差ベクトル量子化ツリーの前記換算ステップが、前記学習ステップの次に実施されることを特徴とする、請求項１１に記載の手順。
【請求項１３】
前記表現ベクトルが、１２の正規化されたメルケプストラム係数、対数目盛りでのエネルギー、およびその第１次および第２次の導関数である、３９次元のベクトルであることを特徴とする、請求項１から１２の少なくとも１項に記載の手順。
【請求項１４】
請求項１から１３の少なくとも１項に記載の、少なくとも１つの多段階二分木残差ベクトル量子化を用いた音声認識手段を含むことを特徴とする、情報技術プログラムを実行するのに適した実行環境を含む情報技術システム。
【請求項１５】
請求項１から１３の少なくとも１項に記載の手順を実施するのに適した命令を含むことを特徴とする、コンピュータの内部メモリ内に直接にロードされ得る情報技術プログラム。
【請求項１６】
請求項１から１３の少なくとも１項に記載の手順を実施するのに適した命令を含むことを特徴とする、コンピュータによる使用に適した媒体内に格納された情報技術プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、豊富で連続的な語彙のための、話者に依存しない自動音声認識の分野に関する。
【０００２】
本発明は、
（ａ）デジタル化された音声信号を複数の部分に分解するステップと、
（ｂ）それぞれの部分を、表現ベクトルＸｔによって表現するステップと、
（ｃ）音声表現の系列の取得を可能にする、それぞれの表現ベクトルＸｔが音声表現に関連付けられる、表現ベクトルＸｔを分類するステップとを含む音声認識手順について言及する。
【０００３】
本発明はさらに、音声認識手段を含む情報技術プログラムを実行するのに適した実行環境を含む、情報技術システムについて言及する。
【０００４】
本発明は、コンピュータの内部メモリに直接にロードされ得る情報技術プログラム、およびコンピュータによる使用に適した媒体内に格納された情報技術プログラムについても言及する。
【背景技術】
【０００５】
一般に、自動音声認識システムは、以下のやり方で機能する。最初のステップでは、音圧に対応するアナログ信号が、マイクで捕捉され、所与のサンプリング周波数で前記信号をサンプリングする、アナログ／デジタル変換器内に取り入れられる。使用されるサンプリング周波数は通常、信号の最大周波数の２倍であり、これは、音声信号では約８から１０ｋＨｚまでであり、電話によって伝送される音声信号では４ｋＨｚである。信号は、デジタル化されると、１０〜３０ミリ秒の継続時間の部分に分割され、一般に、ある部分とその次の部分の間にいくらかの重複を伴う。
【０００６】
表現ベクトルは、一般に、高速フーリエ変換（ＦＦＴ）または他の何らかの変換を用いて、スペクトル面に変換し、次いで、その変換の所与の数の係数を採用することによって、それぞれの部分から計算される。ほとんどの場合、変換された信号の第１次および第２次導関数も使用して、信号の時間変化をより適切に表現する。現在、ケプストラム係数の使用が、かなり普及している。このケプストラム係数は、信号のスペクトル表現から得られ、次いでメル（Ｍｅｌ）またはバーク（Ｂａｒｋ）の形に細分化され、デルタ係数およびデルタデルタ係数を加えたものである。こうした実施の詳細は、周知であり、たとえば（１）で、知ることができる。
【０００７】
表現ベクトルが取得されると、音声信号中に存在するいくつかの下位単位：単語、音節、または音素の認識を行うための、それに関する分類または復号化のプロセスが続く。このプロセスは、（２）に記載の隠れマルコフモデル（ＨＭＭ:Hidden Markov Model）、（３）に記載の動的時間ワーピング（ＤＴＷ：Dynamic Time Warping）、または最近の例である、（４）隠れ動的モデル（ＨＤＭ：Hidden Dynamic Model）などの技術を用いた、音響信号のモデリングに基づく。こうしたすべてのシステムでは、大量のテストデータを使用して、訓練し、モデルの最適なパラメータを計算し、次いで、このパラメータを使用して、認識したい音声信号の表現ベクトルを分類し、または復号する。
【０００８】
現在、最も普及しているシステムは、マルコフモデルを使用するものである。連続的な音声では、頻発する音調結合の現象がもたらされ、この現象によって、音素の発音特性が変更を受け、連続的な系列で、その多くが消失されることになる。これにより、あらゆる個々の話者の音声信号特性に特有のばらつきと相まって、連続した音声信号中にあり、語彙に制限が無い音声の下位単位を直接に認識する率が比較的に低くなる。たとえば（５）に記載されるように、大部分のシステムでは、主要な音声の下位単位として、音素を使用し、それを（ｎグラムと称される）グループに分けて、所与の言語において、ある音素が別の音素に続く確率に関する統計情報を適用することができる。（５）に示すように、ｎグラムの適用は、許容できる認識率を得るには不十分であり、そのために、すべての高度なシステムでは、事前にコード化された多数の単語（通常、６万〜９万の間）、ならびに個々の単語、および単語の順序付き組合せに関する発生確率についての情報を含んだ辞書を組み込む言語モデルを使用している。こうしたシステムの例には、（６）および（７）がある。これらの技術の適用によって、個々の単語の認識率が大幅に改善されるが、システムの複雑さが増すという欠点を伴い、また多数の単語が辞書内に見つからない状況では、システムの一般的な使用に限界が生じることがある。
【発明の開示】
【課題を解決するための手段】
【０００９】
本発明の目的は、上記の欠点を克服することである。本目的は、前記分類するステップが、少なくとも１つの多段階二分木の残差ベクトル量子化を含むことを特徴とする、本明細書の冒頭に示すような音声認識手順によって実現される。
【００１０】
本発明の別の特徴は、本発明に係る少なくとも１つの多段階二分木残差ベクトル量子化を用いた音声認識手段を含む、情報技術プログラムを実行するのに適した実行環境を含む情報技術システムである。
【００１１】
本発明のさらに別の特徴は、本発明に係る手順を実施するのに適した命令を含む、コンピュータの内部メモリ内に直接にロードされ得る情報技術プログラムである。
【００１２】
最後に、本発明のもう１つ別の特徴は、本発明に係る手順を実施するのに適した命令を含む、コンピュータによる使用に適した媒体内に格納された情報技術プログラムである。
【００１３】
好ましくは、前記分類ステップは、少なくとも２つの連続したベクトル量子化を含み、より好ましくは、前記分類ステップが、前記各表現ベクトルＸｔを２５６の可能なグループに分類するのに適した第１のベクトル量子化と、２５６の各グループ内に分類された前記各表現ベクトルＸｔを、それぞれのグループについて、少なくとも４０９６の可能なサブグループ、また有利には１６，７７７，２１６の可能なサブグループのうちの、あるサブグループに分類するのに適した第２のベクトル量子化とを含む。本発明の特に有利な実施形態は、ベクトル量子化の少なくとも１つが、対称反射残差ベクトル量子化を含む、多段階二分木である場合に得られる。
【００１４】
一般に、音声表現は、任意の既知の音声信号の下位単位(音節、音素または下位音声要素)であり得るが、音声表現は、下位音声要素であることが好ましい。
【００１５】
有利には、前記デジタル化された音声信号は、部分的に重複する複数の部分に分解される。
【００１６】
本発明に係る手順の別の有利な実施形態は、前記分類ステップの後に、前記音声表現を結合して、さらに長い音声長のグループを形成できるようにする、セグメント化のステップがある場合に得られる。すなわち、取得されている前記下位音声要素の系列を取り出し、それを小さい部分にセグメント化し、次いで、取得された前記部分の前記下位音声要素を、同じセグメントまたは部分内の音素にグループ化することが行われる。好ましくは、前記セグメント化のステップは、それぞれが少なくとも１つの補助音素を含む、少なくとも２つの前記下位音声要素をグループ検索すること、および下位音声要素のセグメントを形成する、前記グループの各対の間に含まれる下位音声要素をグループ化することを含む。
【００１７】
特に有利には、前記セグメント化のステップは、下位音声要素を音素にグループ化するステップを含み、前記グループ化のステップは、下位音声要素の前記各セグメントについて実施され、また以下のサブステップを含む。
【００１８】
１．下位音声要素のセグメントの系列から開始するサブステップ。
【数１】
2005524869.tif 000003
ここで、Ｌは、セグメント長である。
【００１９】
２．ｉ＝１に初期設定するサブステップ。
【００２０】
３．ｌ≦ｊ≦６０；ｌ≦ｍ≦６０について、ｓ＝ｉ；ｅ＝ｉ；ｎｊ＝０；ｎｍ＝０に初期設定するサブステップ。
【００２１】
４．
【数２】
2005524869.tif 000004
の場合、
【数３】
2005524869.tif 000005
とするサブステップ。
【００２２】
５．
【数４】
2005524869.tif 000006
かつ
【数５】
2005524869.tif 000007
の場合、以下のグループ化が実施されるサブステップ。
【数６】
2005524869.tif 000008
ｉ＝ｉ+１とし、ｉ＜Ｌ−１の場合、サブステップ３に戻り、そうでない場合、セグメント化を終了するサブステップ。
【００２３】
６．ｉ＝ｉ+１とし、ｉ＜Ｌ−１の場合、サブステップ４に戻り、そうでない場合、サブステップ５に進み、セグメント化を終了する。
【００２４】
基本的に、この場合では、取得されたセグメントを取り、また一連の下位音声要素の音素へのグループ化が行われている。
【００２５】
好ましくは、この手順は、少なくとも１つの既知のデジタル化された音声信号を音素列に分解し、またそれぞれの音素を、下位音声要素の系列に分解し、次いで、下位音声要素を以下の規則に従って、それぞれの表現ベクトルＸｔに割り当てる学習ステップを含む。
【００２６】
１．
【数７】
2005524869.tif 000009
が、前記音素列であり、前記音素
【数８】
2005524869.tif 000010
は、表現ベクトル{Ｘｔ}の系列に対応して、時間セグメント
【数９】
2005524869.tif 000011
で生成されるという規則。
【００２７】
２．表現ベクトル{Ｘｔ}が、規則： 
【数１０】
2005524869.tif 000012
に従って下位音声単位に割り当てられるという規則。
【００２８】
一般に、学習に使用されるデジタル音声信号の音素への分解は手作業で実施され、下位音声要素への分解は、手作業での音素への分解から開始して、前の規則を用いて、自動的に実施され得る。
【００２９】
有利には、この手順は、以下のサブステップを含む、残差ベクトル量子化ツリーの換算ステップを含む。
【００３０】
１．ｐ＝ステップ数に、初期値が与えられるサブステップ。
【００３１】
２．ステップｐで位置が定められた、残差ベクトル量子化の枝、すなわち
【数１１】
2005524869.tif 000013
であるベクトル
【数１２】
2005524869.tif 000014
が取られるサブステップ。
【００３２】
３．ベクトル
【数１３】
2005524869.tif 000015
及びベクトル
【数１４】
2005524869.tif 000016
が両方とも、同じ下位音声要素
【数１５】
2005524869.tif 000017
に関連している場合は、ステップｐは、放棄され、下位音声要素
【数１６】
2005524869.tif 000018
が、ベクトル
【数１７】
2005524869.tif 000019
に関連付けられるサブステップ。
【００３３】
４．ｐ＞２の場合、ｐ＝ｐ−１として、サブステップ２が繰り返される。
【００３４】
残差ベクトル量子化ツリーのこの換算ステップは、有利には、学習ステップの後に実施される。
【００３５】
好ましくは、表現ベクトルは、１２の正規化されたメルケプストラム係数、対数目盛り上のエネルギー、およびその第１次および第２次の導関数である、３９次元のベクトルである。
【００３６】
本発明の他の利点および特徴は、添付の図面を参照して、本発明のいくつかの好ましい実施の形態を、完全に非制限的なものとして示している、以下の説明からより明らかになる。
【発明を実施するための最良の形態】
【００３７】
本発明は、制限の無い連続的な語彙のための、話者に依存しない自動音声認識の方法について示すものである。この方法は、非常に精密なやり方で、音素のセグメント化および分類を実施するための、多段階ベクトル量子化技術の応用に基づく。
【００３８】
具体的には、それぞれの部分の平均エネルギーに合わせて、メルケプストラム係数の集合、ならびに平均エネルギーとケプストラムベクトルの両方の第１次および第２次導関数を使用して、各部分の３９次元の表現ベクトルが形成される。これらのベクトルは、８ステップの二分木ベクトル量子化器によって形成される第１の量子化ステップを通過する。この量子化器は、部分の第１の分類を実施し、また従来のベクトル量子化技術によって設計され訓練される。この第１量子化器は、部分を２５６のセグメントに分ける。これらのセグメントのそれぞれについて、対称反射を含む、２４ステップの二分木ベクトル量子化器が別個に設計される。
【００３９】
したがって、それぞれのベクトルは、第１セグメント化からの８桁、および後続のステップからの２４桁である、３２桁からなるバイナリ列にセグメント化されている。これらのバイナリ列は、ベクトル量子化器の訓練時に、音声表現に関連付けられる。
【００４０】
この時点からそれぞれのベクトルの復号が実行され、このプロセスを実施し、結果としてもたらされるバイナリ列に関連する音声表現を取り出す。単語は、新しい音声距離公式からもたらされる音声表現の系列間で、列のマッチングを実施することによって認識される。
【００４１】
辞書からのすべてのベクトルは、７５Ｍｂのメモリに格納することができ、またそれぞれの復号化に、最大３２のベクトル歪み計算を必要とする。メモリ内に辞書を有すると、中程度のパワーのＰＣで、プロセス全体が、リアルタイムに実施され得る。
【００４２】
得られる音素の個々の認識率は９０％より高く、事前の単語辞書を必要とせずに高精度の単語認識を可能にし、計算の複雑さが遥かに緩和される。
【００４３】
図１に、本発明に係る手順が示されている。一般に、オーディオまたはビデオであり得る元の音声信号は、アナログ（ＡＶＡ）であることも、デジタル（ＡＶＤ）であることもある。音声信号が元来、デジタル形式でない場合は、サンプリングおよび量子化ステップ（１０）をまず通過しなければならない。デジタル形式になると、信号は、音響事前処理ブロック（２０）を通過し、音声認識を行うことができる最も重要な特性を表す一連の表現ベクトルが取得される。これらのベクトルは、次いで、音声認識ステップ（３０）で処理され、下位音声要素のライブラリ（４０）と比較されて、入力のベクトルの系列に最も密接に近似する要素の系列が取得される。最後に、このように取得された下位音声要素の系列がセグメント化され（５０）、より単純な音声表現に換算され、また検索の実施時に、効率的に取り出され得るように、データベース（６０）内に格納される。上記のステップについては、以下でより詳細に述べる。
【００４４】
ステップ１０は、従来のアナログ／デジタル変換器に対応する。マイク、ビデオ・テープまたは他の任意のアナログ手段からの音声信号は、１１ｋＨｚの周波数および１６ビットの分解能でサンプリングされる。サンプリングは、範囲の制約なしに、他の任意の周波数（１６ｋＨｚなど）で実施され得る。実際には、最適な周波数の選択はシステムのアプリケーションによって決まり、元の音声が録音スタジオから生じ、または高品質の録音のものである場合には、元の音声信号からのより広い範囲の周波数の表現を可能にするため、１６ｋＨｚのサンプリング周波数が好ましい。一方、元の音声が品質の悪い録音（会議、ＰＣマイクによる録音、インターネットによる伝送用に低解像度に符号化されたマルチメディアファイルなど）から生じているアプリケーションの場合には、バックグラウンドノイズの一部を減らし、または元の信号（たとえば、インターネットによる伝送用に符号化されたファイルの場合）の周波数により近くなり得る、より低いサンプリング周波数の１１ｋＨｚを使用する方がよい。当然ながら、所与のサンプリング周波数が選択される場合、システム全体がこの周波数で訓練されなければならない。
【００４５】
ステップ２０は、音響事前処理に対応する。このステップの目的は、元の信号サンプルの系列を、信号の特性を表す表現ベクトルの系列に変換することであり、この表現ベクトルによって、音声現象のよりよいモデリングが可能になり、またそれらは、互いに関してあまり相関がない。表現ベクトルは、以下のように得られる。
【００４６】
１．元の信号サンプルの系列は、信号の３０ミリ秒に対応する複数の部分で構成される。こうした部分は、１０ミリ秒ごとに取得され、つまりそれらは重複している。部分の重複によってもたらされる、望まれない効果の一部を取り除くために、それらは、ハミング窓を用いて重み付けされる。
【００４７】
２．以下の伝達関数によって、事前強調フィルタが、その部分に適用される。
Ｈ（ｚ）＝１−０．９７ｚ−１
【００４８】
３．それぞれの部分について、１２のメルケプストラム係数のベクトルが計算される。
ｘｔ（ｋ）  １≦ｋ≦１２
ここで、ｔは、部分の数に対応し、すなわちそれは、１０ミリ秒ごとに取得される。
【００４９】
４．メルケプストラム係数ベクトルは、語句内に存在する部分平均に対して正規化される。語句の正確な継続時間は、知られておらず、またいずれも始点および終点でないので、平均継続時間を５．５秒とし、したがって、正規化は、以下の通りである。
【数１８】
2005524869.tif 000020
【００５０】
５．正規化ベクトルの第１次および第２次導関数も以下で取得される。
【数１９】
2005524869.tif 000021
【００５１】
６．最後に、それぞれの部分の対数目盛り上のエネルギーが、その最大値に対して正規化され、第１次および第２次導関数が以下で取得される。
【数２０】
2005524869.tif 000022
【００５２】
したがって、表現ベクトルＸｔは、３９次元を有し、以下によって形成される。
【数２１】
2005524869.tif 000023
【００５３】
音響の事前処理ステップに必要な計算についての詳細は、（８）、（１）で知ることができる。
【００５４】
ステップ３０で、音声表現の認識が実施される。このステップの目的は、入力の表現ベクトルＸtを、下位音声要素に関連付けることである。各個人は、それぞれ異なる速度で話し、さらに、（秒単位に音素中で測定される）各個人の速度もまた、心理状態または不安のレベルに応じて変化する。一般に、話す速度は、１秒当たり１０及び２４音素の間で変化する。表現ベクトルＸtは、１０ミリ秒毎に計算されるので、１秒当たり１００ベクトルになり、したがって、各個別の音素は、４及び１０の間の表現ベクトルによって表現される。これは、それぞれの表現ベクトルＸtの継続時間が、個々の音素のそれよりも小さいので、それぞれの表現ベクトルＸtが、下位音声の音響単位を表すことを意味する。
【００５５】
それぞれの言語は、限られたサイズの音素の集合で表され得る。たとえば英語は、約５０の個別の音素で表され得る。信号中に存在する異なるタイプの音を表すために、付加的な１０の偽音素が追加され、それによって、合計で６０の音声単位が形成される。
【表１】
2005524869.tif 000024
範囲の制約なしに、他の任意の数の音素が使用され得る。
【００５６】
人間の発声のシステムは、ある音素と次の音素の発音との間で、すぐに位置を変更することができないので、連続的に話すときに、各音素の発音がその直前のまたはそのすぐ後の音素の影響を受け、頻発する音調結合の現象も引き起こされる。この効果は、６０の元音素の二値の組合わせを取ることによってモデル化されて、３６００の可能な組合わせを含む分類の集合が形成されるが、実際は、そのうちの多くは、全く発生しない。このモデルは、下位音声レベルでうまく機能するので、二値の組合わせを取ることで十分である。
【００５７】
例を挙げると、システム内では、ステップ３０の終了時に、英単語ｂａｔの個々の発音は、以下のような系列によって表され得る：
【００５８】
…，／ｅＳＩＬ＿Ｂ／，／Ｂ＿Ｂ／，／Ｂ＿Ｂ／，／Ｂ＿ＡＥ／，／Ｂ＿ＡＥ／，／ＡＥ＿ＡＥ／，／ＡＥ＿ＡＥ／，／ＡＥ＿ＡＥ／，／ＡＥ＿ＡＥ／，／ＡＥ＿ＡＥ／，／ＡＥ＿ＴＤ／，／ＡＥ＿ＴＤ／，／ＴＤ＿ＴＤ／，／ＴＤ＿ＴＤ／，／ＴＤ＿ＴＤ／，／ＴＤ＿ｂＳＩＬ，／ＴＤ＿ｂＳＩＬ／，…。
【００５９】
図２に、ステップ３０の機能図を示す。表現ベクトル｛Ｘt｝の系列はまず、音響信号の第１段階の分類を実施する、８ステップの二分木ベクトル量子化器（１００）を通過する。この量子化器から出ると、入力に関して変化のない、２５６のそれぞれ異なるグループに分類された、表現ベクトルが取得される。すなわち｛Ｘt｝の空間を複数の領域に分ける第１の分割、および入力系列を｛Ｘｔ→ｉ｝１≦ｉ≦２５６に分ける分割が実施される。１００のベクトル量子化器は、歪みの計算のために、３９次元空間のユークリッド距離を使用して、（９）に示される元のアルゴリズムによる従来のやり方で、設計され訓練される。
【００６０】
ベクトル量子化器１００、また一般には、システム全体を訓練するために、それぞれ出所が異なり、また話者が異なる、音素のレベルに手作業でセグメント化され、注釈を付けられた３００音声時間が用意された。最初の認識は、下位音声単位のレベルで実施されるので、系列を訓練するための下位音声単位への音素の分解は、以下の規則に従って実施された。
【００６１】
１．音素系列
【数２２】
2005524869.tif 000025
が取得されたと仮定する。ここで、音素
【数２３】
2005524869.tif 000026
は、時間セグメント
【数２４】
2005524869.tif 000027
で生成され、またｔは、表現ベクトル｛Ｘｔ｝の系列に対応する、１０ｍｓを単位とするものである。
【００６２】
２．表現ベクトル｛Ｘｔ｝は、以下の規則に従って下位音声単位に割り当てられる。
【数２５】
2005524869.tif 000028
【００６３】
アルゴリズムおよび手順は本発明で述べるものと非常に異なるが、確率関数の計算または認識タスクのためのツリー構造ベクトル量子化器に基づくアルゴリズムの他の例を、特許（１０）および（１１）で知ることができる。
【００６４】
｛Ｘｔ｝空間がセグメント化されると、ステップ１１０では、表現ベクトル｛Ｘｔ→ｉ｝の下位音声単位への分類を実施する。採用されるモデルを用いて、１１０の終了時には、下位音声系列
【数２６】
2005524869.tif 000029
が、以下のように取得される。
【数２７】
2005524869.tif 000030
は、認識された下位音声単位を表す。
【００６５】
ステップ１１０は、２４ステップの残差ベクトル量子化を表す。一般に、Ｘ１は、確率分布関数
【数２８】
2005524869.tif 000031
を含む、ｋ次元の偶発ベクトルと定義される。ｋ次元ベクトル量子化器（ＣＶ：cuantificador vectorial）は、三重項（Ｃ，Ｑ，Ｐ）によって表され、ここで、Ｃは、ベクトルの辞書を、Ｑは、関連関数を、Ｐは、区画を表す。量子化器がＮベクトルを含む場合、それは、以下のように作用する。Ｘ１の実現値ｘ１が与えられると、量子化されたベクトルＱ（ｘ１）は、ｘ１とｃｉの間の距離がいずれの
【数２９】
2005524869.tif 000032
についても小さくなるような、ベクトル
【数３０】
2005524869.tif 000033
である。すなわち、所与の距離関数、一般にはユークリッド距離について、入力のベクトルｘ１に最も近似する、ベクトルｃｉが取られる。区画Ｐは、空間をＮ領域に分け、ベクトルＣは、それぞれの領域の中心である。Ｎベクトルを含む量子化器が、所与の偶発ベクトルＸ１の最近似値であるように、三重項（Ｃ，Ｑ，Ｐ）を計算することの問題は、アルゴリズムＬＢＧ（１２）によって一般的に解決され得る。このアルゴリズムＬＢＧは、本質的には、Ｘ１を表す十分な長さの訓練系列を提供し、訓練系列上の歪みの最小化が実現されるまで、区画Ｐ内のベクトルＣの位置を、次いで、ベクトルＣに関する区画Ｐの位置を連続的に最適化することに基づく。ステップ１００のＣＶは、計算の複雑さの面で、量子化により費用がかからないように構成された、二分木ＣＶの特別な場合を表す。この場合では、Ｘ１は、表現ベクトルＸｔと見なされ、またＣＶが入力の表現ベクトル｛Ｘｔ｝の認識を実行するように、それぞれのベクトル
【数３１】
2005524869.tif 000034
に、下位音声表現
【数３２】
2005524869.tif 000035
が関連付けられる。
【００６６】
当然ながら、｛Ｘｔ｝の最近似値を達成するために、可能な最大のＮを有し、また計算の複雑さが適度であるＣＶを含むことが望ましい。問題は、Ｎがより大きくなると、必要な訓練系列がさらに長くなり、またＣＶの訓練、その後の復号および認識の複雑さが増すことにもなることである。１つの解決策は、残差ベクトル量子化器（ＣＶＲ：cuantificadores vectoriales residuals）の使用である。ＰステップのＣＶＲは、Ｘ１の実現値ｘ１について、（Ｃ１，Ｑ１，Ｐ１）がベクトルｘ１を量子化し、残りのステップ(Ｃｐ+１，Ｑｐ+１，Ｐｐ+１)が、１≦ｐ≦Ｐについて、前のステップ（Ｃｐ，Ｑｐ，Ｐｐ）の残差ベクトルｘｐ+１＝ｘｐ−Ｑ（ｘｐ）を量子化するように順序付けられた、Ｐ個のＣＶの集合、｛（Ｃｐ，Ｑｐ，Ｐｐ）；１≦ｐ≦Ｐ｝によって形成される。それぞれの辞書Ｃｐは、Ｎｐベクトルを含む。ＣｐのベクトルとＰｐのセルの両方は、サブインデックスｊｐでインデックス付けされ、ここで、
【数３３】
2005524869.tif 000036
である。複数ステップのインデックス
【数３４】
2005524869.tif 000037
は、それぞれのステップｊｐの個別のインデックスの連結によって形成されたＰタプル（p-tupla）であり、すべてのＣＶＲを通る過程を表し、すなわち
【数３５】
2005524869.tif 000038
であり、量子化されたベクトル
【数３６】
2005524869.tif 000039
が、それぞれのステップで量子化されたベクトルの合計として取得される。
【数３７】
2005524869.tif 000040
【００６７】
ＣＶＲの利点は、各個別のＣＶがＮｐベクトルを含み、また十分な長さの訓練系列が取得されることであるが、全体のＣＶＲは、
【数３８】
2005524869.tif 000041
ベクトルを含み、訓練され得ない数が多くなる。さらに、それぞれのステップがツリー構造ＣＶである場合、復号化全体の複雑さが緩和される。
【００６８】
しかし、ＣＶＲの問題は、合計Ｎベクトルによって得られる量子化の品質が、通常のＣＶ、または同じＮベクトルを含む、単一ステップのツリー構造ＣＶの品質より遥かに劣ることであり、そのために、それは、広く使用されてきていない。（１３）では、品質の低下の原因は、それぞれのステップが、ＬＢＧアルゴリズムを用いて、他とは別個に最適化され、また復号化も同様に、それぞれのステップで別個に実施され、したがって、所与のステップに続くステップで行われる判断の累積効果によって、結果として生じる量子化されたベクトルが、第１ステップで選択された区画セルから外れることになり得るためであると示されている。さらに、それぞれのステップのＣＶがツリー構造を有する場合、結果として、それぞれ異なるステップのベクトルの組合せのうちの多くに実質上、アクセスすることができない。
【００６９】
ステップ１１０は、対称反射を含む二分木に基づくＣＶＲを構成するために、（１３）で提案されているアルゴリズムから設計された。具体的には、対称反射ＣＶＲを含む、２４ステップの二分木が使用される。ＣＶＲを形成する、Ｐ＝２４の場合のステップの集合｛（ＣＰ，ＱＰ，ＰＰ）；１≦ｐ≦Ｐ｝が、図１に、要素４０として示されている。当然ながら、範囲の制約なしに、様々なステップ数に基づく設計が使用され得る。
【００７０】
この時点で、２３２の異なるベクトルが扱われており、それぞれのベクトルが、６０２の異なる値となる、音声下位要素に関連付けられる。さらに、実際には、可能な
【数３９】
2005524869.tif 000042
の組合わせの多くが生成されないことが知られている。したがって、取得された各
【数４０】
2005524869.tif 000043
の組合わせについて、４０内のＣＶＲの実に多くの可能なベクトル
【数４１】
2005524869.tif 000044
が、前記組合わせに対応することが知られている。必要なメモリの量を減らし、復号化の複雑さを緩和するために、それが既に訓練されていれば、以下のＣＶＲツリー換算アルゴリズムが適用される。
【００７１】
１．ｐ＝２４に初期設定する。
【００７２】
２．ステップｐで位置が定められた、ＣＶＲの枝、すなわち
【数４２】
2005524869.tif 000045
であるベクトル
【数４３】
2005524869.tif 000046
が取得される。
【００７３】
３．ベクトル
【数４４】
2005524869.tif 000047
とベクトル
【数４５】
2005524869.tif 000048
が両方とも、同じ下位音声要素
【数４６】
2005524869.tif 000049
に関連している場合は、ステップｐが、放棄され、下位音声要素
【数４７】
2005524869.tif 000050
は、ベクトル
【数４８】
2005524869.tif 000051
に関連付けられる。
【００７４】
４．ｐ＞２の場合、ｐ＝ｐ−１とし、サブステップ２が繰り返される。
【００７５】
２の時点において、
【数４９】
2005524869.tif 000052
は、バイナリベクトル量子化器内のベクトルのバイナリインデックスであり、したがって、その経度は、それが降りてきたツリーのレベルを表し、すなわちこのレベルの残差量子化ステップに、それが位置しており、その量子化器は、対称反射量子化器を含む、多段階の二分木である。
【００７６】
３の時点に関して、それが二分木であるので、それぞれのステップで、サブインデックス＿０および＿１でラベル付けされる、２つのベクトルがあることが考慮されるべきである。インデックス内の対応するビットの値によって、２つのうちのどちらが選択されているかが既にマーキングされているので、量子化されたベクトルの定義に、この区別は必要ない。この時点で、見ていることは、この２つのベクトルが同じ下位音声要素に対応しているかどうかであり、その分解がどうであれ、同じ分類に達するので、このステップは、もはや必要ない。
【００７７】
このアルゴリズムによって、認識の精度を低下させずに、保存する関連付けの数をおよそ２９だけ減らすことができ、さらに、復号時に実施する比較の数も削減される。
【００７８】
ステップ１１０を終了すると、認識された下位音声要素
【数５０】
2005524869.tif 000053
の系列が存在する。ステップ５０で、下位音声要素のセグメント化が実施される。最初に、下位音声要素
【数５１】
2005524869.tif 000054
の系列がセグメント化されて、上述の表に示された補助音素のうちの１つを組み込む、下位音声要素の検出を実施する。２つの連続した下位音声要素が、補助音素のうちの１つを含むときはいつでも、元の系列がセグメント化される。このセグメント化は、過度に精密ではなく、同じセグメント内で、連結された単語のいくつかのグループが取得されるが、これらのセグメントによって、単語の第１段階の推定がもたらされる。次いで、以下のアルゴリズムを使用して、下位音声要素を、音素にグループ化する。
【００７９】
１．下位音声要素のセグメント化された下記の系列から開始する。
【数５２】
2005524869.tif 000055
ここで、Ｌはセグメント長である。
【００８０】
２．ｉ＝１に初期設定する。
【００８１】
３．ｌ≦ｊ≦６０；ｌ≦ｍ≦６０について、ｓ＝ｉ；ｅ＝ｉ；ｎｊ＝０；ｎｍ＝０に初期設定する。
【００８２】
４．
【数５３】
2005524869.tif 000056
の場合、
【数５４】
2005524869.tif 000057
である。
【００８３】
５.
【数５５】
2005524869.tif 000058
かつ
【数５６】
2005524869.tif 000059
の場合、以下のグループ化が実施される。
【数５７】
2005524869.tif 000060
ｉ＝ｉ+１として、ｉ＜Ｌ−１の場合、サブステップ３に戻り、そうでない場合、セグメント化を終了する。
【００８４】
６．ｉ＝ｉ+１としてｉ＜Ｌ−１の場合、サブステップ４に戻り、そうでない場合、サブステップ５に進み、セグメント化を終了する。
【００８５】
このアルゴリズムによって、下位音声要素が、データベース内に最終的に保存される要素である音素に分類される。これは、データベース内に格納される情報量を、およそ６分の１ないし９分の１に減らすことを可能にし、それによって、後に続く処理をうまく進めることができる。
【００８６】
参考文献
以下に、上記の説明で引用された、すべての参考文献を記載する。参考のため、以下のすべての参考文献（１）、（２）、（３）、（４）、（５）、（６）、（７）、（８）、（９）、（１０）、（１１）、（１２）および（１３）が、本明細書に含まれている。
（１）Ｌ．Ｒａｂｉｎｅｒ、Ｂ．Ｈ．Ｊｕａｎｇ、「Ｆｕｎｄａｍｅｎｔａｌｓ  ｏｆ  Ｓｐｅｅｃｈ  Ｒｅｃｏｇｎｉｔｉｏｎ」、Ｐｒｅｎｔｉｃｅ−Ｈａｌｌ、Ｅｎｇｌｅｗｏｏｄ  Ｃｌｉｆｆｓ、Ｎ．Ｊ．、１９９３年
（２）Ｓ．Ｅ．Ｌｅｖｉｎｓｏｎ、Ｌ．Ｒ．Ｒａｂｉｎｅｒ、Ｍ．Ｍ．Ｓｏｎｄｈｉ、「Ａｎ  Ｉｎｔｒｏｄｕｃｔｉｏｎ  ｔｏ  ｔｈｅ  Ａｐｐｌｉｃａｔｉｏｎ  ｏｆ  ｔｈｅ  Ｔｈｅｏｒｙ  ｏｆ  Ｐｒｏｂａｂｉｌｉｓｔｉｃ  Ｆｕｎｃｔｉｏｎｓ  ｏｆ  ａ  Ｍａｒｋｏｖ  Ｐｒｏｃｅｓｓ  ｔｏ  Ａｕｔｏｍａｔｉｃ  Ｓｐｅｅｃｈ  Ｒｅｃｏｇｎｉｔｉｏｎ」、Ｔｈｅ  Ｂｅｌｌ  Ｓｙｓｔｅｍ  Ｔｅｃｈｎｉｃａｌ  Ｊｏｕｒｎａｌ、６２巻、４号、１９８３年４月、１０３５〜１０７４頁
（３）Ｆ．Ｉｔａｋｕｒａ、「Ｍｉｎｉｍｕｍ  Ｐｒｅｄｉｃｔｉｏｎ  Ｒｅｓｉｄｕａｌ  Ｐｒｉｎｃｉｐｌｅ  Ａｐｐｌｉｅｄ  ｔｏ  Ｓｐｅｅｃｈ  Ｒｅｃｏｇｎｉｔｉｏｎ」、ＩＥＥＥ  Ｔｒａｎｓａｃｔｉｏｎｓ  ｏｎ  Ａｃｏｕｓｔｉｃｓ，Ｓｐｅｅｃｈ  ａｎｄ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｉｎｇ、ＡＳＳＰ−２３巻、１号、１９７５年２月、６６〜７２頁
（４）Ｌｉ  Ｄｅｎｇ、Ｊｅｆｆ  Ｍａ、「Ｓｐｏｎｔａｎｅｏｕｓ  ｓｐｅｅｃｈ  ｒｅｃｏｇｎｉｔｉｏｎ  ｕｓｉｎｇ  ａ  ｓｔａｔｉｓｔｉｃａｌ  ｃｏａｒｔｉｃｕｌａｔｏｒｙ  ｍｏｄｅｌ  ｆｏｒ  ｔｈｅ  ｖｏｃａｌ−ｔｒａｃｔ−ｒｅｓｏｎａｎｃｅ  ｄｙｎａｍｉｃｓ」、Ｊｏｕｒｎａｌ  ｏｆ  ｔｈｅ  Ａｃｏｕｓｔｉｃａｌ  Ｓｏｃｉｅｔｙ  ｏｆ  Ａｍｅｒｉｃａ」、１０８巻、５号、２０００年１１月
（５）Ｎｇ．Ｃｏｒｉｎｎａ、Ｒｏｓｓ  Ｗｉｌｋｉｎｓｏｎ、Ｊｕｓｔｉｎ  Ｚｏｂｅｌ、「Ｅｘｐｅｒｉｍｅｎｔｓ  ｉｎ  ｓｐｏｋｅｎ  ｄｏｃｕｍｅｎｔ  ｒｅｔｒｉｅｖａｌ  ｕｓｉｎｇ  ｐｈｏｎｅｍｅ  ｎ−ｇｒａｍｓ」、Ｓｐｅｅｃｈ  Ｃｏｍｍｕｎｉｃａｔｉｏｎ、３２巻、２０００年、６１〜７７頁
（６）Ｓ．Ｒｅｎａｌｓ、Ｄ．Ａｂｂｅｒｌｅｙ、Ｄ．Ｋｉｒｂｙ、Ｔ．Ｒｏｂｉｎｓｏｎ、「Ｉｎｄｅｘｉｎｇ  ａｎｄ  ｒｅｔｒｉｅｖａｌ  ｏｆ  ｂｒｏａｄｃａｓｔ  ｎｅｗｓ」、Ｓｐｅｅｃｈ  Ｃｏｍｍｕｎｉｃａｔｉｏｎ、３２巻、２０００年、５〜２０頁
（７）Ｓ．Ｅ．Ｊｏｈｎｓｏｎ、Ｐ．Ｊｏｕｒｌｉｎ、Ｋ．Ｓｐａｒｃｋ  Ｊｏｎｅｓ、Ｐ．Ｃ．Ｗｏｏｄｌａｎｄ、「Ｓｐｏｋｅｎ  Ｄｏｃｕｍｅｎｔ  Ｒｅｔｒｉｅｖａｌ  ｆｏｒ  ＴＲＥＣ−９  ａｔ  Ｃａｍｂｒｉｄｇｅ  Ｕｎｉｖｅｒｓｉｔｙ」、Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  ｔｈｅ  ＴＲＥＣ−９  Ｃｏｎｆｅｒｅｎｃｅ、発行予定
（８）Ｊ．Ｗ．Ｐｉｃｏｎｅ、「Ｓｉｇｎａｌ  Ｍｏｄｅｌｉｎｇ  Ｔｅｃｈｎｉｑｕｅｓ  ｉｎ  Ｓｐｅｅｃｈ  Ｒｅｃｏｇｎｉｔｉｏｎ」、Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  ｔｈｅ  ＩＥＥＥ、８１巻、９号、１９９３年９月、１２１５〜１２４７頁
（９）Ｒ．Ｍ．Ｇｒａｙ、Ｈ．Ａｂｕｔ、「Ｆｕｌｌ  ｓｅａｒｃｈ  ａｎｄ  ｔｒｅｅ  ｓｅａｒｃｈｅｄ  ｖｅｃｔｏｒ  ｑｕａｎｔｉｓａｔｉｏｎ  ｏｆ  ｗａｖｅｆｏｒｍｓ」、Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  ｔｈｅ  ＩＥＥＥ  ＩＣＡＳＳＰ、５９３〜５９６頁、パリ、１９８２年
（１０）Ｔ．Ｗａｔａｎａｂｅ、「Ｐａｔｔｅｒｎ  ｒｅｃｏｇｎｉｔｉｏｎ  ｗｉｔｈ  ａ  ｔｒｅｅ  ｓｔｒｕｃｔｕｒｅ  ｕｓｅｄ  ｆｏｒ  ｒｅｆｅｒｅｎｃｅ  ｐａｔｔｅｒｎ  ｆｅａｔｕｒｅ  ｖｅｃｔｏｒｓ  ｏｒ  ｆｏｒ  ＨＭＭ」、ＥＰ０６２７７２６、Ｎｉｐｐｏｎ  Ｅｌｅｃｔｒｉｃ  Ｃｏ．、１９９４年
（１１）Ｆ．Ｓｅｉｄｅ、「Ｍｅｔｈｏｄ  ａｎｄ  ｓｙｓｔｅｍ  ｆｏｒ  ｐａｔｔｅｒｎ  ｒｅｃｏｇｎｉｔｉｏｎ  ｂａｓｅｄ  ｏｎ  ｔｒｅｅ  ｏｒｇａｎｉｚｅｄ  ｐｒｏｂａｂｉｌｉｔｙ  ｄｅｎｓｉｔｉｅｓ」、ＵＳ５８５７１６９、Ｐｈｉｌｉｐｓ  Ｃｏｒｐ．、１９９９年
（１２）Ｙ．Ｌｉｎｄｅ，、Ａ．Ｂｕｚｏ、Ｒ．Ｍ．Ｇｒａｙ、「Ａｎ  ａｌｇｏｒｉｔｈｍ  ｆｏｒ  ｖｅｃｔｏｒ  ｑｕａｎｔｉｓｅｒ  ｄｅｓｉｇｎ」、ＩＥＥＥ  Ｔｒａｎｓａｃｔｉｏｎｓ  ｏｎ  Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ、８４〜９５頁、１９８０年１月
（１３）Ｃ．Ｆ．Ｂａｒｎｅｓ、Ｒ−Ｌ．Ｆｒｏｓｔ、「Ｒｅｓｉｄｕａｌ  ｖｅｃｔｏｒ  ｑｕａｎｔｉｓｅｒｓ  ｗｉｔｈ  ｊｏｉｎｔｌｙ  ｏｐｔｉｍｉｚｅｄ  ｃｏｄｅｂｏｏｋｓ」、Ａｄｖａｎｃｅｓ  ｉｎ  Ｅｌｅｃｔｒｏｎｉｃｓ  ａｎｄ  Ｅｌｅｃｔｒｏｎ  Ｐｈｙｓｉｃｓ、１９９１年
【図面の簡単な説明】
【００８７】
【図１】本発明に係る手順のブロック図である。
【図２】音声表現の認識ステップの図である。
【図１】
2005524869.tif 000078
【図２】
2005524869.tif 000079
【国際調査報告】
2005524869.tif 000080
2005524869.tif 000081
2005524869.tif 000082
2005524869.tif 000083