(57)【特許請求の範囲】
【請求項１】
デジタル化した信号を入力する段階；
分析窓の期間に対して、前記デジタル化した信号（２０４）から複数の代表係数を生成する段階；
前記分析窓の期間に対する前記複数の代表係数（３０４，３０５）から複数の微分係数を生成する段階；および
前記分析窓の期間に対して、前記複数の代表係数および前記微分係数の各々の所定の一部を用いて特徴ベクトルを構成する段階であって、前記分析窓の期間に対する前記複数の代表係数の１つおきの係数が特徴ベクトルに使用される、前記特徴ベクトルを構成する段階；
から構成されることを特徴とする音声認識システムに用いられる前記特徴ベクトルを抽出する方法。
【請求項２】
前記代表係数を生成する段階は、複数のケプストラル係数を生成する段階を含むことを特徴とする請求項１記載の方法。
【請求項３】
前記微分係数を生成する段階は、複数のデルタ・ケプストラル係数を生成する段階を含むことを特徴とする請求項２記載の方法。
【請求項４】
前記複数のケプストラル係数は第１の出力であり、前記複数のデルタ・ケプストラル係数は第２の出力であることを特徴とする請求項３記載の方法。
【請求項５】
前記分析窓の期間に対する前記複数の微分係数の１つおきの係数が特徴ベクトルに使用されることを特徴とする請求項４記載の方法。
【請求項６】
前記複数のケプストラル係数は複数の周波数ケプストラル係数であることを特徴とする請求項２記載の方法。
【請求項７】
前記音声認識システムは：
可聴音を入力するマイクロフォン（１１４）；
前記マイクロフォンに結合され、デジタル信号を出力するアナログ‐デジタル変換器（２０２）；
前記アナログ‐デジタル変換器に結合され、前記複数の代表係数を生成する係数生成器（３０４）；
前記係数生成器に結合され、前記複数の微分係数を生成する微分器（３０５）；および
前記複数の代表係数および前記複数の微分係数を音声認識で使用する特徴ベクトルとして出力する抽出器（３０７）；
から構成される無線通信装置に含まれることを含むことを特徴とする請求項１記載の方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、音声認識に係り、特に音声認識システムにおける特徴抽出に係る。
【０００２】
【従来の技術】
話者に依存する音声認識システムでは、利用者はシステムを使用する際に利用したい単語を登録しなければならない。語彙としての「単語」は、単一の口語単語あるいは短い語句でよく、その選択された語彙単語はその特定の利用に依存する。例えば、携帯無線電話用の音声認識で使用するには、利用者が頻繁に電話する人の名前や場所（例えば、フレッドの事務所）、あるいはユーザ・インターフェイス（例えば「バッテリ・メータ」、「メッセージ」または「フォン・ロック」）に頻繁に使用されかつよく利用される命令を与えておくことが必要である。
【０００３】
登録を行う間、音声認識システムは、利用者の入力に応答し、各語彙単語の代表的なテンプレートを導く。あるシステムでは、このテンプレートは連続状態からなる隠れマルコフ・モデル(HMM:hidden Markov model)によって表現できる。各状態は音声発音の有限セクションを表わし、ここで語彙単語に関連して使用される発声は１つ以上の単語を含む。各状態のＨＭＭによる統計的表現は、利用者が発音した特定の語彙用語のうちの１つまたはそれ以上の登録された音声見本を用いて計算される。これは、フレーム対状態割り当てを通して達成される。
【０００４】
このような状態の割り当ては、トレーニングおよび音声認識の動作モデルの双方に対し使用される。特に、割り当て状態は、トレーニング・モードでモデルを生成するために用いられ、音声認識モード中そのモデルは比較の基準として使用される。動作中の音声認識モードにおける入力発音の割り当ては、その入力発音を格納した参照モデルと比較するために使用される。
【０００５】
ビタビ(Viterbi)アルゴリズムのような整列アルゴリズムが、発音のフレーム対状態割り当てのために用いられる。この整列アルゴリズムは、音声発音の最適な一致をモデルに対し与えるが、語彙単語の発音の各フレームをそのモデルの個々の状態に割り当てるために用いられる。この割り当てを用いることにより、各状態に対する統計的表現が改善される。
【０００６】
【発明が解決しようとする課題】
膨大な情報により、ほとんどの音声認識システムは、ランダム・アクセス・メモリ（ＲＡＭ）のような揮発性メモリ、およびフラッシュＲＯＭまたは電気的消去可能な読み取り専用メモリ（ＥＥＰＲＯＭ）のような不揮発性メモリ（ＮＶＮ）の双方を大量に必要とする。これらのメモリを必要とすることは、携帯無線装置のようなコストに敏感な応用製品に対しては桁外れに高価なものになり得る。さらに、音声認識システムは、単位秒当たり数百万回（ＭＩＰＳ）の非常に高い計算能力を要求する。 この大きなＭＩＰＳは、脆弱な手段を用いることによりまた動作速度の低下により、音声認識を使用する装置の特性に芳ばしくない影響を与えうる。
【０００７】
【課題を解決するための手段】
話者に依存するトレーニングおよび認識アルゴリズムを、わずかのランダム・アクセス・メモリ（ＲＡＭ）しか利用できない無線通信装置のような携帯装置で実現するために、あらゆる環境での認識にあまり好ましくない影響を与えずに、より少ないメモリをサポートするとともに、より大きなＭＩＰＳに使用できる方法が必要とされる。
【０００８】
【実施例】
新規の特徴抽出技術はより小さい特徴ベクトルを生成し、入力音を表わすために用いられ、それにより発音を表現するために必要なメモリ・サイズを低減する。この方法により、 ＲＡＭのような揮発性メモリ、 ＥＥＰＲＯＭのようなＮＶＮ、および各発音を表現するより小さい特徴ベクトルを用いることにより音声認識アルゴリズムに求められるＭＩＰＳを劇的に低減する。ここに示された説明は、隠れマルコフ・モデル（Hidden Markov Models:ＨＭＭｓ)を用いる分離した単語を話す人に依存する音声認識システムの例であるが、本発明は音声認識の応用製品に非常に広範囲に適用でき、話者に依存せず、かつ結合した単語の音声認識を含み、また、動的時間歪(dynamic time warping)のような他の音声認識アルゴリズムに応用が可能である。
【０００９】
図１は装置１００を示すが、そこに本発明が効果的に用いられる。装置１００は図解の目的ためにここでは携帯無線電話であるが、音声認識を効果的に使用できるコンピュータ、個人用デジタル支援装置あるいは他のいかなる装置でもよく、特にメモリ節約型の音声認識システムに利用することができる。図示された無線電話は、送信機１０２および受信機１０４を含み、アンテナ１０６に結合される。送信機１０２および受信機１０４は呼プロセッサ１０８に結合され、呼処理機能を行う。呼プロセッサ１０８は、デジタル信号プロセッサ（ＤＳＰ）、マイクロプロセッサ、マイクロコントローラ、プログラム可能ユニット、これらの２つ以上の結合、あるいは他の適当なデジタル回路を用いて実現することができる。
【００１０】
呼プロセッサ１０８はメモリ１１０に結合される。メモリ１１０は、ＲＡＭ、電気的消去可能な読み取り専用メモリ（ＥＥＰＲＯＭ）、読み取り専用メモリ（ＲＯＭ）、フラッシュＲＯＭ、あるいはこれらのメモリの２以上の組み合わせを含む。メモリ１１０は、音声認識動作を含み、呼プロセッサ１０８の動作を支援し、電気的に変更可能なメモリを含み状態遷移経路メモリを支援する。 ＲＯＭは、装置の動作プログラムを格納するために用いられる。
【００１１】
オーディオ回路１１２は、マイクロフォン１１４からのデジタル化された信号を呼プロセッサ１０８に与える。オーディオ回路１１２は、呼プロセッサ１０８からのデジタル信号に応答してスピーカ１１６を駆動する。
【００１２】
呼プロセッサ１０８は、表示プロセッサ１２０に結合される。表示プロセッサは、装置１１０のために他のプロセッサによる支援があるなら、選択可能である。特に、表示プロセッサ１２０は表示制御信号を表示１２６に与え、キー１２４からの入力を受け付ける。表示プロセッサ１２０は、マイクロプロセッサ、マイクロコントローラ、デジタル信号プロセッサ、プログラム可能論理ユニット、これらの結合、あるいはこれらと同等のものを用いて実現できる。メモリ１２２は、表示プロセッサに結合され、その中のデジタル論理を支援する。メモリ１２２は、 ＲＡＭ、ＥＥＰＲＯＭ、ＲＯＭ、フラッシュＲＯＭ、あるいは同等のもの、あるいはこれらのメモリの２以上の組み合わせを用いて実現できる。
【００１３】
図２を参照して、マイクロフォン１１４で受信した音声信号がオーディオ回路１１２のアナログ−デジタル変換器２０２でデジタル信号に変換される。簡略化のためここには表現されていないが、当業者であれば、オーディオ回路１１２がフィルタリングのような追加の信号処理を行うことは、容易に認識できるであろう。呼プロセッサ１０８は、マイクロフォン１１４のアナログ信号出力の処理されたデジタル信号表記で特徴抽出２０４を実行し、利用者の発音を表わす１組の特徴ベクトルを与える。特徴ベクトルは、各短期間の分析窓の期間に求められる。短期間の分析窓はフレームであるが、ここでは例として２０msである。結果として、フレーム毎に１つの特徴ベクトルがある。プロセッサ１０８は、音声認識２０６またはトレーニング２０７の間、その特徴を利用する。
【００１４】
トレーニングでは、発音の特徴ベクトルは、メモリ２０８に格納されたＨＭＭ形式のテンプレートを生成するために用いられる。音声認識では、入力音声を表わす特徴ベクトルは、メモリ２０８に格納された語彙単語のテンプレートと比較され、利用者がなにを言ったかを決める。システムは、最適マッチ、１組の最適マッチ、あるいはマッチなしを任意に出力する。メモリ２０８は、好ましくは、メモリ１１０（図１）の不揮発性メモリ部で、例えばＥＥＰＲＯＭまたは フラッシュＲＯＭであってもよい。ここで用いられるように、「単語」は「John Doe」のような１語を超えてもよく、「call」のような単一語であってもよい。
【００１５】
特徴抽出２０４は、一般に入力音声のフレーム上で単一の処理を行い、フレーム速度で各フレームを表わす特徴ベクトルを出力する。フレーム速度は、一般に１０msと３０msとの間であり、例として２０msの間隔であってよい。トレーナ２０７は、１またはそれ以上の発音である単語または語句のサンプル発音から抽出された特徴を用い、その単語または語句のモデルとなるパラメータを生成する。このモデルはそれから不揮発性メモリ２０８のモデル格納に記憶される。モデルのサイズは、特徴ベクトル長に直接依存するが、より長い特徴ベクトルはより大きなメモリを必要とする。
【００１６】
メモリ２０８に格納されたモデルは、認識２０６の間使用される。認識システムは、未知の発音の特徴と格納されたモデル・パラメータとの間の比較を実行し、最適マッチを決定する。その最適にマッチしたモデルは、その後認識システムから結果として出力される。
【００１７】
いくつかのタイプの特徴が、ブロック２０４に示される特徴抽出の出力として、効果的に用いられた。いくつかの初期の音声認識システムはフィルタ・バンク・エネルギを用いた。例えば、各データ・フレームの間、フィルタ・バンクの14個のフィルタの各々におけるエネルギ量は、20msであるフレーム速度でトレーニングまたは認識ソフトウェアに渡される。リニア予測符号化（ＬＰＣ）パラメータが、また効率よく使用された。多くの現代のシステムは、メル−周波数ケプストラル係数（Mel-Frequency Cepstral Coefficients: ＭＦＣＣｓ）を用い、それは歪んだメル−周波数のスケールを用いて計算されたケプストラル係数である。認識結果は、 単にＭＦＣＣの時間派生の推定であるデルタＭＦＣＣを付加的に使用することを通して改善させることができる。
【００１８】
音声認識においてＭＦＣＣおよびデルタＭＦＣＣを使用することは、よく知られている。後に図示するように、 認識性能を結合ＭＦＣＣおよびデルタＭＦＣＣ特徴ベクトルで平均して与える特徴ベクトルをもつことが望ましいが、同時に結合ＭＦＣＣおよびデルタＭＦＣＣ特徴ベクトルよりもっと短いことが望ましい。
【００１９】
いくつかのタイプのケプストラル係数が知られており、そのいずれも使用することができる。例えば、 ＬＰＣケプストラル係数があるが、この係数を計算する多くの方法がある。当業者であれば、ＭＦＣＣの代わりに、これらのいずれも用いることができることに気が付くであろう。
【００２０】
特徴抽出は図３に展開され、特徴抽出におけるＭＦＣＣおよびデルタＭＦＣＣの例を示す。標本化された音声（アナログ‐デジタル変換機２０２の出力）は、フィルタ３０１に入力され、ここで事前強調（プリ‐エンファシス）のようなフィルタ処理が実行され、音声信号をスペクトル的に平坦にするとともに音声スペクトル中の不要部分を取り除く。その後、平滑化された信号は必要ならノイズ抑圧器３０２に入り、ハンズフリーの車に応用する場合エンジン雑音のような背景雑音を抑圧する。抑圧された出力は、フィルタ・バンク３０３に入力され、フィルタ・バンクのエネルギ推定を行う。フィルタ・バンクは、全音声フレームに対し、Ｍ個の周波数帯域のうちのフィルタ・バンクｋのエネルギ推定Sn(k)を推定し、ここにｎはこの明細書において例示する限りにおいて、20ｍｓの音声データである。
【００２１】
フィルタ・バンクはメル−周波数のスケールに基づき、これは知覚周波数スケールに基づく。このスケールは低周波数（例えば、１ＫＨｚの閾値より低い）でリニアであり、その閾値以上では対数的である。その後、フィルタ・バンクのフレームでのエネルギ推定はケプストラル係数計算機３０４を通じて求められる。これは代表的な係数を計算し、ここではフィルタ・バンクからのフレームｎに対するケプストラル係数（Cepstral Coefficients）Cn(i)として次式のように表わされる：
【数１】
0004912518.tif 000002
ここにｉは、ケプストラル・ベクトルへの指標であり０からNの範囲であり、N+1はケプストラル特徴の望ましい長さであって、N+1≦Mである。ケプストラル特徴は、その後微分回路３０５へ入力され、導関数δn(i)が推定され、例えば次式のように表わされる：
【数２】
0004912518.tif 000003
ここに
【数３】
0004912518.tif 000004
である。
【００２２】
当業者は、ケプストラル形式の特徴を計算し、これらの導関数を推定する他の多くの方法が存在することを認識しているであろうが、これらの方法はここに例として与えられる。
【００２３】
本願発明は、有効な情報量に有害な影響を与えることなく、特徴ベクトル長を減じることにより音声認識システムが必要とする記憶容量を減少させる。発明者は、ほとんどの隣接する特徴ベクトルの要素が相関を有していること、例えばCn(i)はCn(i+1)および Cn(i-1)と相関があること、そしてδn(i)はδn(i+1) およびδn(i-1)と相関関係にあることを発見した。また、デルタ‐ケプストラル特徴の要素は、そのケプストラル特徴の対応関数(counterparts)と相関しており、別の言葉ではCn(i)はδn(i)と相関することが発見された。
【００２４】
この情報を用いて、１から６のｉに対する6個のケプストラル特徴および０から６のｉに対する７個のデルタ‐ケプストラル特徴を使用して新規の特徴ベクトルが構成された。抽出器３０７は特徴ベクトルの相関する要素を取り除き、係数生成器３０４および微分回路３０５による係数出力の部分を残す。方程式から分かるように、特徴ベクトルの隣接要素は取り除かれ、Cn(i)またはδn(i)のいずれか１つが各ｉに対して除かれる。連結器(concatenator)３０６の出力である結果特徴ベクトルfn(i)は、代表係数およびデルタ係数の双方の部分集合であり、例えば係数δmn(i)に続く係数Cmn(i)からなる出力ベクトルであってもよく、例では２５個の代わりに13個の特徴を表わすが、係数生成器３０４からの代表係数および微分回路３０５からのデルタ係数を含む。
【００２５】
動作において、特徴抽出器２０４は、プロセッサ１０８（図１）で優先的に実行され、ブロック４０２に示されるケプストラル係数を生成する。奇数の係数が、ブロック４０２に示されるように、抽出器３０７で抽出される。偶数デルタ‐ケプストラル係数は、ブロック４０８に示されるように、抽出器３０７で抽出される。抽出されたケプストラル係数およびデルタ‐ケプストラル係数から成る特徴ベクトルは特徴セットとして出力される。当業者であればデルタ‐ケプストラル奇数係数およびケプストラル偶数係数が代わりに使用できることが分かるであろう。
【００２６】
幾つかの先行技術であるケプストラルおよびデルタ‐ケプストラル特徴は、この時点で初期ケプストラル係数を落として、単一の特徴ベクトルに連結される、なぜなら初期ケプストラル係数はフレーム中のログ‐エネルギ(log-energy)を表わすが、デルタ‐エネルギ特徴δn(i)は中に残されているからである。既知のシステムでは、最後の特徴ベクトルfn(i)は、ｎ＝０からＮ−１のｎに対しfn(i)＝δn(i)となるように、およびｉ＝NからＮ＋１のｉに対して（Cn(０)はない）Cn(Ｉ−Ｎ＋ｉ)となるように構成される。例えば、Ｎ＝１２のケプストラル変形、即ち結果としての特徴ベクトルは、特徴ベクトルにおける全２５個の要素に対して、１３個のデルタ‐ケプストラル要素および１２個のケプストラル要素として構成されるであろう。当業者であれば、Cn(０)は交互に中に残されることが分かるであろう。
【００２７】
先行技術に従う典型的なトレーニング・アルゴリズムは、トレーニングが行われる前に集められる２あるいはそれ以上の発音用の特徴ベクトルを必要とする。ここに例示される特徴ベクトルのために、その特徴ベクトルが10ｍｓのフレームを持ち、システムが２秒の発音まで許容するなら、10,000個の特徴（＝25個の特徴／秒＊100フレーム／秒＊2秒／発音＊2発音）を必要とし、これはＲＡＭのような揮発性メモリ１１０に格納しなければならない。特徴ベクトルに必要とされる格納量は特徴ベクトルの長さに直接比例し、セルラー電話のような価格に敏感な応用品にとって、この格納量は極めて高価格になり得る。本発明は、特徴ベクトルの長さを最適化し、それによりトレーニング中に要求されるＲＡＭの量を減らす。
【００２８】
トレーニング２０７は獲得した発音用のモデル・パラメータを生成する。連続密度ＨＭＭを含んで、多くのモデルにとって、モデル・パラメータのほとんど大部分は特徴ベクトル手段によって消費される。25個の要素である特徴ベクトルを用いる12状態のＨＭＭにために、これは（フラッシュあるいはＥＥＰＲＯＭのような）不揮発性メモリに貯えるべき300個の特徴（＝12状態＊25個の特徴／状態）を必要とする。再度、価格に敏感な応用品にとって、」これは非常に高価なメモリとなり得る。特徴ベクトルの長さを13に短くすることにより、この発明は音声認識システムに要求される不揮発性メモリの量を減らす。
【００２９】
試験において、新しい特徴ベクトルは、ほとんど同一の認識結果を全23要素の特徴ベクトルに与えた。あるデータベースでは、約１％だけ性能を劣化させたが、他のデータベースでは、全体に同じ認識率を得た。この新規の13要素の特徴ベクトルは、元の特徴ベクトル格納用ＲＡＭの52％だけを要求し、トレーニング中生成されるモデル用の特徴ベクトル手段のために元のＮＶＭの52％だけを必要とする。認識アルゴリズムで要求されるＭＩＰＳもまた劇的に減らす。
【００３０】
特徴ベクトルの長さを13要素に減らす他の既知の方法は、特徴ベクトルの一部を単に切り取るか（例えば、Ｎ＝１２の代わりにＮ＝６を使用する）、さもなければ、デルタ‐ケプストラル特徴を全く使わないことである。無音動作モードでは、これらの方法全ては、図５に示されるのと同じ認識結果を与える。しかしながら、雑音の多いハンズフリーの車内環境での音声認識の使用に際しては、上記方法を用いて生成する特徴ベクトルは他の切り取りベクトルおよびケプストラル特徴のみのベクトルより極めて優れた特性を発揮する。
【００３１】
発音のフレームをモデルの状態へ応用する技術の例がこの出願と共にJeffrey Arthur Meunier et al.により1999年2月23日に米国に出願され、出願番号09/257,552である「Method of trackback matrix storage in spech recogniction system」、およびこの出願と共にDaniel Poppertにより米国に出願され、社内番号CS10104である「Method of selectively assigning a penalty to a probability associated with a voice recognition system」に開示されており、本明細書の参考としてここに含められる。
【００３２】
音声認識およびトレーニングの使用に際し価値を生み出す新規の特徴ベクトルが開示され、これは短い特徴ベクトル長で良好な性能を達成する。より小さな特徴セットはＭＩＰＳの数を減少させ、かつ音声認識プロセスを支援するために必要とされるメモリのサイズを小さくさせる。
【００３３】
上記記述および図面に本発明が開示され図示されたが、この記述は単に例であり、多くの変更修正が当業者によって本発明の真の精神および範囲を逸脱しないで成され得るであろう。本発明は、セルラ電話のような携帯無線装置に特に応用したが、音声認識を使用する装置、例えばページャ、電子オーガナイザ、コンピュータ、電話装置に応用することができる。
【図面の簡単な説明】
【図１】無線通信装置を示す回路ブロック図である。
【図２】音声認識入力を示す回路ブロック図である。
【図３】特徴抽出回路の機能ブロック図である。
【図４】特徴抽出アルゴリズムを表わすフローチャートである。
【図５】ベクトル長を減らす異なる方法を用いる音声認識システムの性能を示すチャートである。
【符号の説明】
100：装置
102：送信機
104：受信機
106：アンテナ
108：呼プロセッサ
110,122：メモリ
112：オーディオ回路
114：マイクロフォン
116：スピーカ
120：表示プロセッサ
124：キー
126：表示
202：アナログ−デジタル変換器
204：特徴抽出
206：音声認識
207：トレーニング
208：メモリ
301：フィルタ
302：ノイズ抑圧器
303：フィルタ・バンク
304：ケプストラル係数計算機
305：微分回路
306：連結器
307：抽出器
【図１】
0004912518.tif 000005
【図２】
0004912518.tif 000006
【図３】
0004912518.tif 000007
【図４】
0004912518.tif 000008
【図５】
0004912518.tif 000009