(57)【要約】【課題】音声認識を改良するために複数の音声認識エンジンを結合すること。【解決手段】音声認識エンジン（１０４、１０８、１１２、１１４）を結合し、マッピング関数を用いて個々の音声認識エンジン（１０４、１０６、１０８、１１２、１１４）の結果間の差を解決する。話者不特定音声認識エンジン（１０４）と話者特定音声認識エンジン（１０６）が結合される。隠れマルコフモデル（ＨＭＭ）エンジン（１０８、１１４）およびダイナミックタイムワーピング（ＤＴＷ）エンジン（１０４、１０６、１１２）が結合される。【選択図】図１
2004518155.tif 000002
【特許請求の範囲】
【請求項１】
下記を具備する音声認識システム：
複数の音声認識（ＶＲ）エンジン、各音声認識エンジンはワード候補を出力するように構成される；および
前記複数のＶＲエンジンから入力として前記ワード候補を取り込み、マッピング関数に基づいてワード候補を選択するように構成されたマッピングモジュール。
【請求項２】
前記複数の音声認識エンジンは話者不特定音声認識エンジンを含む、請求項１の音声認識システム。
【請求項３】
前記複数の音声認識エンジンは話者特定音声認識エンジンを含む、請求項１の音声認識システム。
【請求項４】
前記複数の音声認識エンジンは話者特定音声認識エンジンを含む、請求項２の音声認識システム。
【請求項５】
少なくとも１つの話者不特定音声認識エンジンはダイナミックタイムワーピング音声認識エンジンである、請求項４の音声認識システム。
【請求項６】
少なくとも１つの話者不特定音声認識エンジンは隠れマルコフモデル音声認識エンジンである、請求項４の音声認識システム。
【請求項７】
少なくとも１つの話者特定音声認識エンジンはタイムワーピング音声認識エンジンである、請求項４の音声認識システム。
【請求項８】
少なくとも１つの話者特定音声認識エンジンは隠れマルコフモデル認識エンジンである、請求項４の音声認識システム。
【請求項９】
前記マッピング関数は測定空間から決定空間に前記ワード候補を線形的にマッピングする、請求項１の音声認識システム。
【請求項１０】
前記マッピング関数は測定空間から決定空間に前記ワード候補を非線形的にマッピングする、請求項１の音声認識システム。
【請求項１１】
前記ワード候補はワード候補テンプレートと発話との間の距離により表される、請求項１の音声認識システム。
【請求項１２】
前記マッピングモジュールは各ＶＲエンジンからの距離を係数と乗算し、その積と他の係数Ｃ０を加算し、それにより合計を出力する、請求項１１の音声認識システム。
【請求項１３】
ワード候補は前記合計に基づいて選択される、請求項１２の音声認識システム。
【請求項１４】
前記マッピング関数は、
【数１】
2004518155.tif 000016
であり、ただし、Ｆは第１音声認識エンジン、Ｓは第２音声認識エンジン、
【数２】
2004518155.tif 000017
は、発話Ｔｕと候補ワードＷｉとの間の距離、
【数３】
2004518155.tif 000018
は、Ｗｉを除く第２最善候補のための距離であり、ＤｇはＴｕとガーベッジテンプレートとの間の距離を示し、
【数４】
2004518155.tif 000019
は発話ＴｕとＷ１との間の距離であり、
【数５】
2004518155.tif 000020
はＷ１を除く第２最善候補のための距離であり、ＳｇはＴｕとガーベッジテンプレートとの間の距離を示し、およびｃｉ（ｉ＝０，１，．．．ｎ）は係数であり、上限ｎはＶＲエンジンの合計プラス各ＶＲエンジンのための候補ワードの合計に等しい、請求項１の音声認識システム。
【請求項１５】
前記係数は実数定数である、請求項１４の音声認識システム。
【請求項１６】
前記係数は音声パラメータである、請求項１４の音声認識システム。
【請求項１７】
前記マッピング関数は、
【数６】
2004518155.tif 000021
であり、ただしＣ０はしきい値定数であり、
【数７】
2004518155.tif 000022
はＶＲエンジンｌのｋ番目のマッピング定数であり、
【数８】
2004518155.tif 000023
はＶＲエンジンｌからのワード候補Ｗ１に対するｋ番目の距離である。
【請求項１８】
下記工程を具備する音声認識の方法：
試験発話に対して少なくとも１つの候補ワードを得る；および
マッピング関数に基づいて前記少なくとも１つの候補ワードから認識されたワードを選択する。
【請求項１９】
前記マッピング関数は測定空間から決定空間に少なくとも１つの候補ワードを線形的にマップする、請求項１８の方法。
【請求項２０】
前記マッピング関数は測定空間から決定空間に少なくとも１つの候補ワードを非線形的にマップする、請求項１８の方法。
【請求項２１】
前記ワード候補はワード候補テンプレートと前記試験発話との間の距離により表される、請求項１８の方法。
【請求項２２】
前記マッピング関数は各距離と係数を乗算し、その積と他の係数Ｃ０を加算し、それにより合計を出力する、請求項２１の方法。
【請求項２３】
認識されたワードは前記合計に基づいて選択される、請求項２２の方法。
【請求項２４】
前記マッピング関数は、
【数９】
2004518155.tif 000024
であり、ただし、Ｆは第１音声認識エンジンであり、Ｓは第２音声認識エンジンであり、
【数１０】
2004518155.tif 000025
は発話Ｔｕと候補ワードＷｉとの間の距離であり、
【数１１】
2004518155.tif 000026
はＷ１を除く第２最善候補のための距離であり、ＤｇはＴｕとガーベッジテンプレートとの間の距離を示し、
【数１２】
2004518155.tif 000027
は発話ＴｕとＷｉとの間の距離を示し、
【数１３】
2004518155.tif 000028
はＷ１を除く第２最善候補のための距離であり、ＳｇはＴｕとガーベッジテンプレートとの間の距離を示し、ｃｉ（ｉ＝０，１，．．．ｎ）は係数であり、上限ｎはＶＲエンジンの合計プラス各ＶＲエンジンのための候補ワードの合計に等しい、請求項１８の方法。
【請求項２５】
前記係数は実数定数である、請求項２４の方法。
【請求項２６】
前記係数は音声パラメータである、請求項２４の方法。
【請求項２７】
前記マッピング関数は、
【数１４】
2004518155.tif 000029
であり、ただしＣ０はしきい値定数であり、
【数１５】
2004518155.tif 000030
はＶＲエンジンｌのためのｋ番目のマッピング定数であり、
【数１６】
2004518155.tif 000031
はＶＲエンジンｌからのワード候補Ｗｉに対するｋ番目の距離である、請求項１８の方法。
【請求項２８】
下記工程を具備する音声認識の方法：
試験発話を得る；
前記試験発話を解析する；
前記試験発話の解析に基づいて前記試験発話のための少なくとも１つの候補ワードを供給する；
マッピング関数を前記少なくとも１つの候補ワードに印加する；
前記少なくとも１つの候補ワードのマッピング関数値に基づいて前記少なくとも１つの候補ワードから候補ワードを選択する；および
前記選択された候補ワードのマッピング関数値をしきい値と比較する。
【請求項２９】
前記比較に基づいて前記選択された候補ワードを受け入れることをさらに具備する、請求項２８の方法。
【請求項３０】
前記比較に基づいて前記選択された候補ワードを拒絶することをさらに具備する、請求項２８の方法。
【請求項３１】
下記工程を具備する音声認識の方法：
２値化された発話に基づいて複数のワード候補を発生する、前記発生は複数の異なる音声認識技術を使用する；および
マッピング関数を前記複数のワード候補に印加し、認識されたワードを選択する。
【請求項３２】
しきい値と、前記認識されたワードのマッピング関数値との比較結果に基づいて前記認識したワードを拒絶することをさらに具備する、請求項３１の方法。
【請求項３３】
しきい値と、前記認識されたワードのマッピング関数値との比較結果に基づいて前記認識したワードを受け入れることをさらに具備する、請求項３２の方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は一般に通信の分野に関し、特に音声認識のための新規で改良されたシステム及び方法に関する。
【０００２】
【関連出願の記載】
音声認識（ＶＲ）はユーザまたはユーザが発話したコマンドを認識するために模擬の知性を機械に持たせ、機械とのヒューマンインタフェースを容易にするための最も重要な技術の１つを表す。ＶＲはまた、人間の音声を理解するための主要な技術である。音響音声信号から言語的メッセージを再生する技術を採用するシステムは音声認識装置と呼ばれる。ここで使用される「音声認識装置」という用語は一般に何らかの音声ユーザインタフェースを可能にする装置を意味する。
【０００３】
ＶＲ（一般に音声認識とも呼ばれる）の使用は安全上の理由のためにますます重要になってきている。例えば、ＶＲは無線電話キーパッド上のボタンを押すという手作業を置き換えるために使用することができる。これは、ユーザが車を運転しながら、電話をかけようとしているとき特に重要である。ＶＲが備わっていない電話を用いると、運転者は一方の手を操舵輪から離し、電話をかける間電話のキーパッドを見なければならない。これらの動作は、自動車事故の可能性を増大させる。音声可能電話（すなわち、音声認識用に設計された電話）は、運転者が道路を継続的に見つめながら、電話をかけることを可能にするであろう。さらにハンズフリーカーキットシステムは運転者が通話中に両方の手を操舵輪に保持することを可能にするであろう。
【０００４】
音声認識装置は特定話者装置と不特定話者装置のいずれかに分類される。より一般的である特定話者装置は特定のユーザからの命令を認識するように教え込まれる。それに反し、不特定話者装置はいかなるユーザからの音声命令を受付けることが可能である。特定話者装置であろうと、不特定話者装置であろうと、所定のＶＲシステムの性能を増大させるために、有効なパラメータをシステムに装備するために訓練が必要である。言い換えれば、システムは最適に機能できるようになる前に学習する必要がある。
【０００５】
特定話者ＶＲ装置は一般に２つのフェーズ、すなわち訓練フェーズと認識フェーズで動作する。訓練フェーズにおいて、ＶＲシステムは、ユーザにシステムの語彙内の言葉の各々について一度または二度（一般に二度）話すように促し、それによりシステムは、これらの特定の言葉またはフレーズに対するユーザの音声の特性を学習することができる。ハンズフリーカーキットのための例示的語彙は、キーパッド上の電話番号；キーワード「電話する」、「送信する」、「ダイアルする」、「キャンセルする」、「クリアする」、「追加する」、「削除する」、「ヒストリー」、「プログラム」、「ハイ」、「イイエ」、および所定数の俗に同僚、友達、家族と呼ばれる名前を含む。訓練が完了すると、ユーザは訓練したキーワードを話すことにより認識フェーズにおいて電話をかけることができる。それをＶＲ装置は、話された発話を（テンプレートとして記憶された）以前に訓練された発話と比較し、最善の一致を取ることにより認識する。例えば名前”Ｊｏｈｎ”が訓練された名前の１つであるなら、ユーザは「Ｊｏｈｎに電話しなさい」というフレーズを言うことにより電話をかけることができるであろう。ＶＲシステムは言葉「電話する」および「Ｊｏｈｎ」を認識し、ユーザが以前にＪｏｈｎの電話番号として入力した番号をダイアルするであろう。訓練するためのシステムと方法
不特定話者ＶＲ装置はあらかじめ決められたサイズのあらかじめ記録された語彙（例えばあり制御ワード、０乃至９の番号、ハイおよびイイエ）を含むトレーニングテンプレートも使用する。語彙の各ワードを言う多数の（例えば１００）の話者を記録しなければならない。
【０００６】
異なる不特定話者ＶＲ装置は異なる結果を生じるかもしれない。例えば話者不特定（ＳＩ）隠れマルコフモデル（ＨＭＭ）エンジンは、話者不特定ダイナミックタイムワーピング（Ｄｙｎａｍｉｃ Ｔｉｍｅ Ｗａｒｐｉｎｇ）（ＤＴＷ）エンジンに比べて異なる結果を生じるかもしれない。これらの両方のエンジンの結果を結合することにより、一方のエンジンのみの結果よりも、より良い認識精度とより低いリジェクト率を有したシステムを得ることができる。
【０００７】
話者特定ＶＲと話者不特定ＶＲは異なる結果を生じるかもしれない。話者特定エンジンは、特定のユーザに関係するテンプレートを用いて認識を行なう。不特定話者エンジンはユーザ全体からの標本を用いて発生されたテンプレートを用いて認識を行なう。話し手を特定したテンプレートは、所定のユーザの話し手のスタイルにより近いので、ＳＤエンジンはＳＩエンジンよりも精度が良い。しかしながら、ＳＩエンジンは、ユーザがシステムを使用する前に「トレーニングプロセス」を経験する必要がないので利点がある。
【０００８】
異なる種類のエンジンを結合するシステムと方法が望ましい。複数のエンジンを結合することにより精度が高められ、より多くの入力音声信号の情報を使用するであろう。ＶＲエンジンを結合するためのシステムと方法は、この発明の譲受人に譲渡され、参照することによりここに組み込まれる米国特許出願番号０９／６１８，１７７（発明の名称：「音声認識のための結合されたエンジンシステムおよび方法」）に記載されている。
【０００９】
決定論理ＶＲシステムは決定規則を考案するために発見的論理を使用することができる。決定論理は、一般に試験する発話と、各エンジンの一番上の候補（ワード）テンプレートとの間の測定距離で始める。例えば２つのエンジン（エンジンＤおよびＨ）が使用されると仮定する。ｄ１とｄ２が、試験発話とエンジンＤの一番上の２つの候補ワードとの間の距離を示し、ｈ１およびｈ２が、試験発話とエンジンＨの一番上の２つの候補ワードとの間の距離を示すものとする。ｄｇおよびｈｇがそれぞれ試験発話とエンジンＤおよびＨの「ガーベッジ」テンプレートとの間の距離を示すものとする。ガーベッジテンプレートは語彙にないすべてのワードを表すために使用される。決定論理はこれらの測定された距離の間の比較のシーケンスとあらかじめ定義されたしきい値のセットを含む。しかしながら、比較ルールとしきい値は、体系的に最適化することができないので、ある程度試行錯誤で合成し調節する必要がある。これは時間のかかる困難なプロセスである。さらに発見的ルールはアプリケーションに依存するかもしれない。例えば、各エンジンに対して一番上の２つのワードよりむしろ一番上の３つのワードが使用されるなら、新しいルールのセットを合成する必要がある。雑音の無い音声を認識するためのルールのセットは雑音のある音声を認識するためのルールのセットとは異なるであろうと思われる。
【００１０】
従って、複数の異なるＶＲエンジンからの異なる結果を解決するためのシステムと方法が望まれる。
【００１１】
【課題を解決するための手段】
記載された実施形態は、音声認識のためのシステムおよび方法に向けられている。一実施形態において、音声認識を改良するために複数の音声認識エンジンを結合する方法が提供される。この方法は、複数の音声認識エンジンをマッピングモジュールに連結することを有利に含む。各ＶＲエンジンは仮説、すなわちワード候補を出力し、次にマッピングモジュールはマッピング関数を印加し、複数のＶＲエンジンにより出力された仮説群から１つの仮説を選択する。
【００１２】
一実施形態において、話者不特定音声認識エンジンが結合される。他の実施形態において、話者特定音声認識エンジンが結合される。さらに他の実施形態において、話者不特定音声認識エンジンは話者特定音声認識エンジンと結合される。
【００１３】
一実施形態において、話者不特定音声認識エンジンはダイナミックタイムワーピング音声認識エンジンである。一実施形態において、話者不特定音声認識エンジンは隠れマルコフモデルである。一実施形態において、話者特定音声認識エンジンはダイナミックタイムワーピング音声認識エンジンである。一実施形態において、話者特定音声認識エンジンは隠れマルコフモデルである。
【００１４】
【発明の実施の形態】
この発明の特徴、目的および利点は同一部に同符号を付した図面とともに以下に述べる詳細な説明からより明白になるであろう。
【００１５】
一実施形態において、図１に示す音声認識システム１００は隔離されたワード認識タスク（ｔａｓｋ）を実行することのできる３種類の音声認識エンジンを有する、すなわちダイナミックタイムワーピング話者不特定（ＤＴＷ−ＳＩ）エンジン１０４、ダイナミックタイムワーピング話者特定（ＤＴＷ−ＳＤ）エンジン１０６、および隠れマルコフモデル（ＨＭＭ）エンジン１０８である。これらのエンジンは命令ワード認識および数字認識のために使用され、例えば携帯電話、パーソナルデジタルアシスタント（ＰＤＡ）等のような手動操作機器により実行される共通のタスクにリッチスポークン（ｒｉｃｈ ｓｐｏｋｅｎ）ユーザインタフェースを提供する。他の実施形態において、音声認識システム１００はＤＴＷ−ＳＩ１０４およびＤＴＷ−ＳＤエンジン１０６から構成される。さらに他の実施形態において、音声認識システム１００は、ＤＴＷ−ＳＩエンジン１０４およびＨＭＭエンジン１０８から構成される。さらに他の実施形態において、音声認識システム１００は、ＤＴＷ−ＳＤエンジン１０６およびＨＭＭエンジン１０８から構成される。一実施形態において、ＨＭＭエンジンは話者不特定である。他の実施形態において、ＨＭＭエンジン１０８は話者特定である。技術的に知られているいかなるＶＲエンジンも使用できることは当業者により理解されるであろう。さらに他の実施形態において、複数の他のＶＲエンジン種類が結合される。エンジンはいかなる組合せにおいても構成し得ることは当業者にとって明白であろう。
【００１６】
図１に示すように一実施形態に従って、音声認識システム１００は、アナログ−デジタル変換器（Ａ／Ｄ）１０２、ＤＴＷ−ＳＩエンジン１０４、ＤＴＷ−ＳＤエンジン１０６、およびＨＭＭエンジン１０８を含む。一実施形態において、Ａ／Ｄ１０２はハードウエアＡ／Ｄである。他の実施形態において、Ａ／Ｄ１０２はソフトウエアで実現される。一実施形態において、Ａ／Ｄ１０２およびエンジン１０４、１０６、１０８は１つの装置として実現される。Ａ／Ｄ１０２およびエンジン１０４、１０６、１０８はいかなる数の装置間で実現し分配することができることは当業者により理解されるであろう。
【００１７】
Ａ／Ｄ１０２はＤＴＷ−ＳＩエンジン１０４、ＤＴＷ−ＳＤエンジン１０６、およびＨＭＭエンジン１０８に接続される。ＤＴＷ−ＳＩエンジン１０４、ＤＴＷ−ＳＤエンジン１０６およびＨＭＭエンジン１０８はマッピングモジュール１１０に接続される。マッピングモジュールは入力として、エンジン１０４、１０６、１０８の出力を取り、音声信号ｓ（ｔ）に対応するワードを出力する。
【００１８】
音声認識システム１００は、例えば無線電話またはハンズフリーカーキットに存在可能である。ユーザ（図示せず）はワードまたはフレーズを話し、音声信号を発生する。音声信号は一般的なトランスデューサ（図示せず）を用いて電気音声信号、ｓ（ｔ）に変換される。音声信号、ｓ（ｔ）はＡ／Ｄ１０２に供給される。Ａ／Ｄ１０２は音声信号を、例えばパルス符号変調（ＰＣＭ）、Ａ−ｌａｗまたはμ−ｌａｗのような公知のサンプリング方法に従って２値化された音声サンプルに変換する。一実施形態において、一般的に毎秒Ｎ  １６ビット音声サンプルがある。従って、８，０００Ｈｚサンプリング周波数の場合Ｎ＝８，０００であり、１６，０００Ｈｚサンプリング周波数の場合Ｎ＝１６，０００である。
【００１９】
音声サンプルはＤＴＷ−ＳＩエンジン１０４、ＤＴＷ−ＳＤエンジン１０６、およびＨＭＭエンジン１０８に供給される。各エンジンは音声サンプルを処理し、仮説、すなわちその音声信号ｓ（ｔ）に対する候補ワードを出力する。次に、マッピングモジュールは候補ワードを決定空間にマッピングし、音声信号ｓ（ｔ）を最善に反映する候補ワードを選択するために評価される。
【００２０】
一実施形態において、音声認識システムは図２に示すように２つのＶＲエンジンを含む。音声認識システム１００はＤＴＷエンジン１１２およびＨＭＭエンジン１１４を含む。一実施形態において、ＤＴＷエンジンは話者不特定ＶＲエンジンである。他の実施形態において、ＤＴＷエンジンは話者特定ＶＲエンジンである。一実施形態において、ＨＭＭエンジンは話者不特定ＶＲエンジンである。他の実施形態において、ＨＭＭエンジンは話者特定ＶＲエンジンである。
【００２１】
これらの実施形態において、システムは、ＤＴＷエンジンとＨＭＭエンジンの両方の利点を有する。入力音声信号を認識するために音声認識システムが訓練される訓練フェーズの期間、ＤＴＷテンプレートおよびＨＭＭテンプレートが明示的に作られる。他の実施形態において、ＤＴＷテンプレートおよびＨＭＭテンプレートは音声認識システムの一般的な使用の期間、暗黙のうちに作られる。例示的な訓練システムおよび方法は、この発明の譲受人に譲渡され、参照することによりここに組み込まれる、１９９９年２月８日に出願された米国特許出願番号第０９／２４８，５１３（発明の名称：「音声認識リジェクション方式」）、およびこの発明の譲受人に譲渡され、参照することによりここに組み込まれる、１９９９年１月４日に出願された米国特許出願番号第０９／２２５，８９１（発明の名称：「音声信号の分節化および認識のためのシステムおよび方法」）に記載されている。
【００２２】
音声認識システムの語彙ワードのすべてのためのテンプレートのセットは、例えばフラッシュメモリのようないかなる一般的形態の不揮発性の記憶媒体に記憶される。これにより、音声認識システム１００への電力がオフになったとき記憶媒体にテンプレートを保持することができる。一実施形態において、テンプレートのセットは話者不特定テンプレート構築システムを用いて構成される。一実施形態において、命令ワードはＶＲエンジン語彙に含まれる。
【００２３】
ＤＴＷ技術は、技術的に知られており、参照することにより全体が組み込まれる、Ｌａｗｒｅｎｃｅ Ｒａｂｉｎｅｒ ＆ Ｂｉｉｎｇ−Ｈｗａｎｇ Ｊｕａｎｇ著「音声認識の基礎」２００−２３８ （１９９３）に記載されている。ＤＴＷ技術に従って、テンプレートデータベースに記憶された各発話のためのタイムシーケンスに対して試験される発話のタイムシーケンスをプロットすることにより格子が形成される。次に、試験される発話はテンプレートデータベース内の各発話とポイント毎（例えば１０ｍｓ毎）に比較され、そして１度に１つの発話が比較される。テンプレートデータベース内の各発話に対して、試験される発話は調節され、すなわち時間に対して「ゆがめ」られ、テンプレートデータベース内の発話との最も近い可能な一致が得られるまで特定のポイントにおいて圧縮または伸張される。時間上の各点において、２つの発話が比較され、その点において一致が宣言されるか（ゼロコスト）または不一致が宣言される。特定の点において不一致の場合、試験される発話は圧縮され、伸張されまたは必要に応じて不一致にされる。このプロセスは２つの発話が互いに完全に比較されるまで続く。大量の（一般的には数千の）異なって調節された発話が可能である。最も低いコストファンクション（すなわち、最小の数の圧縮および／または伸張および／または不一致を必要とする）を持つ調節された発話が選択される。ビタビ復号アルゴリズムに類似した態様で、テンプレートデータベース内の発話の各ポイントから逆に見ることにより選択が有利に実行され、最も低いトータルコストを有する経路が決定される。これは、調整の異なる１つ１つの可能性を発生するという「強力」な方法に頼る事無く最も低いコスト（すなわち，最も接近して一致した）で調整された発話を決定することを可能にする。次に、テンプレートデータベース内のすべての発話の最低コスト調節された発話が比較され、最低コストを有する発話が試験される発話に最も接近して一致した記憶された発話として選択される。
【００２４】
ＤＴＷエンジン１０４のＤＴＷ一致方式およびＨＭＭエンジン１０８のビテルビ復号は類似しているが、ＤＴＷエンジンとＨＭＭエンジンは異なるフロントエンド方式を使用し、すなわち特徴抽出器を使用し、一致段に対して特徴ベクトルを供給する。このために、ＤＴＷエンジンとＨＭＭエンジンのエラーパターンは全く異なる。結合エンジンを有した音声認識システムは、エラーパターンの差をうまく利用する。両方のエンジンからの結果をうまく利用することにより、より高い全体の認識精度を得ることができる。さらに重要なことには、所望の認識精度に対するより低い除去率を得ることができる。
【００２５】
一実施形態において、同じ語彙セットを動作させる話者不特定音声認識エンジンが結合される。他の実施形態において、話者特定音声認識エンジンが結合される。さらに他の実施形態において、話者不特定音声認識エンジンは話者特定音声認識エンジンと結合し、両方のエンジンは同じ語彙セットに関して動作する。さらに他の実施形態において、話者不特定音声認識エンジンは話者特定音声認識エンジンと結合し、両方のエンジンは異なる語彙セットに関して動作する。
【００２６】
各エンジンは語彙のどのワードが話されたかに関して出力を生じる。各出力は入力信号に対するワード候補を含む。入力信号に対応しないワードは拒絶される。例示的拒絶方式は、参照することによりここに完全に組み込まれる米国出願番号第０９／２４８，５１３に記載される。
【００２７】
一部は計算リソースが限定されているために、正確な音声認識は埋め込みシステムに対して困難である。システム精度を高めるために、音声認識は複数の認識エンジンを用いて達成される。しかしながら、異なるＶＲエンジンは異なる結果を生じるかもしれない。例えば、あるエンジンは一番上の候補ワードとして”Ｊａｎｅ”と”Ｊｏｅ”を選択するかもしれないのに対して、他のＶＲエンジンは一番上の２つの候補として”Ｊｕｌｉｅ”と”Ｊｏｅ”を選択するかもしれない。これらの異なる結果は解決する必要がある。答えが与えられなければ成らない、すなわち候補ワードが選択される必要がある。複数のエンジンが機能的であるために、ＶＲシステムはこれらの候補ワードに基づいて決定に到達しなければならない。
【００２８】
一実施形態において、Ｘエンジン（Ｘ＝２，３，．．）が結合され、各エンジンはＹ（Ｙ＝１，２，．．．）の候補ワードを出力する。それゆえ、Ｘ＊Ｙの候補があり、そこから唯一つが正しい答えである。他の実施形態において、各エンジンは異なる数の候補を出力するかもしれない。
【００２９】
２つのエンジンＤおよびＨを有する実施形態において、ｄ１およびｄ２は試験発話とエンジンＤの一番上の２つの候補ワードとの間の距離を示し、ｈ１およびｈ２は試験発話とエンジンＨの一番上の２つの候補ワードとの間の距離を示す。変数ｄｇおよびｈｇはそれぞれ試験発話とエンジンＤおよびＨの「ガーベッジ」テンプレートとの間の距離を表す。ガーベッジテンプレートは語彙にないすべてのワードを表すために使用される。
【００３０】
一実施形態において、ＶＲエンジンにより出力される候補群から１つの候補を選択する決定は測定空間（ｄ１，ｄ２，．．．ｄｇおよびｈ１，ｈ２、．．．ｈｇ）から決定空間へのマッピングに基づいて行なわれる（リストの内のワードの１つとして試験発話を受け入れる／拒絶する）。一実施形態において、マッピングは線形マッピングである。他の実施形態において、マッピングは非線形マッピングである。
【００３１】
一実施形態に従って、ＤＴＷに基づいたＶＲエンジンとＨＭＭに基づいたＶＲエンジンを有する装置により実行される方法ステップのフローチャートを図３に示す。ステップ２００において、試験発話Ｔｕが得られる。試験発話Ｔｕが得られると、ステップ２０２において、試験発話Ｔｕに関してＤＴＷ音声認識解析が実行され、ステップ２０４において、試験発話Ｔｕに関してＨＭＭ音声認識解析が実行される。ステップ２０６において、ＤＴＷ候補ワードＤ１のセットが得られる。ステップ２０８において、ＨＭＭ候補ワードＨ１のセットが得られる。ステップ２１０において、線形マッピング関数は各ＤＴＷ候補ワードＤ１および各ＨＭＭ候補ワードＨ１に印加される。ステップ２１２において、候補ワードの認識は線形マッピング結果に基づく。ステップ２１２において、最小マッピング関数値を有する候補ワードは認識されたワードＷ（Ｔｕ）として選択される。ステップ２１４において、認識されたワードＷ（Ｔｕ）のマッピング関数値はしきい値と比較される。認識されたワードのマッピング関数値Ｗ（Ｔｕ）がしきい値より小さいならば、認識されたワードはステップ２１６において拒絶される。認識されたワードのマッピング関数値Ｗ（Ｔｕ）がしきい値より大きければ、認識されたワードはステップ２１８において受け入れられる。
【００３２】
【数１７】
2004518155.tif 000003
は、試験発話Ｔｕ２００と語彙に含まれるワードＷｊ、ｊ＝１，２，．．．，Ｎとの間の距離である。Ｗｊは候補ワードのセットであり、インデックスｊはセット番号であり、Ｎはセット数である。各セットは候補ワードの番号を有し、この番号は正の整数である。インデックスｉはＶＲエンジン番号である。
【００３３】
各ＶＲエンジンはまた試験発話ＴｕとＶＲエンジンの語彙外のワードテンプレートＷｇとの間の距離
【数１８】
2004518155.tif 000004
を出力する。語彙内のワードはＶＲエンジンの語彙内にあるワードである。語彙外のワードはＶＲエンジンの語彙内にないワードである。
【００３４】
マッピング関数の結果がしきい値より大きければ、評価される候補ワードは正しく入力が受付けられる。そうでなければ、入力は拒絶される。
【００３５】
表１はＤＴＷエンジンとＨＭＭエンジンを有する実施形態における距離のマトリクスを示し、各エンジンから一番上の２つのワードは候補セットであるように選択される。Ｄ１およびＤ２はＤＴＷＶＲエンジンからの一番上の２つの候補ワードのための距離であり、Ｈ１およびＨ２はＨＭＭＶＲエンジンからの一番上の２つの候補ワードのための距離である。
【００３６】
１つのＶＲエンジンがＸ距離を出力し、他のエンジンがＹ距離を出力する、２つのＶＲエンジンを有した実施形態において、Ｘ＊Ｙ候補ワードの合計が出力される。
【００３７】
候補セットから唯一つのワードが認識され、その認識が拒絶されるか受け入れられるかを判断する決定がなされる。一実施形態において、候補セットからワードを選択し、受け入れるか拒絶するかを決定するために線形マッピング関数が使用される。
【００３８】
候補ワードの各セット、Ｗｉ、ｉ＝１，２，３，４，は表１に示すように対応するベクトルを有する。
【００３９】
【表１】
2004518155.tif 000005
ＤはＤＴＷエンジンを示す。ＨはＨＭＭエンジンを示す。
【００４０】
【数１９】
2004518155.tif 000006
はＴｕとＷｉとの間の距離である。
【００４１】
【数２０】
2004518155.tif 000007
はＷｉを除く第２の最良候補のための距離である。ＤｇはＴｕとガーベッジテンプレートとの間の距離を示す。
【００４２】
【数２１】
2004518155.tif 000008
Ｈｇは、それぞれＤＴＷエンジンに関して同量を表す。
【００４３】
線形マッピング関数は形式を有する。
【００４４】
【数２２】
2004518155.tif 000009
ただし、Ｃｉ（ｉ＝０，１，．．．ｎ）は一実施形態において実数定数であり、他の実施形態において音声パラメータである。インデックスｉの上限はｎである。上限ｎは音声認識システムのＶＲエンジンの数プラス各ＶＲエンジンに対する候補ワードの数に等しい。２つのＶＲエンジンと、ＶＲエンジンあたり２つの候補ワードを有した実施形態において、ｎ＝６である。ｎの計算を以下に示す。
【００４５】
2004518155.tif 000010
ワード認識およびワード受け入れのための決定基準は以下の通りである。
【００４６】
１．Ｍｉ（Ｄ，Ｈ）を最大化するワードは認識すべきワードとして選択される；および
２．認識はＭｉ（Ｄ，Ｈ）＞０のとき受け入れられ、Ｍｉ（Ｄ，Ｈ）？０のとき拒絶される。
【００４７】
マッピング関数は偽の受け入れ／拒絶エラーを最小にするために客観的に構成されるかまたは訓練可能である。一実施形態において、定数ｃｉ（ｉ＝０，１，．．．，ｎ）は訓練から得られる。訓練プロセスにおいて、各テストするサンプルの同一性は公知である。（Ｗ１，Ｗ２，Ｗ３およびＷ４のうちで）１つのワードの測定ベクトルは、正しい（＋１）としてマークされ、残りは正しくない（−１）としてマークされる。訓練は誤判定の数を最小にするために係数ベクトルｃ＝ｃｉ（Ｉ＝０，１，．．．ｎ）の値を決定する。
【００４８】
ベクトルｂは各訓練ベクトルの正しい／正しくないの性質を示し、Ｗは測定マトリクスであり、各行は測定ベクトル
【数２３】
2004518155.tif 000011
である。一実施形態において、係数ベクトルｃはＷの擬似逆数を計算することにより得られる。
【００４９】
【数２４】
2004518155.tif 000012
この手続きは平均２乗誤差（ＭＳＥ）を最小にする。他の実施形態において、トータルエラーカウントを最小にするような進歩したエラー最小化手続きもまた使用して係数ベクトルｃについて解く。技術的に知られた他のエラー最小化手続きを用いて係数ベクトルｃを解くことができることは当業者には明白であろう。
【００５０】
マッピング関数方法は複数（＞２）のエンジンと複数（＞２）のワード候補に等しく適用可能である。Ｌ個のＶＲエンジンあり、各々がＮ個のワード候補を出力するとき、汎用のマッピング関数は形式を有する。
【００５１】
【数２５】
2004518155.tif 000013
Ｃ０はしきい値定数であり、
【数２６】
2004518155.tif 000014
はＶＲエンジンｌに対するｋ番目のマッピング定数である。
【００５２】
【数２７】
2004518155.tif 000015
はＶＲエンジンｌからワード候補Ｗｉに対するｋ番目の距離である。
【００５３】
一実施形態において、マッピング関数は非線形である。１以上の変数／パラメータが係数の代わりにマッピング関数に使用される。一実施形態において、マッピング関数において使用される１以上の変数／パラメータはＶＲエンジンからの音声パラメータである。また、１以上の変数／パラメータは音声信号ｓ（ｔ）の測定または処理から取られた音声パラメータであり得ることは当業者には明白であろう。
【００５４】
以上、音声認識のためのエンジンを結合するための新規で改良された方法および装置について記載した。ここに開示した実施形態に関連して記載した種々の実例となる論理ブロック、モジュールおよびマッピングは電子ハードウエア、コンピュータソフトウエア、またはそれら両方の組合せとして実現可能であることは当業者は理解するであろう。種々の実例となるコンポーネント、ブロック、モジュール、回路、およびステップは一般にそれらの機能の観点から記載した。機能性がハードウエアとして実現されるかまたはソフトウエアとして実現されるかは特定のアプリケーションおよび全体のシステムに課せられた設計上の制約に依存する。当業者は、これらの環境下においてハードウエアとソフトウエアの互換性を認識し、各特定のアプリケーションに対して記載した機能性を以下に最善に実現するかを認識する。例として、ここに開示した実施形態に関連して記載した種々の実例となる論理ブロック、モジュール、およびマッピングはファームウエア命令セットを実行するプロセッサ、特定用途向集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）または他のプログラマブル論理装置、ディスクリートゲートまたはトランジスタロジック、例えばレジスタのようなディスクリートハードウエアコンポーネント、何らかの一般的なプログラマブルソフトウエアモジュールおよびプロセッサ、ここに記載した機能を実行するように設計された何らかのそれらの組合せで実現または実行できる。Ａ／Ｄ１０２、ＶＲエンジン、およびマッピングモジュール１１０はマイクロプロセッサで有利に実行できるが、別の方法では、Ａ／Ｄ１０２、ＶＲエンジン、およびマッピングモジュール１１０はなんらかの汎用プロセッサ、コントローラ、マイクロコントローラ、または状態機械で実行可能である。テンプレートはＲＡＭメモリ、フラッシュメモリ、ＲＯＭメモリ、ＥＰＲＯＭメモリ、ＥＥＰＲＯＭメモリ、レジスタ、ハードディスク、脱着可能ディスク、ＣＤ−ＲＯＭ、または技術的に知られた何らかの形態の記憶媒体に存在することができる。メモリ（図示せず）は何らかの上述したプロセッサ（図示せず）に一体形成することができる。プロセッサ（図示せず）とメモリ（図示せず）はＡＳＩＣ（図示せず）に存在することができる。ＡＳＩＣは電話に存在することができる。
【００５５】
この発明の実施形態の上述の説明は当業者がこの発明を作成しまたは使用することが可能なように提供される。これらの実施形態に対する種々の変形例は当業者に容易に明白であり、ここに定義した一般的原理は、発明力の使用なしに他の実施形態に適用可能である。従って、この発明はここに示した実施形態に限定されず、ここに開示した原理および新規な特徴に一致する最も広い範囲に一致する。
【図面の簡単な説明】
【図１】
図１は３種類の音声認識エンジンを有する音声認識システムの実施形態を示す。
【図２】
図２はＤＴＷエンジンおよびＨＭＭエンジンを含む音声認識システムを示す。
【図３】
図３は２つの音声認識エンジンを有する音声認識システムの実施形態を示す。
【図１】
2004518155.tif 000032
【図２】
2004518155.tif 000033
【図３】
2004518155.tif 000034
【国際公開パンフレット】
2004518155.tif 000035
2004518155.tif 000036
2004518155.tif 000037
2004518155.tif 000038
2004518155.tif 000039
2004518155.tif 000040
2004518155.tif 000041
2004518155.tif 000042
2004518155.tif 000043
2004518155.tif 000044
2004518155.tif 000045
2004518155.tif 000046
2004518155.tif 000047
2004518155.tif 000048
2004518155.tif 000049
2004518155.tif 000050
2004518155.tif 000051
2004518155.tif 000052
2004518155.tif 000053
2004518155.tif 000054
2004518155.tif 000055
2004518155.tif 000056
2004518155.tif 000057
2004518155.tif 000058
2004518155.tif 000059
2004518155.tif 000060
2004518155.tif 000061
【国際公開パンフレット（コレクトバージョン）】
2004518155.tif 000062
2004518155.tif 000063
【国際調査報告】
2004518155.tif 000064
2004518155.tif 000065
2004518155.tif 000066