(57)【要約】【解決手段】分散型音声認識システムにおける音声アクティブな状態を送信するためのシステム及び方法。分散型音声認識システムは、加入者ユニットおけるローカルＶＲエンジン及びサーバ上のサーバＶＲエンジンを含む。ローカルＶＲエンジンは、音声信号から特徴を抽出する特徴抽出（ＦＥ）モジュール、及び音声信号の中の音声アクティブな状態を検出する音声アクティブな状態検出（ＶＡＤ）モジュールを具備する。音声アクティブな状態の表示は、加入者ユニットからサーバへ特徴に先行して送信される。【選択図】図３
2004527006.tif 000002
【特許請求の範囲】
【請求項１】
加入者ユニット、該加入者ユニットは下記を具備する：
複数の音声信号の特徴を抽出するように構成された特徴抽出モジュール；
音声信号の中の音声アクティブな状態を検出し且つ検出された音声アクティブな状態の表示を供するように構成された音声アクティブな状態検出モジュール；及び
特徴抽出モジュール及び音声アクティブな状態検出モジュールに結合され且つ複数の特徴に先行するところの、検出された音声アクティブな状態の表示を送信するように構成された送信器。
【請求項２】
加入者ユニット、該加入者ユニットは下記を具備する：
複数の音声信号の特徴を抽出するための手段；
音声信号の中の音声アクティブな状態を検出し且つ検出された音声アクティブな状態の表示を供するための手段；及び
特徴抽出手段及び音声アクティブな状態検出手段に結合され且つ複数の特徴に先行するところの、検出された音声アクティブな状態の表示を送信するように構成された送信器。
【請求項３】
複数の特徴を検出された音声アクティブな状態の表示と組み合わせるための手段を更に具備し、ここにおいて検出された音声アクティブな状態の表示は複数の特徴に先行する、請求項１記載の加入者ユニット。
【請求項４】
複数の特徴を、検出された音声アクティブな状態の表示と組み合わせるための手段を更に具備し、ここにおいて検出された音声アクティブな状態の表示は複数の特徴に先行する、請求項２記載の加入者ユニット。
【請求項５】
音声アクティブな状態を送信する方法、該方法は下記を具備する：
複数の音声信号の特徴を抽出する；
音声信号の中の音声アクティブな状態を検出し且つ検出された音声アクティブな状態の表示を供する；及び
複数の特徴に先行するところの、検出された音声アクティブな状態の表示を送信する。
【請求項６】
音声アクティブな状態を送信する方法、該方法は下記を具備する：
複数の音声信号の特徴を抽出する；
音声信号の中の音声アクティブな状態を検出し且つ検出された音声アクティブな状態の表示を供する；及び
複数の特徴を、検出された音声アクティブな状態の表示と組み合わせる、これによって検出された音声アクティブな状態と特徴が組み合わされた表示を作り出す、ここにおいて検出された音声アクティブな状態の表示は複数の特徴に先行する。
【請求項７】
検出された音声アクティブな状態と特徴が組み合わされた表示を送信することを更に具備する、請求項６記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一般に通信の分野に関し、特に分散型音声認識システムにおける音声アクティブな状態を送信するためのシステム及び方法に関する。
【背景技術】
【０００２】
音声認識（ＶＲ）は、ユーザ音声による命令を認識する模擬知能を装置に授け、装置とのヒューマンインタフェースを容易にする最も重要な技術の１つである。ＶＲは、人間の音声を理解するための基幹技術でもある。音響的音声信号から言語学的メッセージを回復する技術を使用するシステムは、音声認識装置と呼ばれる。
【０００３】
ＶＲ（通常、音声認識としても参照される）の使用は、安全性の理由のために、ますます重要になってきている。例えば、ＶＲは、無線電話機キーパッド上のボタンを押下する手作業に取って代わって使用されるかも知れない。これは、ユーザが自動車を運転している間に電話を始めるとき、特に重要である。ＶＲの無い自動車電話を使用するとき、運転者は、ハンドルから一方の手を離し、呼び出しのダイアルをするためにボタンを押下している間、電話機キーパッドに注目していなければならない。これらは、自動車事故の可能性を増加させる。音声による動作を可能にされた自動車電話（即ち、音声認識のために設計された電話機）は、間断なく道路を注視している間、運転者が電話をかけることを可能にする。更に、ハンズフリーカーキットシステムは、電話を開始する間、運転者が両手をハンドル上に置いたままにすることを可能にするだろう。ハンズフリー自動車キットについての例示的語彙は、１０個の数字；“呼ぶ”、“送る”、“ダイアルする”、“取り消す”、“きれいにする”、“加える”、“削除する”、“歴史”、“プログラム”、“はい”、及び“いいえ”のキーワード；並びに事前に規定された数の普段電話する仕事仲間、友人、又は家族構成員の名前、を含むことができる。
【０００４】
音声認識装置、即ち、ＶＲシステムは、音声認識装置のフロントエンドとも呼ばれる、音響プロセッサ、及び、音声認識装置のバックエンドとも呼ばれる、単語複合器を具備する。音響プロセッサは、特徴抽出を行う。音響プロセッサは、到来する未加工の音声からＶＲに必要な一連の情報関連の特徴（ベクトル）を抽出する。単語復号器は、入力された発声に相当する一連の言語学的単語のような、意味があり且つ思いどおりのフォーマットの出力を生じるために、この一連の特徴（ベクトル）を復号する。
【０００５】
分散型システム構成を使用する音声認識装置の実施において、計算上且つ記憶上の負荷をネットワークサーバに適切に吸収することができるサブシステムに、単語復号作業を配置することを望まれることが多々ある。ところが、音響プロセッサは、信号処理によって導入された、及び／又はチャンネルにより誘導されたボコーダ（送信の前に音声を圧縮するために使用される）の効果を低減させるために、できるだけ音声源に−ユーザ装置に接近して在るべきである。このように、分散型音声認識（ＤＶＲ）システムにおいて、音響プロセッサは、ユーザ装置の中に在り、且つ単語復号器は、ネットワーク上に在る。
【０００６】
ＤＶＲシステムは、セル電話機、個人通信装置、個人ディジタル補助装置（ＰＤＡ）、等のような装置が、ネットワーク上の音声認識サーバへアクセスすることによって、口頭命令(spoken command)を使用して、インターネットのような無線ネットワークから、情報及びサービスへアクセスすることを可能にする。
【０００７】
大気インタフェース方法は、無線適用における音声認識システムの精度を低下させる。この低下は、加入者ユニット（加入者局、移動局、モバイル、遠隔局、遠隔端末装置、アクセス端末装置、及びユーザ機器とも呼ばれる）のような装置上のユーザの口頭命令からＶＲ特徴を抽出することによって、且つ音声トラフィックで口頭命令を送信する代わりにデータトラフィックでＶＲ特徴を送信することによって、緩和されることができる。
【０００８】
このように、ＤＶＲシステムにおいて、フロントエンド特徴は、装置において抽出され、ネットワークへ送出される。装置は、移動型又は据置型でもよく、１つ以上の基地局（ＢＳ）（セルラ基地局、セル基地局、基地トランシーバシステム（ＢＴＳ）、基地局トランシーバ、中央通信センタ、アクセス点、アクセスノード、ノードＢｓ(Node Bs)、及びモデムプールトランシーバ(modem pool transceiver)（ＭＰＴ）とも呼ばれる）と通信してもよい。
【０００９】
複雑な音声認識作業は、重要な計算上の資源を要求する。限られたＣＰＵ、メモリ及び電池資源を用いて、加入者ユニット上にこのようなシステムを実施することは、実際的ではない。ＤＶＲシステムは、ネットワーク上に利用できる計算上の資源を活用する。一般的なＤＶＲシステムにおいて、単語復号器は、音声認識装置のフロントエンドよりも計算上且つ記憶上のより大きな必要性を有する。このように、ネットワークの中のサーバを基盤とするＶＲシステムは、音声認識システムのバックエンドとして働き、単語復号を行う。これは、ネットワーク上の資源を使用して複雑なＶＲ作業を行う利益を有する。ＤＶＲシステムの例は、“分散型音声認識システム”と題する、米国特許第５９５６８３号に開示され、本発明の譲受人に譲渡され、この中に参照のために組み入れられる。
【００１０】
加入者ユニット上で行われている特徴抽出に加えて、簡単なＶＲ作業は、加入者ユニット上で行われることができる。このケースにおいて、ネットワーク上のＶＲシステムは、簡単なＶＲ作業のために使用されない。従って、音声による動作可能なサービスを提供するためのコストが低減させられる結果、ネットワークトラフィックは，低減させられる。
【００１１】
加入者ユニットが簡単なＶＲ作業を行うにもかかわらず、ネットワーク上のトラフィック輻輳(congestion)は、加入者ユニットがサーバを基盤とするＶＲシステムから貧弱なサービスを得る結果を招き得る。分散型ＶＲシステムは、複雑なＶＲ作業を使用してユーザインタフェースの特徴を豊富にすることを可能にするが、ネットワークトラフィックを増加させ且つ時々遅延をさせる代償を払う。加入者ユニット上のローカルＶＲエンジンがユーザの口頭命令を認識しないならば、そのときは、ユーザの口頭命令は，フロントエンド処理の後サーバを基盤とするＶＲエンジンへ送信されなければならなくなり、これによってネットワークトラフィック及びネットワーク輻輳を増加させる。ネットワーク輻輳は、加入者ユニットからサーバを基盤とするＶＲシステムへ、大量のネットワークトラフィックが同時に送信されているときに生じる。口頭命令がネットワークを基盤とするＶＲエンジンによって解釈された後、その結果は、加入者ユニットへ送信し返されなければならず、それは、ネットワーク輻輳があるならば、有意の遅延を導入し得る。
【００１２】
このように、ＤＶＲシステムにおいて、ネットワーク輻輳を低減させ且つ遅延を低減させるシステム及び方法が必要である。ネットワーク輻輳を低減させ且つ遅延を低減させるシステム及び方法は、ＶＲ性能を向上するであろう。
【００１３】
［概要］
説明される実施形態は、ネットワーク輻輳及び遅延を低減させる音声アクティブな状態を送信するためのシステム及び方法へ向けられる。音声アクティブな状態(voice activity)音声認識(voice recognition)を送信するためのシステム及び方法は、加入者ユニット上に音声アクティブな状態検出（ＶＡＤ）モジュール及び特徴抽出（ＦＥ）モジュールを含む）。
【００１４】
一面において、加入者ユニットは、複数の音声信号の特徴を抽出するように構成された特徴抽出モジュール、音声信号の中の音声アクティブな状態を検出し且つ検出された音声アクティブな状態の表示を供するように構成された音声アクティブな状態検出モジュール、並びに特徴抽出モジュール及び音声アクティブな状態検出モジュールに結合され且つ複数の特徴に先行する検出された音声アクティブな状態の表示を送信するように構成された送信器を具備する。
【００１５】
他の一面において、加入者ユニットは、複数の音声信号の特徴を検出する手段、音声信号の中の音声アクティブな状態を検出し且つ検出された音声アクティブな状態の表示を供する手段、並びに特徴抽出手段及び音声アクティブな状態検出手段に結合され且つ複数の特徴に先行する検出された音声アクティブな状態の表示を送信するように構成された送信器を具備する。
【００１６】
一面において、加入者ユニットは、複数の特徴を,検出された音声アクティブな状態の表示と組み合わせるための手段を更に具備し、ここにおいて、検出された音声アクティブな状態の表示は、複数の特徴に先行する。
【００１７】
一面において、音声アクティブな状態を送信する方法は、複数の音声信号の特徴を抽出し、音声信号の中の音声アクティブな状態を検出し且つ検出された音声アクティブな状態の表示を与え、そして複数の特徴に先行する検出された音声アクティブな状態の表示を送信することを具備する。
【発明を実施するための最良の形態】
【００１８】
図１は、一実施形態に従う音響プロセッサ４及び単語復号器６を含む音声認識システム２を示す。単語復号器６は、音響パターン整合化要素８及び言語モデル化要素１０を具備する。言語モデル化要素１０は、文法仕様要素とも呼ばれる。音響プロセッサ４は、単語復号器６の音響パターン整合化要素８に結合される。音響パターン整合化要素８は、言語モデル化要素１０に結合される。
【００１９】
音響プロセッサ４は、入力音声信号から特徴を抽出し、これらの特徴を単語復号器６に供する。概して言えば、単語復号器６は、音響プロセッサ４からの音響特徴を翻訳し、話者のオリジナルな単語列を推定する。これは、音響パターン整合化及び言語モデル化の２段階で達成される。言語モデル化は、孤立した単語認識を適用する場合省くことができる。音響パターン整合化要素８は、音素、音節，単語等のような、可能な音響パターンを検出し、分類する。候補パターンは、どの一連の単語が文法的によく形成され、意味があるかを決定する構文上の制約の規則をモデル化する言語モデル化要素１０へ与えられる。構文上の情報は、音響情報だけが曖昧であるとき、音声認識への貴重な案内書であり得る。言語モデル化に基づいて、ＶＲは、間断なく音響特徴整合化結果を解釈し、推定された単語列を供する。
【００２０】
単語復号器６における音響パターン整合化及び言語モデル化は、両方とも、話者の音声学的及び音響音声学的変動量を説明するために、決定論的又は推計論的の何れかの、数学的モデルを要求する。音声認識システムの性能は、これら２つのモデルの品質と直接的に関係がある。音響パターン整合化について、多様な種類のモデルのなかで、テンプレートを基盤とする動的タイムワーピング(dynamic time warping)（ＤＴＷ）及び推計論的隠れマルコフ(stochastic hidden Markov)モデル化（ＨＭＭ）が、２つの最も一般的に使用されるモデルであり、それらは、両方とも、技術的に精通した人達にとって周知である。
【００２１】
音響プロセッサ４は、音声認識装置２におけるフロントエンド音声分析サブシステムを表す。入力音声信号に応答して、時間変動音声信号を特徴付けることは、適切な表現を供する。背景雑音、チャンネル歪み、話者特性及び話の方法のような、関係のない情報は、廃棄すべきである。有効な音響特徴は、より高い音響弁別力を有する音声認識装置を提供するだろう。最も有用な特性は、短時間スペクトル包絡である。短時間スペクトル包絡の特徴付けにおいて、一般に使用されるスペクトル分析手法は、フィルタバンクを基盤とするスペクトル分析である。
【００２２】
多種多様のＶＲシステム（ＶＲエンジンとも呼ばれる）を組み合わせることは、向上した正確性を提供し、単一のＶＲシステムよりも入力音声信号において多量の情報を使用する。ＶＲエンジンを組み合わせるためのシステム及び方法は、２０００年７月１８日に出願された、“音声認識のための組み合わせられたエンジンシステム及び方法”と題する、米国特許出願番号、第０９／６１８１７７号、及び２０００年９月８日に出願された、“写像を使用する自動音声認識のためのシステム及び方法”と題する、米国特許出願番号、第０９／６５７７６０号に記載され、それらは、本発明の譲受人に譲渡され、この中に参考のために全面的に組み入れられる。
【００２３】
一実施形態においては、多種多様のＶＲエンジンは、分散型ＶＲシステムにおいて組み合わせられる。こうして、加入者ユニット及びネットワークサーバの両方の上にＶＲエンジンがある。加入者ユニット上のＶＲエンジンは、ローカルＶＲエンジンである。サーバ上のＶＲエンジンは、ネットワークＶＲエンジンである。ローカルＶＲエンジンは、ローカルＶＲエンジンに命令を実行するためのプロセッサ及び音声情報を蓄積するためのメモリを具備する。ネットワークＶＲエンジンは、ネットワークＶＲエンジンに命令を実行するためのプロセッサ及び音声情報を蓄積するためのメモリを具備する。
【００２４】
例示的ＤＶＲシステムは、２００１年１月５日に出願された、“分散型音声認識システムにおける音声認識を改善するためのシステム及び方法” と題する、米国特許出願番号、第０９／７５５６５１号に開示され、本発明の譲受人に譲渡され、この中に参考のために全面的に組み入れられる。
【００２５】
図２は、本発明の例示的実施形態を示す。例示的実施形態において、環境は、加入者ユニット４０及びセル基地局４２と呼ばれる中央通信センタを具備する無線通信システムである。例示的実施形態において、分散型ＶＲシステムが提示される。分散型ＶＲおいて、音響プロセッサ又は特徴抽出要素２２は、加入者ユニット４０に在り、単語復号器４８は、中央通信センタに在る。分散型ＶＲの代わりに、ＶＲが単独で加入者ユニットに実施されるならば、単語認識が高い計算コストを有するので、中程度の規模の語彙に対してでさえも、音声認識は、きわめて実行不可能であろう。他方において、ＶＲが単独で基地局に在るならば、精度は、音声符号器・復号器(codec)及びチャンネル効果に関連する音声信号の劣化により、劇的に低減させられかねない。明らかに、分散型システム設計にとっては利点がある。第１は、単語復号器ハードウェアが最早加入者ユニット４０には常駐しないので、加入者ユニットのコストの低減がある。第２は、計算的に単語復号器の動作を集約してローカルに行うことの結果から生じる、加入者ユニット４０の電池（図示されていない）の消耗の低減がある。第３は、分散型システムの柔軟性及び拡張性に加えて、認識精度の向上が期待される。
【００２６】
音声は、マイクロホン２０へ与えられ、マイクロホンは、音声信号を電気信号に変換し、電気信号は、特徴抽出要素２２へ与えられる。マイクロホン２０からの信号は、アナログ又はディジタルであってもよい。信号がアナログであるならば、そのときは、アナログ・ディジタル変換器（図示されていない）がマイクロホン２０及び特徴抽出要素２２の間に挿入されるかも知れない。音声信号は、特徴抽出要素２２へ与えられる。特徴抽出要素２２は、入力音声の言語学的翻訳を復号するために使用される入力音声の適切な特性を抽出する。音声を推定するために使用されることができる特性の一例は、入力音声フレームの周波数特性である。これは、音声の入力フレームの線形予測符号化(linear predictive coding)パラメータとしてしばしば与えられる。抽出された音声の特徴は、それから、抽出された特徴信号を符号化し、変調し、増幅し、且つ送受切換器２６を通してアンテナ２８へ特徴を供する、送信器２４へ与えられ、そして、そこで音声特徴は、セルラ基地局又は中央通信センタ４２へ送信される。技術的によく周知の種々の型のディジタル符号化、変調及び送信方式が使用されてもよい。
【００２７】
中央通信センタ４２では、送信された特徴は、アンテナ４４で受信され、受信器４６へ与えられる。受信器４６は、単語復号器４８へ供する、受信される送信された特徴を復調し且つ復号する機能を実行してもよい。単語復号器４８は、音声特徴から、音声の言語学的に推定された単語を決定し、送信器５０へ活動信号(action signal)を供する。送信器５０は、活動信号の増幅、変調及び符号化の機能を実行し、アンテナ５２へ増幅された信号を与え、そして、アンテナは、可搬型電話機（加入者ユニットの誤記であろう。）４０へ推定された単語(estimated words)又は命令信号を送信する。送信器５０は、技術的に周知のディジタル符号化、変調又は送信技術も使用してもよい。
【００２８】
加入者ユニット４０では、推定された単語又は命令信号は、アンテナ２８で受信され、そして、アンテナは、信号を復調し、復号し、且つ、それから、制御要素３８へ命令信号又は推定された単語を供する、受信器３０へ送受切換器２６を通して受信された信号を供する。受信された命令信号又は推定された単語に応じて、制御要素３８は、意図された応答（例えば，電話番号をダイアルすること、可搬型電話機上の表示画面へ情報を供すること、等）を供する。
【００２９】
一実施形態において、中央通信センタ４２から送出し返された情報は、送信された音声の翻訳である必要はなく、それどころか、中央通信センタ４２から送出し返された情報は、可搬型電話機によって送出される復号されたメッセージへの応答であり得る。例えば、誰でも、通信ネットワークを介して中央通信センタ４２に結合された遠隔応答マシーン(remote answering machine)（図示されていない）上のメッセージを聞いてもよいが、その場合において、中央通信センタ４２から加入者ユニット４０へ送信された信号は、この実施における応答マシーンからのメッセージであるかも知れない。第２の制御ユニット４９は、中央通信センタにおいて一緒に配置される。
【００３０】
ＶＲエンジンは、パルス符号変調（ＰＣＭ）信号の形式で音声データを得る。ＶＲエンジンは、有効な認識が行われるか、又はユーザが言うことを止めてしまい、全ての音声が処理されてしまうまで、信号を処理する。一実施形態において、ＤＶＲ構成は、ＰＣＭデータを得て、フロントエンド情報を発生させるローカルＶＲエンジンを含む。一実施形態において、フロントエンド情報は、ケプストラム(cepstral)パラメータである。他の一実施形態においては、フロントエンド情報は、入力音声信号を特徴付けるどのような型の情報／特徴でもあり得る。技術的に精通した人に周知のどのような型の特徴も、入力音声信号を特徴付けるために使用されてもよいことは、技術的に精通した人達によって理解される。
【００３１】
一般的な認識作業のために、ローカルＶＲエンジンは、そのメモリから訓練されたテンプレートの集合を得る。ローカルＶＲエンジンは、適用先から文法仕様を得る。適用分野は、ユーザが加入者ユニットを使用して作業を達成することを可能にするサービス論理である。この論理は、加入者ユニット上のプロセッサによって実行される。それは、加入者ユニットにおけるユーザインタフェースモジュールの成分である。
【００３２】
音声認識システムにおけるテンプレートの蓄積を改善するためのシステム及び方法は、２００１年１月１２日に出願された、“音声認識モデルの効率的蓄積のためのシステム及び方法” と題する、米国特許出願番号、第０９／７６００７６号に記載され、それは、本発明の譲受人に譲渡され、この中に参考のために全面的に組み入れられる。雑音環境及び周波数不整合状態における音声認識を改善するための、並びにテンプレートの蓄積を改善するためのシステム及び方法は、２０００年１０月３０日に出願された、“雑音環境及び周波数不整合状態における音声認識を改善するためのシステム及び方法” と題する、米国特許出願番号、第０９／７０３１９１号に記載され、それは、本発明の譲受人に譲渡され、この中に参考のために全面的に組み入れられる。
【００３３】
文法は、サブワードモデルを使用して、アクティブな(active)語彙を規定する。一般的な文法は、７桁電話番号、ドル量、及び名前の集合からの都市の名前を含む。一般的な文法仕様は、入力音声信号に基づいて確信のある認識決定が行われることができそうにない条件を表すための“語彙の範囲外（ＯＯＶ）”条件を含む。
【００３４】
一実施形態において、ローカルＶＲエンジンが文法によって規定されたＶＲ作業を扱うことができない場合、ローカルＶＲエンジンは、ローカルに認識仮説を発生させる。規定された文法が複雑過ぎてローカルＶＲエンジンによって処理することができない場合、ローカルＶＲエンジンは、フロントエンドデータをＶＲサーバへ送信する。
【００３５】
順方向リンクとは、ネットワークサーバから加入者ユニットへの送信を言い、逆方向リンクとは、加入者ユニットからネットワークサーバへの送信を言う。送信時間は、時間単位に仕切られる。一実施形態において、送信時間は、フレームに仕切られるかも知れない。他の一実施形態において、送信時間は、タイムスロットに仕切られるかも知れない。一実施形態に従えば、データは、１つ以上の時間単位に亘って、送信されている各データパケットと共に、データパケットに仕切られる。各時間単位で、基地局は、任意の加入者ユニットへデータ送信を向けることができ、そして、加入者ユニットは、基地局と通信状態に入る。一実施形態において、フレームは、複数のタイムスロットに更に仕切られるかも知れない。それでも、他の一実施形態において、タイムスロットは、更に仕切られるかも知れない。例えば、タイムスロットは、半スロット及び四半スロットに仕切られるかも知れない。
【００３６】
図３は、分散型音声認識システム１００の例示的実施形態における遅延を図示する。ＤＶＲシステム１００は、加入者ユニット１０２、ネットワーク１５０、及び音声認識（ＳＲ）サーバ１６０を具備する。加入者ユニット１０２は、ネットワーク１５０に結合され、ネットワーク１５０は、ＳＲサーバ１６０に結合される。ＤＶＲシステム１００のフロントエンドは、加入者ユニット１０２であり、そして、加入者ユニットは、特徴抽出（ＦＥ）モジュール１０４及び音声アクティブな状態検出（ＶＡＤ）モジュール１０６を具備する。ＦＥは、音声信号からの特徴抽出及び結果として得られる特徴の圧縮を行う。一実施形態において、ＶＡＤモジュール１０６は、どのフレームが加入者ユニットからＳＲサーバへ送信されるかを決定する。ＶＡＤモジュール１０６は、音声が検出されたところのフレーム及び検出された音声付きのフレームの前後に隣接するフレームを具備する分節に入力音声を分割する。一実施形態において、各分節（ＥＯＳ）の終端は、空白フレームを送出することによってペイロード(payload)に印を付けられる。
【００３７】
ＶＲフロントエンドは、音声分節を特徴付けるためにフロントエンド処理を行う。ベクトルｓは、音声信号であり、ベクトルＦ及びベクトルＶは、それぞれＦＥ及びＶＡＤベクトルである。一実施形態において、ＶＡＤベクトルは、長さ１要素(one element)であり、１要素は、２進値を中に含む。他の一実施形態において、ＶＡＤベクトルは、追加の特徴と連結された２進値である。一実施形態において、追加の特徴は、サーバによって精細な終端指摘(fine end-pointing)を可能にする帯域エネルギである。終端指摘は、無音と音声分節に入り込んだ音声信号の境界設定である。こうして、サーバは、より信頼性の高いＶＡＤ決定に到達するための追加の計算的資源を使用することができる。
【００３８】
帯域エネルギは、バーク(bark)振幅に相当する。バーク尺度(Bark scale)とは、人の聴覚に相当する臨界帯域の歪曲された周波数尺度である。バーク振幅計算は、技術的に周知であり、Ｌａｗｒｅｎｃｅ  Ｒａｂｉｎｅｒ氏及びＢｉｉｎｇ‐Ｈｗａｎｇ  Ｊｕａｎｇ氏による、音声認識の基礎（１９９３）、に記載され、そして、それは、この中に参考のために全面的に組み入れられる。一実施形態において、ディジタル化されたＰＣＭ音声信号は、帯域エネルギに変換される。
【００３９】
図３は、分散型音声認識システムの例示的実施形態における遅延を図示する。ベクトルＦ及びＶの計算並びにネットワークを介するそれらの送信における遅延は、Ｚ変換表記を使用して示される。ベクトルＦの計算に導入されたアルゴリズム待ち時間は、ｋであり、一実施形態において、ｋの範囲は、１００から３００ミリ秒である。同様に、ＶＡＤ情報を計算するためのアルゴリズム待ち時間は、ｊであり、一実施形態において、ｊの範囲は、１０から１００ミリ秒である。このように、ＦＥ特徴ベクトルは、ｋ単位の遅延で利用可能であり、ＶＡＤ情報は、ｊ単位の遅延で利用可能である。ネットワークを介する情報の送信に導入される遅延は、ｎ単位である。ネットワーク遅延は、ベクトルＦ及びＶの両方に対して同じである。
【００４０】
図４は、ＶＡＤモジュール４００のブロック図を示す。フレーム化(framing)モジュール４０２は、アナログ・ディジタル変換器（図示されていない）を含む。一実施形態において、アナログ・ディジタル変換器の出力音声標本化レートは、８キロヘルツである。他の出力標本化レートが使用され得ることは、技術的に精通した人達によっても理解される。音声標本は、部分的に重なるフレームに分割される。一実施形態において、フレーム長は、２５ミリ秒（２００標本）であり、フレームレートは、１０ミリ秒（８０標本）である。
【００４１】
一実施形態において、各フレームは、ハミング窓関数(Hamming window function)を使用して、窓掛け(windowing)モジュール４０４によって窓掛けされる。高速フーリエ変換（ＦＦＴ）モジュール４０６は、窓掛けされたフレーム毎の音量(magnitude)スペクトルを計算する。一実施形態において、長さ２５６の高速フーリエ変換は、窓掛けされたフレーム毎の音量スペクトルを計算するために使用される。一実施形態において、音量スペクトルからの第１番目の１２９個の場(bins)は、更なる処理のために保管される。パワースペクトル（ＰＳ）モジュール４０８は、音量スペクトルの平方をとることによってパワースペクトルを計算する。
【００４２】
一実施形態において、メル濾波(Mel-filtering)モジュール４０９は、全周波数範囲（０‐４０００ヘルツ）を使用してメル歪曲された(MEL-warped)スペクトルを計算する。この帯域は、メル周波数尺度で等距離の２３個のチャンネルに分割される。このように、フレーム当り２３個のエネルギ値がある。メル濾波モジュール４０９の出力は、各帯域におけるＦＦＴパワースペクトル値の加重和(weighted sum)である。メル濾波モジュール４０９の出力は、メル濾波出力の非線形変換をする対数モジュール４１０を通って送られる。一実施形態において、非線形変換は、自然対数である。他の非線形変換が使用され得ることは、技術的に精通した人達によって理解される。
【００４３】
音声アクティブな状態検出器（ＶＡＤ）サブモジュール４１２は、変換された対数モジュール４０９の出力を入力として取り込み、音声及び非音声フレームの間を区別する。ＶＡＤサブモジュール４１２は、フレームの中の音声アクティブな状態の存在を検出する。ＶＡＤサブモジュール４１２は、フレームが音声アクティブな状態を有しているか又は音声アクティブな状態を有していないかどうかを決定する。一実施形態において、ＶＡＤサブモジュール４１２は、３層のフィードフォワード神経網(Feed-Forward Neural Net)である。
【００４４】
図５は、ＶＡＤサブモジュール５００のブロック図である。一実施形態において、ダウンサンプル(downsample)モジュール４２０は、２の因子によって対数モジュールの出力をダウンサンプルする。
【００４５】
離散的コサイン変換（ＤＣＴ）モジュール４２２は、メル尺度上のダウンサンプルされた２３個の対数的エネルギからケプストラム係数を計算する。一実施形態において、ＤＣＴモジュール４２２は、１５個のケプストラム係数を計算する。
【００４６】
神経回路網（ＮＮ）モジュール４２４は、音声又は非音声である現在のフレームの後の確率の推定値(estimate)を供する。閾値モジュール４２６は、２進表現特徴に推定値を変換するためにＮＮモジュール４２４からの推定値に閾値を適用する。一実施形態においては、０．５の閾値が使用される。
【００４７】
中央値濾波器モジュール４２７は、２進表現特徴を平滑化する。一実施形態において、２進表現特徴は、１１ポイント(11-point)中央値濾波器を使用して平滑化される。一実施形態において、中央値濾波器モジュール４２７は、４０ミリ秒より少ない持続時間のどんな音声の短い休止(pause)も又は短い破裂(burst)も除去する。一実施形態において、中央値濾波器モジュール４２７は、無音から音声への遷移の前後に７個のフレームの追加もする。一実施形態において、ビットセットは、フレームが音声アクティブな状態か又は無音であるかを決定するかどうかに従う。
【００４８】
図６は、ＦＥモジュール６００のブロック図を示す。フレーム化モジュール６０２、窓掛けモジュール６０４、ＦＦＴモジュール６０６、ＰＳモジュール６０８、ＭＦモジュール６０９、及び対数モジュール６１０は、ＦＥの部分でもあり、それらがＶＡＤモジュール４００においてするように、ＦＥモジュール６００において同様な機能を果す。一実施形態において、これらの共通のモジュールは、ＶＡＤモジュール４００及びＦＥモジュール６００の間で共有される。
【００４９】
ＶＡＤサブモジュール６１２は、対数モジュール６１０に結合される。線形判別式分析（ＬＤＡ）モジュール４２８は、ＶＡＤサブモジュール６１２に結合され、ＶＡＤサブモジュール６１２の出力に帯域通過濾波器を適用する。一実施形態において、帯域通過濾波器は、ＲＡＳＴＡ濾波器である。ＶＲフロントエンドにおいて使用されることができる例示的帯域通過濾波器は、１９９５年９月１２日に出願された、“音声のパラメータ表示化(Parametrization)のための聴覚モデル”と題する米国特許第５４５０５２２号に記載されたＲＡＳＴＡ濾波器であり、そして、それは、この中に参考のために組み入れられる。
【００５０】
ダウンサンプルモジュール４３０は、ＬＤＡモジュールの出力をダウンサンプルする。一実施形態において、ダウンサンプルモジュール４３０は、２の因子によってＬＤＡモジュールの出力をダウンサンプルする。
【００５１】
離散的コサイン変換（ＤＣＴ）モジュール４２２は、メル尺度上のダウンサンプルされた２３個の対数的エネルギからケプストラム係数を計算する。一実施形態において、ＤＣＴモジュール４２２は、１５個のケプストラム係数を計算する。
【００５２】
雑音を打消すために、オンライン正規化（ＯＬＮ）モジュール４３４は、ＤＣＴモジュール４３２からのケプストラム係数に平均値及び分散正規化を適用する。ローカルの平均値及び分散の推定値は、フレーム毎に更新される。一実施形態において、実験的に決定されたバイアス(bias)は、特徴を正規化する前の分散の推定値に追加される。バイアスは、長い無音領域(region)における分散の小さな雑音推定値(small noisy estimate)の効果を削除する。動的な特徴は、正規化された静的特徴から導き出される。それは、正規化のために要求される計算を節減するのみならず、よりよい認識性能も供する。
【００５３】
特徴圧縮モジュール４３６は、特徴ベクトルを圧縮する。ビット  ストリーム  フォーマット化及びフレーム化モジュール(bit stream formatting & framing module)４３８は、は、圧縮された特徴ベクトルのビット流フォーマット化を行い、これによってそれらを送信のために用意する。一実施形態において、特徴圧縮モジュール４３６は、フォーマット化されたビット  ストリームの誤り保護を行う。
【００５４】
ＦＥモジュール６００は、ベクトルＦＺ-k及びベクトルＶＺ-jを連結する。このように、各ＦＥ特徴ベクトルは、ベクトルＦＺ-k及びベクトルＶＺ-jの連結を具備する。
【００５５】
本発明において、ＶＡＤ出力は、ペイロードに先行して送信され、そして、それは、ＶＡＤのフロントエンド処理がＦＥのフロントエンド処理より短い（ｊ＜ｋ）ので、ＤＶＲシステムの全体的な待ち時間を低減させる。
【００５６】
一実施形態において、サーバ上を動作しているアプリケーションは、ベクトルＶがＳhangover期間の時間より長い無音を表示するときユーザの発声の終端を決定することかできる。Ｓhangoverは、発声捕獲が完了するためのアクティブな音声に続く無音持続時間の量である。Ｓhangoverは、発声において許容される組み込まれた無音より大きくなければならない。Ｓhangover＞ｋであるならば、ＦＥアルゴリズム待ち時間は、応答時間を増加させないだろう。一実施形態において、時間ｔ‐ｋに相当するＦＥ特徴及び時間ｔ‐ｊに相当するＶＡＤ特徴は、延長されたＦＥ特徴を形成するために組み合わせられる。ＶＡＤ出力は、利用できるときに送信され、ＦＥ出力が送信のために利用できるときには依存しない。ＶＡＤ出力及びＦＥ出力は、両方とも、送信ペイロードと同期させられる。一実施形態において、音声の各分節に相当する情報は、送信され、即ち、打ち切りになるフレームはない。
【００５７】
他の一実施形態において、チャンネル帯域幅は、無音期間の間低減させられる。ベクトルＦは、ベクトルＶが無音領域を表示するとき、より低いビットレートで量子化される。これは、ビットレートが音声アクティブな状態検出に基づいて変更させられる所では、可変レート及び多レート(variable rate and multi-rate)ボコーダと同様である。ＶＡＤ出力及びＦＥ出力は、両方とも、送信ペイロードと同期させられる。音声の各分節に相当する情報は、送信される。このように、ＶＡＤ出力は、送信されるが、ビットレートは、無音を伴うフレーム上で低減させられる。
【００５８】
しかも、他の一実施形態においては、音声フレームだけがサーバへ送信される。このように、無音を伴うフレームは、完全に打ち切られる。音声フレームだけがサーバへ送信されるので、ユーザが話しを終了したことを決定する方法を、サーバは、必要になる。これは、待ち時間ｋ、ｊ及びｎの値には関係がない。“ポートランド(Portland)＜休止＞メイン(Maine)”又は“６１７‐５５５‐＜休止＞１２１２”のような多単語(multi-word)を想定されたい。個別のチャンネルは、ＶＡＤ情報を送信するために使用される。＜休止＞領域に相当するＦＥ特徴は、加入者ユニットで打ち切られ、サーバは、その個別のチャンネルなしにユーザが話しを終了したことを推測するための何の情報も有しない。この実施形態は、ＶＡＤ情報を送信するための個別のチャンネルを有する。
【００５９】
他の一実施形態において、認識器の状態は、図７おける状態図並びに表１における事象及び活動に従って、ユーザの音声において長い休止があるときでさえも維持される。音声アクティブな状態が検出されるとき、打ち切られたフレームに相当するＥＦフレーム６００の平均ベクトル及び打ち切られたフレームの全数は、音声フレームを送信する前に送信される。更に、無音のＳhangoverフレームが観察されたことを、モバイルが検出するとき、ユーザの発声の終端が検出される。一実施形態において、音声フレーム及び打ち切られたフレームの全数は、同じチャンネル上でＦＥモジュール６００の平均ベクトルと一緒にサーバへ送信される。このように、ペイロードは、特徴及びＶＡＤ出力の両方を含む。一実施形態において、ＶＡＤ出力は、音声の終端を表示するためにペイロードにおいて最後に送出される。
【００６０】
一般的な発声に対して、ＶＡＤモジュール４００は、遊休(idle)状態７０２で開始し、事象Ａにより最初の無音状態７０４へ行くだろう。最初の無音状態におけるモジュールを去る少数のＢ事象があり得る。音声が検出されるとき、事象Ｃは、アクティブな音声状態７０６への遷移を生じさせる。モジュールは、そこで、アクティブな音声７０６及び組み込まれた無音状態７０８の間で、事象Ｄ及びＥを切り換える。組み込まれた無音がＳhangoverより長いときは、発声の終端は検出され、事象Ｆは遊休状態７０２への遷移を生じさせる。事象Ｚは、発声における最初の長い無音を表す。それは、ユーザの音声が検出されないとき、誤り状態をタイムアウト(TIME_OUT)にするのを容易にする。事象Ｘは、所与の状態を中途終了し、遊休状態７０２へモジュールを復帰させる。これは、事象を開始したユーザ又はシステムであることができる。
【００６１】
図８は、時系列上の音声及びＶＡＤ事象の部分を示す。図８、頁５（概要）、及び表２を参照すると、状態遷移を生じさせる事象は、ＶＡＤモジュール４００に関して示されている。
【表１】
2004527006.tif 000003
【００６２】
表１において、Ｓbefore及びＳafterは、アクティブな音声の前後にサーバへ送信される無音フレームの数である。
【００６３】
モバイル上の相当する活動を示す状態図及び事象の表から、状態遷移を開始するのに使用される幾つかの閾値があることは明白である。これらの閾値に対する確かなデフォルト値を使用することは可能である。しかしながら、表１に示される閾値に対する他の値が使用されてもよいことは、技術的に精通した人達によって理解される。
【００６４】
更に、サーバは、適用分野によって決まるデフォルト値を変更することができる。デフォルト値は、表２に特定されるようにプログラム可能である。
【表２】
2004527006.tif 000004
【００６５】
2004527006.tif 000005
【００６６】
一実施形態において、最小発声持続時間Ｓminは、約１００ミリ秒である。一実施形態において、アクティブな音声に先立って送信される無音領域の量Ｓbeforeは、約２００ミリ秒である。一実施形態において、アクティブな音声に続き送信される無音領域の量Ｓafterは、約２００ミリ秒である。一実施形態において、発声捕獲が完了するためのアクティブな音声に続く無音持続時間の量Ｓhangoverは、ＶＲ適用に依存して、５００ミリ秒から１５００ミリ秒の間にある。一実施形態において、８ビットカウンタは、秒当り１００フレームで２．５秒のＳmaxsilを可能にする。一実施形態において、アクティブな音声の前後に期待される最小無音持続時間Ｓminsilは、約２００ミリ秒である。
【００６７】
こうして、斬新で且つ改善された、音声認識のための方法及び装置は、説明されてきた。技術的に精通した人達は、この中に開示された実施形態に関連して説明された種々の例示的な論理ブロック，モジュール、及び配置が、電子的ハードウェア、コンピュータソフトウェア、又は両方の組み合わせとして実施され得ることを理解するであろう。種々の例示的な部品，ブロック、モジュール、回路、及びステップは、それらの機能性の点から、全般的に説明されてきた。機能がハードウェア及びソフトウェアとして実施されるかどうかは、全システム上に課せられた特殊な用途上及び設計上の拘束に基づく。精通した技術者は、このような事情の下でハードウェア又はソフトウェアの互換性、及び、それぞれの特殊な用途について説明された機能を如何にして最良に実施するか、を認識する。例として、この中に開示された実施形態に関連して説明された種々の例示的な論理ブロック、モジュール、及び配置は、ファームウェア指令の集合を実行するプロセッサ、特定用途集積回路（ＡＳＩＣ）、現場プログラム可能ゲートアレー（ＦＰＧＡ）又は他のプログラム可能な論理装置、個別ゲート又はトランジスタ論理回路、例えばレジスタのような個別ハードウェア部品、任意の従来のプログラム可能なソフトウェアモジュール及びプロセッサ、又はこの中に説明された機能を果たすために設計されたこれらの任意の組み合わせを用いて実施され又は遂行されてもよい。ＶＡＤモジュール４００及びＦＥモジュール６００は、マイクロプロセッサにおいて有利に実行されるかも知れないが、別法として、ＶＡＤモジュール４００及びＦＥモジュール６００は、任意の従来のプロセッサ、コントローラ、マイクロコントローラ、又はステートマシン(state machine)において実行されてもよい。テンプレートは、ＲＡＭメモリ，フラッシュメモリ、ＲＯＭメモリ、ＥＰＲＯＭメモリ、ＥＥＰＲＯＭメモリ、レジスタ、ハードディスク、着脱可能ディスク、ＣＤ‐ＲＯＭ、又は技術的に周知の任意の他の形状の蓄積媒体に、在ることができるだろう。メモリ（図示されていない）は、前に述べたどのようなプロセッサ（図示されていない）にも一体化されてもよい。プロセッサ（図示されていない）及びメモリ（図示されていない）は、ＡＳＩＣ（図示されていない）に在ってもよい。ＡＳＩＣは、電話機に在ってもよい。
【００６８】
前に述べた本発明の実施形態の説明は、技術的に精通したどのような人でも本発明を製品化し又は使用することを可能にするように提供される。これらの実施形態の種々の変更は、技術的に精通した人達にとって容易に明白であり，この中に定義された一般的な原理は、創意に富む能力を使用しなくても他の実施形態に適用されるかも知れない。こうして、本発明は、この中に示された実施形態に限定されるように意図されるものではなく、この中に開示された原理及び斬新な特徴と矛盾がない最も広い範囲と一致するものである。
【図面の簡単な説明】
【００６９】
【図１】図１は、一実施形態に従う音響プロセッサ及び単語復号器を含む音声認識システムを示す。
【図２】図２は、分散型音声認識システムの例示的実施形態を示す。
【図３】図３は、分散型音声認識システムの例示的実施形態における遅延を図示する。
【図４】図４は、一実施形態に従うＶＡＤモジュールのブロック図を示す。
【図５】図５は、一実施形態に従うＶＡＤサブモジュールのブロック図を示す。
【図６】図６は、一実施形態に従うＦＥモジュールのブロック図を示す。
【図７】図７は、一実施形態に従うＶＡＤモジュール状態図を示す。
【図８】図８は、一実施形態に従う時系列上の音声及びＶＡＤ事象の部分を示す。
【図１】
2004527006.tif 000006
【図２】
2004527006.tif 000007
【図３】
2004527006.tif 000008
【図４】
2004527006.tif 000009
【図５】
2004527006.tif 000010
【図６】
2004527006.tif 000011
【図７】
2004527006.tif 000012
【図８】
2004527006.tif 000013
【国際公開パンフレット】
2004527006.tif 000014
2004527006.tif 000015
2004527006.tif 000016
2004527006.tif 000017
2004527006.tif 000018
2004527006.tif 000019
2004527006.tif 000020
2004527006.tif 000021
2004527006.tif 000022
2004527006.tif 000023
2004527006.tif 000024
2004527006.tif 000025
2004527006.tif 000026
2004527006.tif 000027
2004527006.tif 000028
2004527006.tif 000029
2004527006.tif 000030
2004527006.tif 000031
2004527006.tif 000032
2004527006.tif 000033
2004527006.tif 000034
2004527006.tif 000035
2004527006.tif 000036
2004527006.tif 000037
2004527006.tif 000038
2004527006.tif 000039
2004527006.tif 000040
2004527006.tif 000041
2004527006.tif 000042
2004527006.tif 000043
【国際調査報告】
2004527006.tif 000044
2004527006.tif 000045
2004527006.tif 000046