(57)【要約】【課題】  サーチ空間を縮小するのではないフォルマント追跡システムを提供する。【解決手段】  フォルマント追跡の方法は、サーチされるフォルマントの組を含むフォルマントサーチ空間を定義する。各フォルマントは、その発話中の第１のフレームでは符号帳を使用してそのフォルマントサーチ空間全体をサーチすることによって識別され、残りのフレームでは、符号帳、および隣接するフレームにまたがる連続性制約条件の両方を使用して同じ空間をサーチすることによって識別される。一実施形態によれば、これらのフォルマントは、フォルマントの組を特徴ベクトルにマッピングし、それらの特徴ベクトルをモデルに適用することによって識別される。また、フォルマントは、モデルによって必要とされる連続性制約条件を最適に満たす最善のシーケンスをサーチする動的プログラミングを適用することによっても識別される。【選択図】  図３
2004310091.tif 000002
【特許請求の範囲】
【請求項１】
音声信号中のフォルマント追跡の方法であって、
１つのフォルマントの組を含むフォルマントサーチ空間を定義するステップと、
前記フォルマントサーチ空間全体を使用して前記音声信号の第１のフレーム中のフォルマントを識別するステップと、
前記フォルマントサーチ空間全体を使用して前記音声信号の第２のフレーム中のフォルマントを識別するステップと
を含むことを特徴とする方法。
【請求項２】
前記音声信号の第１のフレーム中のフォルマントを識別するステップが、１つのフォルマントの組と１つの特徴ベクトルの間のマッピングを利用するステップを含むことを特徴とする請求項１に記載の方法。
【請求項３】
前記音声信号の第１のフレーム中のフォルマントを識別するステップが、前記音声信号の１フレームを表す１つの入力特徴ベクトルと１つのフォルマントの組からマッピングされた１つの特徴ベクトルの間の差異をモデル化する残差モデルを利用するステップをさらに含むことを特徴とする請求項２に記載の方法。
【請求項４】
期待値最大化アルゴリズムを使用して前記残差モデルに学習させることを特徴とする請求項３に記載の方法。
【請求項５】
前記残差モデルを利用するステップが、前記フォルマントサーチ空間中の前記フォルマントの組のそれぞれからマッピングされた特徴ベクトルを前記残差モデルに順次適用して、各フォルマントの組ごとの確率を識別するステップを含むことを特徴とする請求項３に記載の方法。
【請求項６】
フォルマントの組の確率を識別するステップが、前のフレームで識別された１つのフォルマントの組から前記第１のフレーム中の前記フォルマントの組への遷移の確率を求めるステップをさらに含むことを特徴とする請求項５に記載の方法。
【請求項７】
前記音声信号中のフレームシーケンスでの、複数のフォルマントの組のシーケンスのそれぞれの全確率を識別するステップをさらに含むことを特徴とする請求項６に記載の方法。
【請求項８】
前記第１のフレームでの１つのフォルマントの組を識別するステップが、最高の全確率を有する前記フォルマントの組のシーケンスを選択するステップを含むことを特徴とする請求項７に記載の方法。
【請求項９】
前記第１のフレームでの１つのフォルマントの組を識別するステップが、前記フォルマントの組のシーケンスのそれぞれでの第１のフレームに整列させた前記フォルマントの組を使用して最小平均二乗誤差計算を行うステップを含むことを特徴とする請求項７に記載の方法。
【請求項１０】
音声信号の１フレームを表す１つの入力特徴ベクトルを受け取るステップと、
１つのフォルマントの組を１つのシミュレートされた特徴ベクトルにマッピングするステップと、
前記入力特徴ベクトルおよび前記シミュレートされた特徴ベクトルをモデルに適用して、前記フォルマントの組が前記音声信号の前記フレーム中に存在する確率を求めるステップと
を実施するコンピュータ実行可能命令を含むことを特徴とするコンピュータ可読媒体。
【請求項１１】
１つのフォルマントの組をマッピングするステップが、前記１つのフォルマントの組から伝達関数を求めるステップと、前記伝達関数に基づいてスペクトル分布を生成するステップと、前記スペクトル分布に基づいて１つの特徴ベクトルを作成するステップとを含むことを特徴とする請求項１０に記載のコンピュータ可読媒体。
【請求項１２】
１つのフォルマントの組をマッピングするステップが、１つの入力特徴ベクトルを受け取るステップの前に、複数のフォルマントの組を複数のシミュレートされた特徴ベクトルにマッピングするステップを含むことを特徴とする請求項１０に記載のコンピュータ可読媒体。
【請求項１３】
前記複数のシミュレートされた特徴ベクトルおよび学習用音声信号から生成された複数の学習特徴ベクトルを使用して前記モデルに学習させるステップをさらに含むことを特徴とする請求項１２に記載のコンピュータ可読媒体。
【請求項１４】
１つのフォルマントの組を識別するステップが、最高の確率を有する前記フォルマントの組を前記フレームでの前記フォルマントの組として識別するステップを含むことを特徴とする請求項１２に記載のコンピュータ可読媒体または請求項５に記載の方法。
【請求項１５】
１つのフォルマントの組を識別するステップが、前記フォルマントの組の前記確率を使用して最小平均二乗誤差計算を実施するステップを含むことを特徴とする請求項１２に記載のコンピュータ可読媒体または請求項５に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は音声認識システムに関し、詳細には、音声中のフォルマントを利用する音声認識システムに関する。
【背景技術】
【０００２】
人間の音声では、大量の情報が、その音声信号の最初の３つの共振周波数またはフォルマントに含まれる。具体的には、話者が母音を発音している場合、そのフォルマントの周波数および帯域幅はどの母音が発せられているかを示す。
【０００３】
フォルマントを検出するために、従来技術の諸システムは、その音声信号の１フレームのスペクトル内容を分析した。フォルマントはどの周波数にもあり得るので、従来技術では、最大尤度のフォルマント値を識別する前にそのサーチ空間を限定しようと試みている。従来技術の一部のシステムによれば、そのフレームのスペクトル内容中の山を識別することによって可能なフォルマントのサーチ空間が縮小される。これは、通常、その音声信号の１フレームのスペクトル内容を表す多項式を見出そうとする線形予測符号化（ＬＰＣ）を使用して行われる。この多項式の各根はそれぞれ、その信号中の可能な共振周波数、したがって、可能なフォルマントを表す。したがって、ＬＰＣを使用すると、サーチ空間はそのＬＰＣ多項式の根を形成する周波数にまで縮小される。
【０００４】
従来技術の他のフォルマント追跡システムでは、フレームのスペクトル内容を、そこでのフォルマントが専門家によって識別されている１組のスペクトルテンプレートと比較することによってサーチ空間が縮小される。次いで、最も近い「ｎ」個のテンプレートが選択され、それを使用してそのフレームのフォルマントが計算される。したがって、これらのシステムは、それらの最も近いテンプレートに関連するフォルマントにまでサーチ空間を縮小する。
【発明の開示】
【発明が解決しようとする課題】
【０００５】
サーチ空間を縮小するシステムは効率よく動作するが、それらは、サーチ空間を縮小する際に実際のフォルマントの周波数を除外し得るので、誤りを生じやすい。さらに、サーチ空間は入力信号に基づいて縮小されるので、その入力信号の異なるフレーム中のフォルマントは、異なるフォルマントサーチ空間を使用して識別される。これは、可能な誤りの別の層をサーチプロセスに導入するので理想的とは言えない。
【０００６】
したがって、音声信号の異なるフレーム中のフォルマントが異なるフォルマントサーチ空間を使用して識別されるようにサーチ空間を縮小するのではないフォルマント追跡システムが求められている。
【課題を解決するための手段】
【０００７】
フォルマント追跡の方法は、サーチされるフォルマントの組を含むフォルマントサーチ空間を定義する。そのフォルマントサーチ空間全体をサーチすることによって、第１のフレームおよび第２のフレームでのフォルマントが識別される。一実施形態によれば、フォルマントの組を特徴ベクトルにマッピングし、その特徴ベクトルをモデルに適用することによってフォルマントが識別される。
【発明を実施するための最良の形態】
【０００８】
図１に本発明が実施することのできる適切な計算処理システム環境１００の一例を示す。計算処理システム環境１００は適切な計算処理環境の一例にすぎず、本発明の使用または機能の範囲に関するどのような限定も示唆するものではない。また計算処理システム環境１００は、例示的動作環境１００に示す構成要素のどの１つまたは組合せに関連するどのような依存性も要件も持たないものであると解釈すべきである。
【０００９】
本発明は、他の多数の汎用または専用計算処理システム環境または構成と共に動作する。本発明と共に使用するのに適した公知の計算処理システム、環境および／または構成の例には、それだけに限らないが、パーソナルコンピュータ、サーバコンピュータ、ハンドヘルドまたはラップトップ装置、マルチプロセッサシステム、マイクロプロセッサベースのシステム、セットトップボックス、プログラム可能家庭電化製品、ネットワークＰＣ、ミニコンピュータ、メインフレームコンピュータ、電話技術システム、前述のシステムまたは装置のいずれかを含む分散計算処理環境などが含まれる。
【００１０】
本発明は、コンピュータによって実行される、プログラムモジュールなどのコンピュータ実行可能命令の一般的状況で説明することができる。一般に、プログラムモジュールには、個々のタスクを実行し、または個々の抽象データ型を実施するルーチン、プログラム、オブジェクト、コンポーネント、データ構造などが含まれる。本発明は、通信ネットワークを介してリンクされたリモート処理装置によってタスクが実行される分散計算処理環境で実施するように設計される。分散計算処理環境では、プログラムモジュールは、記憶装置を含むローカルとリモート両方のコンピュータ記憶媒体に位置する。
【００１１】
図１を参照すると、本発明を実施する例示的システムは、コンピュータ１１０の形で汎用計算処理装置を含む。コンピュータ１１０の構成要素には、それだけに限らないが、処理装置１２０、システムメモリ１３０、システムメモリを含む様々なシステム構成要素を処理装置１２０に結合するシステムバス１２１が含まれ得る。システムバス１２１は、メモリバスまたはメモリ制御メカニズム（メモリコントローラ）、周辺バス、および各種バスアーキテクチャのいずれかを使用するローカルバスを含めて、いくつかのタイプのバス構造のいずれでもよい。例を挙げると、それだけに限らないが、そうしたアーキテクチャには、ＩＳＡ（産業標準アーキテクチャ）バス、ＭＣＡ（マイクロチャネルアーキテクチャ）バス、ＥＩＳＡ（拡張ＩＳＡ）バス、ＶＥＳＡ（ビデオ電子装置規格化協会）ローカルバス、メザニン（Ｍｅｚｚａｎｉｎｅ）バスとも呼ばれるＰＣＩ（周辺装置相互接続）バスが含まれる。
【００１２】
コンピュータ１１０は、通常、様々なコンピュータ可読媒体を含む。コンピュータ可読媒体は、コンピュータ１１０からアクセスすることのできる任意の使用可能な媒体とすることができ、それには揮発性と不揮発性媒体の両方、取り外し可能と取り外し不能媒体の両方が含まれる。例を挙げると、それだけに限らないが、コンピュータ可読媒体には、コンピュータ記憶媒体および通信媒体が含まれ得る。コンピュータ記憶媒体には、コンピュータ可読命令、データ構造、プログラムモジュールその他のデータなどの情報の記憶のための任意の方法または技術で実施される、揮発性と不揮発性の両方、取り外し可能と取り外し不能の両方の媒体を含む。コンピュータ記憶媒体には、それだけに限らないが、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリその他のメモリ技術、ＣＤ−ＲＯＭ、ＤＶＤ（デジタル多用途ディスク）その他の光ディスク記憶、磁気カセット、磁気テープ、磁気ディスク記憶その他の磁気記憶装置、または所望の情報を記憶するのに使用することができ、コンピュータ１１０からアクセスすることのできる他の任意の媒体が含まれる。
【００１３】
通信媒体は、通常、コンピュータ可読命令、データ構造、プログラムモジュールその他のデータを、搬送波その他の搬送メカニズムなど変調されたデータ信号として実施し、任意の情報送達媒体を含む。「変調されたデータ信号」という用語は、その特性セットの１つまたは複数を備える信号、またはその信号中の情報を符号化するように変更された信号を意味する。例を挙げると、それだけに限らないが、通信媒体には、有線ネットワークや直接配線接続などの有線媒体、および音響、無線周波数、赤外線およびその他の無線媒体などの無線媒体が含まれる。また、上記のいずれかの組合せもコンピュータ可読媒体の範囲内に含むべきである。
【００１４】
システムメモリ１３０は、読取り専用メモリ（ＲＯＭ）１３１やランダムアクセスメモリ（ＲＡＭ）１３２など、揮発性および／または不揮発性メモリの形でコンピュータ記憶媒体を含む。始動時などに、コンピュータ１１０内の要素間での情報転送を支援する基本ルーチンを含む基本入出力システム（ＢＩＯＳ）１３３は、通常、ＲＯＭ１３１に記憶される。ＲＡＭ１３２は、通常、処理装置１２０から直接アクセス可能な、かつ／または現在それによって操作されているデータおよび／またはプログラムモジュールを含む。例として、それだけに限らないが、図１に、オペレーティングシステム１３４、アプリケーションプログラム１３５、その他のプログラムモジュール１３６、およびプログラムデータ１３７を示す。
【００１５】
コンピュータ１１０は、他の取り外し可能／取り外し不能、揮発性／不揮発性コンピュータ記憶媒体を含むこともできる。例を示すにすぎないが、図１に、取り外し不能、不揮発性磁気媒体からの読取りまたはそれへの書込みを行うハードディスクドライブ１４１、取り外し可能、不揮発性磁気ディスク１５２からの読取りおよびそれへの書込みを行う磁気ディスクドライブ１５１、およびＣＤ−ＲＯＭその他の光ディスクなど取り外し可能、不揮発性光ディスク１５６からの読取りおよびそれへの書込みを行う光ディスクドライブ１５５を示す。この例示的動作環境で使用することのできる他の取り外し可能／取り外し不能、揮発性／不揮発性コンピュータ記憶媒体には、それだけに限らないが、磁気テープカセット、フラッシュメモリカード、ＤＶＤ（デジタル多用途ディスク）、デジタルビデオテープ、固体ＲＡＭ、固体ＲＯＭなどが含まれる。ハードディスクドライブ１４１は、通常、インターフェース１４０などの取り外し不能メモリインターフェースを介してシステムバス１２１接続され、磁気ディスクドライブ１５１および光ディスクドライブ１５５は、通常、インターフェース１５０などの取り外し可能メモリインターフェースによってシステムバス１２１に接続される。
【００１６】
前述のおよび図１に示す各ドライブおよびそれに関連するコンピュータ記憶媒体は、コンピュータ１１０のためのコンピュータ可読命令、データ構造、プログラムモジュールその他のデータの記憶を提供する。図１では、例えば、ハードディスクドライブ１４１は、オペレーティングシステム１４４、アプリケーションプログラム１４５、その他のプログラムモジュール１４６、およびプログラムデータ１４７を記憶するものとして示されている。これらの構成要素は、オペレーティングシステム１３４、アプリケーションプログラム１３５、その他のプログラムモジュール１３６、およびプログラムデータ１３７と同じでも、それらと異なっていてもよい。オペレーティングシステム１４４、アプリケーションプログラム１４５、その他のプログラムモジュール１４６、およびプログラムデータ１４７には、それらが少なくとも異なるコピーであることを示すために、ここでは異なる番号が与えられている。
【００１７】
ユーザは、キーボード１６２、マイク１６３、およびマウス、トラックボール、タッチパッドといったポインティング装置１６１などの入力装置を介してコンピュータ１１０にコマンドおよび情報を入力することができる。他の入力装置（図示せず）には、ジョイスティック、ゲームパッド、衛星通信アンテナ、スキャナなどが含まれ得る。上記その他の入力装置は、しばしば、システムバスに結合されたユーザ入力インターフェース１６０を介して処理装置１２０に結合されるが、それらを、パラレルポート、ゲームポート、ＵＳＢ（ユニバーサルシリアルバス）など、他のインターフェースおよびバス構造によって接続することもできる。ビデオインターフェース１９０などのインターフェースを介して、システムバス１２１にモニタ１９１または他のタイプの表示装置を接続することもできる。モニタ以外に、コンピュータは、スピーカ１９７や印刷装置１９６など他の周辺出力装置を含むこともでき、それらは出力周辺インターフェース１９５を介して接続することができる。
【００１８】
コンピュータ１１０は、リモートコンピュータ１８０など、１つまたは複数のリモートコンピュータへの論理接続を使用するネットワークで接続された環境で動作する。リモートコンピュータ１８０は、パーソナルコンピュータ、ハンドヘルド装置、サーバ、ルータ、ネットワークＰＣ、ピア装置その他の一般のネットワークノードとすることができ、通常は、コンピュータ１１０に関連して前述した各要素の多くまたはすべてを含む。図１に示す論理接続はローカルエリアネットワーク（ＬＡＮ）１７１および広域ネットワーク（ＷＡＮ）１７３を含むが、他のネットワークも含むことができる。そうしたネットワークで接続された環境は、事務所、企業規模コンピュータネットワーク、イントラネットおよびインターネットでは一般的な物である。
【００１９】
ＬＡＮネットワーク化環境で使用される場合、コンピュータ１１０はネットワークインターフェースまたはアダプタ１７０を介してＬＡＮ１７１に接続される。ＷＡＮネットワーク化環境で使用される場合、コンピュータ１１０は、通常、インターネットなどのＷＡＮ１７３を介して通信を確立するためにモデム１７２または他の手段を含む。モデム１７２は、内蔵でも外付けでもよく、ユーザ入力インターフェース１６０またはその他適切なメカニズムを介してシステムバス１２１に接続することができる。ネットワークで接続された環境では、コンピュータ１１０に関連して示すプログラムモジュール、またはそれらの一部は、リモートの記憶装置に記憶することもできる。例として、それだけに限らないが、図１に、リモートアプリケーションプログラム１８５をリモートコンピュータ１８０上にあるものとして示す。図示のネットワーク接続は例示的な物であり、コンピュータ間で通信リンクを確立する他の手段を使用することもできることが理解されるであろう。
【００２０】
図２は、人間の音声の一部の周波数スペクトルを示すグラフである。図２では、横軸２００に沿って周波数を示し、縦軸２０２に沿って周波数成分の振幅を示す。図２のグラフには、人間の音声が、第１のフォルマント２０４、第２のフォルマント２０６、第３のフォルマント２０８、および第４のフォルマント２１０などの共鳴またはフォルマントを含むことが示されている。各フォルマントは、その中心周波数Ｆ、およびその帯域幅Ｂで表される。
【００２１】
本発明は、音声信号中のフォルマント周波数および帯域幅を識別する方法を提供する。図３に、それらの方法の全体的流れ図を示す。
【００２２】
図３のステップ３００では、可能なフォルマント周波数および帯域幅を量子化して１組の量子化された値を形成し、次いでその量子化された値での異なる組合せの諸エントリを形成することによってフォルマント符号帳を作成する。したがって、その結果生じる符号帳は、フォルマント周波数および帯域幅のベクトルであるエントリを含む。例えば、その符号帳が３つのフォルマントのエントリを含む場合は、符号帳中のｉ番目のエントリｘ［ｉ］は、［Ｆ１ｉ，Ｂ１ｉ，Ｆ２ｉ，Ｂ２ｉ，Ｆ３ｉ，Ｂ３ｉ］のベクトルになるはずであり、その場合、Ｆ１ｉ、Ｆ２ｉ、Ｆ３ｉは、第１、第２および第３のフォルマントの周波数であり、Ｂ１ｉ、Ｂ２ｉ、Ｂ３ｉは、第１、第２および第３のフォルマントの帯域幅である。
【００２３】
一実施形態によれば、これらのフォルマントおよび帯域幅は、下記の表１の各エントリに従って量子化される。表中、Ｍｉｎ（Ｈｚ）はフォルマントまたは帯域幅のヘルツ単位の最小値であり、Ｍａｘ（Ｈｚ）はヘルツ単位の最大値であり、「Ｎｕｍ．Ｑｕａｎｔ．」は量子化状態数である。大部分の実施形態では、各範囲内のフォルマント周波数をメル周波数尺度にマッピングし、次いで、それを等分に量子化する。帯域幅では、最大と最小の間の範囲を量子化状態数で除算して各量子化状態間の分離を実現する。例えば、表１の帯域幅Ｂ１では、２６０Ｈｚの範囲を５つの量子化状態で均等に除算し、各状態がそれ以外の状態から６５Ｈｚずつ隔てられるようにする（すなわち、４０、１０５、１７０、２３５、３００）。
【００２４】
【表１】
2004310091.tif 000003
【００２５】
表１の量子化状態数は、合計百万組の異なるフォルマントを生じ得る。しかし、Ｆ１＜Ｆ２＜Ｆ３という制約条件のために、この符号帳によって定義されるフォルマントサーチ空間には７６７，５００組のフォルマントだけしかない。
【００２６】
符号帳を形成した後、ステップ３０２で、この符号帳中の各エントリｘ［ｉ］をシミュレートされた特徴ベクトルＦ（ｘ［ｉ］）にマッピングする。本発明の一実施形態によるこのステップの実施に使用される要素を図４に示す。
【００２７】
図４の実施形態によれば、まず、符号帳４００中の１エントリのシミュレートされた特徴ベクトルを、そのエントリに基づくｚ伝達関数４０２を生成することによって形成する。このｚ伝達関数は、そのエントリでのフォルマントだけに基づく音声生成システムの全極モデルを表す。具体的にはｚ伝達関数は以下のように定義される。
【００２８】
【数１】
2004310091.tif 000004
【００２９】
式中、Ｈ（ｚ）はこの伝達関数であり、Ｇはゲイン値であり、大部分の実施形態では１に設定される。また、
【００３０】
【数２】
2004310091.tif 000005
【００３１】
であり、式中、ｆは周波数であり、ＦＳは入力音声信号のサンプリングに使用されるサンプリング周波数であり、Ｆｋはそのエントリ中のＫフォルマントのｋ番目のフォルマントの周波数であり、Ｂｋはｋ番目のフォルマントの帯域幅である。
【００３２】
次いで、伝達関数Ｈ（ｚ）を使用して、そのエントリ中のフォルマントだけで構成される音声信号の周波数内容を表すシミュレートされたスペクトル分布４０４を生成する。これは、複数の異なる周波数ｆのＨ（ｚ）値を計算することによって行う。
【００３３】
次いで、このスペクトル分布を１組のフィルタバンク４０６に適用し、当分野で周知のように、そこでそのスペクトル分布中の特定の周波数帯を強調する。次いで、そのフィルタリングされた分布を離散コサイン変換関数４０８に当てはめ、そこでそのエントリの特徴ベクトル４１０を生成する。最初の特徴ベクトルは、通常、その音声信号への直流（ｄ．ｃ．）または０Ｈｚの寄与の要素を含む。システムの性能を向上させるために、本発明の大部分の実施携帯では、この要素を特徴ベクトルから除去する。
【００３４】
符号帳中の各エントリごとに前述のプロセスを繰り返して、各エントリごとに別々のシミュレートされた特徴ベクトルを生成する。
【００３５】
シミュレートされた特徴ベクトルＦ（ｘ［ｉ］）４１０を形成した後、ステップ３０４で、それらを使用して残差モデルに学習させる。残差モデルは、１組の観測された学習用特徴ベクトルとシミュレートされた特徴ベクトルとの間の差異のモデルである。式で表すと、以下のとおりである。
ｒｔ＝ｏｔ−Ｆ（ｘ）                                      式４
式中、ｒｔは残差であり、ｏｔは時間ｔにおける観測された学習用特徴ベクトルであり、Ｆ（ｘ）はシミュレートされた特徴ベクトルである。
【００３６】
一実施形態によれば、ｒｔは、平均μおよび共分散Σを有する単一ガウス分布としてモデル化され、その場合μはその特徴ベクトルの各成分ごとに別々の平均を有するベクトルであり、Σはその特徴ベクトルの各成分ごとに別々の値を有する対角共分散行列である。
【００３７】
残差モデルの学習に使用する観測された学習用特徴ベクトルを生成するために、話者４１２は音響信号を生成し、それがマイク４１６によって検出される。マイク４１６は相加性雑音４１４も検出する。マイク４１６は音響信号をアナログ電気信号に変換し、それがアナログ／デジタル（Ａ／Ｄ）変換メカニズム（メカニズムを機構と証することがある）４１８に提供される。このアナログ信号がＡ／Ｄ変換メカニズム４１８によってサンプリング周波数ＦＳでサンプリングされ、その結果生じるサンプルがデジタル値に変換される。一実施形態では、Ａ／Ｄ変換メカニズム４１８は、１サンプル当たり１６ビット、１６ｋＨｚでアナログ信号をサンプリングし、それによって毎秒３２キロバイトの音声データを作成する。このデジタルサンプルがフレーム作成メカニズム４２０に提供され、そこでこのサンプルがフレームにグループ化される。一実施形態によれば、フレーム作成メカニズム４２０は、１０ミリ秒ごとに、２５ミリ秒分のデータを含む新しいフレームを作成する。
【００３８】
各データフレームは特徴抽出メカニズム４２２に提供される。これは、一実施形態では、高速フーリエ変換（ＦＦＴ）４２４、フィルタバンク４２６および離散コサイン変換４２８からなる。ＦＦＴ４２４は時間領域デジタル値を、そのフレームのスペクトル内容を表す１組の周波数領域デジタル値に変換する。次いで、そのスペクトル内容は、フィルタバンク４２６および離散コサイン変換４２８を通過し、そこで、フィルタバンク４０６および離散コサイン変換４０８がフォルマント符号帳中の各エントリのスペクトル分布をフィルタリングし、変換するのと同様の方式でフィルタリングされ、変換される。離散コサイン変換４２８の出力は、学習用音声信号を表す１組の学習用特徴ベクトル４３０である。学習用ベクトルの直流または０Ｈｚ成分は、この要素がシミュレートされた特徴ベクトルから除去された場合には除去されることに留意されたい。
【００３９】
フィルタバンク４０６および４２６と、離散コサイン変換４０８および４２８は、フォルマント符号帳エントリのスペクトル分布および学習用音声フレームのスペクトル内容について同じ処理が実施される限りは、他の要素で置き換えることもできる。したがって、本発明はどんな１つの具体的なタイプの特徴ベクトルにも限定されるものではない。
【００４０】
シミュレートされた特徴ベクトル４１０および学習用特徴ベクトル４３０は、残差モデル学習メカニズム４３２によって残差モデル４３４を形成するために使用される。一実施形態によれば、残差モデル学習メカニズム４３２は、期待値最大化（ＥＭ）アルゴリズムを使用して、残差モデルの平均μおよび共分散行列Σに学習させる。標準のＥＭ計算を使用すると共に、隠れフォルマント値が均一に分布していると仮定すると、平均および共分散の更新式は以下のようになることがわかる。
【００４１】
【数３】
2004310091.tif 000006
【００４２】
【数４】
2004310091.tif 000007
【００４３】
式中、
【００４４】
【数５】
2004310091.tif 000008
【００４５】
は更新された平均であり、
【００４６】
【数６】
2004310091.tif 000009
【００４７】
は更新された共分散値であり、
【００４８】
【数７】
2004310091.tif 000010
【００４９】
は、前の学習反復時に決定された平均μ’、および前の学習反復時に決定された共分散行列Σ’を有するガウス残差モデルであり、Ｉは符号帳中のエントリ数であり、Ｔは学習用発話中のフレーム数である。式５および式６は平均ベクトルの各成分ごと、共分散行列の各セルごとに実施されることに留意されたい。したがって、式５および式６では、差異
【００５０】
【数８】
2004310091.tif 000011
【００５１】
および
【００５２】
【数９】
2004310091.tif 000012
【００５３】
は各成分ごとに計算される。
【００５４】
残差モデル学習メカニズム４３２は、平均および共分散を複数回更新し、その都度その前の反復からの平均および共分散を使用して式５および式６で使用されるモデルを定義する。平均および共分散が安定値に達した後で、それらは残差モデル４３４として記憶される。
【００５５】
残差モデル４３４が作成されると、図３のステップ３０６でそれを使用して入力音声信号中のフォルマントを識別することができる。フォルマントを識別するシステムのブロック図を図５に示す。
【００５６】
図５では、音声信号が話者５１２によって生成される。音声信号および相加性雑音５１４は、マイク５１６、Ａ／Ｄ変換メカニズム５１８、フレーム作成メカニズム５２０、およびＦＦＴ５２４、フィルタバンク５２６、離散コサイン変換５２８からなる特徴抽出メカニズム５２２によって、特徴ベクトルの流れ５３０に変換される。マイク５１６、Ａ／Ｄ変換メカニズム５１８、フレーム作成メカニズム５２０、および特徴抽出メカニズム５２２は、図４のマイク４１６、Ａ／Ｄ変換メカニズム４１８、フレーム作成メカニズム４２０および特徴抽出メカニズム４２２と同様に動作する。特徴ベクトルの直流成分がシミュレートされた特徴ベクトルから除去されている場合、それは、特徴抽出メカニズム５２２によって生成される入力特徴ベクトルからも除去されることに留意されたい。
【００５７】
特徴ベクトルの流れ５３０は、残差モデル４３４およびシミュレートされた特徴ベクトル４１０と共にフォルマント追跡メカニズム５３２に提供される。フォルマント追跡メカニズム５３２は、本発明によるいくつかの技法の１つを使用して、音声信号の各フレームごとに１つのフォルマントの組を識別する。
【００５８】
本発明の１組の技法によれば、フォルマント追跡メカニズム５３２は、現在のフレームのフォルマントが他のフレーム中のフォルマントに依存しないように、各フレームごとのフォルマントを独立に決定する。そうした１つの技法によれば、残差モデルでの確率を最大化する符号帳中のフォルマントエントリｘ［ｉ］をそのフレームのフォルマントの組として選択する最大尤度決定が行われる。式で表すと以下のとおりである。
【００５９】
【数１０】
2004310091.tif 000013
【００６０】
式７の実施形態は、符号帳中の量子化エントリにあるフォルマントを得ることだけに制限される。この制限を回避するために、本発明の第２の実施形態では、次式で与えられる最小平均二乗誤差（ＭＭＳＥ）推定を使用して１フレームのフォルマントを識別する。
【００６１】
【数１１】
2004310091.tif 000014
【００６２】
この場合、式８はｘ［ｉ］ベクトルの各成分ごとに評価される。したがって、最終識別ベクトル
【００６３】
【数１２】
2004310091.tif 000015
【００６４】
での各フォルマント周波数および帯域幅は、その符号帳中の各エントリでのフォルマント周波数および帯域幅の加重和であり、その重み値は、その符号帳エントリを使用する際に残差モデルによって生成される確率である。式８を使用すると、フォルマント周波数および帯域幅の連続値が可能になる。
【００６５】
本発明の他の実施形態では、フォルマント追跡メカニズム５３２はフォルマントを識別する際に連続性制約条件を利用する。そうした１つの実施形態によれば、現在のフレームでのフォルマントの値は、
ｘｔ＝ｘｔ−１＋ｗｔ                                      式９
のように、前のフレームでのフォルマントの値に依存し、式中、ｘｔはフレームｔにおけるフォルマント周波数および帯域幅の組であり、ｘｔ−１は前のフレームｔ−１におけるフォルマント周波数および帯域幅の組であり、ｗｔは、ゼロ平均と、対角線に沿った各値が符号帳のベクトルの個々の成分に関連する量子化誤差に比例するように設定された対角共分散Σｗを有するガウス分布である。この量子化誤差はそのフォルマントベクトルの要素の可能な値の範囲をその要素の量子化状態数で除算した物に等しい。例えば、フォルマントＦ１の周波数に関連する分散は、フォルマントＦ１の周波数の可能な値の範囲（７００Ｈｚ）のそのフォルマントＦ１周波数の量子化に使用される量子化状態数（２０）に対する比に比例するはずである。したがって、フォルマントＦ１の周波数の分散は３５に比例するはずである。
【００６６】
このモデルを使用すると、前のフレーム中の１つのフォルマント組から現在のフレーム中の１つのフォルマントの組への遷移の確率ｐ（ｘ［ｉｔ］ｘ［ｉｔ−１］）は、現在のフレームのフォルマントの組を、前のフレームのフォルマントの組に等しい平均およびΣｗに等しい共分散行列を有するガウス分布に適用することによって得られる。
【００６７】
次いで、特徴ベクトルのシーケンス中のフォルマントのシーケンスを、ＭＡＰ推定
【００６８】
【数１３】
2004310091.tif 000016
【００６９】
を使用して識別することができる。式中、右辺の第１の積は、残差モデルによって予測されたフォルマントの組の１シーケンスの確率であり、残りの積は、フォルマントの各組間の遷移の遷移確率である。したがって、式１０は、その音声信号の１フレームシーケンスでのフォルマントの組の１シーケンスの全確率を提供する。
【００７０】
式１０は、各フレームにおけるフォルマント符号帳中の各エントリごとに別々のノードがある、標準ビタビサーチを使用して推定することができる。その場合、このサーチには、各フレームを通って前に進み、式１０を使用して各新規フレームで各ノード中に経路を延ばすことが関与する。各フレームで、低確率の経路を取り除き、それによって考察するアクティブな経路の数を減らすことができる。最後のフレームに到達すると、上位「ｎ」経路からなるラティスが生じる。次いで、最も蓋然的な経路が選択され、この経路に沿ったノードに関連するフォルマントの組がその音声信号のフォルマントシーケンスとして識別される。
【００７１】
本発明の別の一実施形態では、各フォルマントの最小平均二乗誤差（ＭＭＳＥ）推定を形成するために前述のビタビサーチを拡張する。最後のフレームで最も蓋然的な経路を選択するのではなく、最善の「ｎ」経路のそれぞれを使用して、各フレームでのそれらのフォルマントのＭＭＳＥ推定を形成する。任意の所与のフレームでは、ＭＭＳＥ推定は、そのフレーム中でそれらを通る経路を持つ各フォルマントノードの加重和に等しい。１ノードに適用される重み値は、そのノードに至る最大尤度経路の確率に、そのノードを出る最大尤度経路の確率を乗算した物に等しい。式で表すと以下のとおりである。
【００７２】
【数１４】
2004310091.tif 000017
【００７３】
式中、
【００７４】
【数１５】
2004310091.tif 000018
【００７５】
であり、Ｖはビタビ復号によって識別された経路内にあるそのフレーム中のノードの組を定義する。
【００７６】
以上、残差モデル、およびフォルマント空間から特徴ベクトル空間へのマッピングを使用してフォルマントを追跡する４つの技法を説明したが、本発明はこれらの追跡技法に限られるものではない。本発明の範囲内には、残差モデル、および／またはフォルマント空間から特徴ベクトル空間へのマッピングを利用する他の技法が含まれる。
【００７７】
本発明を、具体的な実施形態を参照して説明したが、当分野の技術者であれば、本発明の精神および範囲を逸脱することなく、形態および詳細の変更を加えることができることを理解するであろう。
【図面の簡単な説明】
【００７８】
【図１】本発明の実施形態を実施することのできる一般的な計算処理環境を示す構成図である。
【図２】音声信号の振幅スペクトルを示すグラフである。
【図３】本発明による一方法を示す流れ図である。
【図４】本発明の一実施形態による残差モデルに学習させる学習システムを示す構成図である。
【図５】本発明の一実施形態によるフォルマント追跡システムを示す構成図である。
【符号の説明】
【００７９】
１００  計算処理システム環境
１１０  コンピュータ
１２０  処理装置
１２１  システムバス
１３０  システムメモリ
１３１  ＲＯＭ
１３２  ＲＡＭ
１３３  ＢＩＯＳ
１３４  オペレーティングシステム
１３５  アプリケーションプログラム
１３６  その他のプログラムモジュール
１３７  プログラムデータ
１４０  インターフェース
１４１  ハードディスクドライブ
１４４  オペレーティングシステム
１４５  アプリケーションプログラム
１４６  その他のプログラムモジュール
１４７  プログラムデータ
１５０  インターフェース
１５１  磁気ディスクドライブ
１５２  取り外し可能不揮発性磁気ディスク
１５５  光ディスクドライブ
１５６  取り外し可能不揮発性光ディスク
１６０  ユーザ入力インターフェース
１６１  ポインティング装置
１６２  キーボード
１６３  マイク
１７０  ネットワークインターフェース／アダプタ
１７１  ＬＡＮ
１７２  モデム
１７３  ＷＡＮ
１８０  リモートコンピュータ
１８５  リモートアプリケーションプログラム
１９０  ビデオインターフェース
１９１  モニタ
１９５  出力周辺インターフェース
１９６  印刷装置
１９７  スピーカ
２００  横軸
２０２  縦軸
２０４  第１のフォルマント
２０６  第２のフォルマント
２０８  第３のフォルマント
２１０  第４のフォルマント
４００  符号帳
４０２  ｚ伝達関数
４０４  スペクトル分布
４０６  フィルタバンク
４０８  離散コサイン変換関数
４１０  特徴ベクトル
４１２  話者
４１４  相加性雑音
４１６  マイク
４１８  Ａ／Ｄ変換メカニズム
４２０  フレーム作成メカニズム
４２２  特徴抽出メカニズム
４２４  高速フーリエ変換（ＦＦＴ）
４２６  フィルタバンク
４２８  離散コサイン変換
４３０  学習特徴ベクトル
４３２  残差モデル学習メカニズム
４３４  残差モデル
５１２  話者
５１４  相加性雑音
５１６  マイク
５１８  Ａ／Ｄ変換メカニズム
５２０  フレーム作成メカニズム
５２２  特徴抽出メカニズム
５２４  ＦＦＴ
５２６  フィルタバンク
５２８  離散コサイン変換
５３０  特徴ベクトルの流れ
５３２  フォルマント追跡メカニズム
【図１】
2004310091.tif 000019
【図２】
2004310091.tif 000020
【図３】
2004310091.tif 000021
【図４】
2004310091.tif 000022
【図５】
2004310091.tif 000023
【外国語明細書】
2004310091000001.pdf