(57)【要約】【課題】  個々の声道共鳴周波数／帯域幅ごとに個別の関数を計算し、結果を合計して模擬特徴ベクトルの要素を形成することによって１組の声道共鳴周波数を対応する帯域幅とともにＬＰＣケプストラムの形式で模擬音響特徴ベクトルにマッピングする方法および装置を提供する。【解決手段】  模擬特徴ベクトルが入力特徴ベクトルとともにモデルに適用されて、声道共鳴周波数の組が発話音声信号に存在している確率が決定される。一実施形態では、このモデルは、過去の声道共鳴周波数および声道共鳴周波数のターゲットに基づいて声道共鳴周波数の確率を提供するターゲットによって案内される遷移モデルを含む。別の実施形態では、ＨＭＭシステムによって音のセグメント化（ｐｈｏｎｅ  ｓｅｇｍｅｎｔａｔｉｏｎ）が提供され、それを使用して各フレームで使用すべきターゲット値を正確に決定する。【選択図】  図３
2005078077.tif 000002
【特許請求の範囲】
【請求項１】
発話音声信号中の声道共鳴周波数を追跡する方法であって、
１組の声道共鳴周波数が与えられている場合、観測音響特徴ベクトルの観測確率を決定するステップと、
声道共鳴周波数のターゲットによって案内される制約に一部基づいて第１の組の声道共鳴周波数から第２の組の声道共鳴周波数への遷移の遷移確率を決定するステップと、
前記観測確率および前記遷移確率を使用して、観測音響特徴ベクトルに対応する１組の声道共鳴周波数を選択するステップと
を含むことを特徴とする方法。
【請求項２】
前記観測確率を決定するステップは、１組の声道共鳴周波数と特徴ベクトルとの間のマッピングを使用するステップを含むことを特徴とする請求項１に記載の方法。
【請求項３】
前記観測確率を決定するステップは、モデルにおける残りの項を前記発話音声信号のフレームを表す入力特徴ベクトルと１組の声道共鳴周波数からマッピングされた特徴ベクトルとの間の差に使用するステップをさらに含むことを特徴とする請求項２に記載の方法。
【請求項４】
前記マッピングを使用するステップは、声道共鳴周波数ごとに個別の関数を計算し、前記関数ごとの結果を合計して模擬特徴ベクトルの要素を形成するステップを含むことを特徴とする請求項２に記載の方法。
【請求項５】
前記マッピングを使用するステップは、声道共鳴帯域幅と模擬特徴ベクトルとの間のマッピングを使用するステップをさらに含むことを特徴とする請求項４に記載の方法。
【請求項６】
前記模擬特徴ベクトルの要素を形成するステップは、線形予測符号化ケプストラム特徴ベクトルの要素を形成するステップを含むことを特徴とする請求項４に記載の方法。
【請求項７】
前記遷移確率は、前記第２の組の声道共鳴周波数の値、および前記第１の組の声道共鳴周波数のターゲットに基づく平均を有するガウス分布に基づくことを特徴とする請求項１に記載の方法。
【請求項８】
前記ターゲットは、前記観測特徴ベクトルを形成した発話音声のフレームに関連する発話音声単位に基づくことを特徴とする請求項７に記載の方法。
【請求項９】
発話音声信号のフレームを表す入力特徴ベクトルを受信するステップと、
個々の声道共鳴周波数ごとに個別の関数を計算し、各関数の結果を合計して前記模擬特徴ベクトルの要素を形成することによって１組の声道共鳴周波数を模擬特徴ベクトルにマッピングするステップと、
前記入力特徴ベクトルおよび前記模擬特徴ベクトルをモデルに適用して、前記声道共鳴周波数の組が前記発話音声信号のフレームに存在する確率を決定するステップと
を実行するコンピュータ実行可能命令を有するコンピュータ可読媒体。
【請求項１０】
前記１組の声道共鳴周波数をマッピングするステップは、前記１組の声道共鳴周波数を線形予測符号化ケプストラムにマッピングするステップを含むことを特徴とする請求項９に記載のコンピュータ可読媒体。
【請求項１１】
前記１組の声道共鳴周波数がフレームに存在する確率を決定するステップは、前のフレーム内の１組の声道共鳴周波数から前記１組の声道共鳴周波数に遷移する確率を決定するステップをさらに含むことを特徴とする請求項９に記載のコンピュータ可読媒体。
【請求項１２】
前のフレーム内の１組の声道共鳴周波数から遷移する確率を決定する前記ステップは、ターゲットによって案内される制約を使用するステップを含むことを特徴とする請求項１１に記載のコンピュータ可読媒体。
【請求項１３】
前記１組の声道共鳴周波数をマッピングするステップは、前記声道共鳴周波数に関連する帯域幅をマッピングするステップをさらに含むことを特徴とする請求項９に記載のコンピュータ可読媒体。
【請求項１４】
前記マッピングするステップは、個々の声道共鳴周波数および関連する帯域幅ごとに個別の関数を計算し、各関数の結果を合計して前記模擬特徴ベクトルの要素を形成するステップを含むことを特徴とする請求項１３に記載のコンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は発話音声認識システムに関し、より詳細には発話音声中の声道共鳴を引き出す発話音声認識システムに関する。
【背景技術】
【０００２】
人間の発話では、発話音声信号の最初の３つまたは４つの共鳴周波数に多大な情報が含まれている。特に話者が母音を発音するとき、これらの共鳴の周波数（およびそれほどではないが帯域幅）は、どの母音が話されているかを示す。
【０００３】
こうした共鳴周波数および帯域幅は、まとめてフォルマントと呼ばれることが多い。一般に有声の共鳴が起こる発話（ｓｏｎｏｒａｎｔ  ｓｐｅｅｃｈ）中は、フォルマントを発話音声信号の周波数表現におけるスペクトルの隆起（ｓｐｅｃｔｒａｌ  ｐｒｏｍｉｎｅｎｃｅ）として見つけることができる。しかし、共鳴が起こらない発話中は、フォルマントをスペクトルの隆起として直接見つけることができない。このため、「フォルマント」という用語は、時として発話の共鳴部分のみに適用されるものと解釈されることがある。混乱を避けるために、共鳴が起こる発話中および共鳴が起こらない発話中の両方で起こるフォルマントを指すのに「声道共鳴」という語句を使用する研究者もいる。いずれの場合も、共鳴は、声道の口道部分のみに関連する。
【０００４】
フォルマントを検出するために、従来技術のシステムでは、発話音声信号のフレームのスペクトルの内容を分析していた。フォルマントは任意の周波数である可能性があるため、従来技術では、最も可能性の高いフォルマント値を識別する前に検索スペースを限定することを試みていた。従来技術の一部のシステムでは、考え得るフォルマントの検索スペースは、フレームのスペクトルの内容におけるピークを識別することによって縮小される。これは一般に、発話音声信号のフレームのスペクトルの内容を表す多項式を見つけようと試みる線形予測符号化（ＬＰＣ）を使用することによって行われる。この多項式の各根は、信号中の考え得る共鳴周波数、したがって考え得るフォルマントを表す。したがってＬＰＣを使用することによって、検索スペースは、ＬＰＣ多項式の根を形成する周波数に縮小される。
【０００５】
従来技術の他のフォルマント追跡システムでは、検索スペースは、フレームのスペクトルの内容を、専門家がそこでフォルマントを識別した１組のスペクトルテンプレートと比較することによって縮小される。次いで最も近い「ｎ」個のテンプレートが選択され、フレームのフォルマントを計算するのに使用される。したがってこれらのシステムは、検索スペースを、最も近いテンプレートに関連するフォルマントまで縮小する。
【０００６】
本発明と同じ発明者が開発した従来技術の１つのシステムでは、入力信号のフレームごとに同じ一貫した検索スペースを使用していた。検索スペース内のフォルマントの各組を特徴ベクトルにマッピングしていた。次いで各特徴ベクトルをモデルに適用して、どの組のフォルマントが最も可能性が高いかを決定していた。
【０００７】
このシステムはよく働くが、計算上の費用がかかる。というのは、一般に、フォルマントを特徴ベクトルにマッピングするために、マッピングされている１組のフォルマント内のすべてのフォルマントに基づく複雑なフィルタに１組の周波数をかけ、続いてウィンドウ処理ステップ、および離散コサイン変換ステップを行う必要があるメル周波数ケプストラム係数周波数ベクトルを使用するからである。この計算は、時間がかかりすぎるため実行時に行うことができず、したがってすべてのフォルマントの組を実行時前にマッピングし、マッピングされた特徴ベクトルを大きいテーブルに格納する必要があった。このことは決して理想的ではない。というのは、マッピングされたすべての特徴ベクトルを格納するためにかなりの量のメモリを必要とするからである。
【０００８】
さらに、ＭＦＣＣシステムによって提供されたマッピングは、ウィンドウ処理機能を実行する前にフォルマントが積として結合されるため、逆にするのは難しい。
【発明の開示】
【発明が解決しようとする課題】
【０００９】
したがって、異なるフォルマント検索スペースを使用して発話音声信号の異なるフレーム内のフォルマントが識別されると同時に、フォルマントの識別に必要なメモリの量および計算リソースを限定するような方法で、検索スペースを縮小しないフォルマント追跡システムが必要である。
【００１０】
さらに、従来のフォルマント追跡装置は、時間の経過に伴うフォルマントの変更の可能性を決定するときにフォルマントターゲットを使用していなかった。代わりに従来のシステムは、一般の連続性制約を使用していた。しかし、こうしたシステムは、非共鳴発話領域では適切に動作していなかった。
【課題を解決するための手段】
【００１１】
個々の声道共鳴周波数ごとに個別の関数を計算し、結果を合計して模擬特徴ベクトルの要素を形成することによって１組の声道共鳴周波数を模擬特徴ベクトルにマッピングする方法および装置。模擬特徴ベクトルが入力特徴ベクトルとともにモデルに適用されて、声道共鳴周波数の組が発話音声信号に存在している確率が決定される。一実施形態では、このモデルは、過去の声道共鳴周波数および声道共鳴周波数のターゲットに基づいて声道共鳴周波数の確率を提供するターゲットによって案内される遷移モデルを含む。
【発明を実施するための最良の形態】
【００１２】
図１は、本発明を実施に適したコンピューティングシステム環境１００の例を示している。コンピューティングシステム環境１００は、適したコンピューティング環境の一例にすぎず、本発明の使用または機能の範囲に関する限定を示唆するものではない。また、コンピューティング環境１００を、動作環境１００の例に示した構成要素のいずれか１つ、またはその組合せに関連する依存性または必要条件を有しているものと解釈すべきではない。
【００１３】
本発明は、他の多くの汎用または専用コンピューティングシステム環境または構成で動作可能である。本発明との使用に適したよく知られているコンピューティングシステム、環境、および／または構成の例には、それだけには限定されないが、パーソナルコンピュータ、サーバコンピュータ、ハンドヘルドまたはラップトップ装置、マルチプロセッサシステム、マイクロプロセッサベースのシステム、セットトップボックス、プログラム可能家庭用電化製品、ネットワークＰＣ、ミニコンピュータ、メインフレームコンピュータ、電話システム、上記の任意のシステムまたは装置を含む分散コンピューティング環境などがある。
【００１４】
本発明は、コンピュータによって実行されるプログラムモジュールなどのコンピュータ実行可能命令の一般的な文脈で説明することができる。一般にプログラムモジュールは、特定のタスクを実行する、または特定の抽象データ型を実装するルーチン、プログラム、オブジェクト、構成要素、データ構造などを含む。本発明は、タスクが通信ネットワークによってリンクされているリモート処理装置によって実行される分散コンピューティング環境で実施するように設計されている。分散コンピューティング環境では、プログラムモジュールを、メモリ記憶装置を含むローカルおよびリモートのコンピュータ記憶媒体に置く。
【００１５】
図１を参照すると、本発明を実施するシステムの例は、汎用コンピューティング装置をコンピュータ１１０の形で含んでいる。コンピュータ１１０の構成要素は、それだけには限定されないが、処理ユニット１２０、システムメモリ１３０、およびシステムメモリを含む様々なシステム構成要素を処理ユニット１２０に結合するシステムバス１２１を含み得る。システムバス１２１は、様々なバスアーキテクチャのうちの任意のものを使用するメモリバスまたはメモリコントローラ、周辺バス、およびローカルバスを含むいくつかのタイプのバス構造のうちどんなものでもよい。こうしたアーキテクチャには、それだけには限定されないが一例として、業界標準アーキテクチャ（ＩＳＡ）バス、マイクロチャネルアーキテクチャ（ＭＣＡ）バス、拡張ＩＳＡ（ＥＩＳＡ）バス、ビデオ電子装置規格化協会（ＶＥＳＡ）ローカルバス、およびメザニンバスとしても知られている周辺部品相互接続（ＰＣＩ）バスなどがある。
【００１６】
コンピュータ１１０は、一般に様々なコンピュータ可読媒体を含む。コンピュータ可読媒体は、コンピュータ１１０からアクセスできる使用可能な任意の媒体とすることができ、揮発性および不揮発性媒体、リムーバブルおよび非リムーバブル媒体を含む。コンピュータ可読媒体は、それだけには限定されないが一例として、コンピュータ記憶媒体および通信媒体を含み得る。コンピュータ記憶媒体には、コンピュータ可読命令、データ構造、プログラムモジュール、他のデータなど、情報を記憶するための任意の方法または技術で実施される揮発性および不揮発性のリムーバブルおよび非リムーバブル媒体がある。コンピュータ記憶媒体には、それだけには限定されないが、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリまたは他のメモリ技術、ＣＤ−ＲＯＭ、デジタル多用途ディスク（ＤＶＤ）または他の光ディスク記憶装置、磁気カセット、磁気テープ、磁気ディスク記憶装置または他の磁気記憶装置、または所望の情報の格納に使用でき、コンピュータ１１０からアクセスできる他の任意の媒体などがある。通信媒体は一般に、コンピュータ可読命令、データ構造、プログラムモジュール、または他のデータを搬送波または他の移送機構などの変調されたデータ信号に組み込む。これには任意の情報配送媒体がある。「変調されたデータ信号」という用語は、信号に情報を符号化するように１つまたは複数のその特性が設定または変更された信号を意味する。通信媒体には、それだけには限定されないが一例として、有線ネットワーク、直接配線された接続などの有線媒体、および音響、ＲＦ、赤外線、その他の無線媒体などの無線媒体がある。また、上記のどんな組合せでもコンピュータ可読媒体の範囲内に含まれるものとする。
【００１７】
システムメモリ１３０は、読取り専用メモリ（ＲＯＭ）１３１やランダムアクセスメモリ（ＲＡＭ）１３２など、揮発性および／または不揮発性メモリの形のコンピュータ記憶媒体を含む。基本入出力システム１３３（ＢＩＯＳ）は、例えば起動中など、コンピュータ１１０内の要素間での情報の転送を助ける基本ルーチンを含み、一般にＲＯＭ１３１に格納されている。ＲＡＭ１３２は一般に、処理ユニット１２０から直接アクセス可能な、かつ／または処理ユニット１２０が現在処理しているデータおよび／またはプログラムモジュールを含む。図１は、それだけには限定されないが一例として、オペレーティングシステム１３４、アプリケーションプログラム１３５、他のプログラムモジュール１３６、およびプログラムデータ１３７を示している。
【００１８】
コンピュータ１１０は、他のリムーバブル／非リムーバブル、揮発性／不揮発性コンピュータ記憶媒体を含むこともできる。一例にすぎないが、図１は、非リムーバブル不揮発性磁気媒体から読み取り、あるいはそこに書き込むハードディスクドライブ１４１、リムーバブル不揮発性磁気ディスク１５２から読み取り、あるいはそこに書き込む磁気ディスクドライブ１５１、およびＣＤ−ＲＯＭや他の光媒体など、リムーバブル不揮発性光ディスク１５６から読み取り、あるいはそこに書き込む光ディスクドライブ１５５を示している。動作環境の例で使用できる他のリムーバブル／非リムーバブル、揮発性／不揮発性コンピュータ記憶媒体には、それだけには限定されないが、磁気テープカセット、フラッシュメモリカード、デジタル多用途ディスク、デジタルビデオテープ、半導体ＲＡＭ、半導体ＲＯＭなどがある。ハードディスクドライブ１４１は一般に、インターフェース１４０などの非リムーバブルメモリインターフェースを介してシステムバス１２１に接続され、磁気ディスクドライブ１５１および光ディスクドライブ１５５は一般に、インターフェース１５０などのリムーバブルメモリインターフェースによってシステムバス１２１に接続される。
【００１９】
上述し、図１に示したドライブおよびその関連のコンピュータ記憶媒体は、コンピュータ可読命令、データ構造、プログラムモジュール、およびコンピュータ１１０の他のデータの記憶を提供する。図１では例えば、ハードディスクドライブ１４１は、オペレーティングシステム１４４、アプリケーションプログラム１４５、他のプログラムモジュール１４６、およびプログラムデータ１４７を記憶するものとして示されている。これらの構成要素は、オペレーティングシステム１３４、アプリケーションプログラム１３５、他のプログラムモジュール１３６、およびプログラムデータ１３７と同じであっても、異なっていてもよいことに注意されたい。オペレーティングシステム１４４、アプリケーションプログラム１４５、他のプログラムモジュール１４６、およびプログラムデータ１４７は少なくとも異なるコピーであることを示すために、ここではそれらに異なる番号を付している。
【００２０】
ユーザは、キーボード１６２、マイクロフォン１６３、および一般にマウス、トラックボール、タッチパッドなどのポインティング装置１６１などの入力装置を介してコマンドおよび情報をコンピュータ１１０に入力することができる。他の入力装置（図示せず）には、ジョイスティック、ゲームパッド、衛星パラボラアンテナ、スキャナなどがある。これらおよび他の入力装置は、しばしばシステムバスに結合されているユーザ入力インターフェース１６０を介して処理ユニット１２０に接続されるが、パラレルポート、ゲームポート、ユニバーサルシリアルバス（ＵＳＢ）など他のインターフェースおよびバス構造で接続してもよい。モニタ１９１または他のタイプの表示装置もまた、ビデオインターフェース１９０などのインターフェースを介してシステムバス１２１に接続される。モニタに加えて、コンピュータは、出力周辺インターフェース１９５を介して接続できるスピーカ１９７、プリンタ１９６などの他の周辺出力装置を含むこともできる。
【００２１】
コンピュータ１１０は、リモートコンピュータ１８０など１つまたは複数のリモートコンピュータへの論理接続を使用してネットワーク式環境で動作する。リモートコンピュータ１８０は、パーソナルコンピュータ、ハンドヘルド装置、サーバ、ルータ、ネットワークＰＣ、ピア装置、または他の一般のネットワークノードでよく、一般にコンピュータ１１０に関連して上述した多くまたはすべての要素を含む。図１に示した論理接続は、ローカルエリアネットワーク（ＬＡＮ）１７１および広域エリアネットワーク（ＷＡＮ）１７３を含むが、他のネットワークを含んでいてもよい。こうしたネットワーキング環境は、オフィス、全社規模のコンピュータネットワーク、イントラネット、およびインターネットではごく一般的である。
【００２２】
ＬＡＮネットワーキング環境で使用する場合、コンピュータ１１０は、ネットワークインターフェースまたはアダプタ１７０を介してＬＡＮ１７１に接続される。ＷＡＮネットワーキング環境で使用する場合、コンピュータ１１０は一般に、モデム１７２、またはインターネットなどＷＡＮ１７３を介して通信を確立する他の手段を含む。モデム１７２は、内蔵のものでも外付けのものでもよく、ユーザ入力インターフェース１６０または他の適切な機構を介してシステムバス１２１に接続することができる。ネットワーク式環境では、コンピュータ１１０に関連して示したプログラムモジュール、またはその一部をリモートメモリ記憶装置に格納することができる。図１は、それだけには限定されないが一例として、リモートアプリケーションプログラム１８５をリモートコンピュータ１８０上に存在するものとして示している。図示したネットワーク接続は例であり、コンピュータ間の通信リンクを確立する他の手段を使用してもよいことは理解されよう。
【００２３】
図２は、人間の発話音声の一部分の周波数スペクトルのグラフである。図２では、周波数を横軸２００に沿って示しており、周波数成分の振幅を縦軸２０２に沿って示している。図２のグラフは、共鳴が起こる人間の発話は、共鳴またはフォルマント、例えば第１のフォルマント２０４、第２のフォルマント２０６、第３のフォルマント２０８、および第４のフォルマント２１０などを含むことを示している。各フォルマントは、その中心周波数Ｆおよびその帯域幅Ｂによって示される。
【００２４】
本発明は、共鳴が起こる発話および共鳴が起こらない発話において、発話音声信号中のフォルマント周波数および帯域幅を識別する方法を提供する。したがって本発明は、声道共鳴を追跡することができる。図３は、これらの方法の全体的なフロー図を示している。
【００２５】
図３のステップ３００で、テーブルに格納されている声道共鳴（ＶＴＲ）コード一覧表は、考え得るＶＴＲ周波数および帯域幅を量子化して１組の量子化値を形成し、次いで量子化値の異なる組合せについてのエントリを形成することによって構築される。したがって、その結果得られるコード一覧表は、ＶＴＲ周波数および帯域幅のベクトルであるエントリを含む。例えば、コード一覧表が４つのＶＴＲについてのエントリを含んでいる場合、コード一覧表内のｉ番目のエントリｘ［ｉ］は、［Ｆ１ｉ，Ｂ１ｉ，Ｆ２ｉ，Ｂ２ｉ，Ｆ３ｉ，Ｂ３ｉ，Ｆ４ｉ，Ｂ４ｉ］のベクトルとなる。この場合Ｆ１ｉ、Ｆ２ｉ、Ｆ３ｉ、およびＦ４ｉは第１、第２、第３、および第４のＶＴＲの周波数であり、Ｂ１ｉ、Ｂ２ｉ、Ｂ３ｉ、およびＢ４ｉは第１、第２、第３、および第４のＶＴＲの帯域幅である。以下の説明では、コード一覧表の指標ｉは、その指標ｘ［ｉ］で格納された値と交換可能に使用される。下記で指標が単独で使用されている場合、その指標で格納された値を表すものとする。
【００２６】
一実施形態では、フォルマントおよび帯域幅は、下記の表１のエントリにしたがって量子化される。この場合、Ｍｉｎ（Ｈｚ）は周波数または帯域幅の最小値をヘルツ単位で表したもの、Ｍａｘ（Ｈｚ）は最大値をヘルツ単位で表したもの、および「Ｎｕｍ．Ｑｕａｎｔ．」は量子化状態の数である。周波数および帯域幅では、最小値と最大値との間の範囲を量子化状態の数で分けると、各量子化状態間の分離が得られる。例えば、表１の帯域幅Ｂ１では、２６０Ｈｚの範囲を５つの量子化状態によって均等に分け、したがって各状態が他の状態から６５Ｈｚだけ分離される（すなわち４０、１０５、１７０、２３５、３００）。
【００２７】
【表１】
2005078077.tif 000003
【００２８】
表１の量子化状態の数によって合計１億を超える異なる組のＶＴＲが得られることになる。しかし、Ｆ１＜Ｆ２＜Ｆ３＜Ｆ４の制約のため、コード一覧表によって定義されるＶＴＲ検索スペース内に存在するＶＴＲの組は、実質的にはより少ない。
【００２９】
コード一覧表が形成された後、コード一覧表内のエントリを使用して、ステップ３０２で残差確率変数（ｒｅｓｉｄｕａｌ  ｒａｎｄｏｍ  ｖａｒｉａｂｌｅ）を表すパラメータを訓練する。残差確率変数は、１組の観測訓練用特徴ベクトル（ｏｂｓｅｒｖａｔｉｏｎ  ｔｒａｉｎｉｎｇ  ｆｅａｔｕｒｅ  ｖｅｃｔｏｒ）と１組の模擬特徴ベクトルとの間の差である。式の点では
ｖｔ＝ｏｔ−Ｃ（ｘｔ［ｉ］）                                    式１
となり、式中、ｖｔは残差、ｏｔはｔ時に観測された訓練用特徴ベクトル、およびＣ（ｘｔ［ｉ］）は模擬特徴ベクトルである。
【００３０】
図４に示すように、模擬特徴ベクトルＣ（ｘｔ［ｉ］）４１０は、必要に応じてＶＴＲコード一覧表４００内の１組のＶＴＲ  ｘｔ［ｉ］をＬＰＣケプストラム計算器４０２にかけることによって構築される。この計算器は、次の計算を行う。
【００３１】
【数１】
2005078077.tif 000004
【００３２】
式中、Ｃｎ（ｘｔ［ｉ］）はｎ次元ＬＰＣケプストラム特徴ベクトルでのｎ番目の要素、ＫはＶＴＲの数、ｆｋはｋ番目のＶＴＲ周波数、ｂｋはｋ番目のＶＴＲ帯域幅、およびｆｓはサンプリング周波数であり、サンプリング周波数は、多くの実施形態では８ｋＨｚである。Ｃ０要素は、ＬｏｇＧに等しくなるように設定される。この場合Ｇはゲインである。
【００３３】
残差モデルの訓練に使用する観測された訓練用特徴ベクトルｏ１を生成するために、人間の話者４１２は、マイクロフォン４１６によって検出される音響信号を生成する。マイクロフォンは追加のノイズ４１４も検出する。マイクロフォン４１６は、音響信号をアナログ電気信号に変換し、この信号はアナログデジタル（Ａ／Ｄ）変換器４１８に提供される。アナログ信号は、サンプリング周波数時ｆｓにＡ／Ｄ変換器４１８によってサンプリングされ、結果として得られたサンプルは、デジタル値に変換される。一実施形態では、Ａ／Ｄ変換器４１８は、８ｋＨｚで１６ビット／サンプルのアナログ信号をサンプリングし、それによって毎秒１６キロバイトの発話音声データが生成される。デジタルサンプルは、フレームコンストラクタ４２０に提供され、フレームコンストラクタ４２０はサンプルをフレームにグループ分けする。一実施形態では、フレームコンストラクタ４２０は、１０ミリ秒ごとに、２５ミリ秒の価値のデータを含む新しいフレームを１つ生成する。
【００３４】
データのフレームは、ＬＰＣケプストラム特徴抽出器４２２に提供され、ＬＰＣケプストラム特徴抽出器は、高速フーリエ変換（ＦＦＴ）４２４を使用して信号を周波数ドメインに変換し、次いでＬＰＣ係数システム４２６を使用して発話音声信号のフレームのスペクトルの内容を表す多項式を識別する。ＬＰＣ係数は、反復４２８を使用してＬＰＣケプストラム係数に変換される。反復の出力は、訓練用発話音声信号を表す１組の訓練用特徴ベクトル４３０である。
【００３５】
模擬特徴ベクトル４１０および訓練用特徴ベクトル４３０は、残差ｖｔのパラメータを訓練する残差トレーナ４３２に提供される。
【００３６】
一実施形態では、ｖｔは、平均ｈおよび精度Ｄを含む単一のガウスである。この場合ｈは特徴ベクトルの成分ごとの個別の平均を含むベクトル、Ｄは特徴ベクトルの成分ごとの個別値を含む対角精度行列（ｄｉａｇｏｎａｌ  ｐｒｅｃｉｓｉｏｎ  ｍａｔｒｉｘ）である。
【００３７】
本発明の一実施形態では、これらのパラメータは、期待値最大化（ＥＭ）アルゴリズムを使用して訓練される。このアルゴリズムのＥステップ中、事後確率
【００３８】
【数２】
2005078077.tif 000005
【００３９】
が決定される。一実施形態では、この事後確率は、
【００４０】
【数３】
2005078077.tif 000006
【００４１】
として定義される逆方向の反復（ｂａｃｋｗａｒｄ−ｆｏｒｗａｒｄ  ｒｅｃｕｒｓｉｏｎ）を使用して決定される。式中、α（ｉ）およびβ（ｉ）は
【００４２】
【数４】
2005078077.tif 000007
【００４３】
として再帰的に決定される。
【００４４】
本発明の一態様では、遷移確率ｐ（ｘｔ［ｉ］｜ｘｔ−１［ｊ］）およびｐ（ｘｔ［ｉ］｜ｘｔ＋１［ｊ］）は、
ｘｔ（ｉ）＝ｒｘｔ−１（ｊ）＋（１−ｒ）Ｔｓ＋ｗｔ                  式６
としてパラメータ化される動的モデルでターゲットベースの状態式を使用して決定される。この場合ｘｔ［ｉ］はフレームｔ時のＶＴＲの値、ｘｔ−１［ｊ］は前のフレームｔ−１のときのＶＴＲの値、ｒはレート、Ｔｓは一実施形態においてフレームｔに関連する発話音声単位に結合されるＶＴＲのターゲット、ｗｔはフレームｔ時のノイズである。このノイズは、一実施形態では、精度行列Ｂでのゼロ平均のガウスとみなされる。
【００４５】
この動的モデルを使用すると、遷移確率は、ガウス関数として説明することができる。
【００４６】
ｐ（ｘｔ［ｉ］｜ｘｔ−１［ｊ］）＝Ｎ（ｘｔ［ｉ］；ｒｘｔ−１（ｊ）＋（１−ｒ）Ｔｓ，Ｂ）                                                            式７
ｐ（ｘｔ［ｉ］｜ｘｔ＋１［ｊ］）＝Ｎ（ｘｔ＋１［ｉ］；ｒｘｔ（ｊ）＋（１−ｒ）Ｔｓ，Ｂ）                                                            式８
この場合Ｔｓは、隠れマルコフモデル（ＨＭＭ）セグメント化システム（Ｈｉｄｄｅｎ  Ｍａｒｋｏｖ  Ｍｏｄｅｌ  ｓｅｇｍｅｎｔａｔｉｏｎ  ｓｙｓｔｅｍ）を使用して行われる発話音声単位に対するフレームの割り当てに基づいて選択される。こうしたＨＭＭシステムは、当分野ではよく知られている。
【００４７】
あるいは、事後確率
【００４８】
【数５】
2005078077.tif 000008
【００４９】
は、現在の観測ベクトルにのみ依存し、事後確率が
ｒｔ（ｉ）≒ｐ（ｘｔ［ｉ］｜ｏｔ）                              式９
となるようなベクトルのシーケンスには依存しない確率を作成することによって評価することができる。式９は、
【００５０】
【数６】
2005078077.tif 000009
【００５１】
として計算することができる。式中、
【００５２】
【数７】
2005078077.tif 000010
【００５３】
は残差の平均、
【００５４】
【数８】
2005078077.tif 000011
【００５５】
はＥＭアルゴリズムの前の反復から決定された、またはこれが最初の反復である場合は最初に設定されている残差の精度である。
【００５６】
事後確率
【００５７】
【数９】
2005078077.tif 000012
【００５８】
の識別のためにＥステップが実行された後、Ｍステップが実行されて、
【００５９】
【数１０】
2005078077.tif 000013
【００６０】
を使用して、残差の平均ｈおよび分散Ｄ−１の各対角要素ｄ−１が決定される（精度行列の逆行列）。式中、Ｎは訓練用発話におけるフレーム数、ＩはＶＴＲの量子化の組合せの数、ｏｔはｔ時に観測された特徴ベクトル、およびＣ（ｘｔ［ｉ］）はＶＴＲの模擬特徴ベクトルｘｔ［ｉ］である。
【００６１】
残差トレーナ４３２は、ＥステップおよびＭステップを反復し、毎回前の反復からの平均および分散を使用することによって平均および共分散を複数回更新する。平均および分散は、安定値に到達した後、残差パラメータ４３４として格納される。
【００６２】
残差パラメータ４３４が構築されると、図３のステップ３０４で、残差パラメータを使用して入力発話音声信号内のＶＴＲを識別する。図５に、フォルマントを識別するシステムのブロック図を示している。
【００６３】
図５で、発話音声信号は、話者５１２によって生成される。発話音声信号および追加のノイズ５１４は、マイクロフォン５１６、Ａ／Ｄ変換器５１８、フレームコンストラクタ５２０、および特徴抽出器５２２によって特徴ベクトル５３０のストリームに変換される。特徴抽出器は、ＦＦＴ５２４、ＬＰＣシステム５２６、および反復５２８から成る。マイクロフォン５１６、Ａ／Ｄ変換器５１８、フレームコンストラクタ５２０、および特徴抽出器５２２は、図４のマイクロフォン４１６、Ａ／Ｄ変換器４１８、フレームコンストラクタ４２０、および特徴抽出器４２２と同じように動作する。
【００６４】
特徴ベクトル５３０のストリームは、残差パラメータ４３４および模擬特徴ベクトル４１０とともにフォルマント追跡装置５３２に提供される。フォルマント追跡装置５３２は、動的プログラミングを使用して、最も可能性の高いフォルマント５３４のシーケンスを識別する。特にフォルマント追跡装置５３２は、トレリス線図での各ノードが
【００６５】
【数１１】
2005078077.tif 000014
【００６６】
の最適な部分得点を有するビタビ復号化アルゴリズムを使用する。最適原理に基づいて、ｔ＋１の処理段階での最適な部分尤度を次のビタビの反復を使用して計算することができる。
【００６７】
【数１２】
2005078077.tif 000015
【００６８】
式１４で、上記の状態式６を使用して「遷移」確率ｐ（ｘｔ＋１［ｉ］＝ｘ［ｉ］｜ｘｔ［ｉ］＝ｘ［ｉ’］）が計算されて
ｐ（ｘｔ＋１［ｉ］＝ｘ［ｉ］｜ｘｔ［ｉ］＝ｘ［ｉ’］）＝Ｎ（ｘｔ＋１［ｉ］；ｒｘｔ（ｉ’）＋（１−ｒ）Ｔｓ，Ｂ）                                式１５
のガウス分布が生成される。式中、ｒｘｔ（ｉ’）＋（１−ｒ）Ｔｓは分布の平均、Ｂは分布の精度である。Ｔｓの値は、フレームを発話音声単位に合わせるために行われた最初のＨＭＭセグメント化に基づいて選択される。こうしたＨＭＭセグメント化システムは、当分野ではよく知られている。
【００６９】
式１４の観測確率ｐ（ｏｔ＋１｜ｘｔ＋１［ｉ］＝ｘ［ｉ］）は、ガウスとして扱われ、観測式１、および残差パラメータｈおよびＤから計算され、したがって
ｐ（ｏｔ＋１｜ｘｔ＋１［ｉ］＝ｘ［ｉ］）＝Ｎ（ｏｔ＋１；Ｃ（ｘｔ＋１［ｉ］＋ｈ，Ｄ）                                                                式１６
となる。式１４での最適な量子化指標ｉ’の後戻りによって、推定のＶＴＲシーケンスが提供される。
【００７０】
行う必要のある計算数を低減するために、厳格なビタビ検索の代わりに枝刈ビーム探索（ｐｒｕｎｉｎｇ  ｂｅａｍ  ｓｅａｒｃｈ）を行うことができる。一実施形態では、フレームごとに指標が１つだけ識別される枝刈の最終の形が使用される。
【００７１】
フォルマントの遷移確率を決定するときにターゲットベースの連続性制約を使用することによって、本発明では、共鳴が起こらない発話領域でさえ、フォルマントの正確な追跡が可能になる。さらに、ＬＰＣケプストラム特徴ベクトルを使用することによって、本発明は、大きい模擬特徴ベクトルを格納する必要性を無くす。代わりに、実行中に上記の式２を使用することによって模擬特徴ベクトルを容易に計算することができる。
【００７２】
特定の実施形態を参照して本発明を説明してきたが、本発明の意図および範囲から逸脱することなく、形態および詳細に変更を加えることができることを当分野の技術者であれば理解されよう。
【図面の簡単な説明】
【００７３】
【図１】本発明の実施形態を実施できる一般的なコンピューティング環境を示すブロック図である。
【図２】発話音声信号の振幅スペクトルを示すグラフである。
【図３】本発明に基づく方法を示すフロー図である。
【図４】本発明の一実施形態に基づく残差モデルを訓練する訓練システムを示すブロック図である。
【図５】本発明の一実施形態に基づくフォルマント追跡システムを示すブロック図である。
【符号の説明】
【００７４】
１２０  処理ユニット
１３０  システムメモリ
１３４  オペレーティングシステム
１３５  アプリケーションプログラム
１３６  他のプログラムモジュール
１３７  プログラムデータ
１４０  非リムーバブル不揮発性メモリインターフェース
１４４  オペレーティングシステム
１４５  アプリケーションプログラム
１４６  他のプログラムモジュール
１４７  プログラムデータ
１５０  リムーバブル不揮発性メモリインターフェース
１６０  ユーザ入力インターフェース
１６１  ポインティング装置
１６２  キーボード
１６３  マイクロフォン
１７０  ネットワークインターフェース
１７１  ローカルエリアネットワーク
１７２  モデム
１７３  広域ネットワーク
１８０  リモートコンピュータ
１８５  リモートアプリケーションプログラム
１９０  ビデオインターフェース
１９１  モニタ
１９５  出力周辺インターフェース
１９６  プリンタ
１９７  スピーカ
【図１】
2005078077.tif 000016
【図２】
2005078077.tif 000017
【図３】
2005078077.tif 000018
【図４】
2005078077.tif 000019
【図５】
2005078077.tif 000020