(57)【要約】【課題】  音声認識および音声分類のために隠れ条件付確率場モデルを訓練して使用する方法および装置を提供すること。【解決手段】  隠れ条件付確率場モデルでは、特徴を使用するが、少なくともその１つは音声単位の隠れ状態に基づいている。特徴の値は、音声のセグメントから決定され、これらの値は音声のセグメントの音声単位を識別するために使用される。【選択図】  図３
2006113570.tif 000002
【特許請求の範囲】
【請求項１】
隠れ条件付確率場モデルを訓練する方法であって、
複数の各ラベルの隠れ状態の集合を定義するステップと、
隠れ状態の集合の制約付き系列を識別するステップで、前記系列内の少なくとも１つの集合がすべてのラベルに定義されたすべての隠れ状態よりも少ない隠れ状態を含んでいるステップと、
隠れ状態の集合の前記制約付き系列の状態系列を隠れ状態の集合の制約なし系列の状態系列よりも高い尤度にするように前記隠れ条件付確率場モデルのパラメータを調整するステップで、前記制約なし系列内の各集合はすべてのラベルに定義されているすべての隠れ状態を含んでいるステップとを備えることを特徴とする方法。
【請求項２】
前記隠れ条件付確率場モデルのパラメータを調整するステップは、隠れ状態の集合の前記制約付き系列の反復スコアおよび隠れ状態の集合の前記制約なし系列の第２の反復スコアを決定することによって条件付対数尤度を決定するステップを備えることを特徴とする請求項１に記載の方法。
【請求項３】
前記反復スコアを決定するステップは、集合の前記制約付き系列の各時点において、その時点における隠れ状態の前記集合の隠れ状態ごとに前記反復スコアを決定するステップを備えることを特徴とする請求項２に記載の方法。
【請求項４】
ある時点における隠れ状態のスコアを決定するステップは、前の時間フレームにおける少なくとも２つの隠れ状態のスコアの合計をとるステップを備えることを特徴とする請求項３に記載の方法。
【請求項５】
各ラベルは隠れ状態の異なる集合を有することを特徴とする請求項１に記載の方法。
【請求項６】
前記ラベルは音声単位を表すことを特徴とする請求項１に記載の方法。
【請求項７】
前記隠れ条件付確率場の前記パラメータを調整するステップは、条件付対数尤度のグラジエントを決定するステップをさらに備えることを特徴とする請求項１に記載の方法。
【請求項８】
音声信号を受け取るステップと、
隠れ条件付確率場モデルに定義されている特徴に対して前記音声信号から値を決定するステップで、少なくとも１つの前記特徴は音声単位の隠れ状態に基づいているステップと、
少なくとも１つの音声単位を識別するために、前記隠れ条件付確率場モデルの前記特徴の前記値を使用するステップと
を実行するためのコンピュータ実行可能命令を含むことを特徴とするコンピュータ可読媒体。
【請求項９】
特徴の値を決定するステップは、現在の隠れ状態が特定の隠れ状態と一致することを判別するステップ、および前記特徴の前記値を観測ベクトルの１つの要素と等しく設定するステップを含むことを特徴とする請求項８に記載のコンピュータ可読媒体。
【請求項１０】
特徴の値を決定するステップは、現在の隠れ状態が特定の隠れ状態と一致することを判別するステップ、および前記特徴の前記値を観測ベクトルの１つの要素の二乗と等しく設定するステップを含むことを特徴とする請求項８に記載のコンピュータ可読媒体。
【請求項１１】
特徴の値を決定するステップは、現在の隠れ状態が特定の隠れ状態と一致することを判別するステップ、および前記特徴の前記値を前記音声信号のフォルマントの値と等しく設定するステップを含むことを特徴とする請求項８に記載のコンピュータ可読媒体。
【請求項１２】
特徴の値を決定するステップは、現在の隠れ状態が特定の隠れ状態と一致することを判別するステップ、および前記特徴の前記値を前記音声信号が有声の場合に１、前記音声信号が無声の場合にゼロと等しく設定するステップを含むことを特徴とする請求項８に記載のコンピュータ可読媒体。
【請求項１３】
特徴の値を決定するステップは、現在の隠れ状態が特定の隠れ状態と一致しないことを判別するステップ、および前記特徴の前記値をゼロと等しく設定するステップを含むことを特徴とする請求項１２に記載のコンピュータ可読媒体。
【請求項１４】
前記隠れ条件付確率場モデルは、複数の各時点における隠れ状態の別個の集合を備える隠れ状態の制約付きトレリスを使用して訓練され、各集合はすべての可能な隠れ状態よりも少ない隠れ状態を備えることを特徴とする請求項８に記載のコンピュータ可読媒体。
【請求項１５】
前記隠れ条件付確率場モデルは制約なしトレリスを使用して訓練されることを特徴とする請求項１４に記載のコンピュータ可読媒体。
【請求項１６】
前記隠れ条件付確率場モデルは条件付対数尤度および前記条件付対数尤度のグラジエントを決定することによって訓練されることを特徴とする請求項８に記載のコンピュータ可読媒体。
【請求項１７】
少なくとも１つの音声単位を識別するために音声信号をデコードする方法であって、
前記音声信号のセグメントを使用してある時点における第１の隠れ状態の特徴の第１の値を識別するステップと、
前記音声信号の前記セグメントを使用して前記時点における第２の隠れ状態の特徴の第２の値を識別するステップと、
音声の前記セグメントの音声単位を識別するためにモデル内の前記特徴の前記第１の値および前記特徴の前記第２の値を使用するステップとを備えることを特徴とする方法。
【請求項１８】
前記特徴の前記第１の値はフォルマント値を備え、前記第２の値はゼロの値を備えることを特徴とする請求項１７に記載の方法。
【請求項１９】
前記特徴の前記第１の値は音声の前記セグメントから生成される観測ベクトルの要素を備え、前記特徴の前記第２の値はゼロの値を備えることを特徴とする請求項１７に記載の方法。
【請求項２０】
前記特徴の前記第１の値は音声の前記セグメントから生成される観測ベクトルの要素の二乗を備え、前記特徴の前記第２の値はゼロの値を備えることを特徴とする請求項１７に記載の方法。
【請求項２１】
前記特徴の前記第１の値は１の値を備え、前記特徴の前記第２の値はゼロの値を備えることを特徴とする請求項１７に記載の方法。
【請求項２２】
前記モデルは隠れ条件付確率場モデルを備えることを特徴とする請求項１７に記載の方法。
【請求項２３】
モデルの前記特徴の前記第１の値および前記特徴の前記第２の値を使用するステップは、前記第１の値および前記第２の値を使用して前記第１の状態のスコアを決定するステップを備えることを特徴とする請求項１７に記載の方法。
【請求項２４】
前記第１の状態の前記スコアは前の時点の状態の集合にわたってとられた合計を備えることを特徴とする請求項２３に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声分類および音声認識に関する。特に、本発明は、自動の音声分類および音声認識を実行するために使用されるモデルに関する。
【背景技術】
【０００２】
音声分類および音声認識においては、音声の音響特性をモデル化するために隠れマルコフモデル（ＨＭＭ：Ｈｉｄｄｅｎ  Ｍａｒｋｏｖ  Ｍｏｄｅｌ）が広く使用されてきた。ＨＭＭは生成モデルであり、隠れ状態系列の概念を使用して、ラベルからの観測の生成の非定常性をモデル化する入力信号の各フレームにおいて、ＨＭＭは、起こりうる各々の隠れ状態からその状態を生成する確率を決定する。この確率は、音声のフレームから派生する特徴ベクトルを、その状態に関連付けられている確率分布の集合に適用することによって決定される。さらに、ＨＭＭは、前の状態から隠れマルコフモデルの各状態に遷移する確率を決定する。組み合わされた遷移確率（ｔｒａｎｓｉｔｉｏｎ  ｐｒｏｂａｂｉｌｉｔｙ）および観測確率（ｏｂｓｅｒｖａｔｉｏｎ  ｐｒｏｂａｂｉｌｉｔｙ）を使用して、隠れマルコフモデルでは、フレームを生成した可能性の最も高い状態を選択する。
【発明の開示】
【発明が解決しようとする課題】
【０００３】
隠れマルコフモデルの１つの限界は、各状態の確率が同じ特徴ベクトルを使用して決定されることであり、このため同じ特徴の集合が各状態に対して使用される。他の言語音（ｓｐｅｅｃｈ  ｓｏｕｎｄ）よりも特定の言語音にとって様々な特徴が重要であるため、この限界は望ましいものではない。例えば、母音を互いに区別する場合、フォルマントの値は重要である。しかし、摩擦音（ｆｒｉｃａｔｉｖｅ）どうしを区別する場合、音声が有声または無声のいずれであるかについての情報が参考になる。したがって、様々な言語音に関連付けられている状態の様々な特徴を使用できることが望ましいと考えられる。しかしこれは、ＨＭＭシステムでは不可能である。
【０００４】
さらに、ＨＭＭモデルでは、特徴に対してフレーム間依存の長さを変えることはできない。したがって、各フレームにおいて、特徴は、前のフレームに関する固定量の情報を提供する。言語音間の区別に役立てるため、様々な言語音に関連付けられている状態の様々な長さのフレーム依存を可能にすることが望ましいと考えられる。
【０００５】
系列ラベリングの分野においては、隠れマルコフモデルの限界の一部を回避する条件付確率場（ＣＲＦ：Ｃｏｎｄｉｔｉｏｎａｌ  Ｒａｎｄｏｍ  Ｆｉｅｌｄ）モデルが使用されてきた。特に、条件付確率場モデルにより、フレーム内のラベルの確率を決定する場合に、発音全体にわたって行われる観測が各フレームにおいて使用できるようになる。さらに、様々なラベルを様々な特徴に関連付けることができ、これにより各ラベルにより適した特徴を選択することができる。
【０００６】
ＣＲＦモデルの１つの問題点は、訓練の時点でラベルが認識されている必要があったことである。そのため、ＣＲＦモデルは、隠れ状態が訓練時に不明なので、隠れ状態をモデル化することができない。したがって、ＣＲＦモデルは、音声認識および音声分類に使用されることはなかった。
【０００７】
近年、隠れ状態を組み入れる条件付確率場モデルへの拡張が提案されている。ただし、この条件付確率場モデルの拡張が音声認識または音声分類に使用できることは提案または示されていない。特に、拡張で示される隠れ状態は、音声認識に従来使用されてきた隠れ状態に対応しないが、これは特定の音声単位に関連付けられている。
【課題を解決するための手段】
【０００８】
音声認識および音声分類のために隠れ条件付確率場モデルを訓練して使用する方法および装置が提供される。隠れ条件付確率場モデルは、少なくともその１つが音声単位の隠れ状態に基づく特徴を使用する。特徴の値は、音声のセグメントから決定され、これらの値は音声のセグメントの音声単位を識別するために使用される。
【０００９】
図１は、本発明を実装できる適切なコンピューティング環境１００の実施例を示している。コンピューティング環境１００は、適切なコンピューティング環境の一例に過ぎず、本発明の使用の範囲または機能にいかなる制限を提案することも意図するものではない。さらに、コンピューティング環境１００は、模範的なオペレーティング環境１００に示された１つのコンポーネントまたはその組合せに関して依存関係または要件を有するものと解釈すべきではない。
【００１０】
本発明は、数多くの他の一般的用途または特殊用途のコンピュータシステム環境または構成により動作可能である。本発明と共に使用するために最適な既知のコンピュータシステム、環境、および／または構成の例としては、パーソナルコンピュータ、サーバコンピュータ、ハンドヘルドまたはラップトップ装置、マルチプロセッサシステム、マイクロプロセッサベースのシステム、セットトップボックス、プログラマブル家庭用電化製品、ネットワークＰＣ、ミニコンピュータ、メインフレームコンピュータ、電話技術システム、上記のシステムまたは装置のいずれかを含む分散コンピューティング環境などがあげられるが、これらに限定されることはない。
【００１１】
本発明は、コンピュータによって実行されるプログラムモジュールなど、コンピュータ実行可能命令の一般的なコンテキストに即して説明することができる。一般に、プログラムモジュールには、特定のタスクを実行するかまたは特定の抽象データタイプを実装するルーチン、プログラム、オブジェクト、コンポーネント、データ構造などが含まれる。本発明は、タスクが通信ネットワークを通じてリンクされたリモート処理装置によって実行される分散コンピューティング環境においても実施されるように設計されている。分散コンピューティング環境において、プログラムモジュールは、メモリ記憶装置を含むローカルおよびリモートのコンピュータ記憶媒体に配置される。
【発明を実施するための最良の形態】
【００１２】
図１を参照すると、本発明を実装するための模範的なシステムは、コンピュータ１１０の形態の汎用コンピュータ装置を含んでいる。コンピュータ１１０のコンポーネントは、処理装置１２０、システムメモリ１３０、およびシステムメモリを含む様々なシステムコンポーネントを処理装置１２０に接続するシステムバス１２１を含むことができる。システムバス１２１は、メモリバスまたはメモリコントローラ、周辺バス、および様々なバスアーキテクチャのいずれかを使用するローカルバスを含む、任意のタイプのバス構造であってもよい。限定的ではなく例示的に、そのようなアーキテクチャには、業界標準アーキテクチャ（ＩＳＡ）バス、マイクロチャネルアーキテクチャ（ＭＣＡ）バス、Ｅｎｈａｎｃｅｄ  ＩＳＡ（ＥＩＳＡ）バス、Ｖｉｄｅｏ  Ｅｌｅｃｔｒｏｎｉｃｓ  Ｓｔａｎｄａｒｄｓ  Ａｓｓｏｃｉａｔｉｏｎ（ＶＥＳＡ）ローカルバス、およびメザニンバスとも呼ばれるＰｅｒｉｐｈｅｒａｌ  Ｃｏｍｐｏｎｅｎｔ  Ｉｎｔｅｒｃｏｎｎｅｃｔ（ＰＣＩ）バスが含まれている。
【００１３】
コンピュータ１１０は通常、各種のコンピュータ可読媒体を含んでいる。コンピュータ可読媒体は、コンピュータ１１０がアクセスでき、揮発性および不揮発性媒体、取り外し可能および固定式の媒体を含む任意の使用可能な媒体であってもよい。一例として、コンピュータ可読媒体は、コンピュータ記憶媒体および通信媒体を備えることができるが、これらに限定されることはない。コンピュータ記憶媒体は、コンピュータ可読命令、データ構造、プログラムモジュールおよびその他のデータなどの情報のストレージのための任意の方法または技術において実装された揮発性および不揮発性の、取り外し可能および固定式の媒体を含んでいる。コンピュータストレージ媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリその他のメモリ技術、ＣＤ−ＲＯＭ、ＤＶＤ（デジタル多用途ディスク）その他の光ディスクストレージ、磁気カセット、磁気テープ、磁気ディスクストレージその他の磁気記憶装置、あるいは望ましい情報を格納するために使用することができ、コンピュータ１１０によってアクセスすることができる他の媒体を含んでいるが、これらに限定されることはない。通信媒体は通常、コンピュータ可読命令、データ構造、プログラムモジュール、またはその他のデータを搬送波などの搬送メカニズムのような変調データ信号で組み入れ、任意の情報伝達媒体を含んでいる。「変調データ信号」という用語は、１つまたは複数の特性セットを備える信号、または信号の情報をコード化するような方法で変更された信号を意味する。例えば、通信媒体は、有線ネットワークまたは直接配線接続のような有線媒体、および音響、ＲＦ、赤外線など無線媒体を含んでいるが、これらに限定されることはない。上記の任意の組合せも、コンピュータ可読媒体の範囲に含まれる。
【００１４】
システムメモリ１３０は、読み取り専用メモリ（ＲＯＭ）１３１およびランダムアクセスメモリ（ＲＡＭ）１３２のような揮発性メモリおよび／または不揮発性メモリの形態でコンピュータ記憶媒体を含んでいる。起動時などにコンピュータ１１０内の構成要素間の情報の転送を助ける基本ルーチンを含むＢＩＯＳ（基本入出力システム）１３３は通常、ＲＯＭ１３１に格納される。ＲＡＭ１３２は通常、処理装置１２０によって即時アクセス可能および／または現在操作中のデータおよび／またはプログラムモジュールを含んでいる。限定的ではなく例示的に、図１では、オペレーティングシステム１３４、アプリケーションプログラム１３５、その他のプログラムモジュール１３６、およびプログラムデータ１３７を示している。
【００１５】
コンピュータ１１０は、他の取り外し可能／固定式、揮発性／不揮発性のコンピュータ記憶媒体を含めることもできる。ほんの一例として、図１では、固定の不揮発性磁気媒体との間の読み取りまたは書き込みを行うハードディスクドライブ１４１、取り外し可能の不揮発性磁気ディスク１５２との間の読み取りまたは書き込みを行う磁気ディスクドライブ１５１、およびＣＤ−ＲＯＭその他の光媒体などの取り外し可能の不揮発性光ディスク１５６との間の読み取りまたは書き込みを行う光ディスクドライブ１５５を示している。模範的なオペレーティング環境において使用することができる他の取り外し可能／固定、揮発性／不揮発性コンピュータ記憶媒体は、磁気テープカセット、フラッシュメモリカード、ＤＶＤ（デジタル多用途ディスク）、デジタルビデオテープ、ソリッドステートＲＡＭ、ソリッドステートＲＯＭなどを含むが、これらに限定されることはない。ハードディスクドライブ１４１は通常、インターフェース１４０などの固定式メモリインターフェースを通じてシステムバス１２１に接続され、磁気ディスクドライブ１５１および光ディスクドライブ１５５は通常、インターフェース１５０などの取り外し可能メモリインターフェースによってシステムバス１２１に接続される。
【００１６】
図１に示されている前述のドライブおよびその関連するコンピュータ記憶媒体は、コンピュータ１１０のコンピュータ可読命令、データ構造、プログラムモジュール、およびその他のデータのストレージを提供する。例えば、図１において、ハードディスクドライブ１４１は、オペレーティングシステム１４４、アプリケーションプログラム１４５、その他のプログラムモジュール１４６、およびプログラムデータ１４７を格納するように示されている。これらのコンポーネントは、オペレーティングシステム１３４、アプリケーションプログラム１３５、その他のプログラムモジュール１３６、およびプログラムデータ１３７と同じにすることも、または異なるものにすることもできることに留意されたい。オペレーティングシステム１４４、アプリケーションプログラム１４５、その他のプログラムモジュール１４６、およびプログラムデータ１４７は、少なくともそれらが異なるコピーであることを示すために本明細書において異なる番号を付けてある。
【００１７】
ユーザは、キーボード１６２、マイクロフォン１６３、およびマウス、トラックボールまたはタッチパッドなどのポインティングデバイス１６１などの入力装置を介してコンピュータ１１０にコマンドおよび情報を入力することができる。他の入力装置（図示せず）としては、ジョイスティック、ゲームパッド、衛星放送用パラボラアンテナ、スキャナなどを含むことができる。上記およびその他の入力装置は、システムバスに接続されているユーザ入力インターフェース１６０を介して処理装置１２０に接続されることが多いが、パラレルポート、ゲームポート、またはユニバーサルシリアルバス（ＵＳＢ）など他のインターフェースおよびバス構造によって接続することもできる。モニタ１９１またはその他の種類の表示装置も、ビデオインターフェース１９０などのインターフェースを介してシステムバス１２１に接続することができる。モニタに加えて、コンピュータは、出力周辺インターフェース１９５を介して接続できるスピーカ１９７およびプリンタ１９６などの他の周辺出力装置を含むこともできる。
【００１８】
コンピュータ１１０は、リモートコンピュータ１８０など、１つまたは複数のリモートコンピュータへの論理接続を使用するネットワーク化された環境において操作される。リモートコンピュータ１８０は、パーソナルコンピュータ、ハンドヘルド装置、サーバ、ルータ、ネットワークＰＣ、ピアデバイスまたはその他の共通ネットワークノードなどであってもよく、通常はコンピュータ１１０に関連して説明されている要素の多くまたはすべてを含んでいる。図１に示されている論理接続は、ローカルエリアネットワーク（ＬＡＮ）１７１およびワイドエリアネットワーク（ＷＡＮ）１７３を含んでいるが、他のネットワークを含むこともできる。そのようなネットワーク環境は、オフィス、企業規模のコンピュータネットワーク、イントラネット、およびインターネットで一般化している。
【００１９】
ＬＡＮネットワーク環境に使用される場合、コンピュータ１１０はネットワークインターフェースまたはアダプタ１７０を介してＬＡＮ１７１に接続される。ＷＡＮネットワーク環境に使用される場合、コンピュータ１１０は通常、モデム１７２またはインターネットなどのＷＡＮ１７３にわたる通信を確立するための他の手段を含んでいる。モデム１７２は、内蔵または外付けであってもよく、ユーザ入力インターフェース１６０または他の適切な機構を介してシステムバス１２１に接続することができる。ネットワーク化された環境において、コンピュータ１１０に関連して示されるプログラムモジュール、またはその部分は、リモート記憶装置に格納することもできる。限定的ではなく例示的に、図１では、リモートアプリケーションプログラム１８５をリモートコンピュータ１８０に常駐するものとして示している。示されているネットワーク接続が模範的なものであり、コンピュータ間の通信リンクを確立する他の手段も使用できることを理解されたい。
【００２０】
図２は、模範的なコンピューティング環境であるモバイル装置２００を示すブロック図である。モバイル装置２００は、マイクロプロセッサ２０２、メモリ２０４、入出力（Ｉ／Ｏ）コンポーネント２０６、およびリモートコンピュータまたは他のモバイル装置と通信するための通信インターフェース２０８を含んでいる。１つの実施形態において、前述のコンポーネントは、適切なバス２１０を介して相互に通信するために接続されている。
【００２１】
メモリ２０４は、モバイル装置２００への一般電源がシャットダウンした場合に、メモリ２０４に格納されている情報が失われないように、バッテリバックアップモジュール（図示せず）を備えるランダムアクセスメモリ（ＲＡＭ）のような不揮発性電子メモリとして実装される。メモリ２０４の一部は、プログラム実行のためにアドレス可能メモリとして配置されることが好ましいが、メモリ２０４の別の部分は、ディスクドライブ上のストレージをシミュレートするなど、ストレージに使用されることが好ましい。
【００２２】
メモリ２０４は、オペレーティングシステム２１２、アプリケーションプログラム２１４、およびオブジェクトストア２１６を含んでいる。動作中、オペレーティングシステム２１２は、メモリ２０４からプロセッサ２０２によって実行されることが好ましい。１つの好ましい実施形態において、オペレーティングシステム２１２は、Ｍｉｃｒｏｓｏｆｔ  Ｃｏｒｐｏｒａｔｉｏｎから市販されているＷＩＮＤＯＷＳ（登録商標）ＣＥブランドのオペレーティングシステムである。オペレーティングシステム２１２は、好ましくは、モバイル装置向けに設計され、公開されたアプリケーションプログラミングインターフェースおよびメソッドのセットを通じてアプリケーション２１４が利用することができる。オブジェクトストア２１６のオブジェクトは、公開されているアプリケーションプログラミングインターフェイスおよびメソッドの呼び出しに少なくとも部分的に対応して、アプリケーション２１４およびオペレーティングシステム２１２によって保持されている。
【００２３】
通信インターフェース２０８は、モバイル装置２００が情報を送受信できるようにする多数の装置および技術を示している。装置は、例をあげると、有線および無線モデム、衛星放送受信機および放送用チューナなどを含んでいる。モバイル装置２００はさらに、コンピュータに直接接続されて、データを交換することもできる。そのような場合、通信インターフェース２０８は、赤外線トランシーバあるいはシリアルまたはパラレル通信接続であってもよく、それらはすべてストリーミング情報を伝送することができる。
【００２４】
入出力コンポーネント２０６は、タッチスクリーン、ボタン、ローラー、およびマイクロフォンなどの様々な入力装置、ならびに音声発生器、振動装置、およびディスプレイを含む様々な出力装置を含んでいる。上記に掲載した装置は、一例としてあげたものであり、モバイル装置２００にすべてが存在する必要はない。さらに、他の入出力装置が、本発明の範囲内でモバイル装置２００に接続または備え付けることもできる。
【００２５】
本発明において、音声分類および音声認識は、隠れ条件付確率場モデルと呼ばれる、隠れ状態を伴う条件付確率場モデルを使用して実行される。隠れ条件付確率場モデルは、観測のシーケンスおよびパラメータのセットを所与として、音素の識別などのラベルの確率、または語系列のようなラベル系列を提供する。特に、隠れ条件付確率場モデルは、以下のような確率を定義する。
【００２６】
【数１】
2006113570.tif 000003
【００２７】
ここで、
【００２８】
【数２】
2006113570.tif 000004
【００２９】
は、
【００３０】
【数３】
2006113570.tif 000005
【００３１】
の時刻ｔ＝１から時刻ｔ＝τまでの観測値の系列および重み値（パラメータ）λの集合を所与とする、ラベルｌの確率である。
【００３２】
【数４】
2006113570.tif 000006
【００３３】
は、
【００３４】
【数５】
2006113570.tif 000007
【００３５】
の時刻ｔ＝１から時刻ｔ＝τまでの観測値の系列および重み値（パラメータ）λの集合を所与とする、ｎラベルのラベル系列
【００３６】
【数６】
2006113570.tif 000008
【００３７】
の確率である。
【００３８】
【数７】
2006113570.tif 000009
【００３９】
は、前の隠れ状態Ｓ(t-1)、現在の状態Ｓ(t)の値、観測値の系列
【００４０】
【数８】
2006113570.tif 000010
【００４１】
、および時間値ｔから求められる特徴値である。λkは、ｋ番目の特徴ｆkの重み付け値である。
【００４２】
【数９】
2006113570.tif 000011
【００４３】
は、ラベルｌと整合するすべての隠れ状態系列にわたって加算（ｓｕｍｍａｔｉｏｎ）が実行されることを示す。
【００４４】
【数１０】
2006113570.tif 000012
【００４５】
は、ラベル系列
【００４６】
【数１１】
2006113570.tif 000013
【００４７】
と整合するすべての隠れ状態系列にわたって加算が実行されることを示す。
【００４８】
【数１２】
2006113570.tif 000014
【００４９】
は正規化値である。
【００５０】
数式１および数式２を使用すると、たとえ特徴自体が影の変数に依存している場合でも、様々なラベルの確率を、観測値および特徴重みの集合から決定することができる。
【００５１】
図３は、本発明の隠れ条件付確率場モデルのパラメータλkを訓練し、隠れ条件付確率場モデルを使用して音声分類および音声認識を行うためのシステムのブロック図を示している。
【００５２】
図３において、話者３００は、音声信号を電気信号に変換するマイクロフォン３０４に向かって話す。電気信号は、アナログデジタル（Ａ／Ｄ）変換器３０６に提供される。
【００５３】
Ａ／Ｄ変換器３０６は、マイクロフォン３０４からのアナログ信号を一連のデジタル値に変換する。１つの実施形態において、Ａ／Ｄ変換器３０６は、アナログ信号を１６キロヘルツでサンプリングし、サンプルあたり１６ビットで量子化し、これにより毎秒３２キロバイトの音声データを作成する。これらのデジタル値は、フレームコンストラクタ３０７に提供されるが、１つの実施形態において、値はここで１０ミリ秒の間隔で開始する２５ミリ秒のフレームにグループ化される。一部の実施形態において、フレームコンストラクタ３０７は、様々なサイズの複数のフレームを構成することができる。
【００５４】
フレームコンストラクタ３０７によって作成されるデータのフレームは、各フレームからの特徴の集合を抽出する特徴エキストラクタ３０８に提供される。特徴抽出モジュールの例としては、線形予測コーディング（ＬＰＣ：ｌｉｎｅａｒ  ｐｒｅｄｉｃｔｉｖｅ  ｃｏｄｉｎｇ）、ＬＰＣ派生ケプストラム、知覚線形予測（ＰＬＰ：ｐｅｒｃｅｐｔｉｖｅ  ｌｉｎｅａｒ  ｐｒｅｄｉｃｔｉｏｎ）、聴覚モデル特徴抽出、およびメル周波数ケプストラル係数（ＭＦＣＣ）特徴抽出を実行するためのモジュールが含まれる。さらに、特徴エキストラクタ３０８は、フレームが有声または無声のいずれであるかなどの特徴、およびフレームのフォルマントに関する情報を抽出することもできる。本発明はこれらの特徴抽出モデルに限定されることはなく、他のモジュールおよび他の特徴が本発明のコンテキストの範囲内で使用できることに留意されたい。
【００５５】
本発明の隠れ条件付確率場モデルを使用する前に、トレーナ３２４によって訓練する必要がある。トレーナ３２４は、特徴エキストラクタ３０８からの特徴および訓練テキスト３２６に基づいて、隠れ条件付確率場（ＣＲＦ）モデル３２７のモデルパラメータを決定する。特に、トレーナ３２４は、話者３００が訓練テキスト３２６のテキストを発音したときに特徴エキストラクタ３０８によって提供される特徴を所与として訓練テキスト３２６に見い出されたラベルの確率を最大化する隠れＣＲＦモデル３２７のパラメータを選択するために、条件付最大尤度アプローチを使用する。
【００５６】
図４は、本発明の１つの実施形態において隠れＣＲＦモデル３２７を訓練する方法の流れ図を示している。ステップ４００において、トレーナ３２４は、訓練テキスト３２６の訓練ラベルから制約付きトレリス（ｃｏｎｓｔｒａｉｎｅｄ  ｔｒｅｌｌｉｓ）を生成する。
【００５７】
系列認識のために、制約付きトレリスは、図５または図６のトレリスの形態をとることができる。図５は、音素｜ｐ｜、｜ｅ｜、および｜ｔ｜をそれぞれ表す音声ラベル５０６、５０８および５１０の有限集合の制約付きトレリス５００の例を示している。ここで訓練データの音素間の境界は既知である。図６は、音声ラベル５０６、５０８および５１０の同じ有限集合の制約付きトレリス６００の例を示している。ただし既知の音素境界はない。
【００５８】
図５および図６において、時間はそれぞれ横軸５０２および６０２に沿って示されており、隠れ状態はそれぞれ縦軸５０４および６０４に沿って示されている。音声ラベル５０６、５０８および５１０などの各音声ラベルは、両図において３つの可能な状態を有している。
【００５９】
トレリス５００は、各時点において、単一の音声ラベルに関連付けられているこれらの状態のみが占有されるので、制約付きであると見なされる。したがって、他の音声ラベルからの状態は、その時点において無効である。トレリスは制約付きであるが、特徴エキストラクタ３０８から生成される観測値に基づきトレリスを通じてたどることのできる多くの異なる状態系列がある。トレリス６００も、状態間の遷移を訓練テキストの音素の系列と整合する遷移のみに制限するので、制約付きである。図６の例では、状態間の遷移は、音素系列／ｐ／  ／ｅ／  ／ｔ／のみを許可している。
【００６０】
分類では、複数の個々の制約付きトレリスが使用され、ここで各トレリスは単一の音素の状態に制限される。訓練中に、単一音素は一度に話され、適切な制約付きトレリスが選択されて図４の方法で使用される。
【００６１】
音声ラベルの状態は隠されているため、図４の方法は、制約付きトレリスのすべての状態を通じて前後の反復を行い、これにより数式１に示される各レベルに関連付けられた状態の加算を実行する。前後の反復は以下のように定義される。
【００６２】
【数１３】
2006113570.tif 000015
【００６３】
ここで、α（ｓ’，ｔ−１）は、可能な状態が制約付きトレリスに見られる状態に制限されている場合の、時刻ｔ−１における前の状態ｓ’での前方反復スコアを表しており、β（ｓ’，ｔ＋１）は時刻ｔ＋１における状態ｓ’での後方反復スコアを表している。
【００６４】
数式３および数式４において、特徴
【００６５】
【数１４】
2006113570.tif 000016
【００６６】
は任意の望ましい特徴であってもよい。１つの実施形態において、特徴は、現在の状態が１つの状態値と一致し前の状態がもう１つの状態値と一致する場合に１の値を持つインジケータ関数の特徴、前の状態が現在の状態と一致する場合に１であるインジケータ関数、前の状態が現在の状態と一致する場合に特徴ベクトルのそれぞれ別個の要素の値をとる実数値の特徴の集合、および前の状態が現在の状態と一致する場合に特徴ベクトルのそれぞれ別個の要素の二乗を表す特徴の集合を含んでいる。追加の特徴は、母音に関連付けられた状態のように現在の状態が特定の状態値と一致する場合にフォルマントの値をとる実数値特徴、および摩擦音に関連付けられた状態のように現在の状態が特定の状態と一致する場合に音声信号が有声であれば１、音声信号が無声であればゼロである２進特徴を含んでいる。
【００６７】
ステップ４０２において、制約付きトレリスに前後の反復を実行した後、図４の方法はステップ４０４において、制約なしトレリスに前後の反復を実行することにより続行される。
【００６８】
制約なしトレリス７００の例が図７に示されている。図７において、制約なしトレリスは、音声単位７０２、７０４、および７０６に関連付けられている状態に対してのみ示されている。図５および図６に示すように、時間は横軸に沿って示されており、使用可能な状態は図７の縦軸に沿って示されている。図示されていないが、制約なしトレリスは、各時点において可能な各音声単位の状態を含んでいる。
【００６９】
前後の反復計算は、数式３および数式４の場合と同様であるが、前後の反復計算が、制約付きトレリスではなく制約なしトレリスに適用される点が異なっている。多くの実施形態において、ステップ４０４の前後の反復の間、ビーム検索方は前方反復中に低いスコアを有する状態に使用され、後方反復はそれ以降の検討対象から取り除かれる。これにより、各時点において実行しなければならない計算の数が減少する。
【００７０】
ステップ４０６において、制約付きトレリスおよび制約なしトレリスに適用された前後の反復は、条件付対数尤度および条件付対数尤度のグラジエントを決定するために使用される。１つの実施形態において、条件付対数尤度は以下のように決定される。
【００７１】
【数１５】
2006113570.tif 000017
【００７２】
ここで、α（ｓF，τ＋１）は、制約付きトレリスを使用する時刻τ＋１の時点の最終単一状態ｓFにおける前方反復スコアであり、α’（ｓF，τ＋１）は、制約なしトレリスから決定された時刻τ＋１の時点の最終状態ｓFにおける前方反復スコアである。
【００７３】
条件付対数尤度のグラジエントは以下のように決定される。
【００７４】
【数１６】
2006113570.tif 000018
【００７５】
ここで
【００７６】
【数１７】
2006113570.tif 000019
【００７７】
ここで
【００７８】
【数１８】
2006113570.tif 000020
【００７９】
さらにここで、
【００８０】
【数１９】
2006113570.tif 000021
【００８１】
は、一乗または二乗されたか、あるいは値１の関数の観測された特徴ベクトルの個々の要素から派生した特徴を表している。数式５から数式１２では、単一発音の例の対数尤度およびグラジエントが求められる。さらに完全な対数尤度およびグラジエントは、複数の訓練の例からの個々の対数尤度およびグラジエント値を合計することにより形成される。
【００８２】
ステップ４０６において条件付対数尤度および条件付対数尤度のグラジエントが決定されると、これらはステップ４０８において各特徴ｆkの新しい値λkを選択するために最適化アルゴリズムに使用される。１つの実施形態によれば、ステップ４０８においてλkの次の値を選択するために限定メモリＢＦＧＳ（ｌｉｍｉｔｅｄ  ｍｅｍｏｒｙ−ＢＦＧＳ）と呼ばれる最適化アルゴリズムが使用される。ステップ４１０において、方法は、最適化が完了しているかどうか判別する。完了していない場合、方法は、λkの新しい値を使用してステップ４０２に戻り、ステップ４０２、４０４、および４０６を繰り返す。ステップ４１０において最適化が完了している場合、ステップ４１２においてプロセスは終了する。
【００８３】
図４のプロセスを使用して隠れＣＲＦモデル３２７がトレーナ３２４によって訓練された後、音声分類および音声認識はデコーダ／音声分類器３１２によって実行することができる。
【００８４】
音声認識の間、話者３００は一連の単語を発音する。この音声信号は、訓練信号の場合と同様の方法で、マイクロフォン３０４、Ａ／Ｄコンバータ３０６、フレームコンストラクタ３０７、および特徴エキストラクタ３０８によって処理され、特徴の集合を生成する。これらの特徴は、デコーダ３１２に提供される。音声分類の場合、特徴の系列は、単一音素のフレームに関連付けられている系列に限定される。音声認識の場合は、特徴の系列は、発音全体にわたるフレームに対するものである。
【００８５】
音声分類を実行するため、別個の制約付きトレリスが音声単位ごとに形成される。数式５の条件付対数尤度の分子を決定するために、各トレリスにおいて前方反復が実行される。次に、分子の最大値を提供するトレリスに関連付けられている音声単位は、発音の音声単位として選択される。
【００８６】
同様の技法は、認識すべき可能な音声系列の有限集合がある場合に、音声認識に使用することができる。そのような場合、図６のトレリスのような制約付きトレリスは、可能な音声系列ごとに構成することができる。次に、数式５の条件付対数尤度の分子を決定するために、各トレリスにおいて前方反復が実行される。次に、最大値を提供するトレリスに関連付けられている音声単位の系列は、発音の音声単位の系列として選択される。
【００８７】
音声認識を実行するために、図６のトレリスと同様の制限なしトレリスが構成される。次に、前方反復は、以下の数式を使用して実行される。
【００８８】
【数２０】
2006113570.tif 000022
【００８９】
ここで、前方反復が制約なしトレリスにわたり実行されること、および前の状態ｓ’の合計をとるのではなく、α（ｓ，ｔ）の値を最大化する前の状態ｓ’がα（ｓ，ｔ）の値を計算するために選択され使用される点を除いて、数式１３は数式３と同様である。この前方パスが完了した後、各時点における最大スコアを提供する状態を選択することによって制約なしトレリスを経由する単一経路が識別されている。この経路を後退することにより、入力音声信号に関連付けられている状態の系列を識別することができる。本発明の実施形態において、各状態は単一ラベルに割り当てられているだけである。そのようにして、状態の系列は、容易にラベルの系列に変換され、これにより認識済みの出力または音声分類を提供することができる。
【００９０】
一部の実施形態において、α（ｓ，ｔ）の低い値を有する各時間フレームにおける状態を除去することにより、前方反復中に枝取りが行われる。
【００９１】
一部の音声認識の実施形態において、デコーディングのためのトレリスは、言語の単語の発音を含む語彙３１４に見い出された音声単位の許容系列に制約されている。さらに他の実施形態においては、音声単位の複数の可能な系列は、隠れ条件付確率場モデルを使用して識別される。隠れ条件付確率場モデルによって系列ごとに決定されたスコアは、音声単位の系列によって表される一連の単語の言語モデルスコアと組み合わされる。そのような言語モデルスコアは、言語モデル３１６によって生成される。最高の組合せスコアを提供する音声単位の系列は、デコーダ３１２によって音声セグメントの音声単位の系列として選択される。
【００９２】
他の音声認識の実施形態においては、言語モデルおよび語彙は、隠れ条件付確率場モデルに統合されている。そのような実施形態において、言語モデルは、音響効果を無視するが、その代わりに様々な単語間の遷移に注目する特徴を使用して実装される。同様に、語彙は、有効な発音に対応する状態系列のみを許可する遷移特徴によって実装される。言語モデル特徴および語彙特徴のパラメータは、隠れ条件付確率場モデルの訓練中にリ訓練するか、または別個の訓練プロセスを使用して設定することができる。
【００９３】
隠れ条件付確率場モデルの訓練中に言語モデルが使用可能な場合、隠れ条件付確率場モデルの重みは、言語モデルが同等の可能性があると見なす単語系列のみを区別するように訓練されることに留意されたい。このように訓練することにより、音響モデルのモデル化能力は、言語モデルが解決するモデル化の差異に浪費されない。
【００９４】
本発明は、特定の実施形態を参照して説明してきたが、本発明の精神および範囲を逸脱することなく形態および詳細に変更を加えることができることが、当業者には明らかとなろう。
【図面の簡単な説明】
【００９５】
【図１】本発明を実施することができる１つのコンピューティング環境を示すブロック図である。
【図２】本発明を実施することができる代替コンピューティング環境を示すブロック図である。
【図３】本発明の１つの実施形態における音声認識／音声分類器の訓練およびデコーディングシステムを示すブロック図である。
【図４】本発明における隠れ条件付確率場の訓練を示す流れ図である。
【図５】音声単位境界が既知である、本発明の実施形態における隠れ条件付確率場モデルの訓練に使用される制約付きトレリス図を示す流れ図である。
【図６】音声単位境界が未知である、本発明の実施形態における隠れ条件付確率場モデルの訓練に使用される制約付きトレリス図を示す流れ図である。
【図７】本発明の実施形態における訓練およびデコーディングに使用される制限なしトレリスを示す図である。
【符号の説明】
【００９６】
３００  話者
３０４  マイクロフォン
３０６  Ａ／Ｄ変換器
３０７  フレームコンストラクタ
３０８  特徴エキストラクタ
３１２  デコーダ／音声分類器
３１４  語彙
３１６  言語モデル
３２６  訓練テキスト
３２４  トレーナ
３２７  隠れＣＲＦモデル
５００，６００  トレリス
５０６，５０８，５１０  音声ラベル
【図１】
2006113570.tif 000023
【図２】
2006113570.tif 000024
【図３】
2006113570.tif 000025
【図４】
2006113570.tif 000026
【図５】
2006113570.tif 000027
【図６】
2006113570.tif 000028
【図７】
2006113570.tif 000029