(57)【要約】【課題】  話者の環境において動的に変化する雑音、および資源が限られていることから使用可能な計算能力が限られたシステム（組込み型）で動作する特定の要件に適合した、音声認識の方法およびシステムを提供すること。【解決手段】  本発明は、音声認識システムを動作させるための方法およびそれぞれのシステムに関し、複数の認識装置プログラムは、音声認識用に活動化させるためにアクセス可能であり、単一の認識装置によって実行される音声認識の結果を効率よく向上させるために必要に応じて組み合される。様々な動作環境の動的に変化する音響条件、および使用可能な計算能力が限られた組込み型システムに適合するために、  ａ）センサ手段を使用して、たとえば話者および環境雑音などの音声認識境界条件を特徴付ける選択基準データを収集すること（２１０、２２０、２３０、２４０）、  ｂ）最適な認識装置またはその組合せを複数の使用可能な認識装置から選択する（２９０）ために、収集されたデータを評価するためのプログラム制御されたアービタ手段、たとえばソフトウェア機構を含む意思決定エンジンおよび物理センサを使用すること（２６０）、が提案される。
2006510933.tif 000002
【特許請求の範囲】
【請求項１】
音声認識システムを動作させるための方法であって、前記システムにおいて、プログラム制御された認識装置（１）が、
音声信号をフレームに分けて分析し、各フレームについて任意の種類の特徴ベクトルを計算するステップと、
フレームを文字ごとまたは文字のグループごとにラベリングするステップと、
音素ごとに複数のラベルを生み出すステップと、
１つまたは複数の単語または単語のフラグメントを構築するように、所定の音響モデルに従って前記ラベルを復号するステップと、
を実行し、
複数の認識装置が、音声認識用に稼動させるためにアクセス可能であり、
ａ）センサ手段（５）を使用して、音声認識境界条件を特徴付ける選択基準データを収集するステップ（２１０、２２０、２３０、２４０）と、
ｂ）前記収集されたデータを評価するためのプログラム制御されたアービタ手段（６）を使用するステップ（２６０）と、
ｃ）最適な認識装置またはその組合せを、前記評価に従って複数の使用可能な認識装置から選択するステップ（２９０）と、
によって特徴付けられる単一の認識装置、によって実行される音声認識の結果を平衡させるために組み合わせられる、
方法。
【請求項２】
前記センサ手段（５）が
ソフトウェア・プログラムを含む意思決定論理、物理センサ、またはそれらの組合せ、
のうちの１つまたは複数である、請求項１に記載の方法。
【請求項３】
ａ）統計的試験、意思決定木、ファジー・メンバーシップ関数のうちの１つまたは複数を実施する意思決定論理において、物理センサ（５）の出力を処理するステップ（２６０）と、
ｂ）前記プロセスから、センサの選択／組合せの意思決定で使用される信頼値を戻すステップ（２７０）と、
をさらに有する、請求項１に記載の方法。
【請求項４】
認識装置の選択意思決定につながった選択基準データが、認識装置の高速選択を獲得するためにその反復高速アクセス用のデータベース（２５０）に格納される、請求項１に記載の方法。
【請求項５】
現在のシステム負荷に依存して（２８０）認識装置の数および組み合わせあるいはそのいずれかを選択するステップ（２９０）
をさらに有する、請求項１に記載の方法。
【請求項６】
複数のモデル自体を格納する代わりに、１つの音響モデルがどのように別のモデルに変換されるかについてのマッピング規則（７）を格納するステップ
をさらに有する、請求項１に記載の方法。
【請求項７】
前記請求項１から６のうちの一項に従った方法のステップを実行するための手段を有するコンピュータ・システム。
【請求項８】
前記請求項１から６のうちのいずれか一項に従った方法のそれぞれのステップを実行するためのコンピュータ・プログラム・コード部分を有し、
前記コンピュータ・プログラム・コード部分がコンピュータ上で実行された場合に、データ処理システムで実行するための、
コンピュータ・プログラム。
【請求項９】
コンピュータ上で実行された場合に、
前記請求項１から６のうちのいずれか一項の方法をコンピュータに実行させるためのコンピュータ読取り可能プログラム手段を有する、
コンピュータ使用可能メディア上に格納されたコンピュータ・プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、コンピュータ化された音声認識の分野に関する。
【０００２】
特に、本発明は語彙力の高い音声認識システムを動作させるための方法に関し、この方法ではプログラム制御された認識装置が、
１．たとえばスペクトル係数を有する各フレームについて抽出される特徴ベクトルを生じさせるように、音声信号を必ずしも等しい長さである必要のない短い時間間隔、すなわちフレームに分けて分析するステップと、
２．フレームを文字ごとまたは文字のグループごとにラベリングし、フレームごとに複数のラベルを生み出すステップと、
３．１つまたは複数の単語または単語のフラグメントを構築するように、前記ラベルを復号するステップと、
を実行し、
４．この方法では複数の認識装置が、音声認識用に活動化させるためにアクセス可能であり、さらに、単一の認識装置によって実行される音声認識の結果を向上させるためにオンデマンド・ベースで組み合わせられる。
【背景技術】
【０００３】
とりわけ、前述のような連続音声認識装置は、「ＨＭＭ」と呼ばれることもある基本的な隠れマルコフ・モデルのように、たとえば単音（ｐｈｏｎｅ）またはトライフォン（ｔｒｉｐｈｏｎｅ）などのコンテキスト依存型サブワード単位をモデル化することによって、音声の多くの変形を取り込む。これらモデルの統計パラメータは、通常、数百時間のラベリングされたトレーニング・データから推定される。トレーニング・データが応用シナリオの音響特性と十分にマッチする場合はこれによって高精度の認識が可能になるが、著しく異なる音響環境およびおそらくはかなり動的に変化する特徴に音声認識装置が即応しなければならない場合、認識精度の大幅な低下が観測される可能性がある。
【０００４】
オンラインおよび（非）監視下の両方の一括適応技法は、音響モデル・パラメータの再評価によってこの問題に対処するが、使用可能なデータの量が非常に少ない場合および計算リソースが乏しい場合、またはそのいずれかの場合、あるいは一括適応に際して音響環境における動的な変化に適切に対処できない場合は、どちらも実行不可能である。
【０００５】
現在の語彙力の高い連続音声認識装置は、隠れマルコフ・モデル（ＨＭＭ）を採用して、経験的確率が最大の単語シーケンスｗを音声信号から算出する。
【０００６】
隠れマルコフ・モデルとは、状態の有限集合Ｓ＝｛Ｓ１，．．．，ＳＮ｝に作用し、時間ｔごとの出力が観測可能な確率オートマトンＡ＝（π，Ａ，Ｂ）のことであり、ｔ＝１、２、．．．、Ｔであって、１つの状態が占有されている。初期の状態ベクトル
【数１】
2006510933.tif 000003
は、ＨＭＭが時間ｔ＝１で状態Ｓｉにある確率を与え、遷移行列
【数２】
2006510933.tif 000004
は、状態ＳｉからＳｊへの遷移を記述する一次時不変プロセス（ｆｉｒｓｔ  ｏｒｄｅｒ  ｔｉｍｅ  ｉｎｖａｒｉａｎｔ  ｐｒｏｃｅｓｓ）の確率を保持する。観測結果は音声信号から導出された連続値特徴ベクトルｘ∈Ｒであり、出力される確率は、本明細書ではｐｄｆｓと呼ばれる確率密度関数の集合によって以下のように定義される。
【数３】
2006510933.tif 000005
【０００７】
任意の所与のＨＭＭ状態Ｓｉの場合、未知の分布ｐ（ｘ｜Ｓｉ）は、通常、基本的なガウスｐｄｆｓの混合によって以下のように近似され、
【数４】
2006510933.tif 000006
上式で、Ｍｉは状態Ｓｉに関連付けられたガウスの集合である。さらに、ｘは観測された特徴ベクトルを示し、ｗｊｉはｉ番目の出力分布に対するｊ番目の混合要素（ｍｉｘｔｕｒｅ  ｃｏｍｐｏｎｅｎｔ）重みであり、μｊｉおよびΓｊｉは状態Ｓｉでｊ番目のガウスの平均および共分散行列である。数式４の平均ベクトルの状態および混合要素指数（ｍｉｘｔｕｒｅ  ｃｏｍｐｏｎｅｎｔ  ｉｎｄｅｘ）は、表記を簡単にするために省略されていることに留意されたい。
【０００８】
最新技術の音声認識装置は、通常、以下の構成要素からなる。
【０００９】
・特徴抽出は、信号の短い部分（フレーム）の分類を可能にするパラメトリック表示を算出する。頻繁に使用される特徴は、エネルギー値およびその時間導関数によってしばしば強化されるスペクトル・パラメータまたはメル周波数ケプストラム係数（ＭＦＣＣ）である。
【００１０】
・「ラベラー」は、各特徴ベクトルに、コンテキスト依存型の単音またはサブフォンなどの起こり得る有意なサブワード単位を表すいくつかのラベルを付ける。特徴ベクトルを分類するための一般的な技法には、たとえばガウス混合密度を使用する統計的分類またはニューラル・ネットワークを利用した分類が含まれる。
【００１１】
・「デコーダ」は各ラベルをＨＭＭの出力として解釈し、経験的確率が最大のワード・シーケンスを算出する。ラベリング・ステップからの代替の結果に効率良く即応するために、検索方針およびプルーニング技法が採用される。その一般的な例が、非同期スタック復号および時間同期ビタビ復号またはビーム検索である。
【００１２】
最近では、並行して実施されるいくつかの基準認識装置からの（中間）結果を組み合わせることによって、単語誤り率の大幅な低下が達成可能であることが実証されてきている。以下の３つの主要な手法が認められる。
【００１３】
・特徴組合せ方法は特徴の異なる集合を算出し、これらをラベラーに渡される単一の特徴ベクトルに構成する。
【００１４】
・尤度組合せ方法も異なる特徴ベクトルを算出するが、これらを別々に分類する。異なるラベリング・ステップからの結果はそれらの根拠に基づいて組み合わされ、各フレームについて代替ラベルの単一ベクトルがデコーダに渡される。
【００１５】
・ＲＯＶＥＲ（認識装置出力投票誤り削減／Ｒｅｃｏｇｎｉｚｅｒ  Ｏｕｔｐｕｔ  Ｖｏｔｉｎｇ  Ｅｒｒｏｒ  Ｒｅｄｕｃｔｉｏｎ）は、動的プログラミング技法を使用していくつかのデコーダ・パスからの出力を単一の単語仮説（ｗｏｒｄ  ｈｙｐｏｔｈｅｓｉｓ）ネットワークにマージする、後処理方法である。組み合わせられたネットワークのそれぞれの分岐点で、後続の投票機構が最終転写用に最高スコアの単語を選択する。
【００１６】
本明細書で提案された本発明の主要目標は、向上した認識精度を維持すると同時に、これらの方法に関連付けられたいくつかの問題を克服することである。
【００１７】
従来から、トレーニング・データに適切に表されない音響環境で使用された場合、音声認識装置の認識精度は大幅に低下することが良く知られている。デスクトップでの口述筆記などのアプリケーションでは、様々な環境でエンド・ユーザをシステムに登録できることによって、この問題に容易に取り組むことが可能であり、着信する特徴ベクトルを正規化するための方法も同様に考慮の対象とすることができる。しかしながら、パーベイシブ・コンピューティングにおける入力メディアとしての音声の重要な役割に直面し、先行適用ステップが不可能なアプリケーションの数はますます増加している。さらに、認識装置が潜在的に数多くの動的に変化する音響環境に対処しなければならない場合、十分な量のオンライン適応データがないため、または計算リソースが限られていることから、適応方法は実行不可能になる場合がある。
【００１８】
非常に数多くのパラメータを備えたより正確な音響モデルはこの状況を克服するのに役立つ可能性があるが、本明細書で報告された本発明で目標とされる典型的なアプリケーションでは実行不可能である。これらのアプリケーションとは、とりわけ、対話型音声応答ソリューション、顧客装置（移動電話、ＰＤＡ、家庭用電化製品）向け音声駆動型インターフェース、および車内の低リソース音声認識などである。
【００１９】
前述の組合せ方法は雑音の多い環境で単一の基準認識装置よりも大幅に高い精度を生み出すことができることが、文献で証明されている。しかしながら、これらの方法はＣＰＵにかかる計算負荷を増加させ、さらにいくつかの音響モデルおよび中間結果を格納するためのメモリの量も増やす必要があるため、いまだに低リソース音声認識装置には好適でない。
【発明の開示】
【発明が解決しようとする課題】
【００２０】
したがって本発明の目的は、話者の環境において動的に変化する雑音、および資源が限られていることから使用可能な計算能力が限られたシステム（組込み型）で動作する特定の要件に適合した、音声認識の方法およびシステムを提供することである。
【課題を解決するための手段】
【００２１】
本発明のこの目的は、同封の独立請求項に記載されている特徴によって達成される。本発明の他の有利な配置構成および実施形態は、それぞれの従属項に記載されている。次に、添付の特許請求の範囲を参照されたい。
【００２２】
本発明の基本的態様によれば、音声認識システム内で、
ａ）センサ手段を使用して、たとえば話者、環境雑音などの音声認識境界条件を特徴付ける選択基準データを収集するステップと、
ｂ）収集されたデータを評価するためのプログラム制御されたアービタ手段、すなわち、ソフトウェア機構を含む意思決定エンジン、物理センサ、それらの組合せなどを使用するステップと、
ｃ）最適な認識装置またはその組合せを、前記評価に従って複数の使用可能な認識装置から選択するステップと、
を実行することが提案される。
【００２３】
これにより、様々な雑音レベルを有し複数の「感知手段」がすでに存在する環境において、重要な利点を達成することができる。感知手段とは、非常に広義に理解すれば、物理的または単に論理プログラムの形であれば、知識が増えると認識率が向上するという考えによって動機付けされた現在の発話状況を定義する細部に関する知識を増やすために、追加のユーザ入力を使用するかまたは使用せずにコンピュータ・プログラムによって評価することのできる、前記選択基準データを供給することが可能な、任意の配置構成を単に定義することである。したがって感知手段は有利には、たとえば冬用または夏用タイヤが取り付けられた特定のカー・モデル内で特定の速度で走行することなどによって生成される雑音を感知することが可能なマイクロフォン、カメラ、他の使用可能データから評価される雑音を生成する装置（たとえば換気装置、音楽など）のＯＮ／ＯＦＦ位置などの、任意の物理センサによる感知が可能であるか、またはユーザから要求されることが可能な、いくつかの基準データを解釈するソフトウェア・プログラムを含む、意思決定論理とすることができる。もちろんこれらの組合せも使用可能である。したがって、集められた感知データのいくつかの処理はセンサ手段に含まれるものとみなされる。
【００２４】
さらに、効率の良い評価のために、
ａ）統計的試験、意思決定木、ファジー・メンバーシップ関数のうちの１つまたは複数を実施する意思決定論理において、物理センサの出力を処理するステップと、
ｂ）前記プロセスから、センサの選択／組合せの意思決定で使用される信頼値を戻すステップと、
を有利に追加することができる。
【００２５】
さらにユーザは、前述の処理に従って定義された、たとえば数目盛りベースの基準、またはたとえばある条件の集合の下で音声認識がどの程度「良好」であったかの「良い」、「普通」、「悪い」などのいずれかなどの、格付け基準を追加することによって、このプロセスに寄与することもできる。
【００２６】
さらに有利には、認識装置の選択意思決定につながった前記選択基準データは、認識装置の反復高速選択のためにデータベースに格納される。これによって、認識装置の選択意思決定が、完全な選択意思決定論理を通じて実行される代わりに、主にデータベース内の検索、およびおそらくは何らかの追加の妥当性試験に基づくようにすることができる。したがって、計算リソースが節約できる。
【００２７】
さらに、本発明の好ましい態様によれば、現在のシステム負荷に依存して認識装置の数を選択することが提案される。これは好ましいことに、たとえば車内に配置されるような、計算リソースが制限された組込み型システムの場合に有利である。
【００２８】
さらに、本発明の他の好ましい態様によれば、考慮中のアプリケーションにとって一般的な様々な条件について、モデル変換の先行推定値を提供することが提案される。これは好ましくは、複数のモデル自体を格納する代わりに、１つの認識モデルがどのように別のモデルに変換されるかについてのマッピング規則のみを格納することによって実行される。これはストレージ・スペースの節約に役立ち、音声認識システムの実行時にオンザフライで異なるモデルを計算するために実行可能である。
【００２９】
したがって、現在の音響環境でのオペレーションに最適な１つまたは複数の変換を選択するための機構が提供され、経時的にかなり頻繁に変化する雑音の多い環境で認識精度を向上させる、認識装置を動的に組合せるための方法が提案される。
【００３０】
本発明のアーキテクチャは、大きく変化する音響環境に対処しなければならない音声認識アプリケーションの精度を向上させることが可能であり、さらに、組み合わせられる認識装置の数を制限することによって計算リソースが変更可能な場合に、スケーラブルな認識精度も提供する。
【００３１】
本明細書で紹介される本発明は、不利な音響環境において汎用ＨＭＭベースの音声認識装置の堅固さを向上させることを目的とする。これは、音響モデルおよびそれらの組合せを動的に作成するためのセンサ・ベースの手法を採用することによって、上記の考察で説明した問題に即応するものである。
【００３２】
環境特有の認識装置は、１つまたは複数のモデル変換をオリジナルの音響モデルに適用することによって動的に作成される。オンラインの適用技法とは異なり、好適な変換はランタイム時には算出されないが、先行トレーニング・ステップで決定される。一般的な音響モデルおよび環境特有の変換は、ランタイム時に変換のセンサ・ベースの選択が可能な関連するインジケータ機能と共に格納される。これにより、現在の音響環境の特徴に最もマッチするモデルの作成および使用が保証される。認識プロセスの組合せにおいてセンサによって識別されないモデル変換が使用されないことから、計算リソースを不必要に増やすことなくより高い精度が得られる。さらに、変換が事前に計算されることで、適合モデルを格納するよりもかなり少ないメモリしか必要としない。
【００３３】
本発明に従って、１つまたは複数の外部センサを使用して音響環境で動作する音声認識装置を特徴付ける情報を取り出すこと、およびこの情報を１つまたは複数の音響モデルの動的な作成および組合せに使用することが提案される。
【００３４】
重み付けされたモデルの組合せ方法は、本発明の範囲内ではない。しかしながら、環境特有の事前に計算されたモデル変換の使用によってこれらのモデルを作成することは、本明細書で説明する本発明の独創である。記憶容量が少なくてよいというすでに述べた利点に加えて、サブバンド・ベースの手法において計算上は費用のかかるステップである異なる特徴ベクトルの計算も回避する。
【００３５】
本発明は例として示されており、図面の形状に限定されるものではない。
【発明を実施するための最良の形態】
【００３６】
図面全体を参照し、さらにここでは特に図１を参照すると、本発明の方法およびシステムの好ましい実施形態がより詳細に記載されている。
【００３７】
汎用基準音声認識装置１は、一定のアプリケーションの特徴である様々な音響環境Ｅｊからのトレーニング音声データｙ（参照番号２）の収集に使用される。環境特有のトレーニング・データｙは、監視下または非監視下のいずれかで収集され、ブロック３を参照すると、考慮中のそれぞれのオペレーティング環境について音響モデル変換を計算するために使用される。以下の説明では、事前に格納された変換を使用する機能を示す２つの例が与えられる。
【００３８】
・ＭＬＬＲ（最大尤度線形回帰）適応は、線形変換
【数５】
2006510933.tif 000007
を使用してＨＭＭ平均ベクトル（数式４を参照のこと）を更新し、上式で変換パラメータＷおよびωは、適応データｙの尤度を最大にするために決定される。数式４からの平均ベクトルの状態および混合要素指標は、表記を簡単にするために省略されていることに留意されたい。異なる（単音または異音）クラスに属する平均ベクトルに異なる変換を適用することが可能であり、たとえば単純な例として、音声および無音（ｓｉｌｅｎｃｅ）の平均ベクトルに関する特定の変換について考えてみる。いかなる場合も、各環境Ｅｊについて変換パラメータの集合
【数６】
2006510933.tif 000008
が結果として生じる。
【００３９】
・並列モデル組合せ（ＰＭＣ）は、環境Ｅｊの影響をモデル化し、基準認識装置の「クリーン」（または環境に依存しない）ＨＭＭＳと組み合わされた、「雑音」ＨＭＭλｊ（ｎｏｉｓｅ）＝（π，Ａ，Ｂ）ｊ（数式１〜３を参照のこと）のパラメータを推定する。したがって、変換パラメータは「雑音」ＨＭＭのパラメータによって以下のように与えられる。
Ｔｊ＝｛（ｐ，Ａ，Ｂ）ｊ｝
【００４０】
事前に算出されるランタイム時の環境特有の変換のアプリケーションおよび結果として生じる音響モデルの組み合わせは、認識装置のトレーニング時およびランタイム時の両方の音響環境の特徴付けを必要とする。その目的で、本発明の実施形態に従って、本発明の範囲内で有意な量を計算する、外部（物理）装置またはコンピュータ・プログラム（ソフトウェア）あるいはそれらの組合せとみなすことができるセンサが使用される。
【００４１】
基準モデルに適用されるブロック６で実行される１つまたは複数のモデル変換のランタイム選択は、環境の関連パラメータを継続的に監視するセンサｄｋの集合５によって提供される出力に基づく。その目的で、センサ出力は、統計的試験、（２分）意思決定木、またはファジー・メンバーシップ関数などの方法を採用することができる意思決定論理を介して渡され、考慮中のそれぞれの環境について信頼スコアＸｊ、１≦ｊ≦ｎを戻す。これらの試験用のパラメータは、好ましくはモデル変換推定のための適応データの処理中に取得される。再度この考えについて例を挙げて示し、環境Ｅｊについてのファジー・メンバーシップ関数のパラメータをどのように決定するかを説明する。
【００４２】
・認識装置のトレーニング中、音声信号それ自体から導出される任意の特徴または適応データの環境の音響を説明するのに有用な任意の外部量を測定することができるセンサの集合５に、適応データｙが渡される。
【００４３】
・センサ出力ｚ＝ｄｋ（ｙ）が量子化され、環境Ｅｊでｚを観察する相対頻度を与えるヒストグラムに格納される。その後、このヒストグラムは（多変量）確率密度関数によって近似するか、またはランタイム時に信頼測度として働くことができる相対頻度の直接検索用に使用することができる。
【００４４】
・センサｄｋおよび環境Ｅｊ用のファジー・メンバーシップ関数Ｘｊｋは、以下のような特徴ｚを介した区分的線形関数の定義をヒストグラムから選択することによって、構築することができる。
Ｘｊｋ（ｚ）＝０、ｚがｚ１より小さいかまたは等しい、またはｚがｚ４より大きいかまたは等しい場合
Ｘｊｋ（ｚ）＝ｚ／（ｚ２−ｚ１）、ｚ１がｚより小さく、ｚがｚ２より小さい場合
Ｘｊｋ（ｚ）＝１、ｚ２がｚより小さいかまたは等しく、ｚがｚ３より小さいかまたは等しい場合
Ｘｊｋ（ｚ）＝１−ｚ／（ｚ４−ｚ３）、ｚ２がｚより小さいかまたは等しく、ｚがｚ３より小さいかまたは等しい場合
上式で、特徴値ｚｉは１≦ｉ≦４であり、ｐ（ｚ≦ｚｉ）＝ｑｉとなるように選択される。確率ｑｉは、通常はｚの稀な頻度の少ない値を識別するように選択される（たとえば、ｑ１＝０．０５、ｑ２＝０．２０、ｑ３＝０．８５、およびｑ４＝０．９５）。ここでも、これは単なる例示的な定義であることを理解されたい。
【００４５】
・いくつかのセンサを使用して環境を監視する場合、それら個々の信頼スコアＸｊｋは、たとえば論理「ＡＮＤ」演算に対応する最小値
Ｘｊ＝ｍｉｎｋ｛Ｘｊｋ｝
を取ることによるファジー・スコアの場合、特定の環境Ｅｊに関する最終スコアを取得するために組み合わされる。もちろん、ファジー集合に関して定義された任意の他の演算も同様に使用可能である。
【００４６】
さらに、環境（または変換）選択に関する特徴は、音声認識装置が使用する以外のフレーム・レートを使用して計算することが可能であり、通常は、外れ値に対する堅固さを得るためにある時間間隔にわたって平均される。これは、音声信号それ自体から、または音響環境に影響を与えることがわかっている任意の他の量から計算することができる。信号対雑音比（ＳＮＲ）を、音声信号それ自体から計算されるパラメータのうちで最も重要なものの１つとみなすことができるが、移動する車の実際の速度または道路の表面などの特徴、あるいは話者の性別または話す速度に関する知識の利用も考慮することができる。したがって、関連するパラメータの計算および抽出に関して、完全に自動的な方法およびユーザとの対話を必要とする方法の両方の使用が必要である。
【００４７】
信頼スコアが大幅に変化しない限り、認識装置は現在のＨＭＭ音響モデル７を使用して、着信する音声信号８を復号する。６で１つまたは複数の新しい環境が検出された場合、これらの環境に関連付けられた変換Ｔｊが適用され、変換された音響モデルが復号用に使用される。その目的で信頼スコアが格付けされ、Ｍ個の最高スコア環境用の変換のみがその後の処理についての考慮の対象となる。考慮中の環境の数Ｍは、以下のように変わる場合があることに留意されたい。
【００４８】
・信頼スコアが環境を明白に識別できない場合、Ｍは大きくなる可能性がある。
【００４９】
・装置または（リモート）認識サーバそれぞれの作業負荷であり、従来技術ではそれのための計算および分配が知られており、任意の現在のオペレーティング・システムに存在する作業負荷が、すでに大きい場合、受け入れ可能な応答時間を達成するために、Ｍは（認識精度を犠牲にして）小さくなる。
【００５０】
さらに取得された信頼スコアは、より良い認識精度を達成するために使用可能な認識装置の組合せ８でも使用される。前述のように、最新技術の音声認識装置は、特徴抽出、音声フレームのラベリング、および復号という、３つの主な処理段階を有する。本方法では単一の特徴ベクトルの使用が提案されているが、図１の参照番号８ａで示されたラベラーまたは参照番号８ｂで示されたデコーダのいずれかで、組合せを実行することもできる。第１のケースでは、正規化された信頼スコアを使用して、数式４のＨＭＭ出力確率を以下のように増大させ、
＾ｐ（ｘ｜Ｓｉ）＝Ｘｊｋ（ｚ）・ｐ（ｘｋ｜Ｓｉ）
単語仮説の組合せのケースでは、信頼測度を使用して結合を解く（ｒｅｓｏｌｖｅ  ｔｉｅｓ）ことが可能であり、これは音声信号の所与の間隔について各認識装置が異なる結果を出す場合に実行することができる。この場合、最高スコアの認識装置から取得された転写を、考慮中の音声信号の一部に割り当てることが提案される。
【００５１】
さらに図２を参照すると、車内に組み込まれたシステムに適用された、テレマティクスの分野の前述の実施形態の例示的アプリケーションにおける本発明の基本概念の概要が示されている。
【００５２】
第１のブロック２０５では、４つのセンサ装置から着信するセンサ・データ、すなわち選択基準データが物理装置から読み取られ、データがプログラム評価に使用できるように量子化される。
【００５３】
このようにして収集された選択基準データは、以下のような評価可能な記述で表される。
１．「運転手は女性」画像認識装置ツールが格納されたカメラから  −２１０
２．「車の速度は１３０ｋｍ／時」  −２２０
３．「空調がＯＮ、換気装置は７５％のパワーで作動」  −２３０
４．「ラジオがＯＮ、音量はレベル８のうちの４で作動、クラシック音楽を演奏中」  −２４０
【００５４】
ステップ２５０でデータベースの検索が実行され、４つの条件のうちの３つが合致したデータセットを格納することが決定される。したがって、このデータセットに関連付けられたモデルの組合せが、最も有望な認識装置の組合せのうちの１つとして保存される。
【００５５】
次にステップ２６０で、本発明によって提供されるプログラム制御されたアービタ手段が収集されたデータの評価に使用され、ステップ２７０で、この例では意味のある複数のモデル組合せに関するスコアが決定される。次にステップ２８０で、現在使用可能な計算負荷が決定される。この結果により、３つの最高スコアの提案では４つのモデルを組み合わせることが示唆されているが、最大２つのモデルの組合せが音声認識に使用可能であることがわかる。この制限は、２つの他の作業の優先度が音声認識よりも高いことが原因であると想定される。
【００５６】
次のステップ２９０で、モデルが２つだけの最適な認識装置の組合せが選択される。これは新しいスコアリング・プロセスを必要とする。
【００５７】
次にステップ３００で、選択された最高の２つのモデルを計算するための変換が選択される。残りは、上記説明に従って実行される。
【００５８】
本発明は、ハードウェア、ソフトウェア、またはハードウェアとソフトウェアの組合せで実現可能である。本発明に従ったツールは、１つのコンピュータ・システム内での集中型、または異なる要素がいくつかの相互接続されたコンピュータ・システムを横切って拡散する分散型で実現可能である。本明細書に記載された方法を実行するように適合された任意の種類のコンピュータ・システムまたは他の装置が好適である。ハードウェアおよびソフトウェアの典型的な組合せは、ロードされて実行されるとコンピュータ・システムが本明細書に記載された方法を実行するようにこれを制御するコンピュータ・プログラムを備えた、汎用コンピュータ・システムとすることができる。
【００５９】
本発明は、本明細書に記載された方法の実施が可能なすべての特徴を有し、コンピュータ・システムにロードされるとこれらの方法を実施することができる、コンピュータ・プログラムに組み込むことも可能である。
【００６０】
本コンテキストでのコンピュータ・プログラム手段またはコンピュータ・プログラムとは、情報処理機能を有するシステムに、直接、または
ａ）他の言語、コード、または表記法への変換、および
ｂ）異なる材料形式での再生成
のうちのいずれかまたは両方の後に、特定機能を実行させることを意図する、任意の言語、コード、または表記法での、命令集合の任意の表現を意味する。
【図面の簡単な説明】
【００６１】
【図１】好ましい実施形態に従った本発明の概念の概要を示す概略ブロック図である。
【図２】車内に組み込まれたシステムに適用された、テレマティクスの分野の例示的アプリケーションにおける本発明の基本概念の概要を示す概略ブロック図である。
【図１】
2006510933.tif 000009
【図２】
2006510933.tif 000010
【手続補正書】
【提出日】平成17年3月1日(2005.3.1)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
音声認識システムを動作させるための方法であって、前記システムにおいて、プログラム制御された認識装置（１）が、
音声信号をフレームに分けて分析し、各フレームについて任意の種類の特徴ベクトルを計算するステップと、
フレームを文字ごとまたは文字のグループごとにラベリングするステップと、
音素ごとに複数のラベルを生み出すステップと、
１つまたは複数の単語または単語のフラグメントを構築するように、所定の音響モデルに従って前記ラベルを復号するステップと、
を実行し、
複数の環境特有の認識装置（１）が、音声認識用に稼動させるためにアクセス可能であり、
ａ）センサ手段（５）を使用して、音声認識境界条件を特徴付ける選択基準データを収集するステップ（２１０、２２０、２３０、２４０）と、
ｂ）前記収集されたデータを評価するためのプログラム制御されたアービタ手段（６）を使用するステップ（２６０）と、
ｃ）複数の環境特有の認識装置を有する好適な認識装置の組合せを、前記評価に従って、複数の使用可能な認識装置から選択するステップ（２９０）、および
ｄ）前記選択された複数の音響モデルそれぞれを計算するために、複数の所定の変換それぞれを選択するステップ（３００）
によって特徴付けられるステップと、
が実行される、方法。
【請求項２】
前記センサ手段（５）が
ソフトウェア・プログラムを含む意思決定論理、物理センサ、またはそれらの組合せ、
のうちの１つまたは複数である、請求項１に記載の方法。
【請求項３】
ａ）統計的試験、意思決定木、ファジー・メンバーシップ関数のうちの１つまたは複数を実施する意思決定論理において、物理センサ（５）の出力を処理するステップ（２６０）と、
ｂ）前記プロセスから、センサの選択／組合せの意思決定で使用される信頼値を戻すステップ（２７０）と、
をさらに有する、請求項１に記載の方法。
【請求項４】
認識装置の選択意思決定につながった選択基準データが、認識装置の高速選択を獲得するためにその反復高速アクセス用のデータベース（２５０）に格納される、請求項１に記載の方法。
【請求項５】
現在のシステム負荷に依存して（２８０）認識装置の数および組み合わせあるいはそのいずれかを選択するステップ（２９０）
をさらに有する、請求項１に記載の方法。
【請求項６】
複数のモデル自体を格納する代わりに、１つの音響モデルがどのように別のモデルに変換されるかについてのマッピング規則（７）を格納するステップ
をさらに有する、請求項１に記載の方法。
【請求項７】
前記請求項１から６のうちの一項に従った方法のステップを実行するための手段を有するコンピュータ・システム。
【請求項８】
前記請求項１から６のうちのいずれか一項に従った方法のそれぞれのステップを実行するためのコンピュータ・プログラム・コード部分を有し、
前記コンピュータ・プログラム・コード部分がコンピュータ上で実行された場合に、データ処理システムで実行するための、
コンピュータ・プログラム。
【請求項９】
コンピュータ上で実行された場合に、
前記請求項１から６のうちのいずれか一項の方法をコンピュータに実行させるためのコンピュータ読取り可能プログラム手段を有する、
コンピュータ使用可能メディア上に格納されたコンピュータ・プログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、コンピュータ化された音声認識の分野に関する。
【背景技術】
【０００２】
具体的に言えば、本発明は語彙力の高い音声認識システムを動作させるための方法に関し、この方法ではプログラム制御された認識装置が、
１．たとえばスペクトル係数を有する各フレームについて抽出される特徴ベクトルを生じさせるように、音声信号を必ずしも等しい長さである必要のない短い時間間隔、すなわちフレームに分けて分析するステップと、
２．フレームを文字ごとまたは文字のグループごとにラベリングし、フレームごとに複数のラベルを生み出すステップと、
３． １つまたは複数の単語または単語のフラグメントを構築するように、前記ラベルを復号するステップと、
を実行し、
４．この方法では複数の認識装置が、音声認識用に活動化させるためにアクセス可能であり、さらに、単一の認識装置によって実行される音声認識の結果を向上させるためにオンデマンド・ベースで組み合わせられる。
【０００３】
より具体的に言えば、前述のような連続音声認識装置は、「ＨＭＭ」と呼ばれることもある基本的な隠れマルコフ・モデルのように、たとえば単音（ｐｈｏｎｅ）またはトライフォン（ｔｒｉｐｈｏｎｅ）などのコンテキスト依存型サブワード単位をモデル化することによって、音声の多くの変形を取り込む。これらモデルの統計パラメータは、通常、数百時間のラベリングされたトレーニング・データから推定される。トレーニング・データが応用シナリオの音響特性と十分にマッチする場合はこれによって高精度の認識が可能になるが、著しく異なる音響環境およびおそらくはかなり動的に変化する特徴に音声認識装置が即応しなければならない場合、認識精度の大幅な低下が観測される可能性がある。
【０００４】
オンラインおよび（非）監視下の両方のバッチ適応技法は、音響モデル・パラメータの再評価によってこの問題に対処するが、使用可能なデータの量が非常に少ない場合および計算リソースが乏しい場合、またはそのいずれかの場合、あるいはバッチ適応に際して音響環境における動的な変化に適切に対処できない場合は、どちらも実行不可能である。
【０００５】
現在の語彙力の高い連続音声認識装置は、隠れマルコフ・モデル（ＨＭＭ）を採用して、経験的確率が最大の単語シーケンスｗを音声信号から算出する。
【０００６】
隠れマルコフ・モデルとは、状態の有限集合Ｓ＝｛Ｓ１，．．．，ＳＮ｝に作用し、時間ｔごとの出力が観測可能な確率オートマトンＡ＝（π，Ａ，Ｂ）のことであり、ｔ＝１、２、．．．、Ｔであって、１つの状態が占有されている。初期の状態ベクトル
【数１】
2006510933.tif 000011
は、ＨＭＭが時間ｔ＝１で状態Ｓｉにある確率を与え、遷移行列
【数２】
2006510933.tif 000012
は、状態ＳｉからＳｊへの遷移を記述する一次時不変プロセス（ｆｉｒｓｔ  ｏｒｄｅｒ  ｔｉｍｅ  ｉｎｖａｒｉａｎｔ  ｐｒｏｃｅｓｓ）の確率を保持する。観測結果は音声信号から導出された連続値特徴ベクトルｘ∈Ｒであり、出力される確率は、本明細書ではｐｄｆｓと呼ばれる確率密度関数の集合によって以下のように定義される。
【数３】
2006510933.tif 000013
【０００７】
任意の所与のＨＭＭ状態Ｓｉの場合、未知の分布ｐ（ｘ｜Ｓｉ）は、通常、基本的なガウスｐｄｆｓの混合によって以下のように近似され、
【数４】
2006510933.tif 000014
上式で、Ｍｉは状態Ｓｉに関連付けられたガウスの集合である。さらに、ｘは観測された特徴ベクトルを示し、ｗｊｉはｉ番目の出力分布に対するｊ番目の混合要素（ｍｉｘｔｕｒｅ  ｃｏｍｐｏｎｅｎｔ）重みであり、μｊｉおよびΓｊｉは状態Ｓｉでｊ番目のガウスの平均および共分散行列である。数式４の平均ベクトルの状態および混合要素指数（ｍｉｘｔｕｒｅ  ｃｏｍｐｏｎｅｎｔ  ｉｎｄｅｘ）は、表記を簡単にするために省略されていることに留意されたい。
【０００８】
最新技術の音声認識装置は、通常、以下の構成要素からなる。
【０００９】
・特徴抽出は、信号の短い部分（フレーム）の分類を可能にするパラメトリック表示を算出する。頻繁に使用される特徴は、エネルギー値およびその時間導関数によってしばしば強化されるスペクトル・パラメータまたはメル周波数ケプストラム係数（ＭＦＣＣ）である。
【００１０】
・「ラベラー」は、各特徴ベクトルに、コンテキスト依存型の単音またはサブフォンなどの起こり得る有意なサブワード単位を表すいくつかのラベルを付ける。特徴ベクトルを分類するための一般的な技法には、たとえばガウス混合密度を使用する統計的分類またはニューラル・ネットワークを利用した分類が含まれる。
【００１１】
・「デコーダ」は各ラベルをＨＭＭの出力として解釈し、経験的確率が最大のワード・シーケンスを算出する。ラベリング・ステップからの代替の結果に効率良く即応するために、検索方針およびプルーニング技法が採用される。その一般的な例が、非同期スタック復号および時間同期ビタビ復号またはビーム検索である。
【００１２】
最近では、並行して実施されるいくつかの基準認識装置からの（中間）結果を組み合わせることによって、単語誤り率の大幅な低下が達成可能であることが実証されてきている。以下の３つの主要な手法が認められる。
【００１３】
・特徴組合せ方法は特徴の異なる集合を算出し、これらをラベラーに渡される単一の特徴ベクトルに構成する。
【００１４】
・尤度組合せ方法も異なる特徴ベクトルを算出するが、これらを別々に分類する。異なるラベリング・ステップからの結果はそれらの根拠に基づいて組み合わされ、各フレームについて代替ラベルの単一ベクトルがデコーダに渡される。
【００１５】
・ＲＯＶＥＲ（認識装置出力投票誤り削減／Ｒｅｃｏｇｎｉｚｅｒ  Ｏｕｔｐｕｔ  Ｖｏｔｉｎｇ  Ｅｒｒｏｒ  Ｒｅｄｕｃｔｉｏｎ）は、動的プログラミング技法を使用していくつかのデコーダ・パスからの出力を単一の単語仮説（ｗｏｒｄ  ｈｙｐｏｔｈｅｓｉｓ）ネットワークにマージする、後処理方法である。組み合わせられたネットワークのそれぞれの分岐点で、後続の投票機構が最終転写用に最高スコアの単語を選択する。
【００１６】
本明細書で提案された本発明の主要目標は、向上した認識精度を維持すると同時に、これらの方法に関連付けられたいくつかの問題を克服することである。
【００１７】
従来から、トレーニング・データに適切に表されない音響環境で使用された場合、音声認識装置の認識精度は大幅に低下することが良く知られている。デスクトップでの口述筆記などのアプリケーションでは、様々な環境でエンド・ユーザをシステムに登録できることによって、この問題に容易に取り組むことが可能であり、着信する特徴ベクトルを正規化するための方法も同様に考慮の対象とすることができる。しかしながら、パーベイシブ・コンピューティングにおける入力メディアとしての音声の重要な役割に直面し、先行適用ステップが不可能なアプリケーションの数はますます増加している。さらに、認識装置が潜在的に数多くの動的に変化する音響環境に対処しなければならない場合、十分な量のオンライン適応データがないため、または計算リソースが限られていることから、適応方法は実行不可能になる場合がある。
【００１８】
非常に数多くのパラメータを備えたより正確な音響モデルはこの状況を克服するのに役立つ可能性があるが、本明細書で報告された本発明で目標とされる典型的なアプリケーションでは実行不可能である。これらのアプリケーションとは、とりわけ、対話型音声応答ソリューション、顧客装置（移動電話、ＰＤＡ、家庭用電化製品）向け音声駆動型インターフェース、および車内の低リソース音声認識などである。
【００１９】
前述の組合せ方法は雑音の多い環境で単一の基準認識装置よりも大幅に高い精度を生み出すことができることが、文献で証明されている。しかしながら、これらの方法はＣＰＵにかかる計算負荷を増加させ、さらにいくつかの音響モデルおよび中間結果を格納するためのメモリの量も増やす必要があるため、いまだに低リソース音声認識装置には好適でない。
【００２０】
米国特許出願公開第２００２／００６５５８４号明細書は、組込み型システム用に配置構成され、異なる種類の環境雑音に適応する、音声認識システムを開示している。不利なことには、この従来技術のシステムは認識率が比較的低く、程度の低い計算リソースを有するシステムと比較的高度な計算リソースを有するシステムとの間で適応するようにスケーラブルとはなっていない。
【発明の開示】
【発明が解決しようとする課題】
【００２１】
したがって本発明の目的は、話者の環境において動的に変化する雑音、および資源が限られていることから使用可能な計算能力が限られたシステム（組込み型）で動作する特定の要件に適合した、音声認識の方法およびシステムを提供することである。
【課題を解決するための手段】
【００２２】
本発明のこの目的は、同封の独立請求項に記載されている特徴によって達成される。本発明の他の有利な配置構成および実施形態は、それぞれの従属項に記載されている。次に、添付の特許請求の範囲を参照されたい。
【００２３】
本発明の基本的態様によれば、音声認識システム内で、
ａ）センサ手段を使用して、たとえば話者、環境雑音などの音声認識境界条件を特徴付ける選択基準データを収集するステップと、
ｂ）収集されたデータを評価するためのプログラム制御されたアービタ手段、すなわち、ソフトウェア機構を含む意思決定エンジン、物理センサ、それらの組合せなどを使用するステップと、
ｃ）最適な認識装置またはその組合せを、前記評価に従って複数の使用可能な認識装置から選択するステップと、
を実行することが提案される。
【００２４】
これにより、様々な雑音レベルを有し複数の「感知手段」がすでに存在する環境において、重要な利点を達成することができる。感知手段とは、非常に広義に理解すれば、物理的または単に論理プログラムの形であれば、知識が増えると認識率が向上するという考えによって動機付けされた現在の発話状況を定義する細部に関する知識を増やすために、追加のユーザ入力を使用するかまたは使用せずにコンピュータ・プログラムによって評価することのできる、前記選択基準データを供給することが可能な、任意の配置構成を単に定義することである。したがって感知手段は有利には、たとえば冬用または夏用タイヤが取り付けられた特定のカー・モデル内で特定の速度で走行することなどによって生成される雑音を感知することが可能なマイクロフォン、カメラ、他の使用可能データから評価される雑音を生成する装置（たとえば換気装置、音楽など）のＯＮ／ＯＦＦ位置などの、任意の物理センサによる感知が可能であるか、またはユーザから要求されることが可能な、いくつかの基準データを解釈するソフトウェア・プログラムを含む、意思決定論理とすることができる。もちろんこれらの組合せも使用可能である。したがって、集められた感知データのいくつかの処理はセンサ手段に含まれるものとみなされる。
【００２５】
さらに、効率の良い評価のために、
ａ）統計的試験、意思決定木、ファジー・メンバーシップ関数のうちの１つまたは複数を実施する意思決定論理において、物理センサの出力を処理するステップと、
ｂ）前記プロセスから、センサの選択／組合せの意思決定で使用される信頼値を戻すステップと、
を有利に追加することができる。
【００２６】
さらにユーザは、前述の処理に従って定義された、たとえば数目盛りベースの基準、またはたとえばある条件の集合の下で音声認識がどの程度「良好」であったかの「良い」、「普通」、「悪い」などのいずれかなどの、格付け基準を追加することによって、このプロセスに寄与することもできる。
【００２７】
さらに有利には、認識装置の選択意思決定につながった前記選択基準データは、認識装置の反復高速選択のためにデータベースに格納される。これによって、認識装置の選択意思決定が、完全な選択意思決定論理を通じて実行される代わりに、主にデータベース内の検索、およびおそらくは何らかの追加の妥当性試験に基づくようにすることができる。したがって、計算リソースが節約できる。
【００２８】
さらに、本発明の好ましい態様によれば、現在のシステム負荷に依存して認識装置の数を選択することが提案される。これは好ましいことに、たとえば車内に配置されるような、計算リソースが制限された組込み型システムの場合に有利である。
【００２９】
さらに、本発明の他の好ましい態様によれば、考慮中のアプリケーションにとって一般的な様々な条件について、モデル変換の先行推定値を提供することが提案される。これは好ましくは、複数のモデル自体を格納する代わりに、１つの認識モデルがどのように別のモデルに変換されるかについてのマッピング規則のみを格納することによって実行される。これはストレージ・スペースの節約に役立ち、音声認識システムの実行時にオンザフライで異なるモデルを計算するために実行可能である。
【００３０】
したがって、現在の音響環境でのオペレーションに最適な１つまたは複数の変換を選択するための機構が提供され、経時的にかなり頻繁に変化する雑音の多い環境で認識精度を向上させる、認識装置を動的に組合せるための方法が提案される。
【００３１】
本発明のアーキテクチャは、大きく変化する音響環境に対処しなければならない音声認識アプリケーションの精度を向上させることが可能であり、さらに、組み合わせられる認識装置の数を制限することによって計算リソースが変更可能な場合に、スケーラブルな認識精度も提供する。
【００３２】
本明細書で紹介される本発明は、不利な音響環境において汎用ＨＭＭベースの音声認識装置の堅固さを向上させることを目的とする。これは、音響モデルおよびそれらの組合せを動的に作成するためのセンサ・ベースの手法を採用することによって、上記の考察で説明した問題に即応するものである。
【００３３】
環境特有の認識装置は、１つまたは複数のモデル変換をオリジナルの音響モデルに適用することによって動的に作成される。オンラインの適用技法とは異なり、好適な変換はランタイム時には算出されないが、先行トレーニング・ステップで決定される。一般的な音響モデルおよび環境特有の変換は、ランタイム時に変換のセンサ・ベースの選択が可能な関連するインジケータ機能と共に格納される。これにより、現在の音響環境の特徴に最もマッチするモデルの作成および使用が保証される。認識プロセスの組合せにおいてセンサによって識別されないモデル変換が使用されないことから、計算リソースを不必要に増やすことなくより高い精度が得られる。さらに、変換が事前に計算されることで、適合モデルを格納するよりもかなり少ないメモリしか必要としない。
【００３４】
本発明に従って、１つまたは複数の外部センサを使用して音響環境で動作する音声認識装置を特徴付ける情報を取り出すこと、およびこの情報を１つまたは複数の音響モデルの動的な作成および組合せに使用することが提案される。
【００３５】
重み付けされたモデルの組合せ方法は、本発明の範囲内ではない。しかしながら、環境特有の事前に計算されたモデル変換の使用によってこれらのモデルを作成することは、本明細書で説明する本発明の独創である。記憶容量が少なくてよいというすでに述べた利点に加えて、サブバンド・ベースの手法において計算上は費用のかかるステップである異なる特徴ベクトルの計算も回避する。
【００３６】
本発明は例として示されており、図面の形状に限定されるものではない。
【発明を実施するための最良の形態】
【００３７】
図面全体を参照し、さらにここでは特に図１を参照すると、本発明の方法およびシステムの好ましい実施形態がより詳細に記載されている。
【００３８】
汎用基準音声認識装置１は、一定のアプリケーションの特徴である様々な音響環境Ｅｊからのトレーニング音声データｙ（参照番号２）の収集に使用される。環境特有のトレーニング・データｙは、監視下または非監視下のいずれかで収集され、ブロック３を参照すると、考慮中のそれぞれのオペレーティング環境について音響モデル変換を計算するために使用される。以下の説明では、事前に格納された変換を使用する機能を示す２つの例が与えられる。
【００３９】
・ＭＬＬＲ（最大尤度線形回帰）適応は、線形変換
【数５】
2006510933.tif 000015
を使用してＨＭＭ平均ベクトル（数式４を参照のこと）を更新し、上式で変換パラメータＷおよびωは、適応データｙの尤度を最大にするために決定される。数式４からの平均ベクトルの状態および混合要素指標は、表記を簡単にするために省略されていることに留意されたい。異なる（単音または異音）クラスに属する平均ベクトルに異なる変換を適用することが可能であり、たとえば単純な例として、音声および無音（ｓｉｌｅｎｃｅ）の平均ベクトルに関する特定の変換について考えてみる。いかなる場合も、各環境Ｅｊについて変換パラメータの集合
【数６】
2006510933.tif 000016
が結果として生じる。
【００４０】
・並列モデル組合せ（ＰＭＣ）は、環境Ｅｊの影響をモデル化し、基準認識装置の「クリーン」（または環境に依存しない）ＨＭＭＳと組み合わされた、「雑音」ＨＭＭλｊ（ｎｏｉｓｅ）＝（π，Ａ，Ｂ）ｊ（数式１〜３を参照のこと）のパラメータを推定する。したがって、変換パラメータは「雑音」ＨＭＭのパラメータによって以下のように与えられる。
Ｔｊ＝｛（ｐ，Ａ，Ｂ）ｊ｝
【００４１】
事前に算出されるランタイム時の環境特有の変換のアプリケーションおよび結果として生じる音響モデルの組み合わせは、認識装置のトレーニング時およびランタイム時の両方の音響環境の特徴付けを必要とする。その目的で、本発明の実施形態に従って、本発明の範囲内で有意な量を計算する、外部（物理）装置またはコンピュータ・プログラム（ソフトウェア）あるいはそれらの組合せとみなすことができるセンサが使用される。
【００４２】
基準モデルに適用されるブロック６で実行される１つまたは複数のモデル変換のランタイム選択は、環境の関連パラメータを継続的に監視するセンサｄｋの集合５によって提供される出力に基づく。その目的で、センサ出力は、統計的試験、（２分）意思決定木、またはファジー・メンバーシップ関数などの方法を採用することができる意思決定論理を介して渡され、考慮中のそれぞれの環境について信頼スコアＸｊ、１≦ｊ≦ｎを戻す。これらの試験用のパラメータは、好ましくはモデル変換推定のための適応データの処理中に取得される。再度この考えについて例を挙げて示し、環境Ｅｊについてのファジー・メンバーシップ関数のパラメータをどのように決定するかを説明する。
【００４３】
・認識装置のトレーニング中、音声信号それ自体から導出される任意の特徴または適応データの環境の音響を説明するのに有用な任意の外部量を測定することができるセンサの集合５に、適応データｙが渡される。
【００４４】
・センサ出力ｚ＝ｄｋ（ｙ）が量子化され、環境Ｅｊでｚを観察する相対頻度を与えるヒストグラムに格納される。その後、このヒストグラムは（多変量）確率密度関数によって近似するか、またはランタイム時に信頼測度として働くことができる相対頻度の直接検索用に使用することができる。
【００４５】
・センサｄｋおよび環境Ｅｊ用のファジー・メンバーシップ関数Ｘｊｋは、以下のような特徴ｚを介した区分的線形関数の定義をヒストグラムから選択することによって、構築することができる。
Ｘｊｋ（ｚ）＝０、ｚがｚ１より小さいかまたは等しい、またはｚがｚ４より大きいかまたは等しい場合
Ｘｊｋ（ｚ）＝ｚ／（ｚ２−ｚ１）、ｚ１がｚより小さく、ｚがｚ２より小さい場合
Ｘｊｋ（ｚ）＝１、ｚ２がｚより小さいかまたは等しく、ｚがｚ３より小さいかまたは等しい場合
Ｘｊｋ（ｚ）＝１−ｚ／（ｚ４−ｚ３）、ｚ２がｚより小さいかまたは等しく、ｚがｚ３より小さいかまたは等しい場合
上式で、特徴値ｚｉは１≦ｉ≦４であり、ｐ（ｚ≦ｚｉ）＝ｑｉとなるように選択される。確率ｑｉは、通常はｚの稀な頻度の少ない値を識別するように選択される（たとえば、ｑ１＝０．０５、ｑ２＝０．２０、ｑ３＝０．８５、およびｑ４＝０．９５）。ここでも、これは単なる例示的な定義であることを理解されたい。
【００４６】
・いくつかのセンサを使用して環境を監視する場合、それら個々の信頼スコアＸｊｋは、たとえば論理「ＡＮＤ」演算に対応する最小値
Ｘｊ＝ｍｉｎｋ｛Ｘｊｋ｝
を取ることによるファジー・スコアの場合、特定の環境Ｅｊに関する最終スコアを取得するために組み合わされる。もちろん、ファジー集合に関して定義された任意の他の演算も同様に使用可能である。
【００４７】
さらに、環境（または変換）選択に関する特徴は、音声認識装置が使用する以外のフレーム・レートを使用して計算することが可能であり、通常は、外れ値に対する堅固さを得るためにある時間間隔にわたって平均される。これは、音声信号それ自体から、または音響環境に影響を与えることがわかっている任意の他の量から計算することができる。信号対雑音比（ＳＮＲ）を、音声信号それ自体から計算されるパラメータのうちで最も重要なものの１つとみなすことができるが、移動する車の実際の速度または道路の表面などの特徴、あるいは話者の性別または話す速度に関する知識の利用も考慮することができる。したがって、関連するパラメータの計算および抽出に関して、完全に自動的な方法およびユーザとの対話を必要とする方法の両方の使用が必要である。
【００４８】
信頼スコアが大幅に変化しない限り、認識装置は現在のＨＭＭ音響モデル７を使用して、着信する音声信号８を復号する。６で１つまたは複数の新しい環境が検出された場合、これらの環境に関連付けられた変換Ｔｊが適用され、変換された音響モデルが復号用に使用される。その目的で信頼スコアが格付けされ、Ｍ個の最高スコア環境用の変換のみがその後の処理についての考慮の対象となる。考慮中の環境の数Ｍは、以下のように変わる場合があることに留意されたい。
【００４９】
・信頼スコアが環境を明白に識別できない場合、Ｍは大きくなる可能性がある。
【００５０】
・装置または（リモート）認識サーバそれぞれの作業負荷であり、従来技術ではそれのための計算および分配が知られており、任意の現在のオペレーティング・システムに存在する作業負荷が、すでに大きい場合、受け入れ可能な応答時間を達成するために、Ｍは（認識精度を犠牲にして）小さくなる。
【００５１】
さらに取得された信頼スコアは、より良い認識精度を達成するために使用可能な認識装置の組合せ８でも使用される。前述のように、最新技術の音声認識装置は、特徴抽出、音声フレームのラベリング、および復号という、３つの主な処理段階を有する。本方法では単一の特徴ベクトルの使用が提案されているが、図１の参照番号８ａで示されたラベラーまたは参照番号８ｂで示されたデコーダのいずれかで、組合せを実行することもできる。第１のケースでは、正規化された信頼スコアを使用して、数式４のＨＭＭ出力確率を以下のように増大させ、
＾ｐ（ｘ｜Ｓｉ）＝Ｘｊｋ（ｚ）・ｐ（ｘｋ｜Ｓｉ）
単語仮説の組合せのケースでは、信頼測度を使用して結合を解く（ｒｅｓｏｌｖｅ  ｔｉｅｓ）ことが可能であり、これは音声信号の所与の間隔について各認識装置が異なる結果を出す場合に実行することができる。この場合、最高スコアの認識装置から取得された転写を、考慮中の音声信号の一部に割り当てることが提案される。
【００５２】
さらに図２を参照すると、車内に組み込まれたシステムに適用された、テレマティクスの分野の前述の実施形態の例示的アプリケーションにおける本発明の基本概念の概要が示されている。
【００５３】
第１のブロック２０５では、４つのセンサ装置から着信するセンサ・データ、すなわち選択基準データが物理装置から読み取られ、データがプログラム評価に使用できるように量子化される。
【００５４】
このようにして収集された選択基準データは、以下のような評価可能な記述で表される。
１．「運転手は女性」画像認識装置ツールが格納されたカメラから  −２１０
２．「車の速度は１３０ｋｍ／時」  −２２０
３．「空調がＯＮ、換気装置は７５％のパワーで作動」  −２３０
４．「ラジオがＯＮ、音量はレベル８のうちの４で作動、クラシック音楽を演奏中」  −２４０
【００５５】
ステップ２５０でデータベースの検索が実行され、４つの条件のうちの３つが合致したデータセットを格納することが決定される。したがって、このデータセットに関連付けられたモデルの組合せが、最も有望な認識装置の組合せのうちの１つとして保存される。
【００５６】
次にステップ２６０で、本発明によって提供されるプログラム制御されたアービタ手段が収集されたデータの評価に使用され、ステップ２７０で、この例では意味のある複数のモデル組合せに関するスコアが決定される。次にステップ２８０で、現在使用可能な計算負荷が決定される。この結果により、３つの最高スコアの提案では４つのモデルを組み合わせることが示唆されているが、最大２つのモデルの組合せが音声認識に使用可能であることがわかる。この制限は、２つの他の作業の優先度が音声認識よりも高いことが原因であると想定される。
【００５７】
次のステップ２９０で、モデルが２つだけの最適な認識装置の組合せが選択される。これは新しいスコアリング・プロセスを必要とする。
【００５８】
次にステップ３００で、選択された最高の２つのモデルを計算するための変換が選択される。残りは、上記説明に従って実行される。
【００５９】
本発明は、ハードウェア、ソフトウェア、またはハードウェアとソフトウェアの組合せで実現可能である。本発明に従ったツールは、１つのコンピュータ・システム内での集中型、または異なる要素がいくつかの相互接続されたコンピュータ・システムを横切って拡散する分散型で実現可能である。本明細書に記載された方法を実行するように適合された任意の種類のコンピュータ・システムまたは他の装置が好適である。ハードウェアおよびソフトウェアの典型的な組合せは、ロードされて実行されるとコンピュータ・システムが本明細書に記載された方法を実行するようにこれを制御するコンピュータ・プログラムを備えた、汎用コンピュータ・システムとすることができる。
【００６０】
本発明は、本明細書に記載された方法の実施が可能なすべての特徴を有し、コンピュータ・システムにロードされるとこれらの方法を実施することができる、コンピュータ・プログラムに組み込むことも可能である。
【００６１】
本コンテキストでのコンピュータ・プログラム手段またはコンピュータ・プログラムとは、情報処理機能を有するシステムに、直接、または
ａ）他の言語、コード、または表記法への変換、および
ｂ）異なる材料形式での再生成
のうちのいずれかまたは両方の後に、特定機能を実行させることを意図する、任意の言語、コード、または表記法での、命令集合の任意の表現を意味する。
【図面の簡単な説明】
【００６２】
【図１】好ましい実施形態に従った本発明の概念の概要を示す概略ブロック図である。
【図２】車内に組み込まれたシステムに適用された、テレマティクスの分野の例示的アプリケーションにおける本発明の基本概念の概要を示す概略ブロック図である。
【国際調査報告】
2006510933.tif 000017
2006510933.tif 000018
2006510933.tif 000019