(57)【特許請求の範囲】
【請求項１】
電話機に基づく対話型音声認識システムを自動的に再学習させる方法において、
１セットの測定データ選択基準に基づいて古いセットの発話に対する古い測定データの一部分を選択するステップと、
前記古い測定データの一部分を読み出すステップと、
新しいセットの発話に対する新しい測定データを求めるステップと、
新しいセットの発話の用途を含む重み付け基準に基づいて重み付け係数を求めるステップと、
前記新しい測定データに、前記重み付け係数を適用して、重み付けした新しい測定データを生成するステップと、
前記古い測定データの一部分及び前記重み付けした新しい測定データを使用して、新しい統計モデルデータを生成するステップであって、前記新しい統計モデルデータは、前記電話機に基づく対話型音声認識システムが使用して発話を認識するためのものである、前記ステップと、
から成るコンピュータ実行ステップを含む方法。
【請求項２】
電話機に基づく対話型音声認識システムを自動的に再学習させる方法において、
１セットの測定データ選択基準に基づいて古いセットの発話に対する古い測定データの一部分を選択するステップと、
前記古い測定データの一部分を読み出すステップと、
新しいセットの発話に対する新しい測定データを求めるステップと、
新しいセットの発話の用途を含む重み付け基準に基づいて重み付け係数を求めるステップと、
前記古い測定データの一部分に、前記重み付け係数を適用して、重み付けした古い測定データを生成するステップと、
前記重み付けした古い測定データ及び前記新しい測定データを使用して、新しい統計モデルデータを生成および記憶するステップであって、前記新しい統計モデルデータは、前記電話機に基づく対話型音声認識システムが使用して発話を認識するためのものである、前記ステップと、
から成るコンピュータ実行ステップを含む方法。
【請求項３】
前記重み付け基準は、前記新しい測定データに含まれるデータ量に対する前記古い測定データの一部分に含まれるデータ量の比を含み、
前記重み付け基準に基づいて重み付け係数を求めるステップは、前記新しい測定データに含まれるデータ量に対する前記古い測定データの一部分に含まれるデータ量の比に基づいて前記重み付け係数を求めることから成る請求項１に記載の方法。
【請求項４】
前記測定データ選択基準は、特定の発話を正確に認識したという信頼度から成り、
前記１セットの測定データ選択基準に基づいて古いセットの発話に対する古い測定データの一部分を選択するステップは、特定の発話を正確に認識したという信頼度に基づいて古いセットの発話に対する古い測定データの一部分を選択することから成る請求項１〜３のいずれか一項に記載の方法。
【請求項５】
前記測定データ選択基準は、特定の発話の認識結果をユーザが確認したか否かから成り、
前記１セットの測定データ選択基準に基づいて古いセットの発話に対する古い測定データの一部分を選択するステップは、特定の発話の認識結果をユーザが確認したか否かに基づいて古いセットの発話に対する古い測定データの一部分を選択することから成る請求項１〜３のいずれか一項に記載の方法。
【請求項６】
電話機に基づく対話型音声認識システムを自動的に再学習させる方法において、
新しいセットの発話に対する第１測定データを求めるステップと、
前記第１測定データに基づいて第１統計モデルデータを求めるステップと、
前記第１統計モデルデータに基づいて統計モデルを求めるステップと、
古いセットの発話に対する第２測定データを求めるステップと、
前記第２測定データに基づいて第２統計モデルデータを求めるステップと、
第１測定データ又は第２測定データの何れも用いることなく、第１統計モデルデータ及び第２統計モデルデータを使用して、更新統計モデルを求めるステップであって、前記更新統計モデルデータは、前記電話機に基づく対話型音声認識システムが使用して発話を認識するためのものである、前記ステップと、
から成り、
前記第１統計モデルデータを求めるステップは、第１測定データについて第１平均データ及び第１分散データを求めるステップと、前記新しいセットの発話の用途に基づく重み付け係数を第１分散データに適用することにより重み付けした第１分散データを求めるステップとを含み、
前記第２の統計モデルデータを求めるステップは、第２測定データについて第２平均データ及び第２分散データを求めるステップとを含み、
前記更新統計モデルを求めるステップは、
第１平均データ及び第２平均データに基づいて第３平均データを求めるステップと、
前記重み付けした第１分散データ及び第２分散データに基づいて、第３分散データを求めることから成る、コンピュータ実行ステップを含む方法。
【請求項７】
電話機に基づく対話型音声認識システムを自動的に再学習させる方法において、
新しいセットの発話に対する第１測定データを求めるステップと、
前記第１測定データに基づいて第１統計モデルデータを求めるステップと、
前記第１統計モデルデータに基づいて統計モデルを求めるステップと、
古いセットの発話に対する第２測定データを求めるステップと、
前記第２測定データに基づいて第２統計モデルデータを求めるステップと、
第１測定データ又は第２測定データの何れも用いることなく、第１統計モデルデータお
よび第２統計モデルデータを使用して、更新統計モデルを求めるステップであって、前記更新統計モデルデータは、前記電話機に基づく対話型音声認識システムが使用して発話を認識するためのものである、前記ステップと、から成り、
前記第１統計モデルデータを求めるステップは、第１測定データについて第１平均データ及び第１分散データを求めるステップを含み、
前記第２統計モデルデータを求めるステップは、第２測定データについて第２平均データ及び第２分散データを求めるステップと、前記新しいセットの発話の用途に基づく重み付け係数を第２分散データに適用することにより重み付けした第２分散データを求めるステップとを含み、
前記更新統計モデルを求めるステップは、
第１平均データ及び第２平均データに基づいて第３平均データを求めるステップと、
第１分散データ及び重み付けした第２分散データに基づいて、第３分散データを求めるステップとを含む、コンピュータ実行ステップを含む方法。
【請求項８】
第１測定データ及び第２測定データが求められるとほぼ同時に、記憶媒体上に第１測定データ及び第２測定データを動的に記憶するステップをさらに含む請求項６または７に記載の方法。
【請求項９】
電話機に基づく対話型音声認識システムを自動的に再学習させるためのプログラムを記録したコンピュータ可読媒体において、プロセッサに、
１セットの測定データ選択基準に基づいて古いセットの発話に対する古い測定データの一部分を選択する手順と、
前記古い測定データの一部分を読み出す手順と、
新しいセットの発話に対する新しい測定データを求める手順と、
新しいセットの発話の用途を含む重み付け基準に基づいて重み付け係数を求める手順と、
前記新しい測定データに、前記重み付け係数を適用して、重み付けした新しい測定データを生成する手順と、
前記古い測定データの一部分及び前記重み付けした新しい測定データを使用して、新しい統計モデルデータを生成する手順であって、前記新しい統計モデルデータは、前記電話機に基づく対話型音声認識システムが使用して発話を認識するためのものである、前記手順と、
を実行させるプログラムを記録したコンピュータ可読媒体。
【請求項１０】
前記重み付け基準は、前記新しい測定データに含まれるデータ量に対する前記古い測定データの一部分に含まれるデータ量の比を含み、
前記重み付け基準に基づいて重み付け係数を求める手順は、前記新しい測定データに含まれるデータ量に対する前記古い測定データの一部分に含まれるデータ量の比に基づいて前記重み付け係数を求めることから成る請求項９に記載のコンピュータ可読媒体。
【請求項１１】
前記測定データ選択基準は、特定の発話を正確に認識したという信頼度から成り、
前記１セットの測定データ選択基準に基づいて古いセットの発話に対する古い測定データの一部分を選択する手順は、特定の発話を正確に認識したという信頼度に基づいて古いセットの発話に対する古い測定データの一部分を選択することから成る請求項９または１０に記載のコンピュータ可読媒体。
【請求項１２】
前記測定データ選択基準は、特定の発話の認識結果をユーザが確認したか否かから成り、
前記１セットの測定データ選択基準に基づいて古いセットの発話に対する古い測定デー
タの一部分を選択する手順は、特定の発話の認識結果をユーザが確認したか否かに基づいて古いセットの発話に対する古い測定データの一部分を選択することから成る請求項９または１０に記載のコンピュータ可読媒体。
【請求項１３】
電話機に基づく対話型音声認識システムにおいて、
記憶媒体と、
前記記憶媒体と通信可能に接続された再学習機構とを備え、前記再学習機構が、
１セットの測定データ選択基準に基づいて古いセットの発話に対する古い測定データの一部分を選択し、
前記記憶媒体から前記古い測定データの一部分を読み出し、
新しいセットの発話に対する新しい測定データを求め、
新しいセットの発話の用途を含む重み付け基準に基づいて重み付け係数を求め、
前記新しい測定データに、前記重み付け係数を適用して、重み付けした新しい測定データを生成し、
前記古い測定データの一部分及び前記重み付けした新しい測定データを使用して、新しい統計モデルデータを生成するように構成され、前記新しい統計モデルデータは、前記電話機に基づく対話型音声認識システムが使用して発話を認識するためのものである、対話型音声認識システム。
【請求項１４】
前記重み付け基準は、前記新しい測定データに含まれるデータ量に対する前記古い測定データの一部分に含まれるデータ量の比を含み、
前記重み付け基準に基づいて重み付け係数を求めることは、前記新しい測定データに含まれるデータ量に対する前記古い測定データの一部分に含まれるデータ量の比に基づいて前記重み付け係数を求めることから成る請求項１３に記載の電話機に基づく対話型音声認識システム。
【請求項１５】
前記測定データ選択基準は、特定の発話を正確に認識したという信頼度から成り、
前記１セットの測定データ選択基準に基づいて古いセットの発話に対する古い測定データの一部分を選択することは、特定の発話を正確に認識したという信頼度に基づいて古いセットの発話に対する古い測定データの一部分を選択することから成る請求項１３に記載の電話機に基づく対話型音声認識システム。
【請求項１６】
前記測定データ選択基準は、特定の発話の認識結果をユーザが確認したか否かから成り、
前記１セットの測定データ選択基準に基づいて古いセットの発話に対する古い測定データの一部分を選択することは、特定の発話の認識結果をユーザが確認したか否かに基づいて古いセットの発話に対する古い測定データの一部分を選択することから成る請求項１３に記載の電話機に基づく対話型音声認識システム。
【請求項１７】
電話機に基づく対話型音声認識システムであって、
記憶媒体と、
前記記憶媒体と通信可能に接続された再学習機構とを備え、前記再学習機構が、
前記記憶媒体から新しいセットの発話を読み出し、
前記新しいセットの発話に対する第１測定データを求め、
前記第１測定データに基づいて第１統計モデルデータを求め、
前記第１統計モデルデータに基づいて統計モデルを求め、
前記記憶媒体から古いセットの発話を読み出し、
前記古いセットの発話に対する第２測定データを求め、
前記第２測定データに基づいて第２統計モデルデータを求め、
第１測定データ又は第２測定データの何れも用いることなく、第１統計モデルデータ及
び第２統計モデルデータを使用して、更新統計モデルを求めるように構成され、
前記更新統計モデルデータは、前記電話機に基づく対話型音声認識システムが使用して発話を認識するためのものであり、
前記第１統計モデルデータを求めることは、第１測定データについて第１平均データ及び第１分散データを求め、前記新しいセットの発話の用途に基づく重み付け係数を第１分散データに適用することにより重み付けした第１分散データを求めることから成り、
前記第２の統計モデルデータを求めることは、第２測定データについて第２平均データ及び第２分散データを求めることから成り、
前記更新統計モデルを求めることは、
第１平均データ及び第２平均データに基づいて第３平均データを求めることと、
重み付けした第１分散データ及び第２分散データに基づいて、第３分散データを求めることから成る、
電話機に基づく対話型音声認識システム。
【請求項１８】
電話機に基づく対話型音声認識システムであって、
記憶媒体と、
前記記憶媒体と通信可能に接続された再学習機構とを備え、前記再学習機構が、
前記記憶媒体から新しいセットの発話を読み出し、
前記新しいセットの発話に対する第１測定データを求め、
前記第１測定データに基づいて第１統計モデルデータを求め、
前記第１統計モデルデータに基づいて統計モデルを求め、
前記記憶媒体から古いセットの発話を読み出し、
前記古いセットの発話に対する第２測定データを求め、
前記第２測定データに基づいて第２統計モデルデータを求め、
第１測定データ又は第２測定データの何れも用いることなく、第１統計モデルデータ及び第２統計モデルデータを使用して、更新統計モデルを求めるように構成され、
前記更新統計モデルデータは、前記電話機に基づく対話型音声認識システムが使用して発話を認識するためのものであり、
前記第１統計モデルデータを求めることは、第１測定データについて第１平均データ及び第１分散データを求めることから成り、
前記第２統計モデルデータを求めることは、第２測定データについて第２平均データ及び第２分散データを求め、前記新しいセットの発話の用途に基づく重み付け係数を第２分散データに適用することにより重み付けした第２分散データを求めることから成り、
前記更新統計モデルを求めることは、
第１平均データ及び第２平均データに基づいて第３平均データを求めることと、
第１分散データ及び重み付けした第２分散データに基づいて、第３分散データを求めることから成る、
電話機に基づく対話型音声認識システム。
【発明の詳細な説明】
【０００１】
（発明の分野）
本発明は、一般に、音声認識システムに関し、より詳細には、自動的に音声認識システムを再学習させるための方法に関する。
【０００２】
（発明の背景）
音声認識システムは、特定のアプリケーションや文脈に対して“学習”できるものがほとんどである。一般的に、音声認識システムの学習には、特定のアプリケーションや文脈を表す発話のサンプルセットに対する統計モデルの生成が含まれる。発話サンプルセットは通常、“学習セット”と呼ばれている。学習セットに対する統計モデルの生成には、２つの基本的なステップが含まれる。まず、学習セットに対して測定を行ない、学習セットの属性と特徴を規定する学習セット用の測定データの本体分を生成する。学習セットには、学習セットに含まれる発話の数及び特性が故に大規模な測定データが必要なものがある。更に、一般的に、測定データの量が増えると統計モデルの精度が高くなるため、測定データの規模が大きいと良好な場合が多い。測定データの精度を改善するために、測定結果の人為的な見直しや確認を行うことが多いが、このことは、極めて手間がかかる場合がある。
【０００３】
一旦測定データが生成されると、測定データを統計的に解析して、その測定データの統計モデルを定義する統計モデルデータが生成される。統計モデルは、学習セットから導かれる多次元の数学的な表現である。
【０００４】
一旦統計モデルが生成されると、受信された発話を学習セットからの発話に整合しようとして、受信された発話を統計モデルに対して評価する。精度を向上するために、異なるアプリケーションや文脈に対して、別の統計モデルを用いることがある。
【０００５】
統計モデルには、アプリケーションや文脈であって、それに対する統計モデルが最初に求められたアプリケーションや文脈の変更を明確にするために、定期的な再学習が必要である。例えば、特殊なアプリケーションでは、その特殊アプリケーションの統計モデルでは表現されない新たな語や主題を用いることがある。この結果、この統計モデルによっては、その新たな語や主題に関しては高いレベルの精度が提供できない可能性がある。再学習を行うと、統計モデルは、これらの新たな語や主題を反映し得る。
【０００６】
従来の再学習は、学習データを新たな語や主題で補完することによって、また更に、補完された学習データから統計モデルを再構築することによって、常にマニュアルによるオフライン処理で実行される。マニュアルによる再学習は、極めて手間がかかり（実質的に人手による管理が必要）、また、実現に長時間を要することが、この手法の１つの問題である。このことは、統計モデルを迅速に更新して発話の変化を認識できないことを意味する。従来の再学習法における他の問題は、維持しなければならない測定データの量が、学習セットの数と大きさが増加するにつれて、時間と共に増え続けることである。この結果、測定データを記憶するために、例えばディスクなどの不揮発性記憶装置等のシステム資源の量を、更に増やし続ける必要がある。例えば、様々な用途、様々なユーザあるいは様々な主題等に対して、非常に多くの統計モデルを必要とする音声認識システムの場合、測定データの量は膨大になることがある。
【０００７】
従来の再学習手法の更に別の問題は、新しい測定データを統計モデルでは適切に表現し得ないことが多いことである。例えば、これは、比較的少量の新しい測定データを比較的大量の古い測定データで処理して新しい統計モデルデータを生成する時の再学習中に起こる。比較的大量の古い測定データは、比較的少量の新しい測定データの効果を希釈する傾向がある。この結果、新しい測定データに対応する発話は、新しい統計モデルデータで適切に表現できず、精度のレベルが低下する場合がある。
【０００８】
上述の内容によれば、音声認識システムに再学習させるための手法であって、従来の手法における制約を回避する手法が必要とされている。
特に、コンピュータにより実現される自動的に音声認識システムに再学習させるための手法であって、人手による管理の必要性を低減した手法が必要とされている。また、音声認識システムに再学習させるための手法であって、維持しなければならない古い測定データの量を低減する手法が必要とされている。
【０００９】
また更に、新しい測定データの希釈の問題を解決する手法が必要とされている。
（発明の概要）
上述の必要性、及び以下の説明から明らかになる他の必要性や目的は、本発明によって実現される。１つの側面において、本発明には、音声認識システムを自動的に再学習させるための方法が含まれる。この方法によれば、古いセットの発話に対して求めた古い測定データを読み出す。新しい測定データを新しいセットの発話に対して求める。重み付け係数を新しい測定データに適用して、重み付けした新しい測定データを生成する。古い測定データと重み付けした新しい測定データとを用いて、新しい統計モデルデータを生成する。
【００１０】
他の側面によれば、音声認識システムを自動的に再学習させるための方法が提供される。古いセットの発話に対して求めた古い測定データを読み出す。新しいセットの発話に対して新しい測定データを求める。重み付け係数を古い測定データに適用して、重み付けした古い測定データを生成する。重み付けした古い測定データと新しい測定データを用いて、新しい統計モデルデータを生成する。
【００１１】
他の側面によれば、音声認識システムを自動的に再学習させるための方法が提供される。第１セットの発話を読み出す。更に、第１測定データを第１セットの発話に対して求める。第１測定データに基づき、第１統計モデルデータを求める。第１統計モデルデータに基づき、統計モデルを求める。第２セットの発話を読み出す。第２測定データを第２セットの発話に対して求める。第２測定データに基づき、第２統計モデルデータを求める。最後に、第１測定データ又は第２測定データの何れも用いることなく、第１統計モデルデータと第２統計モデルデータとを用いて、更新した統計モデルを求める。
【００１２】
他の側面によれば、音声認識システムは、記憶媒体と、記憶媒体と通信可能な状態で接続された再学習機構と、を含む。再学習機構は、古いセットの発話に対して求めた古い測定データを読み出すように構成されている。また、再学習機構は、新しいセットの発話に対する新しい測定データを求めるように構成されている。更に、再学習機構は、重み付け係数を新しい測定データに適用して、重み付けした新しい測定データを生成するように構成されている。再学習機構は、古い測定データと重み付けした新しい測定データとを用いて、新しい統計モデルデータを生成するように構成されている。
【００１３】
いくつかの実施形態を、限定的なものとしてではなく例として、添付図面の各図に示す。添付図面中の図において、同様な参照番号は、同様の要素を示す。
（好適な実施形態の詳細な説明）
本発明の充分な理解が得られるように、以下の説明においては、説明の目的のために具体的に詳細に記載する。しかしながら、本発明は、これらの具体的な詳細によらず実施し得ることは明白である。場合によっては、本発明が不必要に不明瞭になるのを回避するために、既知の構造や装置をブロック図の形式で示す。
【００１４】
例示の実施形態の様々な側面や特徴を、以下の項、すなわち、（１）序文、（２）システム概要、（３）可変重み付けを用いた再学習、（４）増分再学習、及び（５）実現メカニズムにおいて更に詳細に述べる。
【００１５】
１．序文
音声認識システムに自動的に再学習させるための手法について述べる。一般的に、可変重み付けを用いて、新しい測定データの統計モデルデータに対する相対的な影響を変更する。更に、増分再学習手法を用いて、古い統計モデルデータを再利用することによって、維持および処理しなければならない古い測定データの量を低減する。また、増分再学習は、可変重み付けと組合せて実現してもよい。
【００１６】
２．システム概要
図１は、本発明の様々な側面や特徴を説明するために本明細書中に用いるシステム１００を示す。システム１００には、音声認識システム（ＳＲＳ）１０４と対話を行うアプリケーション１０２が含まれる。アプリケーション１０２は、ＳＲＳ１０４の音声認識サービスを用いる任意のエンティティである。アプリケーション１０２の例には、これに限定するものではないが、音声動作システムすなわち電話によるサービスが含まれる。アプリケーション１０２は、リンク１０６を介してＳＲＳ１０４に通信可能な状態で接続されている。
【００１７】
ＳＲＳ１０４には、認識装置１０８、測定データ１１２を含む１または複数のディスク等の不揮発性記憶装置１１０、統計モデルデータ１１６を含む不揮発性記憶装置１１４、及び再学習装置１１８が含まれる。認識装置１０８は、リンク１２０を介して、不揮発性記憶装置１１０に通信可能な状態で接続されている。認識装置１０８は、リンク１２２を介して、不揮発性記憶装置１１４に通信可能な状態で接続されている。再学習装置１１８は、リンク１２４を介して、不揮発性記憶装置１１０に通信可能な状態で接続されている。再学習装置１１８は、リンク１２６を介して、不揮発性記憶装置１１４に通信可能な状態で接続されている。リンク１０６，１２０，１２２，１２４，１２６は、これらのリンクそれぞれに接続されたエンティティ間でのデータ交信のために、任意のメカニズムを用いて実現し得る。リンク１０６，１２０，１２２，１２４，１２６の例には、これに限定するものではないが、ネットワーク接続部、配線、光ファイバリンク、及び無線通信リンクが含まれる。
【００１８】
認識装置１０８は、統計モデルデータ１１６に基づき、受信発話を分析し、既知の発話に適合させるように構成されたメカニズムである。統計モデルデータ１１６は、既知の発話の特徴又は属性を定義する。統計モデルデータ１１６は、既知の発話に対して実行される測定から得られる測定データ１１２の１または複数の統計的な分析を行うことによって生成する。受信発話を分析する場合、受信発話の特徴を求めて統計モデルデータ１１６と比較し、受信発話と一致する特定の既知の発話を求める。認識装置１０８は、任意のタイプの認識装置として実現してよく、実施形態は、特定のタイプの認識装置に限定されない。
【００１９】
本発明の１つの実施形態によれば、再学習装置１１８は、ＳＲＳ１０４に自動的に再学習させる。具体的には、再学習装置１１８は、統計モデルデータ１１６を自動的に更新して、本明細書において更に詳細に述べる可変重み付けと増分再学習手法に基づき、測定データ１１２に対して行なわれる変更を反映する。測定データ１１２の変更には、測定データ１１２に含まれる既存データに対する変更あるいは測定データ１１２に追加した新しいデータが含まれる。１実施形態によれば、再学習装置１１８は、一組の測定データ選択基準に基づき、統計モデルデータ１１６を更新するための測定データ１１２の部分セットを選択し得る。この部分セットは、認識装置１０８によって正確に認識された可能性のある発話から成り、従って、認識装置１０８の出力は、人為的に録音する代わりに、学習に用い得る。
【００２０】
本発明は、如何なる特定の測定データ選択基準にも限定されることはなく、また、例えば、再学習のために測定データ１１２の部分セットを選択する上で有用な信頼度評点すなわち信頼度測定値、確認データ、あるいは任意の他のデータを含み得る。再学習のための測定データ１１２の部分セットは、再学習装置１１８の外部で、例えば、別個のフィルタ処理メカニズムすなわち認識装置１０８によって、選択し得る。
【００２１】
ＳＲＳ１０４は、本発明の様々な側面や特徴を不明瞭にしないために本明細書中に図示又は記載しない他の構成要素を含んでもよい。例えば、ＳＲＳ１０４は、開発過程の支援に利用可能な様々なソフトウェア開発ツールやアプリケーション・テスト・ツールを含んでもよい。このようなツールの１つに、マサチューセッツ州ボストンにあるＳｐｅｅｃｈｗｏｒｋｓ  Ｉｎｔｅｒｎａｔｉｏｎａｌ社製のＤｉａｌｏｇＭｏｄｕｌｅｓＴＭとして知られる再利用可能なソフトウェアモジュールの市販パッケージがある。
【００２２】
３．可変重み付けを用いた再学習
１つの実施形態によれば、本明細書中において“可変重み付け”と呼ばれる手法を再学習中に用いて、統計モデルに反映するように特定の測定データの相対的な影響を変更する。説明の目的のために、古い測定データと新しい測定データとに基づき、新しい統計測定モデルデータの構築を背景にして可変重み付け手法を説明する。本明細書で用いるように、用語“古い測定データ”は、古いセットの発話に対して行う測定により求められる測定データであって、現在の統計モデルデータが根拠を置く測定データを意味する。更に、本明細書で用いるように、用語“新しい測定データ”は、新しいセットの発話に対して行う測定により求められる測定データであって、古い測定データと組合せた場合、新しい統計モデルデータを求めるために用いる測定データを意味する。
【００２３】
可変重み付け手法によって、統計モデルデータが測定データの最近の変更を反映し得る一方で、古い測定データと新しい測定データの量の差異を補償し得る。例えば、場合によっては、古い測定データのデータ量は、新しい測定データのデータ量の何倍にもなることがある。このような状況で、古い測定データと新しい測定データを組合せて、更に、分析して新しい統計モデルデータを求める場合、新しい測定データの効果は、古い測定データによって希釈されることがある。この結果、新しい測定データによって表される発話は、新しい統計モデルデータで適切に表されないことがある。このように表現が不充分な場合、新しい発話の精度が減少することがある。
【００２４】
可変重み付けは、統計モデルに反映される任意のデータに適用することができ、本発明は、いずれか特定のデータへの可変重み付け適用には限定されない。例えば、可変重み付けは、古い測定データと新しい測定データのいずれにも適用し得る。古い測定データに適用する場合、可変重み付けには、新しい測定データに対する古い測定データの影響を変える効果がある。新しい測定データに適用する場合、可変重み付けには、古い測定データに対する新しい測定データの影響を変える効果がある。
【００２５】
次に、統計モデルデータに再学習させるための可変重み付け手法について、図２Ａ〜２Ｃを参照して説明する。図２Ａは、音声認識システムにおいて統計モデルデータを更新するための従来の再学習手法を示すフロー図２００である。古い測定データ２０２と新しい測定データ２０４を、統計的な分析を用いて、組合せて処理し、新しい統計モデルデータ２０６を生成する。新しい統計モデルデータ２０６は、古い測定データ２０２と新しい測定データ２０４とが基づく発話の属性と特徴を定義する。図２Ａ〜２Ｃに用いられている“＋”記号は、任意のタイプの組合せを表すために用いられており、単なる加算に限定されるわけではないことに留意されたい。
【００２６】
図２Ｂは、１実施形態による可変重み付けを用いて音声認識システムに再学習させるための手法を示すフロー図２０８である。まず、重み付け係数２１０を用いて古い測定データ２０２の重み付けを行い、重み付けした古い測定データ２１２を生成する。重み付け係数２１０によって、新しい統計モデルデータ２１４に対する古い測定データ２０２の影響は相対的に小さくなったり大きくなったりする。更に、重み付けした古い測定データ２１２を、新しい測定データ２０４と組合せて、統計的な分析を用いて処理し、新しい統計モデルデータ２１４を生成する。
【００２７】
図２Ｃは、１実施形態による可変重み付けを用いて音声認識システムに再学習させるための手法を示すフロー図２１６である。重み付け係数２１８を用いて新しい測定データ２０４を重み付けし、重み付けした新しい測定データ２２０を生成する。重み付け係数２１８によって、新しい統計モデルデータ２２２に対する新しい測定データ２０４の影響は相対的に小さくなったり大きくなったりする。更に、重み付けした新しい測定データ２２０を、古い測定データ２０２と組合せて、統計的な分析を用いて処理し、新しい統計モデルデータ２２２を生成する。
【００２８】
重み付け係数２１０，２１８は、同じであっても異なってもよく、また、図２Ｂ，２Ｃに示す手法によって、新しい統計モデルデータ２１４は、新しい統計モデルデータ２２２に数学的に等しくてなってもよい。更に、重み付け係数２１０，２１８は、指定された重み付け基準に基づいて、一定でもよく、あるいは線形的に又は非線形的に変化してもよい。１実施形態によれば、重み付け基準は定数を指定する。この場合、重み付け係数２１０，２１８は、古い測定データ２０２と新しい測定データ２０４とに含まれるデータ量にかかわらず、古い測定データ２０２と新しい測定データ２０４とにそれぞれ適用される定数である。
【００２９】
他の実施形態によれば、重み付け基準が、古い測定データ２０２と新しい測定データ２０４とに含まれるデータ量を決める。例えば、図３Ａのグラフ３００において、線３０２は、軸３０４によって表される重み付け係数２１８の大きさが、軸３０６によって表される古い測定データ２０２に含まれるデータ量と共にどのように変化するか示す。具体的には、重み付け係数２１８は、古い測定データ２０２のデータ量が増加するにつれて、（非線形的に）増加する。この手法では、古い測定データ２０２のデータ量が増加するにつれて、新しい統計モデルデータ２２２に対する新しい測定データ２０４の相対的な影響が大きくなる。
【００３０】
他の実施形態によれば、重み付け基準が、それぞれ新しい測定データ２０４のデータ量に対する古い測定データ２０２のデータ量の比を決める。例えば、図３Ｂのグラフ３１０において、線３１２は、軸３１４によって表される重み付け係数２１８の大きさが、軸３１６によって表される新しい測定データ２０４のデータ量に対する古い測定データ２０２のデータ量の比と共にどのように変化するか示す。この手法によれば、新しい測定データ２０４のデータに対する古い測定データ２０２のデータの比が増加するにつれて、重み付け係数２１８は、増加し、相対的に大量の古い測定データ２０２を補償する。
【００３１】
重み付け基準には、他の多くのタイプの基準を用いることが可能である。例えば、重み付け基準は、ある主題に対してある重み付け係数を指定し得る。従って、新しいセットの発話が主題Ａに関係する場合、重み付け係数Ａが適用される。新しいセットの発話が主題Ｂに関係する場合、重み付け係数Ｂが適用される。このことは、特定の主題に関する新しい発話が多少なりとも統計的な希釈を受けることが分かっている場合、特に有用である。
【００３２】
図４は、１実施形態に基づく可変重み付けを用いて音声認識システムに再学習させるための手法を示すフロー図４００である。ステップ４０２で開始した後、ステップ４０４において、古い測定データ２０２を読み出す。ステップ４０６において、新しい測定データ２０４を読み出す。通常、古い測定データ２０２及び新しい測定データ２０４は、ディスク等の不揮発性記憶装置から読み出す。
【００３３】
ステップ４０８において、重み付け係数２１０，２１８が新しい測定データ２０４に適用されるか否か判断する。肯定の場合、更に、ステップ４１０において、重み付け基準を指定することにより求めた重み付け係数２１８を新しい測定データ２０４に適用して、重み付けした新しい測定データ２２０を生成する。次に、ステップ４１２において、古い測定データ２０２と重み付けした新しい測定データ２２０とに基づき、新しい統計モデルデータ２２２を求める。
【００３４】
ステップ４０８において、重み付け係数２１０，２１８が新しい測定データ２０４に適用されないと判断した場合、次に、ステップ４１４において、重み付け係数２１０を古い測定データ２０２に適用して、重み付けした古い測定データ２１２を生成する。更に、ステップ４１６において、重み付けした古い測定データ２１２と新しい測定データ２０４とに基づき、新しい統計モデルデータ２１４を求める。更に、このプロセスは、ステップ４１８において終了する。本明細書で上述したように、重み付け係数は、特定のアプリケーションの要求事項に依存して、古い測定データ又は新しい測定データのいずれに適用してもよく、また、用いた重み付け係数によっては数学的に等しくてもよい。
【００３５】
４．増分再学習
一般的に、増分再学習は、維持及び処理しなければならない古い測定データの量と古い発話を低減するために、古い統計モデルデータを用いて統計モデルを更新することによって音声認識システムに再学習させるための手法である。１実施形態によれば、新しい発話の特徴と属性を反映するために統計モデルを更新しなければならない場合、新しい発話に対して測定を行って、新しい測定データを生成する。更に、新しい測定データのみに対して統計的な分析を行うことによって、新しい測定データから新しい統計モデルデータを生成する。次に、古い統計モデルデータと新しい統計モデルデータを共に処理して、新しい統計モデルを生成する。この時点で、新しい発話データすなわち新しい発話用の波形データは不要であり、廃棄し得る。
【００３６】
この手法は、古い発話を新しい発話と組合せて、組合せた発話用の測定データを生成し、更に統計的な分析を測定データ全てに対して行い、新しい統計モデルデータを生成するという、従来の再学習手法と実質的に異なる。増分再学習は、任意のタイプの統計モデルデータに用いることができ、また、本発明の実施形態は、いかなる特定のタイプの統計モデルデータにも限定されない。
【００３７】
増分再学習の例として、初期発話のセットに対して測定を行うものとする。具体的には、１または複数の初期発話のセットに対してＮ回の測定を行う。そして、１または複数の初期発話のセットに対して、Ｎ個の測定値の平均と分散を求める。
【００３８】
平均＝（Ｍ１＋Ｍ２＋・・・＋ＭＮ）／Ｎ
分散＝｛（Ｍ１−平均）２＋（Ｍ２−平均）２＋・・・＋（ＭＮ−平均）２｝／Ｎ
更に、Ｎ個の測定値を、統計的な分析を用いて処理し、１または複数の初期発話のセットに対して初期統計モデルデータを生成する。１または複数の新しい発話のセットを統計モデルに反映する場合、まず、１または複数の新しい発話のセットのみに対してＮ回の測定を行い、新しい測定データを生成する。更に、新しい測定データに対して統計的な分析を行い、新しい統計モデルデータを生成する。次に、１または複数の初期発話のセットに対する測定を繰返す必要無く又は初期測定データに対する統計的な分析を繰返す必要無く、初期統計モデルデータと新しい統計モデルデータとから新しい統計モデルを生成する。従って、初期発話すなわち波形データ及び初期測定データは、維持する必要がなく、廃棄し得る。
【００３９】
増分学習手法は、各発話に統計モデルを構築するが、この各発話に対する個別の統計データを含む統計モデルに適用可能である。更に、増分学習手法は、各発話に統計モデルを構築するが、この各発話に対する累積統計データを含む統計モデルに適用可能である。この場合、累積統計データを更新して、新しい発話に対して求める統計的な結果が決まる。
【００４０】
図５は、１実施形態による増分再学習を用いて音声認識システムに再学習させるための手法を示すフロー図５００である。ステップ５０２で開始した後、ステップ５０６において、発話の初期本体に対して測定値を読み出す。ステップ５０８において、初期測定データに基づき、初期統計モデルデータを求める。ステップ５１２において、新しい発話の本体に対して測定値を読み出す。ステップ５１４において、新しい測定データに基づき、新しい統計データを求める。ステップ５１６において、発話の初期本体を再測定する必要無く又は初期統計モデルデータを再生成する必要無く、初期統計モデルデータと新しい統計モデルデータの両方に基づき、新しい統計モデルを求める。従って、発話データすなわち波形データは、維持する必要がなく、廃棄し得る。このプロセスは、ステップ５１８で終了する。
【００４１】
音声認識システムの再学習は、本明細書で説明した増分再学習及び可変重み付け手法を用いて、実行し得る。具体的には、初期統計モデルデータあるいは新しい統計モデルデータの相対的な影響は、本明細書で前述したように、重み付け係数をそれらに適用することによって変更し得る。
【００４２】
本明細書では、特定のタイプの測定データを参照して様々な実施形態について説明したが、本発明は、いかなる特定のタイプの測定データにも限定されず、任意のタイプの測定データに用い得ることに留意されたい。更に、特定の統計的な分析データやプロセスを参照して様々な実施形態を本明細書で説明したが、本発明は、いかなる特定の統計的な分析データやプロセスにも限定されず、任意の統計的な分析データやプロセスに用い得る。
【００４３】
５．実現メカニズム
Ａ．概要
本明細書中に述べた音声認識システムに自動的に再学習させるための手法は、コンピュータソフトウェア、ハードウェア回路、あるいはコンピュータソフトウェアとハードウェア回路の組合せで実現し得る。従って、本発明は、特定のコンピュータソフトウェア又はハードウェア回路による実現に限定されない。例えば、この手法は、音声認識システム１０４の一部として、再学習装置１１８に実現し得る。他の選択肢として、この手法は、認識装置１０８の一部として実現し得る。他の例として、この手法は、統計モデルデータ１１６を更新して測定データ１１２を正確に反映するために定期的に用いるスタンドアロンメカニズムとして実現し得る。この手法は、任意のタイプの音声認識システム、例えば、電話機による対話型音声認識システムで実現し得る。
【００４４】
Ｂ．実装ハードウェア例
図６は、コンピュータシステム６００の例を示すブロック図であり、このコンピュータシステム６００上において本発明の実施形態を実現する。コンピュータシステム６００には、バス６０２又は情報を伝達するための他の通信メカニズムと、情報を処理するためにバス６０２に接続されたプロセッサ６０４とが含まれる。また、コンピュータシステム６００には、ランダムアクセスメモリ（ＲＡＭ）や他の動的記憶装置等、プロセッサ６０４が実行する情報や命令を記憶するためにバス６０２に接続された主メモリ６０６が含まれる。また、主メモリ６０６は、プロセッサ６０４が実行する命令の実行中、暫定変数又は他の中間情報を記憶するために用い得る。更に、コンピュータシステム６００には、プロセッサ６０４用の静的情報や命令を記憶するためにバス６０２に接続された読出し専用メモリ（ＲＯＭ）６０８又は他の静的記憶装置が含まれる。情報や命令を記憶するために磁気ディスクや光ディスク等の記憶装置６１０が設けられ、バス６０２に接続されている。
【００４５】
コンピュータシステム６００は、コンピュータのユーザに情報を表示するために、バス６０２を介してブラウン管（ＣＲＴ）等の表示装置６１２に接続されている。情報や命令の内容をプロセッサ６０４に伝えるために、英数字や他のキーを含む入力装置６１４がバス６０２に接続されている。他のタイプのユーザ入力装置は、方向情報や命令の内容をプロセッサ６０４に伝えて、表示装置６１２上のカーソル移動を制御するためのマウス、トラックボール、又はカーソル方向キー等のカーソル制御装置６１６である。通常、この入力装置には、第１軸（例えば、ｘ）と第２軸（例えば、ｙ）の２つの軸において２つの自由度があり、これによって、入力装置は平面内の位置を指定することができる。
【００４６】
本発明は、音声認識システムに自動的に再学習させるためのコンピュータシステム６００の使用方法に関する。本発明の１実施形態によれば、音声認識システムの再学習は、主メモリ６０６に含まれる１または複数の命令における１または複数のシーケンスを実行するプロセッサ６０４に応答して、コンピュータシステム６００が提供する。このような命令は、記憶装置６１０等の他のコンピュータ可読媒体から主メモリ６０６に読み込み得る。主メモリ６０６に含まれる命令のシーケンスを実行すると、プロセッサ６０４は、本明細書中に記載されたステップを実行する。多重処理構成の１または複数のプロセッサを用いて、主メモリ６０６に含まれる命令のシーケンスを実行し得る。他の選択可能な実施形態では、ソフトウェア命令の代わりに又はそれと組合せて、物理的な配線を用いた回路を用いて、本発明を実現し得る。従って、本発明の実施形態は、ハードウェア回路とソフトウェアとのいずれか特定の組合せに限定されない。
【００４７】
本明細書中で用いる用語“コンピュータ可読媒体”は、実行用プロセッサ６０４への命令の提供に関係する任意の媒体を意味する。このような媒体には、不揮発性媒体、揮発性媒体、及び通信媒体を含むがこれらに限定されない様々な形態が有り得る。不揮発性媒体には、例えば、記憶装置６１０等の光ディスクや磁気ディスクがある。揮発性媒体には、主メモリ６０６等の動的メモリがある。通信媒体には、バス６０２を構成する配線を始めとする、同軸ケーブル、銅線及び光ファイバがある。また、通信媒体は、無線や赤外線データ通信中に生成されるような音波や光波の形態を取ることができる。
【００４８】
コンピュータ可読媒体の通常の形態には、例えば、フロッピディスク、フレキシブルディスク、ハードディスク、磁気テープ、又は他の磁気媒体、ＣＤ−ＲＯＭ、他の何らかの光媒体、パンチカード、紙テープ、穿孔パターンを有する他の何らかの物理的な媒体、ＲＡＭ、ＰＲＯＭ、及びＥＰＲＯＭ、ＦＬＡＳＨ−ＥＰＲＯＭ、他の何らかのメモリチップ又はカートリッジ、以下に述べる搬送波、又は他の何らかの媒体であってコンピュータがそこから読出し可能な媒体が含まれる。
【００４９】
様々な形態のコンピュータ可読媒体が、プロセッサ６０４が実行するための１または複数の命令における１または複数のシーケンスの保持に関与し得る。例えば、最初は、命令を、リモートコンピュータの磁気ディスクに保持し得る。リモートコンピュータは、その動的メモリに命令を読み込み、電話回線を介して、モデムを用いて、その命令を送信し得る。コンピュータシステム６００内にあるモデムは、電話回線上のデータを受信して、赤外線送信機を用いて、そのデータを赤外線信号に変換し得る。バス６０２に接続された赤外線検出器が、赤外線信号で搬送されたデータを受信して、そのデータをバス６０２に置くことができる。バス６０２は、そのデータを主メモリ６０６に搬送し、プロセッサ６０４は、主メモリ６０６から命令を読み込み実行する。主メモリ６０６が受信する命令は、プロセッサ６０４による実行の前に又は後で任意に記憶装置６１０に記憶される。
【００５０】
また、コンピュータシステム６００には、バス６０２に接続される通信インタフェース６１８が含まれる。通信インタフェース６１８は、ローカルネットワーク６２２に接続されたネットワークリンク６２０に繋がる双方向データ通信を提供する。例えば、通信インタフェース６１８は、対応するタイプの電話回線へのデータ通信接続を提供するための総合デジタル通信網（ＩＳＤＮ）カード又はモデムであってもよい。他の例として、通信インタフェース６１８は、互換性のあるＬＡＮにデータ通信接続を提供するためのローカルエリアネットワーク（ＬＡＮ）カードであってもよい。また、無線リンクも実現し得る。このような任意の具体例において、通信インタフェース６１８は、様々な種類の情報を表すデジタルデータストリームを搬送する電気信号、電磁気信号、又は光信号を送受信する。
【００５１】
通常、ネットワークリンク６２０は、１または複数のネットワークを介して、他のデータ装置にデータ通信を提供する。例えば、ネットワークリンク６２０は、ローカルネットワーク６２２を介して、ホストコンピュータ６２４への接続又はインターネットサービスプロバイダ（ＩＳＰ）６２６が運用するデータ設備への接続を提供する。そして、ＩＳＰ６２６は、現在では通常“インターネット”６２８と呼ばれる世界的な規模のパケットデータ通信ネットワークによるデータ通信サービスを提供する。ローカルネットワーク６２２とインターネット６２８は、両方共、デジタルデータストリームを搬送する電気信号、電磁気信号、又は光信号を用いる。デジタルデータをコンピュータシステム６００へ又はそれから搬送する信号であって、様々なネットワークを介する信号、及びネットワークリンク６２０上の又は通信インタフェース６１８を介した信号は、情報を搬送する搬送波の代表的な形態である。
【００５２】
コンピュータシステム６００は、ネットワーク、ネットワークリンク６２０及び通信インタフェース６１８を介して、メッセージを送信し、プログラムコードを含むデータを受信し得る。インターネットの例において、サーバ６３０は、インターネット６２８、ＩＳＰ６２６、ローカルネットワーク６２２及び通信インタフェース６１８を介して、アプリケーションプログラミング用に要求されたコードを送信し得る。本発明に基づき、１つのこのようなダウンロードされたアプリケーションによって、本明細書中で説明した音声認識システムへの自動的な再学習が提供される。
【００５３】
受信したコードは、受信したままプロセッサ６０４によって実行して、及び／又は記憶装置６１０又は他の不揮発性記憶装置に後で実行するために記憶し得る。このようにして、コンピュータシステム６００は、搬送波の形態でアプリケーションコードを取得し得る。
【００５４】
本明細書で説明した音声認識システムに自動的に再学習させるための手法は、従来の再学習手法より優れた幾つかの利点を提供する。特に、本明細書中に記載したコンピュータに基づく実施によって、音声認識システムに再学習させるのに必要な人的資源の量、例えば、人手による管理が低減される。このことによって、音声認識システムに迅速に再学習させて、新しいセットの発話又は既存の発話に対する変更を認識できるという恩恵がもたらされる。可変重み付けによって、特定の測定データの相対的な影響を変更し、特に、少量の新しい測定データが新しい統計モデルに含まれる場合、より柔軟性のある再学習を提供し得る。更に、増分学習によって、古い発話データの量すなわち波形データ及び古い測定データに対応する古い統計データを用いることによって維持しなければならない測定データが低減される。
【００５５】
上述の明細書において、特定の実施形態について説明した。しかしながら、本発明のより広い趣旨と範囲から逸脱すること無く、様々な修正や変更をこれらに対して行い得ることは明らかである。従って、明細書及び図面は、限定的ではなく例証的な意味で取り扱われるものとする。
【図面の簡単な説明】
【図１】  １実施形態による音声認識システムに再学習させるためのシステムを示すブロック図。
【図２Ａ】  音声認識システムに再学習させるための従来の手法を示すフロー図。
【図２Ｂ】  １実施形態による可変重み付けを用いて再学習を実行するためのプロセスを示すフロー図。
【図２Ｃ】  他の実施形態による可変重み付けを用いて再学習を実行するためのプロセスを示すフロー図。
【図３Ａ】  １つの実施形態に従って求めた可変重み付け係数を示すグラフ。
【図３Ｂ】  他の実施形態に従って求めた可変重み付け係数を示すグラフ。
【図４】  可変重み付けを用いて音声認識システムに再学習させるためのプロセスを示すフロー図。
【図５】  増分再学習を用いて音声認識システムに再学習させるためのプロセスを示すフロー図。
【図６】  いくつかの実施形態を実現し得るコンピュータシステムを示すブロック図。
【図１】
0005060006.tif 000002
【図２Ａ】
0005060006.tif 000003
【図２Ｂ】
0005060006.tif 000004
【図２Ｃ】
0005060006.tif 000005
【図３Ａ】
0005060006.tif 000006
【図３Ｂ】
0005060006.tif 000007
【図４】
0005060006.tif 000008
【図５】
0005060006.tif 000009
【図６】
0005060006.tif 000010