(57)【要約】【課題】アンダーグラウンドで音声認識装置の教師あり話者適応学習を行う。【解決手段】複数の単語の登録音声パターンと入力音声パターンとを比較し、最も類似している登録音声パターンに基づいて音声入力された単語を認識する音声認識方法であり、音声認識装置の認識結果と入力音声パターンを外部の登録音声パターン改良装置に送り、登録音声パターン改良装置において、送られてきた情報に基づいて音声認識装置の音声認識エンジンに登録されている登録音声パターンの改良データを生成して送信し、音声認識装置において、送られてきた改良データにより音声認識エンジンに登録されている登録音声パターンデータを更新する。【選択図】　　図１
2004061609.tif 000002
【特許請求の範囲】
【請求項１】
複数の単語の登録音声パターンと入力音声パターンとを比較し、最も類似している登録音声パターンに基づいて音声入力された単語を認識する音声認識方法において、
音声認識装置の認識結果と入力音声パターンを外部の登録音声パターン改良装置に送り、
登録音声パターン改良装置において、前記送られてきた情報に基づいて前記音声認識装置の音声認識エンジンに登録されている登録音声パターン改良データを生成して送信し、
音声認識装置において、前記送られてきた改良データにより音声認識エンジンに登録されている登録音声パターンデータを更新する、
ことを特徴とする音声認識方法。
【請求項２】
前記登録音声パターンの改良データ生成ステップは、
入力音声パターンに基づいて音声認識し、認識結果を教師あり話者適応学習における入力音声表記とみなし、該入力音声表記を用いて教師あり話者適応学習を行って登録音声パターン改良データを生成する、
ことを特徴とする請求項１記載の音声認識方法。
【請求項３】
音声入力された単語を認識する音声認識装置において、
単語に応じた音声パターンを登録する音声パターン登録部、
複数の単語の登録音声パターンと入力音声パターンとを比較し、最も類似している登録音声パターンに基づいて音声入力された単語を認識する音声認識エンジン、
認識結果と入力音声パターンを組にして保存する保存部、
定期的に保存部に保存されている認識結果と入力音声パターンを外部の登録音声パターン改良装置に送るデータ送信部、
音声認識装置より送られてきた情報に基づいて、該音声認識装置の音声認識エンジンの登録音声パターンを改良するデータを生成する前記登録音声パターン改良装置より、該登録音声パターン改良データを受信するデータ受信部、
前記送られてきた改良データにより音声認識エンジンに登録されている登録音声パターンデータを改良する改良部、
を有することを特徴とする音声認識装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、音声認識方法及び音声認識装置に係わり、特に、話者適応技術を用いた音声認識方法及び音声認識装置に関する。
【０００２】
【従来の技術】
特定話者に対する音声認識性能を向上させるために、音声認識装置は該特定話者の音声を学習する話者適応技術を用いる。かかる話者適応技術は大別すると、教師あり、教師なしの２種類に分類可能である。ここでの教師とは入力発声の発声内容を表す音韻表記列を指す。教師あり適応化とは、入力発声に対する音韻表記列が既知の場合の適応化手法であり、適応化の際、未知話者に対し発声語彙を事前に指示する必要がある。
【０００３】
一方、教師なし適応化とは、入力発声に対する音韻表記列が未知の場合の適応化手法であり、未知話者に対し入力発声の発声内容を限定しない、すなわち、未知話者に対し発声内容を指示をする必要がなく、実際に音声認識を使用中の入力音声を用いて、未知話者に意識させずに適応化を行なえるため、使用者にとって使いやすい方式である。
一般に、教師なし適応化は教師あり適応化に比べ、適応化後の認識性能が低いため、現在は教師あり適応化がよく使われている。
【０００４】
以下、従来の教師あり適応化技術を用いた音声認識装置について図２を参照して説明する。
音声認識装置１に入力された話者の発声Ｓは、入力パターン作成部２に入力され、ＡＤ変換、音声分析などの過程を経て、ある時間長をもつフレームと呼ばれる単位ごとの特徴ベクトルの時系列に変換される。この特徴ベクトルの時系列を、ここでは入力パターンと呼ぶ。特徴ベクトルはその時刻における音声スペクトルの特徴量を抽出したもので、通常１０次元から１００　次元である。
【０００５】
一方、標準パターン記憶部３には隠れマルコフモデル（ＨＭＭ：Ｈｉｄｄｅｎ　Ｍａｒｋｏｖ　Ｍｏｄｅｌ　）が記憶されている。ＨＭＭは音声の情報源モデルの１つであり、話者の音声を用いてそのパラメータを学習することができる。ＨＭＭは通常所定の認識単位ごとに用意され、ここでは、認識単位として音素を例にとる。従って、標準パターン記憶部３には図３に示すように　音素ＨＭＭが標準パターンとして記憶される。音素ＨＭＭは、例えば、予め多くの話者の発声を用いて学習した不特定話者ＨＭＭが用いられる。
１０００単語を認識対象とする場合、即ち１０００単語の認識候補から１単語の正解を求める場合を想定する。単語認識に際して、語彙パターン作成部５は単語を構成する各音素のＨＭＭを連結して、認識候補単語のＨＭＭ（単語ＭＦＦ）を作成する。１０００単語認識の場合には１０００単語分の単語ＨＭＭを作成する。すなわち、語彙パターン作成部５は図４に示すように、１０００語の単語を記憶する単語記憶部５ａと音素ＨＭＭを連結して各単語の単語ＨＭＭを作成する単語ＨＭＭ作成部５ｂを有している。
【０００６】
認識部４では、語彙パターン作成部５で作成された１０００単語の単語ＨＭＭを用いて入力パターンの認識を行なう。音素ＨＭＭは、音声の情報源のモデルであり、音声パターンの様々な揺らぎに対処するため、標準パターンの記述に統計的な考えが導入されている。音素ＨＭＭは、通常１から１０個の状態とその間の状態遷移から構成される。通常は始状態と終状態が定義されており、単位時間ごとに、各状態からシンボルが出力され、状態遷移が行なわれる。音素の音声パターンは、始状態から終状態までの状態遷移の間に出力されるシンボルの時系列として表される。各状態にはシンボルの出現確率が、状態間の各遷移には遷移確率が定義されている。遷移確率パラメータは音声パターンの時間的な揺らぎを表現するためのパラメータである。出現確率パラメータは、音声パターンの声色の揺らぎを表現するものである。始状態の確率をある値に定め、状態遷移ごとに出現確率、遷移確率を入力パターンに掛けていくことにより、入力音声があるＨＭＭから発生したと仮定した時のその発生確率を計算することができる。
【０００７】
ＨＭＭによる音声認識では、１０００個の認識候補単語に対して単語ＨＭＭを用意し、音声が入力されると、各々の認識候補単語の単語ＨＭＭにおいて、発生確率を求め、最大となる単語ＨＭＭを発生源と決定し、その単語ＨＭＭに対応する認識候補単語をもって認識結果とする。認識結果単語は、認識結果出力部６に送られる。認識結果出力部６は、認識結果を画面上に出力し、あるいは、認識結果に対応した制御命令を別の装置に送出するなどの処理を行なう。尚、以上では標準パターン記憶部３に音素に応じてＨＭＭを記憶したが、図５に示すように単語に応じて単語ＨＭＭを保存することもできる。かかる場合には語彙パターン作成部５は不用になる。
【０００８】
次に、音声認識装置１に対する教師あり話者適応化技術について説明する。教師あり話者適応化では、発声する単語を予め使用者に指示して、単語表記と入力音声を用いて音素ＨＭＭのパラメータの更新を行なう。このように予め発声に対する正解単語がわかっているという意味で教師あり適応化と呼ばれる。
【０００９】
最初に認識時と同様に、入力パターン作成部７は入力音声から入力パターンを作成する。教師あり適応化の場合、正解単語は予めわかっているため、適応化用辞書作成部８は入力された正解単語表記（入力音声表記）から適応化用辞書を作成する。次に、教師あり適応化部９の語いパターン作成部９ａは、適応化辞書の音素系列と適応化初期標準パターン記憶部９ｂに予め記憶されている音素毎の適応化初期ＨＭＭを用いて入力パターンに対応する単語ＨＭＭを作成する。そして、適応化部９ｃは入力パターンと適応化用単語ＨＭＭの間で尤度計算を行ない、１つ又は複数の入力パターンについて適応化処理を行った後、適応化後の平均ベクトルを計算して適応化後ＨＭＭを求め、適応化されたＨＭＭを標準パターン記憶部３に入力し、それまでの標準ＨＭＭのかわりに記憶する。
以上の教師あり適応技術は周知であり、例えば、特開平７−２３０２９５合公報に詳細に記述されている。
【００１０】
【発明が解決しようとする課題】
しかし、教師あり適応化方式では、本来の音声認識における音声の発生とは別に、トレーニングとして装置から指示された単語を発声しなければならず、負担が大きいという欠点がある。すなわち、ヒューマン・インタフェースを良くする（機器の操作をやりやすくする）という音声認識装置を搭載した本来の目的とは違う目的（音声認識の認識性能向上）の作業をする必要があり、煩雑であると共にユーザに負担を強いる問題がある。
以上から本発明の目的は、使用者に意識させずに、自動的に、教師あり適応化方式と同等の性能を備えるようにできる音声認識方法及び音声認識装置を提供することである。
本発明の別の目的は、簡易な構成で教師あり適応化方式と同等の性能を備えるようにできる音声認識方法及び音声認識装置を提供することである。
【００１１】
【課題を解決するための手段】
本発明の第１は、複数の単語の登録音声パターンと入力音声パターンとを比較し、最も類似している登録音声パターンに基づいて音声入力された単語を認識する音声認識方法であり、▲１▼音声認識装置の認識結果と入力音声パターンを外部の登録音声パターン改良装置に送るステップ、▲２▼登録音声パターン改良装置において、前記送られてきた情報に基づいて前記音声認識装置の音声認識エンジンに登録されている登録音声パターン改良データを生成して送信するステップ、▲３▼音声認識装置において、前記送られてきた改良データにより音声認識エンジンに登録されている登録音声パターンデータを更新するステップを有している。
【００１２】
又、本発明の第２は音声入力された単語を認識する音声認識装置であり、▲１▼単語に応じた音声パターンを登録する音声パターン登録部、▲２▼複数の単語の登録音声パターンと入力音声パターンとを比較し、最も類似している登録音声パターンに基づいて音声入力された単語を認識する音声認識エンジン、▲３▼認識結果と入力音声パターンを組にして保存する保存部、▲４▼定期的に保存部に保存されている認識結果と入力音声パターンを外部の登録音声パターン改良装置に送るデータ送信部、▲５▼音声認識装置より送られてきた情報に基づいて、該音声認識装置の音声認識エンジンの登録音声パターンを改良するデータを生成する前記登録音声パターン改良装置より、該登録音声パターン改良データを受信するデータ受信部、▲６▼前記送られてきた改良データにより音声認識エンジンに登録されている登録音声パターンデータを改良する改良部を有している。
本発明によれば、アンダーグラウンドで音声認識装置の教師あり話者適応学習を行うことが可能となるため、ユーザーは音声認識装置に教師信号を供給する必要がなくなり、又、学習自体は教師あり学習であるため、学習が誤った方向に進む恐れもなくなり、精度の高い学習が可能となり認識率を向上できる。
【００１３】
【発明の実施の形態】
（Ａ）音声認識システムの構成
図１は本発明の音声認識装置を含む音声認識システムの構成図であり、音声入力により制御される装置に取り付けられた音声認識装置１１と、認識性能が向上するように、音声認識装置１１の標準パターン記憶部に記憶されている標準パターンを特定するパラメータ類を更新する改良センター１２が設けられている。音声認識装置１１と改良センター１２間は任意の通信方式、例えばＬＡＮ，携帯電話による無線通信等により自由に通信できるようになっている。
【００１４】
音声認識装置１１において、音声入力用マイクロホ２１は話者が入力した音声を検出して出力し、ＡＤコンバータ２２は音声信号をディジタルに変換し、音声認識エンジン２３は、図２の従来例（音声認識装置１）と同様の構成を備えて入力音声を認識する。音声データファイル・認識結果保存部２４は入力音声の認識結果を保存すると共に入力音声パターンデータをＷＡＶ形式で記憶する。データ送信部２５は保存部２４に保存されている１以上の認識結果と入力音声パターンデータを対にして改良センターに送信する。データ受信部２６は改良センタ１２より改良データ（標準パターンを特定するパラメータ類）を受信し、インストーラー２７は受信した改良データにより音声認識エンジン２３の標準パターンデータを更新する。
【００１５】
改良センター１２において、データ受信部３１は音声認識装置１１から送られてくる複数組の認識結果・入力パターンデータを受信し、教師信号生成部３２は、音声認識装置１１の音声認識域エンジン２３よりはるかに高性能の音声認識エンジンを備え、送られてきた各組の入力パターンデータに基づいて音声認識を行い、認識結果を入力パターンの入力音声表記（教師信号）として出力する。改良部３３は、入力音声表記）と音声認識装置１１より送られてきた入力パターンデータとを用いて図２の教師あり適応化部９と同様の適応化処理を行って適応化した音素のＨＭＭを求める。しかる後、音声認識装置より送られてきた認識結果と教師信号（入力音声表記）とを比較して異なる音素を求め、該異なる音素の適応化されたＨＭＭを出力する。改良データ記憶部３４は改良部３３より出力される改良データ（各音素の適応化されたＨＭＭ）を保存し、データ送信部３５は該改良データを音声認識装置に送信する。
【００１６】
（Ｂ）音声認識システムの全体の動作
▲１▼ユーザーが音声認識装置１１を使ったとき、そのときの発話内容（音声パターン）と音声認識エンジン２３が認識した認識結果をそれぞれ音声データファイル・認識結果保存部２４に記録しておく。発話内容は例えばＷＡＶファイル形式で保持し、ＩＤコードを付与する。認識結果は該ＩＤコードと対応して、例えばテキスト形式で記録する。
▲２▼一定期間（ユーザーの任意でも良いし、メーカー側で設定しても良い）が経過したとき、データ送信部２５は音声データファイル・認識結果保存部２４に記録されている音声データファイルと認識結果を対にして改良センター１２に送信する。
【００１７】
▲３▼改良センター１２において、データ受信部３１は音声認識装置１１より受信した情報を内蔵のメモリに記憶すると共に順次、発話内容と認識結果を対にして教師信号生成部３２と改良部３３に入力する。教師信号生成部３２は、入力された音声パターンデータに基づいて音声認識を行い、認識結果を入力音声パターンの入力音声表記として出力し、改良部３３は、入力音声表記と入力音声パターンデータとを用いて適応化処理を行って適応化した音素のＨＭＭを求める。しかる後、改良部３３は音声認識装置１１より送られてきた認識結果と教師信号（入力音声表記）とを比較して異なる音素を求め、該異なる音素の適応化されたＨＭＭを出力する。改良データ記憶部３４は改良部３３より出力される改良データ（各音素の適応化されたＨＭＭ）を保存し、データ送信部３５は該改良データを音声認識装置１１に送信する。
【００１８】
▲４▼改良データを受信したをインストーラー２７は、改良データ（各音素の適応化されたＨＭＭ）を音声認識エンジン２３内の標準パターン記憶部にインストールし、それまでの標準ＨＭＭのかわりに記憶する。
以上では、標準ＨＭＭは音素ＨＭＭであるが単語ＨＭＭであっても良い。
【００１９】
【発明の効果】
以上本発明によれば、アンダーグラウンドで音声認識装置の教師あり話者適応学習を行うことが可能となるため、ユーザー（話者）が、音声認識装置に教師信号を供給する必要がなくなる。
また、本発明によれば、学習自体は教師あり学習であるため、学習が誤った方向に進む恐れもなくなり、精度の高い学習が可能となるため、個々のユーザが音声認識装置を使った場合に享受できる認識性能を向上させることができる。
また、本発明によれば、ユーザーの音声を高性能の音声認識エンジンを備えたセンター側に送って改良データを生成し、該改良データをユーザの音声認識装置の音声認識エンジンにインストールするため、不特定話者対応の認識率を向上した音声認識装置を提供できる。また、ユーザのーの音声認識エンジンに高性能のものは不要であり、安価で、小型な装置構成とすることができる。
【図面の簡単な説明】
【図１】本発明の音声認識装置を含む音声認識システムの構成図である。
【図２】従来の教師あり適応化技術を用いた音声認識装置である。
【図３】音素ＨＭＭを標準パターンとして記憶する例である。
【図４】語彙パターン作成部の構成図である。
【図５】単語ＨＭＭを標準パターンとして記憶する例である。
【符号の説明】
１１　音声認識装置
１２　改良センター
２１　音声入力用マイクロホ
２２　ＡＤコンバータ
２３　音声認識エンジン
２４　音声データファイル・認識結果保存部
２７　インストーラー
３１　データ受信部
３２　教師信号生成部
３３　改良部
３４　改良データ記憶部
【図１】
2004061609.tif 000003
【図２】
2004061609.tif 000004
【図３】
2004061609.tif 000005
【図４】
2004061609.tif 000006
【図５】
2004061609.tif 000007