(57)【要約】【課題】  音響モデルのモデルパラメータを変更する様な操作がなされた音響モデルを利用する場合にも、予め変換した文法を再変換することなしに音声認識を行うことができる音声認識方法およびこの方法を実施する装置を提供する。【解決手段】  音響モデル２から音響モデル構造情報を抽出する音響モデル構造情報抽出部２１と、音声認識用文法１と音響モデル構造情報抽出部２１で抽出した音響モデル構造情報から音声認識用文法を音声認識用探索ネットワーク１に変換する文法変換部３１と、音響モデル２から音響モデルパラメータを抽出する音響モデルパラメータ抽出部２２と、探索ネットワーク１と音響モデルパラメータから音声認識時に用いる探索ネットワーク２を再構成する探索ネットワーク再構成部３０と、探索ネットワーク再構成部３０で作成された探索ネットワーク２を用いて音声認識を行う音声認識装置。【選択図】  図４
2005301092.tif 000002
【特許請求の範囲】
【請求項１】
音声認識用文法と音響モデルを読み込み、音声認識用文法に含まれる認識対象単語或いは単語列の中から、入力音声と音響モデルとで照合を行い、最も尤度の高い単語或いは単語列を認識結果として出力する音声認識方法において、
音響モデルから構造情報を、予め、抽出し、
音声認識用文法を、音響モデルの構造情報のみを付加して音声認識用探索ネットワーク１に変換し、
音声認識時に変換時に用いた音響モデルからモデルパラメータを抽出し、
探索ネットワーク１と抽出した音響モデルパラメータをそれぞれ読み込んで探索ネットワークを再構成した探索ネットワーク２を用いて音声認識を行うことを特徴とする音声認識方法。
【請求項２】
請求項１に記載される音声認識方法において、
音声認識時に、変換済み探索ネットワーク１と、変換時に用いた音響モデルとは構造情報は同じでモデルパラメータの異なる音響モデルをそれぞれ読み込んで音声認識を行うことを特徴とする音声認識方法。
【請求項３】
請求項１および請求項２の内の何れかに記載される音声認識方法において、
文法変換時に付加する音響モデルの構造情報を、当該音響モデルの属する音声カテゴリ、当該音響モデルを構成する状態情報とすることを特徴とする音声認識方法。
【請求項４】
音声認識用文法と音響モデルを読み込み、音声認識用文法に含まれる認識対象単語或いは単語列の中から、入力音声と音響モデルとで照合を行い、最も尤度の高い単語或いは単語列を認識結果として出力する音声認識装置において、
音響モデルから音響モデル構造情報を抽出する音響モデル構造情報抽出部と、
音声認識用文法と音響モデル構造情報抽出部で抽出した音響モデル構造情報から音声認識用文法を音声認識用探索ネットワーク１に変換する文法変換部と、
音響モデルから音響モデルパラメータを抽出する音響モデルパラメータ抽出部と、
文法変換部において変換された探索ネットワーク１と、音響モデルパラメータ抽出部で抽出された音響モデルパラメータから音声認識時に用いる探索ネットワーク２を再構成する探索ネットワーク再構成部と、
探索ネットワーク再構成部で作成された探索ネットワーク２を用いて音声認識を行う音声認識部と、
を有することを特徴とする音声認識装置。
【請求項５】
請求項４に記載される音声認識装置において、
文法変換部において変換された探索ネットワーク１’と、音響モデルパラメータ抽出部において抽出された、探索ネットワーク１’変換時に用いた音響モデルＡとは構造情報は同じで音響モデルパラメータの異なる音響モデルＢの音響モデルパラメータから音声認識時に用いる探索ネットワーク２’を再構成する探索ネットワーク再構成部と、
を有することを特徴とする音声認識装置。
【請求項６】
請求項４および請求項５の内の何れかに記載される音声認識装置において、
抽出する音響モデルの構造情報を、当該音響モデルの属する音声カテゴリ、当該音響モデルを構成する状態情報とする音響モデル構造情報抽出部を有することを特徴とする音声認識装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、音声認識方法およびこの方法を実施する装置に関し、特に、音声認識用文法と音響モデルおよび言語モデルを読み込み、文法に含まれる認識対象単語或いは単語列の中から、入力音声と音響モデルおよび言語モデルとで照合を行い、最も尤度の高い単語或いは単語列を認識結果として出力する音声認識方法およびこの方法を実施する装置に関する。
【背景技術】
【０００２】
一般的な音声認識装置の従来例を図１を参照して説明する。なお、この従来例は言語モデルを利用する音声認識にも適用することができるが、以下、言語モデルを利用しない場合の例を説明する。
認識対象となる複数の単語をリスト形式或いは文法形式で記述した音声認識文法（辞書と呼ぶこともある）を予め作成し、音声認識文法格納部１に格納しておく。
音声認識を行うには、先ず、文法変換部３に、音素、音韻、音節の如き各音声カテゴリ毎に構成される音響モデルを音響モデル格納部２から読み込むと共に、先に作成しておいた音声認識文法を音声認識文法格納部１から読み込み、文法変換部３において認識対象単語或いは単語列と、それらに対応した音声カテゴリの音響モデルを連結した情報である探索ネットワークを生成し、これを探索ネットワーク格納部４に格納しておく。
【０００３】
ユーザが発声した音声は、音声信号入力端子５から入力され、Ａ／Ｄ変換部６においてディジタル信号に変換され、特徴パラメータ抽出部７において音声特徴パラメータに変換される。次に、上述した探索ネットワーク４の内容と音声特徴パラメータに変換された音声信号入力とを尤度計算・認識結果探索部８に読み込み、入力音声信号の、探索ネットワーク上の単語或いは単語列候補に対応する音響モデルに対する照合尤度を計算し、最終的に最も大きな尤度を示す音響モデルが表現する単語或いは単語列を認識結果として出力する。
【０００４】
ここで、文法変換部３で作成される探索ネットワークについて説明する。図２は音響モデルとして一般的に利用される隠れマルコフモデル（Hidden Markov Model、以下、ＨＭＭ、と略記する。非特許文献１  参照）の例を示し、図３は或る音声認識文法とＨＭＭから作成される探索ネットワークの例を示す。
図２は或る音声カテゴリのＨＭＭであり、例えば音素毎、或いは前後の音素を考慮した音素環境毎にこのＨＭＭが用意される。ＨＭＭは単一或いは複数の状態を有し、時刻が進む毎に他状態、自状態へ遷移しながら、各状態が持つ標準音声パターンと入力音声特徴量パラメータとを照合し、尤度を計算する。標準音声パターンの保持方法には幾つかあるが、以降は混合ガウス分布によるＨＭＭについて説明する。
【０００５】
図３に示される探索ネットワークは、先ず、音声認識文法を音声カテゴリ、ここでは音素に変換し、認識対象単語をすべてネットワークで表現したものに、ネットワーク上の各音素或いは音素環境に対応したＨＭＭを連結したものである。この様に、探索ネットワークとは、ＨＭＭの状態を、認識対象単語を構成する音声カテゴリに沿って連結したネットワークである。認識結果の探索とは、この複数あるＨＭＭの状態系列毎の尤度を求めながら、最終的に尤度の高い候補をみつけることである。
ここで、認識対象とする単語数が、例えば数千、数万単語の様に大きくなると、それを記述した音声認識文法の読み込みと文法変換部３における探索ネットワーク作成時間が長大になり、文法読み込みから音声認識開始までにユーザは数秒から数分待つ必要がある。
【０００６】
従来、この問題を解決するに、文法変換部３で行う音声認識文法と音響モデルから探索ネットワークを作成する作業を、予め、音声認識前にオフラインで行い、音声認識時にはその変換された文法、即ち、探索ネットワークを探索ネットワーク格納部４から読み込むことのみを行うことで、探索ネットワーク変換に要する処理時間を省略し、文法の読み込みから認識開始までの時間を削減している。
【非特許文献１】中川聖一：“確率モデルによる音声認識”電子情報通信学会編
【発明の開示】
【発明が解決しようとする課題】
【０００７】
話者適応、雑音適応を達成するに、音響モデルのモデルパラメータが変更される場合がある。モデルパラメータとは、ＨＭＭに含まれるガウス分布（平均、分散）、混合ガウス分布重み、混合ガウス分布数のことを言う。その際に、上述の従来技術は、変換した探索ネットワークに音響モデルの構造情報およびモデルパラメータの情報が全て含まれているので、文法の内容が同じであっても適応済みの音響モデルを音声認識に用いる場合は、文法の再変換、即ち、探索ネットワークの再作成が必要となる。
この発明は、話者適応、雑音適応に際して音響モデルのモデルパラメータを変更する様な操作がなされた音響モデルを利用する場合にも、予め変換した文法を再変換することなしに音声認識を行うことができる音声認識方法およびこの方法を実施する装置を提供するものである。
【課題を解決するための手段】
【０００８】
請求項１に記載される発明は、予め、音響モデルからその構造情報を抽出し、音声認識用文法を、音響モデルの構造情報のみを付加して音声認識用探索ネットワーク１に変換し、音声認識時に変換時に用いた音響モデルから音響モデルパラメータを抽出し、探索ネットワーク１と、抽出した音響モデルパラメータをそれぞれ読み込んで探索ネットワーク１を再構成した探索ネットワーク２を用いて音声認識を行う音声認識方法である。
請求項２に記載される発明は、音声認識時に、変換済み文法と、変換時に用いた音響モデルとは構造情報は同じで音響モデルパラメータの異なる音響モデルをそれぞれ読み込んで音声認識を行う音声認識方法である。
【０００９】
請求項３に記載される発明は、文法変換時に付加する音響モデルの構造情報を、当該音響モデルの属する音声カテゴリ、当該音響モデルを構成する状態情報とする音声認識方法である。
請求項４に記載される発明は、音響モデルから構造情報を抽出する音響モデル構造情報抽出部２１と、音声認識用文法と音響モデル構造情報抽出部２１で抽出した音響モデルの構造情報から音声認識用文法を音声認識用探索ネットワーク１に変換する文法変換部３１と、音響モデルからモデルパラメータを抽出する音響モデルパラメータ抽出部２２と、文法変換部３１において変換された探索ネットワーク１と音響モデルパラメータ抽出部２２で抽出された音響モデルパラメータとから音声認識時に用いる探索ネットワーク２を再構成する探索ネットワーク再構成部３０と、探索ネットワーク再構成部３０で作成された探索ネットワーク２を用いて音声認識を行う音声認識部と、を有する音声認識装置である。
【００１０】
請求項５に記載される発明は、請求項４に記載される音声認識装置において、文法変換部３１において変換された探索ネットワーク１’と、音響モデルパラメータ抽出部２２’において抽出された、探索ネットワーク１’変換時に用いた音響モデルＡとは構造情報は同じで音響モデルパラメータの異なる音響モデルＢの音響モデルパラメータから音声認識時に用いる探索ネットワーク２’を再構成する探索ネットワーク再構成部３０と、を有する音声認識装置である。
請求項６に記載される発明は、抽出する音響モデルの構造情報を、当該音響モデルの属する音声カテゴリ、当該音響モデルを構成する状態情報とする音響モデル構造情報抽出部２１を有する音声認識装置である。
【発明の効果】
【００１１】
音響モデルの適応などモデルパラメータは変更されるが構造情報に変更がない場合、文法を再変換することなく変更した音響モデルを音声認識に用いることができ、音響モデルが変更になった場合でも文法再変換に必要な処理時間を縮減することができる。
【発明を実施するための最良の形態】
【００１２】
この発明による音声認識は、予め保存する探索ネットワークに音響モデルの構造情報は付与するが、モデルパラメータ情報は付加せずに音声認識時にパラメータ情報を付与するものである。
発明を実施するための最良の形態を図４の音声認識装置の実施例を参照して説明する。なお、この実施例は言語モデルを利用する音声認識にも適用することができるが、以下、言語モデルを利用しない場合の例を説明する。
音声認識するに先だって、オフラインで、文法変換部３１において、音声認識文法格納部１から読み出される音声認識文法と音響モデル構造情報抽出部２１から読み出される音響モデルの構造情報のみを用いて探索ネットワークを予め作成し、これを探索ネットワーク１として探索ネットワーク１格納部４１に保存する。
【００１３】
音声認識時には、探索ネットワーク再構成部３０に、上述の探索ネットワーク１格納部４１から探索ネットワーク１を読み込むと共に、文法変換時に用いた音響モデルの音響モデルのモデルパラメータ、即ち、混合ガウス分布を音響モデルパラメータ抽出部２２から読み込み、探索ネットワーク再構成部３０において探索ネットワーク１に対して音響モデルパラメータを付加して、最終的な探索ネットワーク２を作成し、探索ネットワーク２格納部４２に格納する。図５はこの操作を説明する図である。
以降は、この探索ネットワーク２格納部４２に格納される探索ネットワーク２を用い、尤度計算・認識結果探索部８において入力音声と音響モデルとの間の照合尤度を計算し、最も尤度の高い単語或いは単語列を認識結果として音声認識結果出力端子９から出力する。
【００１４】
探索ネットワーク再構成部３０における処理は、例えば、数万単語の文法であっても数百ミリ秒程度で済み、変換済み文法、即ち、探索ネットワークの読み込みから認識開始まで迅速に行える。これは、探索ネットワーク作成に最も時間を要する処理を文法変換部３１において予め行っているので、探索ネットワーク再構成部３０における処理は、処理量の少ない残余の音響モデルを付加するのみで済むからである。
図４の音声認識装置は、文法変換時に用いた音響モデル格納部２に格納される音響モデルと同じ音響モデルを音声認識時にも用いた実施例であるが、この発明は文法変換時に用いた音響モデルとは構造情報は同じでモデルパラメータの異なる音響モデルを読み込んで音声認識に使用することができる。以下、これを第２の実施例として図６を参照して説明する。
【００１５】
図６の第２の実施例は、文法変換後に、変換の際に用いた音響モデルＡをその後に適応し、モデルパラメータを変更した適応後の音響モデルＢと先に変換済みの文法、即ち、探索ネットワーク１’を利用して音声認識を行う実施例である。図４の実施例と同様に、オフラインで音声認識前に、予め、文法変換部３１において、音声認識文法格納部１に格納される音声認識文法と、音響モデルＡ構造情報抽出部２１’を介して得られた音響モデルＡの構造情報のみを用いて探索ネットワーク１’を作成し、探索ネットワーク１’格納部４１’に保存する。その後、文法変換時に用いた音響モデルＡを適応する。以下、この適応について説明する。
適応信号入力端子２３から入力され、適応信号入力Ａ／Ｄ変換部２４においてディジタル変換され、適応信号入力特徴パラメータ抽出部２５において抽出された適応信号入力特徴パラメータと、適応信号ラベル格納部２６に格納される発声内容を記した適応信号ラベルとにより、音響モデル適応部２９において音響モデルＡ格納部２７に格納される音響モデルＡを初期モデルとして適応し、作成した音響モデルＢを音響モデルＢ格納部２８に保存する。
【００１６】
一般に、音響モデルの話者適応、タスク適応、雑音適応その他の適応においては、上述した音響モデル、即ち、ＨＭＭに含まれるガウス分布（平均、分散）、混合ガウス分布重み、混合ガウス分布数を選択的に変更するものであり、その音響モデルが属する音素カテゴリ、状態情報その他の音響モデルの構造を変更するものではない。従って、この発明によれば、音響モデルＡを用いて変換した探索ネットワーク１’と、音響モデルＡから適応した音響モデルＢを、文法（探索ネットワーク）の再変換なしにそのまま音声認識に利用することができる。
音声認識時には、探索ネットワーク再構成部３０に、上述の探索ネットワーク１’格納部４１’の探索ネットワーク１’と、音響モデルＢ格納部２８に格納される適応済みの音響モデルＢを音響モデルＢパラメータ抽出部２２’を介して読み込み、探索ネットワーク１’に音響モデルＢのモデルパラメータを付加し、最終的な探索ネットワーク２’を作成し、探索ネットワーク２’格納部４２’に格納する。
【００１７】
以降は、この探索ネットワーク２’を用い、尤度計算・認識結果探索部８において音声信号入力端子５から入力される音声信号と音響モデルＢの間の照合尤度を計算し、最も尤度の高い単語或いは単語列を認識結果として音声認識結果出力端子９から出力する。
図６を参照して音響モデルの適応についてこの発明の実施例を説明したが、この他にも文法変換後に音響モデルに含まれるガウス分布数を増加、或いは削減した場合であっても、文法の再変換なしに変更した音響モデルを音声認識に用いることができる。
【図面の簡単な説明】
【００１８】
【図１】音声認識装置の構成を示すブロック図。
【図２】音響モデルの例である混合数が４である混合ガウス分布ＨＭＭの図。
【図３】音声認識文法例を図２のHMMを用いて変換した探索ネットワークの図。
【図４】音声認識装置の実施例を示すブロック図。
【図５】探索ネットワーク再変換の図。
【図６】音響モデル適応を行った場合の実施例を示すブロック図。
【符号の説明】
【００１９】
１  音声認識文法格納部                ２  音響モデル格納部
２１  音響モデル構造情報抽出部        ２１’音響モデルＡ構造情報抽出部
２２  音響モデルパラメータ抽出部      ２２’音響モデルＢパラメータ抽出部
２３  適応信号入力端子                ２４  適応信号入力Ａ／Ｄ変換部
２５  適応信号入力特徴パラメータ抽出部２６  適応信号ラベル格納部
２７  音響モデルＡ格納部              ２８  音響モデルＢ格納部
２９  音響モデル適応部                  ３  文法変換部
３０  探索ネットワーク再構成部        ３１  文法変換部
４  探索ネットワーク格納部          ４１  探索ネットワーク１格納部
４１’探索ネットワーク１’格納部      ４２  探索ネットワーク２格納部
４２’探索ネットワーク２’格納部        ５  音声信号入力端子
６  Ａ／Ｄ変換部                      ７  特徴パラメータ抽出部
８  尤度計算・認識結果探索部          ９  音声認識結果出力端子
【図１】
2005301092.tif 000003
【図２】
2005301092.tif 000004
【図３】
2005301092.tif 000005
【図４】
2005301092.tif 000006
【図５】
2005301092.tif 000007
【図６】
2005301092.tif 000008