(57)【要約】【課題】  認識対象となる連続入力音声に対して音声入力段階における音声セグメンテーションを要することがないとともに、認識率を高める。【解決手段】  音素の特徴を保持した音響モデルと、発話内容を保持した言語モデルと、音素と形態素の対応を保持した辞書とを用いて入力音声の認識を行う装置であって、複数の文をポーズ記号で連結した上記言語モデルと、上記ポーズ記号に対応する音素の特徴を含めた上記音響モデルと、上記ポーズ記号に対応する要素を含めた上記辞書と、上記入力音声中の上記ポーズ記号の位置を検出する第１の認識手段と、検出された上記ポーズ記号以前であって上記入力音声の先頭もしくは前回のポーズ記号以降の上記入力音声を１文として発話区間の判定を行う判定手段と、判定された発話区間に対し音声認識を行う第２の認識手段とを備える。【選択図】  図１
2006171096.tif 000002
【特許請求の範囲】
【請求項１】
音素の特徴を保持した音響モデルと、発話内容を保持した言語モデルと、音素と形態素の対応を保持した辞書とを用いて入力音声の認識を行う装置であって、
複数の文をポーズ記号で連結した上記言語モデルと、
上記ポーズ記号に対応する音素の特徴を含めた上記音響モデルと、
上記ポーズ記号に対応する要素を含めた上記辞書と、
上記入力音声中の上記ポーズ記号の位置を検出する第１の認識手段と、
検出された上記ポーズ記号以前であって上記入力音声の先頭もしくは前回のポーズ記号以降の上記入力音声を１文として発話区間の判定を行う判定手段と、
判定された発話区間に対し音声認識を行う第２の認識手段とを備えたことを特徴とする連続入力音声認識装置。
【請求項２】
上記ポーズ記号が検出されなかった場合、所定長の上記入力音声につき上記第２の認識手段により音声認識を行うことを特徴とする請求項２に記載の連続入力音声認識装置。
【請求項３】
上記音響モデルとして背景の雑音の種類とＳＮＲを同時に考慮した木構造雑音重畳音声モデルを用い、
上記木構造雑音重畳音声モデルの中から最適なモデルを選択して音声認識を行うことを特徴とする請求項１または２のいずれか一項に記載の連続入力音声認識装置。
【請求項４】
上記第１の認識手段による認識結果を用いて上記木構造雑音重畳音声モデルのパラメータを尤度最大となるように線形変換し、当該線形変換後の上記木構造雑音重畳音声モデルを用いて上記第２の認識手段による音声認識を行うことを特徴とする請求項３に記載の連続入力音声認識装置。
【請求項５】
上記第１の認識手段、上記判定手段、上記第２の認識手段の処理を、連続して到来する上記入力音声に対し繰り返し適用することを特徴とする請求項１乃至４のいずれか一項に記載の連続入力音声認識装置。
【請求項６】
音素の特徴を保持した音響モデルと、発話内容を保持した言語モデルと、音素と形態素の対応を保持した辞書とを用いて入力音声の認識を行う方法であって、
事前の学習段階における、
上記言語モデルを複数の文をポーズ記号で連結したものとして作成する工程と、
上記音響モデルを上記ポーズ記号に対応する音素の特徴を含めて作成する工程と、
上記辞書を上記ポーズ記号に対応する要素を含めて作成する工程と、
上記入力音声の認識段階における、
上記入力音声中の上記ポーズ記号の位置を検出する１回目の認識工程と、
検出された上記ポーズ記号以前であって上記入力音声の先頭もしくは前回のポーズ記号以降の上記入力音声を１文として発話区間の判定を行う判定工程と、
判定された発話区間に対し認識を行う２回目の認識工程とを備えたことを特徴とする連続入力音声認識方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、認識対象となる連続入力音声に対して音声入力段階における音声セグメンテーションを要しない連続入力音声認識装置および連続入力音声認識方法に関する。
【背景技術】
【０００２】
一般に、音声認識にあっては、音素の特徴を保持した音響モデルと、発話内容を保持した言語モデルと、音素と形態素（単語）の対応を保持し、音響モデルと言語モデルの橋渡しを行う辞書とを用い、入力した音声の認識を行う。
【０００３】
従来、言語モデルは認識対象分野の多数の例文を並列的に保持しており、入力された音声との比較はこれらの並列的な文との間で行われていた。そのため、認識対象となる連続入力音声を文を単位に区切る処理、すなわち音声セグメンテーションを音声入力段階において手動もしくは自動に行っていた。この音声セグメンテーションは、入力音声信号のパワー等によって無音区間を検出することで文の区切りを判断するものであり、検出した音声区間に対し音声認識が行われる。
【０００４】
一方、音響モデルについては、背景の雑音の種類とＳＮＲ(Signal to Noise Ratio)を同時に考慮することで認識性能を向上する技術が開示されている（例えば、非特許文献１を参照。）。
【非特許文献１】張、杉村、古井：‘‘雑音の種類とＳＮＲを同時に考慮した木構造クラスタリングによる雑音適応’’、音響学会秋季発表会、２００３
【発明の開示】
【発明が解決しようとする課題】
【０００５】
上述したように、従来は入力音声信号のパワー等によって無音区間を検出することで文の区切りを判断するようにしていたため、雑音環境においては区間検出が困難になり、認識性能が大幅に低下するという問題があった。特に、雑音が変動する環境、すなわち雑音の種類とＳＮＲが変動する場合には、従来の技術は対応できなかった。
【０００６】
本発明は上記の従来の問題点に鑑み提案されたものであり、その目的とするところは、認識対象となる連続入力音声に対して音声入力段階における音声セグメンテーションを要することがないとともに、認識率の高い連続入力音声認識装置および連続入力音声認識方法を提供することにある。
【課題を解決するための手段】
【０００７】
上記課題を解決するため、本発明にあっては、請求項１に記載されるように、音素の特徴を保持した音響モデルと、発話内容を保持した言語モデルと、音素と形態素の対応を保持した辞書とを用いて入力音声の認識を行う装置であって、複数の文をポーズ記号で連結した上記言語モデルと、上記ポーズ記号に対応する音素の特徴を含めた上記音響モデルと、上記ポーズ記号に対応する要素を含めた上記辞書と、上記入力音声中の上記ポーズ記号の位置を検出する第１の認識手段と、検出された上記ポーズ記号以前であって上記入力音声の先頭もしくは前回のポーズ記号以降の上記入力音声を１文として発話区間の判定を行う判定手段と、判定された発話区間に対し音声認識を行う第２の認識手段とを備えるようにしている。
【０００８】
また、請求項２に記載されるように、上記ポーズ記号が検出されなかった場合、所定長の上記入力音声につき上記第２の認識手段により音声認識を行うようにすることができる。
【０００９】
また、請求項３に記載されるように、上記音響モデルとして背景の雑音の種類とＳＮＲを同時に考慮した木構造雑音重畳音声モデルを用い、上記木構造雑音重畳音声モデルの中から最適なモデルを選択して音声認識を行うようにすることができる。
【００１０】
また、請求項４に記載されるように、上記第１の認識手段による認識結果を用いて上記木構造雑音重畳音声モデルのパラメータを尤度最大となるように線形変換し、当該線形変換後の上記木構造雑音重畳音声モデルを用いて上記第２の認識手段による音声認識を行うようにすることができる。
【００１１】
また、請求項５に記載されるように、上記第１の認識手段、上記判定手段、上記第２の認識手段の処理を、連続して到来する上記入力音声に対し繰り返し適用するようにすることができる。
【００１２】
また、請求項６に記載されるように、音素の特徴を保持した音響モデルと、発話内容を保持した言語モデルと、音素と形態素の対応を保持した辞書とを用いて入力音声の認識を行う方法であって、事前の学習段階における、上記言語モデルを複数の文をポーズ記号で連結したものとして作成する工程と、上記音響モデルを上記ポーズ記号に対応する音素の特徴を含めて作成する工程と、上記辞書を上記ポーズ記号に対応する要素を含めて作成する工程と、上記入力音声の認識段階における、上記入力音声中の上記ポーズ記号の位置を検出する１回目の認識工程と、検出された上記ポーズ記号以前であって上記入力音声の先頭もしくは前回のポーズ記号以降の上記入力音声を１文として発話区間の判定を行う判定工程と、判定された発話区間に対し認識を行う２回目の認識工程とを備える連続入力音声認識方法として構成することができる。
【発明の効果】
【００１３】
本発明の連続入力音声認識装置および連続入力音声認識方法にあっては、言語モデルを複数の文をポーズ記号で連結したものとするとともに、音響モデルおよび辞書をポーズ記号を反映させたものとし、入力音声の認識に際してポーズ記号を文の区切りと判断して認識するようにしているため、認識対象となる連続入力音声に対して音声入力段階における音声セグメンテーションを要することがないとともに、雑音の影響を受けず認識率を大幅に高めることができる。
【発明を実施するための最良の形態】
【００１４】
以下、本発明の好適な実施形態につき図面を参照して説明する。
【００１５】
図１は本発明の一実施形態にかかる連続入力音声認識方法の処理を示すフローチャートである。
【００１６】
図１において、事前の学習段階においては、先ず、発話内容を保持した言語モデルの作成を行う（ステップＳ１）。具体的には、図２に示すように、複数の例文が文頭記号Ｓｔａｒｔと文末記号Ｅｎｄで区切られて並列に記述された言語モデル作成用テキストＴ１に対し、文頭記号Ｓｔａｒｔと文末記号Ｅｎｄをポーズ記号ＬＰに書き換えて、複数の文をポーズ記号で連結した言語モデル作成用テキストＴ２を作成し、これに基づいて言語モデルを作成する。
【００１７】
次いで、図１に戻り、音素と形態素（単語）の対応を保持した辞書の作成を行う（ステップＳ２）。ここでは、辞書として上記のポーズ記号に対応する要素を含めたものを作成する。
【００１８】
次いで、音素の特徴を保持した音響モデルの作成を行う（ステップＳ３）。ここでは、音響モデルとして上記のポーズ記号に対応する音素の特徴を含めたものを作成する。また、本実施形態では、音響モデルとして、背景の雑音の種類とＳＮＲを同時に考慮した木構造雑音重畳音声モデルを用いている。木構造雑音重畳音声モデルは、図３に示すように、ルートのノードＮ０の下に複数のノードＮ１〜Ｎｋが木構造に分岐して設けられたものであり、各ノードは雑音の種類および種々のＳＮＲに対応した音素の特徴を保持し、個々に音響モデルとして機能するようになっている。また、上位のノードは下位の複数のノードの持つ特徴を平均化した特徴を有している。従って、適切なノードを選択することで、雑音の種類および種々のＳＮＲに適応した高い認識を行うことができる。
【００１９】
次に、図１に戻り、認識段階においては、先ず、一定の長さ（環境に応じて適当な値が設定）の入力音声に対し、木構造雑音重畳音声モデルの中から尤度最大となるように最適なモデル（ノード）を選択する処理と、入力音声中のポーズ記号の位置を検出する１回目の認識処理とを行う（ステップＳ４）。
【００２０】
次いで、検出されたポーズ記号以前であって入力音声の先頭もしくは前回のポーズ記号以降の入力音声を１文として発話区間を判定する処理を行う（ステップＳ５）。なお、ポーズ記号が検出されなかった場合は、処理対象となった一定の長さの入力音声の全体をそのまま発話区間とする。
【００２１】
次いで、上記の１回目の認識処理による認識結果を用いて、木構造雑音重畳音声モデルのパラメータを尤度最大となるように線形変換を行う（ステップＳ６）。なお、認識率は若干低下するが、この線形変換を省略することもできる。
【００２２】
次いで、判定された発話区間に対し、線形変換された木構造雑音重畳音声モデルを用いて２回目の認識処理を行う（ステップＳ７）。
【００２３】
そして、これらの処理を入力音声に対して繰り返し適用する。
【００２４】
このように、言語モデルを複数の文をポーズ記号で連結したものとするとともに、音響モデルおよび辞書をポーズ記号を反映させたものとし、入力音声の認識に際してポーズ記号を文の区切りと判断して認識するようにしているため、認識対象となる連続入力音声に対して音声入力段階における音声セグメンテーションを要することがない。また、雑音に影響されず適切に文を発話区間として切り出すことができるため、認識率を大幅に高めることができる。
【００２５】
更に、音響モデルとして木構造雑音重畳音声モデルを用い、最適なモデルを選択するとともに、１回目の認識結果を用いて線形変換を施しているので、各種の雑音が含まれる入力音声に対しても認識率をより向上させることができる。
【００２６】
次に、図４は音声認識のアルゴリズムを示す図であり、（ａ）は本発明の連続入力音声認識を示し、（ｂ）は比較のために従来における音声認識を示したものである。
【００２７】
図４（ａ）において、一定の長さの入力音声ＩＮに対し、音響モデル（木構造雑音重畳音声モデル）Ｍ１の中から最適なモデル（ノード）を選択し（ステップＳ１１）、選択された音響モデルＭ１と言語モデルＭ２および辞書Ｄを用いて１回目の音声認識を行う（ステップＳ１２）。
【００２８】
次いで、この１回目の音声認識で検出された入力音声ＩＮ中のポーズ記号の位置から発話区間を判定する（ステップＳ１３）とともに、音響モデルＭ１の線形変換適応を行い（ステップＳ１４）、判定された発話区間に対し、音響モデルＭ１の線形変換された内容と言語モデルＭ２および辞書Ｄを用いて２回目の音声認識を行い（ステップＳ１５）、結果ＯＵＴを得る。
【００２９】
図４（ｂ）において、従来は、一定の長さの入力音声ＩＮに対し、入力音声信号のパワー等に基づく信号処理により区間検出（音声セグメンテーション）を行い（ステップＳ２１）、この区間に対して音声認識を行って結果ＯＵＴを得ており（ステップＳ２２）、入力音声ＩＮに含まれる背景の雑音により区間検出の精度が悪くなると認識率の低下に直結していたが、本発明では音声セグメンテーションを行うことなく、雑音による認識率の低下を防止することができる。
【００３０】
次に、図５は本発明の連続入力音声認識装置の構成例を示す図である。
【００３１】
図５において、連続入力音声認識システムは、言語モデル、辞書、音響モデル（木構造雑音重畳音声モデル）を保持するモデル／辞書記憶部１と、入力音声ＩＮを分析して特徴ベクトルに変換する特徴抽出部２と、この特徴抽出部２の出力である特徴ベクトルに従いモデル／辞書記憶部１の音響モデルの中から尤度最大となるように最適なモデル（ノード）を選択するモデル選択部３と、特徴ベクトルの時系列データに変換された入力音声ＩＮに対し１回目の音声認識を行う音声認識部４と、この音声認識部４によるポーズ記号の検出結果に基づき発話区間を判定する発話区間判定部５と、音声認識部４による認識結果に基づき音響モデルを尤度が最大化するように線形変換を行うモデル線形変換適応部６と、入力音声ＩＮの判定された発話区間に対し、線形変換された音響モデルを用いて２回目の音声認識を行う音声認識部７と、認識結果を保存する認識結果保存部８とを備えている。なお、音声認識部４および音声認識部７は処理のフェーズが異なるために別々に記載してあるが、プログラム（エンジン）としては同一である。
【００３２】
次に、図６は本発明による効果を確認するために認識対象となる雑音音声を用いて調べた認識率の実験結果の例を示す図である。実験で使用した音響モデルは、tree-based clusteringにより状態共有化を行った不特定話者文脈依存音素ＨＭＭ(Hidden Markov Model)である。特徴量としてはＭＦＣＣ(Mel Frequency Cepstrum Coefficient)１２次元、その微分１２次元、対数パワーの１次微分の計２５次元を利用した。図６では、正しい発話区間を指定する場合の単語正解精度（目標値）と、本発明の実施形態による単語正解精度（本発明）とを示している。この結果から、本発明の実施形態では、正しい発話区間を指定する場合と同じ結果であることがわかる。
【００３３】
以上、本発明の好適な実施の形態により本発明を説明した。ここでは特定の具体例を示して本発明を説明したが、特許請求の範囲に定義された本発明の広範な趣旨および範囲から逸脱することなく、これら具体例に様々な修正および変更を加えることができることは明らかである。すなわち、具体例の詳細および添付の図面により本発明が限定されるものと解釈してはならない。
【図面の簡単な説明】
【００３４】
【図１】本発明の一実施形態にかかる連続入力音声認識方法の処理を示すフローチャートである。
【図２】言語モデルの作成の例を示す図である。
【図３】木構造雑音重畳音声モデルの構造例を示す図である。
【図４】音声認識のアルゴリズムを示す図である。
【図５】本発明の連続入力音声認識装置の構成例を示す図である。
【図６】認識率の実験結果の例を示す図である。
【符号の説明】
【００３５】
Ｔ１〜Ｔ２    言語モデル作成用テキスト
ＩＮ          入力音声
ＯＵＴ        結果
Ｍ１          音響モデル
Ｍ２          言語モデル
Ｄ            辞書
１            モデル／辞書記憶部
２            特徴抽出部
３            モデル選択部
４            音声認識部
５            発話区間判定部
６            モデル線形変換適応部
７            音声認識部
８            認識結果保存部
【図１】
2006171096.tif 000003
【図２】
2006171096.tif 000004
【図３】
2006171096.tif 000005
【図４】
2006171096.tif 000006
【図５】
2006171096.tif 000007
【図６】
2006171096.tif 000008