(57)【要約】【課題】従来は、話題やタスク毎の複数の言語モデルにより各認識器で音声認識し、最適な認識結果を選択するが、言語モデルは全て統計言語モデルで、単語間の接続に確率情報を使用しない構文規則型の言語モデルを用いた認識器とのスコア比較は容易ではない。【解決手段】入力音声の音声認識手段として構文規則型の言語モデルを用いる構文規則型認識手段と、同じく入力音声の音声認識手段として統計言語モデルを用いる統計言語モデル型認識手段と、同じ入力音声に対し前記両音声認識手段が音声認識した認識結果を入力し、認識結果の表記の言語的妥当性を評価して、その評価結果に基づいて前記両音声認識手段から出力される認識スコアを修正し、修正結果により認識結果を選択する結果選択手段を備える。【選択図】図１
2010091675.tif 000002
【特許請求の範囲】
【請求項１】
入力音声の音声認識手段として構文規則型の言語モデルを用いる構文規則型認識手段と、
同じく入力音声の音声認識手段として統計言語モデルを用いる統計言語モデル型認識手段と、
同じ入力音声に対し前記両音声認識手段が音声認識した認識結果を入力して、認識結果の表記の言語的妥当性を評価し、その評価結果に基づいて前記両音声認識手段から出力される認識スコアを修正し、修正結果により認識結果を選択する結果選択手段を備えたことを特徴とする音声認識装置。
【請求項２】
前記統計言語モデル作成時に使用する学習データから抽出した学習例文を備え、前記結果選択手段は、前記統計言語モデル型認識手段の認識結果の表記、あるいは表記の上位概念である品詞またはクラスの系列が前記学習例文中に存在するか否かを、前記言語的妥当性の評価尺度として用いることを特徴とする請求項１記載の音声認識装置。
【請求項３】
前記結果選択手段は、前記統計言語モデル型認識手段の認識結果の表記中の形態素列の各n組連鎖が前記統計言語モデル中に存在するか否かを調べ、存在しないn組連鎖の個数を前記言語的妥当性の評価尺度として用いることを特徴とする請求項１記載の音声認識装置。
【請求項４】
前記結果選択手段は、前記存在しないn組連鎖の個数が０個の場合と１以上の場合とで、前記統計言語モデル型認識手段から出力される認識スコアの修正方法として異なる修正方法を用いることを特徴とする請求項３記載の音声認識装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は複数個の音声認識手段の各々を異なる型式の言語モデルを用い、同じ入力音声に対して音声認識動作させ、各音声認識手段から得られた認識結果から最適な認識結果を選択して出力する音声認識装置に関するものである。
【背景技術】
【０００２】
より広い範囲の話題やタスクを認識対象とするためには、認識対象語彙と語彙間の接続情報を記述した言語モデルが大きなものとなり、認識率が低下するという課題があった。認識率改善の方策として、言語モデルを話題やタスクごとに分類した複数個の言語モデルを作成しておき、それぞれの言語モデルごとに認識器を並列に動作させて音声認識を行う方法が開発されている。このような従来技術の一例として「磯部、伊藤、武田“複数の認識器を選択的に用いる音声認識システムのためのスコア補正法”、電子情報通信学会論文誌D, 2007、Vol.J90-D, No.7, pp1773-1780」がある。
【０００３】
図１３は前記従来技術の音声認識装置の一構成例を示すブロック図である。図中の１４〜１６が複数個の認識器であり、各認識器１４〜１６で使用する統計言語モデルは、例えば認識対象とするタスクの話題ごとに大量に収集した学習データを用い、例えば単語単位のトライグラムを言語モデルとして事前に学習しておく。
【０００４】
次にこの従来技術の音声認識装置の認識動作について説明する。音声の入力端１から音声２を入力すると音響分析手段３は音響分析を行い、音声２を特徴ベクトルの時系列４に変換して出力する。認識器１４〜１６は特徴ベクトルの時系列４を入力とし、例えばビタビアルゴリズムによってパターンマッチングを行い、各認識器ごとに認識スコアが最大となる単語列Wiと認識スコアSi(i=1,2,…N, Nは認識器の個数)を出力する。結果選択手段７は、前記認識スコアSiを各認識器で用いている言語モデルのバイグラムエントロピを用いて補正したスコアを算出し、前記補正した認識スコアが最大となる認識器の出力結果を認識結果１２として出力する。
【０００５】
【非特許文献１】磯部、伊藤、武田“複数の認識器を選択的に用いる音声認識システムのためのスコア補正法”、電子情報通信学会論文誌D、2007、Vol.J90-D, No.7、pp1773-1780
【発明の開示】
【発明が解決しようとする課題】
【０００６】
前記従来技術では、各認識器で用いる言語モデルは全て統計言語モデルであり、単語間の接続に確率情報を使用しない構文規則型の言語モデルを用いた認識器とのスコア比較は容易ではないという課題があった。
この発明は上記課題を解決するためになされたもので、単語間の接続に確率情報を使用しない構文規則型の言語モデルと、単語トライグラム言語モデルのように言語尤度の算出基準が異なる複数個の言語モデルを用いて得られた複数個の認識結果から、最も適切な認識結果を選択し認識性能を改善した音声認識装置を得ることを目的とする。
【課題を解決するための手段】
【０００７】
この発明に係る音声認識装置は、
入力音声の音声認識手段として構文規則型の言語モデルを用いる構文規則型認識手段と、
同じく入力音声の音声認識手段として統計言語モデルを用いる統計言語モデル型認識手段と、
同じ入力音声に対し前記両音声認識手段が音声認識した認識結果を入力し、認識結果の表記の言語的妥当性を評価して、その評価結果に基づいて前記両音声認識手段から出力される認識スコアを修正し、修正結果により認識結果を選択する結果選択手段を備える。
【発明の効果】
【０００８】
この発明に係る音声認識装置によれば、入力音声の音声認識手段に異なる型式の言語モデルを用い、結果選択手段がその各認識結果の表記の言語的妥当性を評価して、異なる型式の言語モデルによる音声認識手段から出力される認識スコアを修正し、修正結果に基き認識結果を選択する構成にされるので、音声認識結果の認識精度が向上し、また異なる形式の言語モデルによる音声認識手段の認識結果の比較が同じ性質のスコアで行なえ、言語的に不自然な結果の選択を抑制できる。
【発明を実施するための最良の形態】
【０００９】
実施の形態１．
本実施の形態では、カーナビゲーションシステム向けの音声認識を例にとり説明する。カーナビゲーションシステムでは「東京都千代田区丸の内」など住所発話のような定型発話と、「画面３次元表示」、「地図を立体表示に切り替え」など、比較的非定型なナビゲーション操作コマンドが音声認識対象となることが考えられる。そこで本実施の形態では音声認識手段として、構文規則型の言語モデルを用いる構文規則型認識手段と、統計言語モデルを用いる統計言語モデル型認識手段の２つを備えるものとする。
そして構文規則型認識では住所を認識対象、統計言語モデル型認識ではナビゲーションの画面表示切替やオーディオ、ラジオの操作等、カーナビゲーションシステムを制御するコマンドを認識対象とすることとして説明する。
【００１０】
図１はこの発明による音声認識装置の実施の形態１の構成を示すブロック図である。
同図において、１は音声の入力端、２は入力音声、３は音響分析手段、４は特徴ベクトルの時系列、５は統計言語モデル型認識手段、６は構文規則型認識手段、７は結果選択手段、８は統計言語モデル、９は構文規則、１０は学習例文、１１は音響モデル、１２は認識結果である。
【００１１】
統計言語モデル８は、カーナビゲーションシステムを音声で操作する発話文を大量に収集した学習データを用い、例えば単語を単位としたトライグラム確率を算出し、単語トライグラムの単語列とのペアからなるデータである。言語モデルの内容例を図２に示す。
【００１２】
構文規則９は単語間の接続規則を記述した構文規則である。住所を認識対象とした場合の構文規則の例を図３に示す。この構文規則では単語間の接続に対して確率値は付与しないものとする。
【００１３】
学習例文１０は、前記統計言語モデル８の作成時に使用する学習データから、異なり文（すなわち同一文は１文のみ）を抽出したテキストデータである。学習例文１０の内容例を図４に示す。
音響モデル１１は音声の特徴をモデル化したデータであり、本実施の形態では音響モデルは例えばHMM(Hidden Markov Model)とする。
【００１４】
次に音声認識の動作について説明する。
音声の入力端１から音声２を入力すると音響分析手段３は音響分析を行い、音声２を特徴ベクトルの時系列４に変換して出力する。前記特徴ベクトルは例えばLPC(Linear Predictive Coding)ケプストラムとする。
【００１５】
統計言語モデル型認識手段５は特徴ベクトルの時系列４を入力とし、統計言語モデル８を用い、例えばビタビアルゴリズムによって音響モデル１１とのパターンマッチングを行い、認識スコアStが最大となる単語列Wt=w1,w2,w3,…wI、(Iは単語数)と、前記単語列Wtに対する音響尤度LAt、および言語尤度Ltを出力する。ここで添字tは統計言語モデル型認識の結果であることを示す記号である。なお前記認識スコアStは、（１）式に示すとおり前記音響尤度LAtと言語尤度Ltの和である。前記言語尤度Ltは、（２）式に示すとおり、前記単語列の表記Wtに対するトライグラム確率の対数値なので０以下の値である。
【００１６】
【数１】
2010091675.tif 000003
【００１７】
また構文規則型認識手段６は、統計言語モデル型認識手段５への入力と同一の特徴ベクトルの時系列４を入力とし、構文規則９の記述にしたがって単語を連結しながら、例えばビタビアルゴリズムによって音響モデル１１とのパターンマッチングを行い認識スコアSkが最大となる単語列Wkを求める。そして前記単語列Wkと認識スコアSkを出力する。ここで添字kは構文規則型認識の結果であることを示す記号である。なお本実施の形態では構文規則型認識手段６では統計言語モデルを用いていないため、言語尤度は常に０であり、前記認識スコアSkは、前記音響尤度LAkと同一値である。すなわち Sk = LAk である。
【００１８】
次に結果選択手段７は統計言語モデル型認識手段５から認識結果である単語列の表記Wt、音響尤度LAt、言語尤度Ltを入力とする。また構文規則型認識手段６の結果である単語列の表記Wkと認識スコアSkを入力とし、以下の手順に従って統計言語モデル型認識または構文規則型認識の結果を選択し、認識結果として出力する。図５を参照しながら結果選択手段７の選択手順を説明する。
【００１９】
（手順１）統計言語モデル型認識手段５による統計言語モデル型認識の認識結果Wtと同一の単語列が学習例文１０中に存在するか否かを調べ（図５のST101）、存在する場合は統計言語モデル型認識の結果は言語的に自然であるとみなし、言語尤度の重み係数cを０にする（図５のST102）。
例えば認識結果がWt=「地図,を,拡大,表示」である場合、前記単語列は図４に示すとおり、学習例文１０中に存在するため、言語尤度の重み係数は０になる。
【００２０】
一方存在しない場合は統計言語モデル型認識の結果は言語的に不自然である可能性があるため、言語スコアの重み係数を実験的に定めた定数αにする（図５のST103）。
【００２１】
上記のとおり設定した言語重み係数ｃ（ｃ＝α）を用い（３）式によって統計言語モデル型認識の認識スコアを再計算する（図５のST104）。
【００２２】
【数２】
2010091675.tif 000004
【００２３】
（手順２）上記手順１で再計算した統計言語モデル型認識のスコアSt'を、構文規則型認識のスコアSkと比較し、スコアの高いほうを認識結果として選択する（図５のST105，ST106，ST107）。
【００２４】
上記選択手順により、統計言語モデル型認識の結果が学習例文１０中に存在する場合には、構文規則型認識とは音響スコア同士の比較となるため、統計言語モデル型認識の結果が選択されにくくなるという問題が解消できる。また存在しない場合は言語尤度α* Ltをペナルティとして加えるため、言語的に不自然な統計言語モデル型認識の結果が選択されるのを抑制することができる。
【００２５】
なお、本実施の形態では構文規則型認識手段６では統計言語モデルを用いていなかったが、任意の言語モデルを使用してもよい。例えば図６に示すように単語間に遷移確率を付与するような言語モデルを用いることができる。言語モデルを使用する場合は、前記認識スコアSkは言語尤度Lkを含んだものになる。例えば認識結果が「（無音）、東京都、千代田区、丸の内」であった場合、図６を参照すると言語尤度Lkは（４）式のようになる。
【００２６】
【数３】
2010091675.tif 000005
【００２７】
このように言語モデルを用いた場合は、結果選択手段７に出力する際に言語尤度を差し引いた音響尤度のみのスコア、すなわちSk-Lk= LAkを認識スコアとして出力すればよい。
【００２８】
実施の形態２．
本実施の形態は前記実施の形態１に、単語カテゴリ変換テーブル１３を新たに付加したものである。本実施の形態による音声認識装置の構成例を図７に示す。また単語カテゴリ変換テーブル１３の内容例を図８に示す。単語カテゴリ変換テーブル１３には単語の表記とカテゴリ名がペアで記述されている。
【００２９】
本実施の形態では前記実施の形態１に比べ、動作を以下のように変更する。
まず認識処理の開始する前に事前に、単語カテゴリ変換テーブル１３を参照し、学習例文１０の内容を単語から施設名や放送局名等のカテゴリに変換しておく。図４に示した学習例文１０の内容の変換例を図９に示す。本実施の形態では単語カテゴリ変換テーブル１３において「駐車場」のカテゴリが「施設」として登録されているので、元の例文「近くの駐車場までの経路を設定」が「近くの＜施設＞までの経路を設定」に変換されている。ここで＜＞はカテゴリに変換したことを示す記号である。
統計言語モデル８と構文規則９は、実施の形態１と同様に、認識処理の事前に作成しておく。
【００３０】
次に認識動作について説明する。音声の入力端１から音声２を入力すると、音響分析手段３、統計言語モデル型認識手段５、および構文規則型認識手段６は実施の形態１と同一の動作をする。すなわち統計言語モデル型認識手段５は認識スコアStが最大となる単語列Wt=w1,w2,w3,…WI、(Iは単語数)と、前記単語列Wtに対する音響尤度LAt、および言語尤度Ltを出力する。また構文規則型認識手段６は音響尤度LAkが最大となる単語列Wkと、認識スコアSkを出力する。
【００３１】
次に結果選択手段７は統計言語モデル型認識手段５から認識結果である単語列の表記Wt、音響尤度LAt、言語尤度Ltを入力とし、また構文規則型認識手段６の結果である単語列の表記Wkと認識スコアSkを入力とし、実施の形態１と同様の方法で認識結果を選択する。
【００３２】
但し本実施の形態では、結果選択手段７は、まず統計言語モデル型認識手段５からの出力結果である前記単語列Wt中の各単語が単語カテゴリ変換テーブル１３中に存在するか調べ、存在する場合には単語をカテゴリに変換する。その後、統計言語モデル型認識の認識結果Wtと同一の単語列が学習例文１０中に存在するか否かを調べる。例えば、認識結果Wtが「近くの,レストラン,までの,経路,を,設定」であった場合、単語カテゴリ変換テーブル１３中に「レストラン」のカテゴリが「施設」として登録されているので、認識結果Wtを「近くの,＜施設名＞,までの,経路,を,設定」に変換して例文メモリ中に存在するかを調べる。ここで＜＞はカテゴリに変換したことを示す記号である。
このようにすると、学習例文１０も図９に示すとおり、「近くの駐車場までの経路を設定」という元の例文が「近くの＜施設＞までの経路を設定」という例文に事前に変換されているため、前記認識結果Wtが学習例文１０中に存在することになり、学習例文１０を少ない文で効率的に表現できる効果がある。
【００３３】
また学習例文１０は、図１０に示すようにネットワーク形式で表現しておいてもよい。
このようにネットワーク形式で表現すると、一部の単語のみが異なる複数の学習例文同士の共通部分をまとめて表現できるため、学習例文１０の記憶領域を少なくできる効果がある。
【００３４】
実施の形態３．
本実施の形態は前記実施の形態１の音声認識装置から学習例文１０を取り除き、結果選択手段７が学習例文１０の代わりに統計言語モデル８を参照するようにしたものである。本実施の形態の音声認識装置の構成例を図１１に示す。
統計言語モデル８と構文規則９は、実施の形態１と同様に、認識処理の事前に作成しておく。
【００３５】
次に認識動作について説明する。音声の入力端１から音声２を入力すると、音響分析手段３、統計言語モデル型認識手段５、および構文規則型認識手段６は実施の形態１と同一の動作をする。すなわち統計言語モデル型認識手段５は認識スコアStが最大となる単語列Wt=w1,w2,w3,…wI、(Iは単語数)と、前記単語列Wtに対する音響尤度LAt、および言語尤度Ltを出力する。また構文規則型認識手段６は音響尤度LAkが最大となる単語列Wkと、認識スコアSkを出力する。
【００３６】
次に結果選択手段７は統計言語モデル型認識手段５から認識結果である単語列の表記Wt、音響尤度LAt、言語尤度Lt、および構文規則型認識手段６の出力結果である単語列の表記Wkと認識スコアSkを入力とし、以下の手順に従って統計言語モデル型認識または構文規則型認識の結果を選択し、認識結果として出力する。図１２を参照しながら選択手順を説明する。
【００３７】
（手順１）統計言語モデル型認識の認識結果単語列Wt=w1,w2,w3,…wI、中の未知n-gram数Nuを算出する（図１２のST201）。本実施の形態では例えばn=3、すなわちトライグラムとすると、前記単語列Wt=w1,w2,w3,…wI中には、(w1,w2,w3), (w2,w3,w4),…,(wI-2,wI-1,wI)の計(I-2) 個のトライグラムがあるので、それぞれに対して、統計言語モデル8を参照し、統計言語モデル8中に存在しないトライグラム数を数えあげ、その数を未知n-gram数Nuとして記憶する。
【００３８】
（手順２）前記未知n-gram数Nuの値を調べ（図１２のST202）、前記未知n-gram数Nuが０の場合は統計言語モデル型認識の結果は言語的に自然であるとみなし、言語重み係数cを実験的に定めた０以上の小さい値βとし、また未知n-gramペナルティPuの値を０に設定する（図１２のST203）。
一方、前記未知n-gram数Nuが１以上の場合は統計言語モデル型認識の結果は言語的に不自然である可能性があるため、前記言語重み係数をc=γ（但し,γはγ>βを満たす定数）とし、かつ未知n-gramペナルティPuを（５）式に従って計算する（図１２のST204）。
【００３９】
【数４】
2010091675.tif 000006
【００４０】
（５）式中でf()は定数もしくは単調増加する関数であり、例えば（６）式である。
【００４１】
【数５】
2010091675.tif 000007
【００４２】
（手順３）上記手順２で算出した前記言語重み係数cと前記未知ngramペナルティPuを用い、（７）式により統計言語モデル型認識の認識スコアを再計算する（図１２のST205）。
【００４３】
【数６】
2010091675.tif 000008
【００４４】
（手順４）上記手順３で再計算した統計言語モデル型認識のスコアSt'を、構文規則型認識のスコアSkと比較し、スコアの高いほうを認識結果として選択する（図１２のST206，207，208）。
【００４５】
以上の選択手順により統計言語モデル型認識の結果の未知n-gram数が０の場合には、言語スコアによるペナルティを０または小さな値にするので統計言語モデル型認識の結果が選択されにくくなるという問題が解消できる。また未知n-gram数が１以上の場合は言語スコアおよび未知トライグラム数に応じたペナルティを加えるため、言語的に不自然な統計言語モデル型認識の結果が選択されるのを抑制することができる。
また実施の形態１と比較すると、学習例文１０中に存在するか否かを調べる必要がないので演算量・メモリ量を抑えることができる
【００４６】
なお本実施の形態では統計言語モデルとして単語単位のトライグラムを例として説明したが、単語ではなく、単語を施設名や放送局名、あるいは品詞等のカテゴリに変換した統計言語モデル（クラス言語モデル）を用いてもよい。また統計言語モデルの単位としては単語以外の、音節等の単位を用いてもよい。
【００４７】
また本実施の形態では未知n-gram数のnをn=3として説明したが、n=2や4以上でもよい。
【産業上の利用可能性】
【００４８】
この発明は、入力された音声を認識する音声認識装置に適用され、殊に定型発話と、非定型発話を音声認識対象とする用途、例えばカーナビゲーションシステム向けの音声認識の利用に好適である。
【図面の簡単な説明】
【００４９】
【図１】この発明による音声認識装置の実施の形態１の構成を示すブロック図である。
【図２】統計言語モデルの内容例を示す図である。
【図３】住所を認識対象とした場合における構文規則の内容例を示す図である。
【図４】学習例文の内容例を示す図である。
【図５】結果選択手段の認識処理手順のフロー図である。
【図６】単語間に遷移確率を付与した言語モデルの内容例を示す図である。
【図７】この発明による音声認識装置の実施の形態２の構成を示すブロック図である。
【図８】単語カテゴリ変換テーブルの内容例を示す図である。
【図９】実施の形態２における学習例文の内容例を示す図である。
【図１０】実施の形態２における学習例文の内容例をネットワーク形式で表現した場合の図である。
【図１１】この発明による音声認識装置の実施の形態３の構成を示すブロック図である。
【図１２】実施の形態３における結果選択手段の認識処理手順のフロー図である。
【図１３】従来の音声認識装置の構成例を示すブロック図である。
【符号の説明】
【００５０】
１；音声の入力端、２；入力音声、３；音響分析手段、４；特徴ベクトルの時系列、５；統計言語モデル型認識手段、６；構文規則型認識手段、７；結果選択手段、８；統計言語モデル、９；構文規則、１０；学習例文、１１；音響モデル、１２；認識結果、１３；単語カテゴリ変換テーブル。
【図１】
2010091675.tif 000009
【図２】
2010091675.tif 000010
【図３】
2010091675.tif 000011
【図４】
2010091675.tif 000012
【図５】
2010091675.tif 000013
【図６】
2010091675.tif 000014
【図７】
2010091675.tif 000015
【図８】
2010091675.tif 000016
【図９】
2010091675.tif 000017
【図１０】
2010091675.tif 000018
【図１１】
2010091675.tif 000019
【図１２】
2010091675.tif 000020
【図１３】
2010091675.tif 000021