(57)【特許請求の範囲】
【請求項１】
言語モデルおよび音響モデルを使用して連続音声認識を行う連続音声認識装置の音素認識性能を測定する連続音声認識装置の音素認識性能測定装置において、
評価用音声の音素列の表記を入力する入力手段と、
前記連続音声認識装置に対して前記評価用音声を入力し、該評価用音声に対して前記音響モデルにより音素認識を行い、該音響モデルの音素認識結果に対して言語上存在する文字列をもとにした音素に拘束をかける音素処理手段と、
該音素処理手段から出力される音素列と、前記入力手段から入力された評価用音声の音素列の表記とを比較して音素認識率を計算し、当該計算された音素認識率を音素認識性能の測定値として出力する性能測定手段と
を具え、前記音素処理手段により音素に拘束をかけることにより言語上存在しない音素列を除外し、該言語上存在しない音素列を除外した前記音素処理手段の処理結果を前記性能測定手段の性能測定に使用することを特徴とする連続音声認識装置の音素認識性能測定装置。
【請求項２】
請求項１に記載の連続音声認識装置の音素認識性能測定装置において、前記言語上存在する文字列は単語であることを特徴とする連続音声認識装置の音素認識性能測定装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、音響モデルおよび言語モデルを使用して連続音声を認識する連続音声認識装置の音素認識性能測定装置に関する。
【０００２】
【従来の技術】
従来、音響モデルおよび確率的言語モデルを使用して連続音声を認識する音声認識装置が知られている（「確率モデルによる音声認識」，中川聖一，電子情報通信学会）。従来のこの種の音声認識装置の機能構成を図１に示す。
【０００３】
図１において、１０は、入力音声を音素認識し、認識した音素（ラベル形態）とその尤度（尤もらしさ）を出力する音響モデルであり、たとえば、ＨＭＭ（隠れマルコフモデル）などが有名である。１１は言語モデルである言語モデルは、音素列の形態の単語および隣接する単語との接続確率をデータベースの形態で有する。１２は音響モデル１０から時系列的に出力される音素の系列および尤度と言語モデル１１のデータベースに記載された各単語とおよびその接続確率を使用して入力した音素列に対して尤もらしさが最も高い、言語モデル中の単語を単語認識結果として出力する音響尤度計算部である。
【０００４】
このような構成の連続音声認識装置では、連続音声が音響モデル１０において、音素認識された後、音響尤度計算部１２で単語認識されて、単語列すなわち、文が出力される。
【０００５】
連続音声認識装置で使用される音響モデルの性能を測定することは松岡、大附，森、古井，白井著，電子情報通信学会論文集，１９９６年１２月２１２５頁や松岡、大附，森、古井，白井著，日本音響学会講演論文集，１９９７年３月号２−６−１１頁において提案されている。
【０００６】
【発明が解決しようとする課題】
音響モデルの性能を測定するためには、あらかじめ音素の表記が判明している評価用の音声を音響モデルに入力し、音素認識結果として得られる音素列と、評価用の音声の表記とを比較することで、音素認識率を得ることができる。なお、ここでいう音素とは、母音や子音などの音韻あるいは音韻よりも短い音声の長さの音声部分を指す、音響モデルから出力される音素とは、音声認識された音素の識別名（ラベル）等を意味する。
【０００７】
連続音声認識装置の音素認識性能を示す指標として音響モデルの音素認識率を使用するには以下の問題があった。
【０００８】
音響モデル１０では入力の音声から得られる音響的な特徴と音響モデル内にあらかじめ保有している音素の音響的な特徴との比較により音素認識を行う。
【０００９】
音響モデル単体では、音素認識のみを実行し、単語認識は行わないので、言語上の文や単語のつながりではありえないような音素の誤認識結果が発生する。
【００１０】
連続音声認識装置ではこのような誤認識結果は、音響尤度計算装置１２の単語認識において、是正される。したがって、連続音声認識装置における音素認識性能測定値として音響モデル単体の音素認識率を使用すると、実際の性能よりも測定値が低くなるという傾向がある。
【００１１】
以上の点に鑑みて、本発明の目的は、言語上の文法的接続関係（単語接続率）を排除した場合の連続音声認識装置の音素認識性能を正しく測定することができる連続音声認識装置の音素認識性能測定装置を提供することにある。
【００１２】
【課題を解決するための手段】
このような目的を達成するために、言語モデルおよび音響モデルを使用して連続音声認識を行う連続音声認識装置の音素認識性能を測定する連続音声認識装置の音素認識性能測定装置において、評価用音声の音素列の表記を入力する入力手段と、前記連続音声認識装置に対して前記評価用音声を入力し、該評価用音声に対して前記音響モデルにより音素認識を行い、該音響モデルの音素認識結果に対して言語上存在する文字列をもとにした音素に拘束をかける音素処理手段と、該音素処理手段から出力される音素列と、前記入力手段から入力された評価用音声の音素列の表記とを比較して音素認識率を計算し、当該計算された音素認識率を音素認識性能の測定値として出力する性能測定手段とを具え、前記音素処理手段により音素に拘束をかけることにより言語上存在しない音素列を除外し、該言語上存在しない音素列を除外した前記音素処理手段の処理結果を前記性能測定手段の性能測定に使用することを特徴とする。
【００１３】
請求項２の発明は、請求項１に記載の連続音声認識装置の音素認識性能測定装置において、前記言語上存在する文字列は単語であることを特徴とする。
【００１６】
【発明の実施の形態】
以下、図面を参照して本発明の実施形態を詳細に説明する。
【００１７】
図２は連続音声認識装置の中に設けた音素認識性能測定装置の基本構成を示す。図２において、図１の従来例と同様の個所には同一の符号を付し、詳細な説明を省略する。２１は単語辞書２１−１を有する音素列生成部であり、単語辞書２１−１に記載された音素列形態の単語を順次に音響尤度計算部１２に供給する。これにより音響尤度計算部１２では、音響モデル１０から一定時間の間出力された複数の音素、すなわち音素列と、音素列生成部２１から供給された単語の音素列とを比較し、最も類似している単語（音素列形態）を単語認識結果として出力する。
【００１８】
本実施形態では、単語の接続率が音響尤度計算部１２に与えられないので、言語上の単語等の接続関係が考慮されておらず、言語上存在しうる単語の音素列を音声認識結果とする点に留意されたい。したがって、たとえば、「朝」という評価用音声に対して音響モデルの音素認識結果として「ａａａｓｋｓｓａａａ」というように言語上存在しない音素「ｋ」が音素の認識結果の中に混在していても「音素列生成部」２１から供給される単語の中に「朝」に対応する音素列が存在すると、音素認識結果中の上記音素「ｋ」は是正されて単語認識結果として、「ａａａｓｓｓｓａａａ」が出力される。このように言語上存在しない音素を排除する音素処理を行うことを本明細書では「音響モデルの音素認識結果に単語拘束をかける」と呼ぶことにする。本実施形態では、拘束をかける文字列長さを単語としているが、用途に応じて文節や文としてもよく、この場合には、音素列生成部２１で使用する単語辞書２１−１が対応の文字列長さの音素列を記述したものとなる。
【００１９】
２２は音素列比較部であり、評価用音声を入力したときに音響尤度計算部１２から出力される音素列形態の単語認識結果と、評価用の音声の表記とを比較して、音素認識率を計算する。比較の方法としては、本実施形態では、動的計画法（ＤＰやダイナミックプログラミングとも呼ばれる）を使用する。計算された認識率は不図示の表示器やプリンタにより可視出力される。
【００２０】
このような音素認識性能測定装置を有する連続音声認識装置を実現するためのハードウェア構成の一例を図３に示す。連続音声認識装置は、連続音声認識用プログラムを汎用のコンピュータ、たとえば、パーソナルコンピュータに実装することで実現する。図３はパーソナルコンピュータ等の主要部分の構成を示す。
【００２１】
図３において、ＣＰＵ１００は音声認識用プログラムを実行して，連続音声認識処理を行うと共に、後述の音素認識性能のためのプログラムを実行して連続音声認識装置の音素認識性能を測定する。
【００２２】
システムメモリ１１０は、ＣＰＵ１００が行う情報処理に対する入出力データを一時記憶する。ハードディスク記憶装置（ＨＤＤと略記する）１３０は、連続音声認識プログラム、言語モデルのためのデータ、音響モデルで使用するデータ等、本発明に関わる単語辞書（図２の２１−１に対応）および音素認識性能測定プログラムを保存記憶する。上述のプログラムは不図示のキーボードやマウス等の実行の指示で、ＨＤＤ１３０からシステムメモリ１１０にローディングされた後、ＣＰＵ１００により指示されたプログラムが実行される。
【００２３】
入力インターフェース（Ｉ／Ｏ）１２０は不図示のマイクロホンから入力された音声信号をＡ／Ｄ変換して、デジタル形態の音声信号を連続音声認識のためにＣＰＵ１００に引き渡す。
【００２４】
このような構成において、ユーザがキーボードまたはマウス等により音素認識性能測定プログラムの実行を指示すると、ＨＤＤ１３０からシステムメモリ１１０に図４の音素認識性能測定プログラムがロードされ、ＣＰＵ１００により実行される。
【００２５】
ユーザはあらかじめ評価用の音声の音素表記を文書ファイルの形態でＨＤＤ１３０に記憶しておくものとする。音素表記の文書ファイルは、パーソナルコンピュータのワープロソフトで作成してもよいし、フロッピー等を介して不図示のＨＤＤ１３０にオフライン転送してもよい。
【００２６】
ユーザは不図示のマイクロホンから評価用音声を入力する。入力された音声はＩ／Ｏ１２０を介してＣＰＵ１００に引き渡される。ＣＰＵ１００は従来と同様の連続音声認識プログラムの中の音響モデル部分（たとえば、サブルーチンや関数の形態）を使用して音素認識を行って、音素認識結果をシステムメモリ１１０内のワーク領域に順次に記憶していく。
【００２７】
ＣＰＵ１００は音素認識結果に対して、最も類似している単語（音素列形態）を単語辞書２１−１から取り出す。この処理が、図２の音素列生成部２１および音響尤度計算部２２の処理に対応する。より、具体的には、単語辞書２１−１から順次に単語の音素列を読み出して、比較対照の音響モデル１０の出力、すなわち、音素列と比較し、尤度を従来と同様の方法で計算する。以下、順次に単語辞書から単語を読み出して、比較対象の音素列と比較して尤度を計算する。最初に計算された尤度が仮の最高値としてその音素列および／または単語辞書２１−１の記憶位置と共に一時記憶される。次に読み出された単語についての尤度と仮の最高値とが比較され、次回に読み出された尤度が仮の最高値よりも大きい場合にはその読み出された単語の音素列およびまたは単語の記憶位置、尤度がこれまでに一時記憶されていた仮の最高値および関連データと置換される。
【００２８】
このようにして、単語辞書２１−１に記載されている単語の音素列全てと、比較対照の音素列との比較，すなわち，尤度計算を行う。すると、システムメモリ１１０に記憶されている仮の最高値、対応する音素列（表記）、単語辞書の記憶位置が単語の認識結果として決定される。
【００２９】
決定された音素列が、システムメモリ１１０の音声認識結果記憶領域に記憶される（図４のステップＳ１０）。
【００３０】
以上の処理を音声の入力終了まで一定時間間隔で繰り返すと（ステップＳ１０〜Ｓ２０のループ処理）、システムメモリ１１０の音声認識結果記憶領域には累積的に単語の認識結果が音素列の形態で累積的に記憶されていく。
【００３１】
次に、入力された音声についての音声認識を終了すると、ＣＰＵ１００はＨＤＤ１３０から評価用音声の音素表記のファイルをＨＤＤ１３０からシステムメモリ１１０のワーク領域上に読み出す（入力する）。つづいて、ＣＰＵ１００はシステムメモリ１１０の単語認識結果記憶領域に一時記憶されている音素列と、ワーク領域に記憶されている評価用音声の音素表記とを使用して動的計画法、すなわち、ＤＰマッチングの手法により音素認識率を計算する（図４のステップＳ３０→Ｓ４０）。
【００３２】
計算された音素認識率が音素認識性能の測定値として、表示器やプリンタに出力される（図４のステップＳ５０）。
【００３３】
ユーザは出力された測定値を見て、連続音声認識プログラムで使用する単語拘束をかけた音素認識機能の音素認識性能を知ることができる。
【００３４】
本実施形態の他に次の形態を実施できる。
【００３５】
１）上述の実施形態では、連続音声認識プログラムと音素認識性能測定プログラムを別個としていたが、連続音声認識プログラムの中に、音素認識性能測定プロうグラムを組み込むこともできる。この場合は、キーボードあるいはマウスにより連続音声認識を行うか、音素認識性能を行うかのモード指示をユーザから受け付ける。連続音声認識が指示された場合には、連続音声プログラムの音響尤度計算部１２が言語モデルを使用するように定義し、音素認識性能測定が指示された場合には音素列生成部に切り替えるようにするとよい（図５参照）。
【００３６】
さらに、上記の形態では言語モデル１１から出力される単語の接続確率は無視されるが、図６に示すように音素認識性能測定時には単語の接続確率として固定値を音響尤度計算部１２に与えると、言語モデルが有する音素列形態の単語情報を音素認識性能の測定のために使用する単語辞書（２１−１）の代わりに使用することもできる。
【００３７】
２）上述の実施形態では、音声認識性能測定プログラムを記録する記録媒体はハードディスク記憶装置（ＨＤＤ）であってもよいが、記録媒体はＲＯＭやＲＡＭ等のＩＣメモリや、フロッピーディスクやＣＤＲＯＭ等の携帯用記録媒体であってもよい。
【００３８】
３）上述の実施形態では、音素認識率を音素認識性能の測定値としているが、音素認識率そのものの値を使用してもよいし、音素認識率をたとえば、よい、普通、悪いというように、段階的に表現するようにしてもよい。
【００３９】
４）上述の実施形態は本発明を説明する一実施形態であって、特許請求の範囲の記載が示す技術思想にしたがって、上述の実施形態に対する上述以外の変形が可能である。また、このような変形形態は本願特許の権利範囲内にある。
【００４０】
【発明の効果】
以上、説明したように、本発明によれば、たとえば、単語単位で、音響モデルの音素認識結果に対して拘束をかけること（単語等の文字列では言語上の存在しない音素を音素認識結果から排除すること）により連続音声認識装置の音素認識性能を正しく測定することができる。
【００４１】
また、連続音声認識装置の音素認識性能の測定結果を連続音声認識装置全体としての認識性能を解析する際に、参考にすることで、効率よく連続音声認識装置の認識性能を解析することができる。
【図面の簡単な説明】
【図１】図１は従来の音声認識装置の代表的な構成を示すブロック図である。
【図２】図２は本発明実施形態の基本構成を示すブロック図である。
【図３】本発明実施形態のハードウェア構成を示すブロック図である。
【図４】ＣＰＵの音素認識性能測定処理手順を示すフローチャートである。
【図５】本発明実施形態の他の形態を示すブロック図である。
【図６】本発明実施形態のさらに他の形態を示すブロック図である。
【符号の説明】
１０  音響モデル
１１  言語モデル
１２  音響尤度計算部
２１  音素列生成部
２１−１  単語辞書
１００  ＣＰＵ
１１０  システムメモリ
１２０  Ｉ／Ｏ
１３０  ＨＤＤ
【図１】
0003908878.tif 000002
【図２】
0003908878.tif 000003
【図３】
0003908878.tif 000004
【図４】
0003908878.tif 000005
【図５】
0003908878.tif 000006
【図６】
0003908878.tif 000007