(57)【特許請求の範囲】
【請求項１】
入力音声に対し、日本語の音素配列構造の情報を言語的制約として入力音声と時間同期に音声の始端から終端に向かってスコア計算を行うヒューリスティクス計算部と、該ヒューリスティクス計算部で得られたヒューリスティクスを考慮しながら認識対象語彙の音素並び情報を言語的制約として音声終端から始端に向かって候補の探索を行う候補探索部とから構成される音声認識方式において、前記それぞれの言語的制約として、日本語音素配列構造を表現した音素をシンボルとする有限状態オートマトンと、日本語表記情報を付加された認識対象語彙の音素並びをシンボルとする有限状態オートマトンとから、全体、あるいは部分的に共通な状態番号並びを共有化させてネットワーク状に表現した音素環境依存のＨＭＭの状態番号をシンボルとする、有限状態オートマトンへ自動変換して用いることを特徴とする音声認識方式。
【請求項２】
ヒューリスティクス計算の際に、ビームサーチによって計算途中のスコアが小さい候補を逐次枝刈りすることで、ヒューリスティクス計算時の計算量削減と、後続の候補探索時の計算量を削減することを特徴とする請求項１に記載の音声認識方式。
【請求項３】
候補探索の際に、音素環境依存の音素継続時間長モデルを使用し、それぞれの音素環境における音素の平均継続時間や分散を考慮して定められる音素の継続範囲を制限することで、候補探索時の計算量の削減および省メモリ化を行うことを特徴とする請求項１に記載の音声認識方式。
【請求項４】
候補探索の際に、音素環境依存の音素継続時間長モデルを使用し、音素の継続時間に応じたペナルティをスコアに付与することで、認識性能を向上させることを特徴とする請求項１に記載の音声認識方式。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、大語彙向け音声認識方式に関する。より特定的には、音声始端から前向きに弱い言語的制約の下で計算されるヒューリスティクスを利用して、音声の終端から認識対象語彙の最良優先探索を行うＡ＊探索法の原理に基づいて、数千から数万以上の大語彙タスクに対して高速な候補探索を可能とする音声認識方式に関するものである。
【０００２】
【従来の技術】
実用的な大語彙音声認識を実現するためには、認識性能および計算速度を、共に満足できるレベルにまで高める必要がある。
【０００３】
まずＡ＊探法について説明する。
Ａ＊探索法は、代表的な探索法の一つである最良優先探索法（ｂｅｓｔ−ｆｉｒｓｔ  ｓｅａｒｃｈ）を発展させたアルゴリズムである。
最良優先探索法では、探索の過程で、その時点までの途中スコアｆ（ｔ）が最も高い仮説が優先的に展開される。しかし、この方法では、最初に展開が終った仮説が真に最適な仮説であるという保証がないため、真に最適な仮説を得るためには全ての仮説の展開が完了するまで待って最終的なスコアを比較する必要がある。
Ａ＊探索法は、このような最良優先探索法の欠点を克服するための工夫が行われたものである。その工夫とは、最良優先探索法において、展開順序を定める時に使用する値として、単なる途中スコアではなく、その時点までに実際に計算されている途中スコアｆ（ｔ）と、
【０００４】
【外１】
0003575975.tif 000002
【０００５】
Ａ＊探索法を利用した大語彙音声認識において、高い認識率を実現するためには、前後の音素環境を考慮して設計された高精度な音素環境依存音素モデルの使用が不可欠であり、また音素環境依存の音素継続時間長モデルを利用して音響スコアに何らかの補正（ペナルティ）を加えるといった韻律情報の積極的な利用は重要な課題である。
音素環境依存音素モデルに関しては、従来より広く採用されているが、音素環境依存の音素継続時間長モデルを利用したスコアの補正法については、幅優先探索法などでの利用法は報告されているが、Ａ＊探索法における候補探索の際に利用する手法は、これまでに存在していない。
一方、高速な認識処理を実現するためには、候補探索時に利用する言語的制約のコンパクト化や、最適性を失うことなくヒューリスティクス計算や探索処理計算の一部を如何にして省略するかも重要な課題である。
【０００６】
ところで、現在の音声認識技術において、最も広く使用されている音響モデルに隠れマルコフモデル（Hidden Markov Model：ＨＭＭ）がある。
ＨＭＭは、現在の音声認識技術において、最も広く使用されている音響モデルである。
現在の音声認識技術では、多くの語彙を扱うために、単語や文といった長時間の音響的特徴を認識時の参照パターンとして直接使用することは少なく、通常は、音素や音節などといった微小時間単位の音響的特徴を接続して単語や文を表現し、これを用いて照合を行うという方法が一般的である。
【０００７】
その微小単位時間内の音響的特徴のばらつき、およびそれらの時間的な推移を確率的に表現したものがＨＭＭである（単語や文単位のＨＭＭを形成することも可能であるが、一般的ではない）。
典型的な音素ＨＭＭは、２〜４個程度の状態（隠れマルコフ状態）を持ち、各状態に対応する音素の局所的な音響特徴量の平均や分散といったパラメータが定義される。さらに、それらの状態間には、状態遷移確率が定義されており、その確率に従って状態の遷移が許される。
このようなＨＭＭは、図２のように表現することができる。このようにＨＭＭは、音素の非定常的な音響的特徴を、いくつかの定常的な音響的特徴の遷移によって表現したモデルであり、入力された音声に対してあるＨＭＭを適用した場合のスコア（尤度）を計算する（評価）方法や、大量の音声サンプルからＨＭＭの各パラメータを自動的にチューニングする（学習）方法が確立されている。
【０００８】
なお、本明細書中の「音素環境依存のＨＭＭ」とは、ＨＭＭの単位を、単なる音素ではなく先行音素や後続音素の種類別に細分化した音素という意味である。例えば、普通の音素ＨＭＭであれば、音素／ｋ／の音響的特徴を表現するために、その／ｋ／がどのような音素コンテキスト中のものであるかに関わらず、音素／ｋ／のＨＭＭで共通に表現することになるが、実際の音素の音響的特徴は、その前後の音素の違いによって大きく変動する場合があり得る（例えば、「赤（ａｋａ）」の／ｋ／と「秋（ａｋｉ）」の／ｋ／など）のために、共通の音素ＨＭＭで表現した場合には、その特徴がぼやけて精密なモデルを形成することが難しい。
【０００９】
そのため最近では、ＨＭＭのカテゴリを音素環境依存毎に細分化し、例えば、／ａ／と／ａ／に挟まれた／ｋ／と／ａ／と／ｉ／に挟まれた／ｋ／をそれぞれ別のＨＭＭで表現するといった方法が広く採用されている。
ただし、全ての音素環境について独立にＨＭＭを用意することは計算量や記憶量の点で現実的ではないため、それらをうまくクラスタリングして、ＨＭＭの絶対値数の増加を抑えながら音素環境の違いによる音響的特徴の変動を最大限に表現できるような効率の良いモデル、およびその構築法などの研究が行われている。
本願明細書中の「隠れマルコフ網（ＨＭｎｅｔ）」も、そのような観点から開発された音素環境依存ＨＭＭの一種である（特開平６−２０２６８７号公報参照）。
【００１０】
高精度な音素環境依存音素モデルの一つに、隠れマルコフモデル（ここではＨＭＭという）の状態の一つ一つに独立した音素環境を割り当て、それらのネットワークで全音素環境の音素モデルを表現した隠れマルコフ網（以下、ＨＭｎｅｔという）がある。このモデルでは、特定の音素環境における音素モデルは、ＨＭｎｅｔの始端から終端までを結ぶ１本のパスとして表現され、ここの状態は複数のモデルで共有されていることが特徴となっている。
このように、複数の音素モデル間でＨＭＭの状態を共有化しているような音響モデルを利用する場合、言語的制約として使用するオートマトンが、従来より多く利用されているような音素や音節をシンボルとするものでは効率が悪い。
また、探索処理計算の高速化に関しては、候補探索時の音素接続可能範囲に制約を設けてスコア計算の一部を省略する方法が提案されているが、その範囲は音素の処理あるいは音素環境などとは無関係に設定されており、精度の面で十分ではなかった。
さらに、ヒューリスティクス計算に関しても、この部分にビームサーチを導入することで、認識処理全体の高速化を図った例は存在しない。
【００１１】
【発明が解決しようとする課題】
大語彙向け音声認識では、如何にして大量の候補の中から高速に正解を見つけ出すかが大きな課題となる。
本発明では、上記課題の実現に向けて、Ａ＊探索法の考え方に基づき、音素環境依存の音素モデルや音素環境依存の音素継続時間長モデルの効果的な利用や、計算量削減のための工夫によって、高性能かつ高速な大語彙音声認識の実現を図るものである。
【００１２】
【課題を解決するための手段】
請求項１の発明は、入力音声に対し、日本語の音素配列構造の情報を言語的制約として入力音声と時間同期に音声の始端から終端に向かってスコア計算を行うヒューリスティクス計算部と、該ヒューリスティクス計算部で得られたヒューリスティクスを考慮しながら認識対象語彙の音素並び情報を言語的制約として音声終端から始端に向かって候補の探索を行う候補探索部とから構成される音声認識方式において、前記それぞれの言語的制約として、日本語音素配列構造を表現した音素をシンボルとする有限状態オートマトンと、日本語表記情報を付加された認識対象語彙の音素並びをシンボルとする有限状態オートマトンとから、全体、あるいは部分的に共通な状態番号並びを共有化させてネットワーク状に表現した音素環境依存のＨＭＭの状態番号をシンボルとする、有限状態オートマトンへ自動変換して用いる音声認識方式である。
【００１４】
請求項２の発明は、請求項１の発明において、ヒューリスティクス計算の際に、ビームサーチによって計算途中のスコアが小さい候補を逐次枝刈りすることで、ヒューリスティクス計算時の計算量削減と、後続の候補探索時の計算量を削減する音声認識方式である。
【００１５】
請求項３の発明は、請求項１の発明において、候補探索の際に、音素環境依存の音素継続時間長モデルを使用し、それぞれの音素環境における音素の平均継続時間や分散を考慮して定められる音素の継続範囲を制限することで、候補探索時の計算量の削減および省メモリ化を行う音声認識方式である。
【００１６】
請求項４の発明は、請求項１の発明において、候補探索の際に、音素環境依存の音素継続時間長モデルを使用し、音素の継続時間に応じたペナルティをスコアに付与することで、認識性能を向上させる音声認識方式である。
【００１７】
以上の手段により、数万単語程度の規模のタスクに対して、汎用的なパソコン程度の処理能力の計算機でもほぼ実時間での認識処理が可能になる。
【００１８】
【発明の実施の形態】
図１は、本発明による大語彙音声認識処理を行うための構成及び処理フローを示す。この発明は、大語彙タスクの音声認識を高精度かつ高速に行うものであり、数万単語程度の語彙の音声認識を汎用のパソコン程度の処理能力を持つ計算機上での実時間に近い速度で行うことができる。
【００１９】
図１を参照して、より具体的に説明する。
まず、文法として、日本語音素配列構造を表現した音素をシンボルとする有限状態オートマトン（ヒューリスティクス計算用文法１）１と、日本語表記情報の付加された認識対象語彙の音素並びをシンボルとする有限状態オートマトン（候補探索用文法１）２を用意する。
また、音響モデルとしては、例えば、ＨＭｎｅｔのような音素環境依存音素モデル３を用意する。
さらに、音素環境依存の音素継続時間長モデル４を用意する。
【００２０】
実際の音声認識に先立って、ヒューリスティクス計算用文法（１）１と候補探索用文法（１）２の音素をシンボルとする有限状態オートマトンを、５の文法変換処理によって音響モデルのＨＭＭ状態番号をシンボルとする有限状態オートマトンに変換する。この処理によって作成されたものをヒューリスティクス計算用文法（２）６および候補探索用文法（２）７とする。
なお、一旦作成されたヒューリスティクス計算用文法（２）６および候補探索用文法（２）７の文法をそのまま外部記憶装置上に保存することで、認識処理の開始時に５の文法変換処理を毎回行う必要はなくなる。
【００２１】
実際の認識では、まず入力音声に対して、ヒューリスティクス計算用文法（２）６の制約の下で、時間（フレーム）同期にヒューリスティクス計算８を行う。この計算は、例えば、ビームサーチを導入したオートマトン制御のＯｎｅ−ＰａｓｓＤＰ法などで実現する。
【００２２】
【外２】
0003575975.tif 000003
【００２３】
ヒューリスティクスの算出後、今度は、音声の終端から時間を遡る形で候補探索用文法（２）７の制約下での候補探索１０を行なう。この処理は、９のヒューリスティクスを考慮した形での最良優先探索となる。
具体的には、大語彙文法の制約下で、以下の処理を必要な候補数（Ｎ−Ｂｅｓｔ候補）に達するまで繰り返す。
（１）最大の評価値を持つ仮説をスタックから取り出す。
（２）この仮説で最後に照合された音素をｅｃ，さらにその前に照合された音素をｅｓとし、これから照合を開始する音素をｅｐとする。
（３）音素環境ｅｐ／ｅｃ／ｅｓで定義させる音素環境に対し、音素環境依存音素継続時間長モデルを参照して音素ｅｃの平均音素継続時間長μｅｐ，ｅｃ，ｅｓ、およびその分散σｅｐ，ｅｃ，ｅｓを求め、以下の式で音素ｅｃと音素ｅｐとの間の接続可能範囲を求める。具体的には、以下の式によって、接続範囲の左端ｔｌと右端ｔｒを求める。
0003575975.tif 000004
なお、ｔ０は、ｅｓからｅｃへの接続の際に、評価値が最大を示した接続時刻（これをこの仮説におけるｅｓ−ｅｃ間の接続代表点と呼ぶことにする）を表すものとする。
【００２４】
ここで、前記（１）式におけるλについて説明する。
λは、音素の接続範囲として、実際のサンプルか統計的に算出された各音素環境における音素の継続時間の平均値を中心として、どの程度の幅を許可するかを定めるための係数である。実際には、この値によって、その幅を、平均値の前後それぞれ標準偏差の何倍にするかを指定する。
統計学的に言えば、正規分布においては、μ±σの範囲に全サンプルの約６８．２％が、またμ±３σの範囲では全サンプルの約９９．７％が含まれるということになるが、本音声認識手法の効果を調べる際に行った実験では、この値を５．０とした。
【００２５】
この値を小さくし過ぎると、最適な候補が得られなくなる危険性があり、また大きくし過ぎると、計算量やメモリ使用量が増加するために、必要最小限の値にすることが望まれるが、最適な値の定め方が存在するわけではないため、実際には良好な認識結果が得られるように実験的に決めることになる。
ちなみに、後記（２）式のαについても、その意味は異なるものの、実験的に定められる係数であるという点に関してはλと同じである。
【００２６】
（４）さらに、ｔｌからｔｒの範囲のスコアｌｏｇｐ′（ｔ）に対して、音素ｅｃの継続時間τに応じたペナルティｄ（τ）を以下の式で与える。
0003575975.tif 000005
この処理を行った後、ｔｅ≦ｔ≦ｔｒの範囲でｌｏｇｐ（ｔ）が最大となる時刻をこの仮説におけるｅｃ−ｅｐ間の接続代表点ｔ′０とする。
（５）音素接続範囲をｔｌからｔｒまでに限定して音素ｅｐの照合を行い、ｌｏｇｐ（ｔ）のスコアを更新する。なお、この際に、この音素ｅｐの音素照合をどの時刻まで遡って行うかを定めるためには、音素ｅｐがある音素環境においてどのような平均継続時間および分散を示すかを知る必要があるが、この時点ではｅｐに先行する音素が確定していないため、音素環境依存音素継続時間長モデルを直接参照することができない。そこで、この段階では、音素ｅｐに先行する可能性のあるすべての音素の集合Ｅｐｐを文法の先読みによって求め、それらすべての環境ｅｐｐ／ｅｐ／ｅｃにおける最小継続時間と最大継続時間をカバーするように音素ｅｐの仮の左端ｔｌ′と右端ｔｒ′を求める。
【００２７】
【数１】
0003575975.tif 000006
【００２８】
（６）ｔｌ′から右端ｔｒ′の範囲で音素ｅｐの照合が終わり、時刻ｔ（ｔｌ′≦ｔ≦ｔｒ′）の範囲のｔに対し、ｐ′（ｔ）が選ばれたとする。この後、このｐ′（ｔ）を改ためてｐ（ｔ）とし、
【００２９】
【外３】
0003575975.tif 000007
【００３０】
（７）この時点で、その仮説が文法の開始端に達した場合は、そこまでの探索履歴を手掛りに音素系列を求め、さらにその音素系列に対応する正解語彙へのインデックス１１を求めて、この値を認識候補として次の処理に渡す。
【００３１】
認識処理で選ばれた語彙へのインデックスに基づき、候補探索用文法（１）２内の文字列情報の中から対応するものを抽出して文字列を獲得１２し、これを最終的な認識結果として出力する。
なお、本方式の使用目的次第で、この部分の処理は省略してもよい。
【００３２】
【発明の効果】
一例として、地名および人名（姓，名）の約１５０００単語を対象に、３名の評価者による認識を行ったところ、基本的なＡ＊探索法に基づく方法では、平均認識率が８２．７％、一単語当たりの平均計算時間が０．６６秒であったが、本発明により平均認識率が８６．３％、一単語当たりの平均計算時間が０．４４秒と、認識率，計算時間共に向上させることが可能であった。
【図面の簡単な説明】
【図１】本発明による大語彙音声認識処理を行うための構成及び処理フローを示す図である。
【図２】ＨＭＭを説明するための図である。
【符号の説明】
１…ヒューリスティクス計算用文法１（日本語の音素配列構造を表現した音素をシンボルとする有限状態オートマトン）、２…候補探索用文法１（認識対象語彙を表現した音素をシンボルとする有限状態オートマトン）、３…音素環境依存音素モデル、４…音素環境依存音素継続時間長モデル、５…文法変換処理部、６…ヒューリスティクス計算用文法２（日本語の音素配列構造を表現したＨＭＭの状態番号をシンボルとする有限状態オートマトン）、７…候補探索用文法２（認識対象語彙を表現した音素をシンボルとする有限状態オートマトン）、８…ヒューリスティクス計算処理部、９…算出されたヒューリスティクス、１０…候補探索処理部、１１…認識候補文字列へのインデックス、１２…認識候補文字列獲得処理。
【図１】
0003575975.tif 000008
【図２】
0003575975.tif 000009