【手続補正書】
【提出日】平成17年1月28日(2005.1.28)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【書類名】      明細書
【発明の名称】  音声認識方法および装置  
【特許請求の範囲】
【請求項１】  連続して入力された音声からフレームごとに抽出した音響パラメータからなる入力データと、あらかじめ学習されている複数の音素の音響パラメータからなる基準の学習データとの間でフレームごとに各音素に対する類似度を計算し、得られた入力データのフレームごとの類似度データに基づいて音韻認識処理を行う音声認識方法において、
上記音韻認識処理は神経回路モデルを用いて行われ、該神経回路モデルでは、出力層における各音素対応のセルの活性度は、他の音素対応のセルの活性度に応じて抑制を受け、また近接フレームの同一音素の活性度に応じて協調を受けるように処理されることを特徴とする音声認識方法。
【請求項２】  請求項１において、神経回路方程式は、競合項と協調項とを含むステレオビジョン神経回路方程式あるいはそれに類似のものであることを特徴とする音声認識方法。
【請求項３】  請求項１において、神経回路モデルは、結合パターン認識方程式構造をもつことを特徴とする音声認識方法。
【請求項４】  請求項１において、神経回路モデルは、３層構造をもつことを特徴とする音声認識方法。
【請求項５】  請求項１において、神経回路モデルは、２層構造をもつことを特徴とする音声認識方法。
【請求項６】  請求項１において、各音素の学習データは、ガウス確率分布関数で標準化して保持されていることを特徴とする音声認識方法。
【請求項７】  連続して入力された音声からフレームごとに抽出した音響パラメータからなる入力データと、あらかじめ学習されている複数の音素の音響パラメータからなる基準の学習データとの間でフレームごとに各音素に対する類似度を計算する類似度計算手段と、得られた入力データのフレームごとの類似度データに基づいて音韻認識を行なう音韻認識手段とを備えた音声認識装置において、
上記音韻認識手段は、神経回路モデルを有し、該神経回路モデルは、出力層における各音素対応のセルの活性度が、他の音素対応のセルの活性度に応じて抑制され、また近接フレームの同一音素の活性度に応じて強調されるように構成されていることを特徴とする音声認識装置。
【請求項８】  請求項７において、神経回路方程式は、競合項と協調項とを含むステレオビジョン神経回路方程式あるいはそれに類似のものであることを特徴とする音声認識装置。
【請求項９】  請求項７において、神経回路モデルは、結合パターン認識方程式構造をもつことを特徴とする音声認識装置。
【請求項１０】  請求項７において、神経回路モデルは、３層構造をもつものであることを特徴とする音声認識装置。
【請求項１１】  請求項７において、神経回路モデルは、２層構造をもつものであることを特徴とする音声認識装置。
【請求項１２】  請求項７において、各音素の学習データは、ガウス確率分布関数で標準化して保持されていることを特徴とする音声認識装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、連続入力される音声からその要素となっている各音素の種類を識別して音声を認識する音声認識方法および装置の改良に関する。
【０００２】
音声認識では、認識率をいかに向上させるかが最も重要な問題となっており、本発明では、入力音声の音素とあらかじめ保持されている基準の各音素とを比較してそれぞれの類似度を求めた後の、唯一の音素を決定する音韻認識処理に、脳の立体視に関わる神経回路モデルを適用することにより、認識率の飛躍的な向上を図っている。
【０００３】
【従来の技術】
最近、大語彙連続音声認識の研究が盛んに行なわれるようになり、実用化の兆しも見えて来つつある。この研究には、大きく分けて二つの技術的問題がある。一つは音響モデルの問題で、一つ一つの音素の認識率を向上させようとするものである。もう一つは言語モデルの問題で、音素の繋がりに関する言語的あるいは文法的知識を用いて単語や文の認識率を高めようとするものである。前者に対してはヒドン（隠れ）マルコフモデル（ＨＭＭ）を基本として、それを補強するようなモデルが一般的に用いられてきた。現在は、特に後者の言語モデル改良に力が注入されているが、全体の文認識に対しては、言語モデルによる１０−２０％の改良は音響モデルによる１−２％の改良と等価な寄与しかしないことが知られており、大きな期待は望めないものとなっている。一方、音響モデルの方でも技術的に限界が感じられており、ＨＭＭのもとでこれ以上の発展を見込むのは困難である。
【０００４】
図１０に、従来のＨＭＭモデルによる音声認識装置のブロック構成を示す。図において、１は連続音声入力部、２は音声信号処理部、３は音韻認識部、４は単語同定部、５は文同定部、６は文認識部である。連続音声入力部１では連続音声入力を行ない、デジタル形式の音声信号を入力する。音声信号処理部２で、入力された音声信号を一定の時間間隔（フレーム）に分割し、各フレームにおいて信号処理を行なって、音響パラメータ（通常メルケプストラム係数  ＭＦＣＣ）を抽出する。音韻認識部３は、すでに学習されたＨＭＭモデルによる音韻認識を行なう。その際、各フレームにおける認識結果を見ながら、各音韻の平均的な長さや辞書的知識を参照して、音韻境界抽出を行ない、音韻と音韻の間の望ましい境界を決定する。それらの一連の作業によって決定された音韻の列により単語同定部４で単語同定処理を行ない、ついでそれらの同定された単語の積み上げとして、文同定部５で文同定を行なう。文同定部５では文同定の候補が挙げられるが、その際、文法的知識や意味的知識による検討が行なわれる。もし、この段階で文法的および意味的に問題がなければ、文認識部６の文認識処理において文認識が完成するが、そうでなければ単語同定部４、音韻認識部３にフィードバックして第二候補が検討される。
【０００５】
【発明が解決しようとする課題】
本発明の課題は、従来のヒドンマルコフモデル（ＨＭＭ）に比べて認識率の一層の向上が可能な音韻認識手段を有する音声認識方法および装置を提供することにある。
【０００６】
【課題を解決するための手段】
本発明は、音声認識の音響モデルとして、従来のヒドンマルコフモデルとは全く異なる原理に基づく神経回路モデルを用いるものである。
【０００７】
本発明者らは、先に人間の脳における立体視（ステレオビジョン）の機能について考察したが、立体視では、３次元物体を左目と右目の網膜にそれぞれ投影して得た二つの２次元像を、脳の中の神経回路によって比較して瞬時に類似度処理を行い、物体の立体知覚を得ていることから、このステレオビジョン神経回路機能は、音声の入力データと基準の学習データとの間の類似度の高速処理にも有効であると考えた。そこで、ステレオビジョン神経回路から音響モデルのためのステレオビジョン神経回路方程式を発展させ、実際にその神経回路モデルによる効果を確認できた。
【０００８】
本来のステレオビジョン神経回路における立体視のための類似度処理では、方程式中に、映像のある画素に対応するニューロン（セル）の活性度（興奮度）を他の画素に対応するニューロンの活性度により抑制するように作用する競合項と、活性度を強調するように作用する協調項とを併せてもっている。本発明では、ステレオビジョン神経回路の方程式において、立体視の左右二つの映像のデータの代わりに、音声認識対象の入力データの音素が比較基準となる各音素の学習データについてそれぞれ得られる類似度のデータを適用し、唯一の音素を決定する音韻認識処理を行なわせるようにした。なお、本発明によるステレオビジョン神経回路方程式の詳細については、後述される。
【０００９】
本発明は、以下のように構成される。
（１）  連続して入力された音声からフレームごとに抽出した音響パラメータからなる入力データと、あらかじめ学習されている複数の音素の音響パラメータからなる基準の学習データとの間でフレームごとに各音素に対する類似度を計算し、得られた入力データのフレームごとの類似度データに基づいて音韻認識処理を行う音声認識方法において、
上記音韻認識処理は神経回路モデルを用いて行われ、該神経回路モデルでは、出力層における各音素対応のセルの活性度は、他の音素対応のセルの活性度に応じて抑制を受け、また近接フレームの同一音素の活性度に応じて協調を受けるように処理されることを特徴とする音声認識方法。
（２）  前項（１）において、神経回路方程式は、競合項と協調項とを含むステレオビジョン神経回路方程式あるいはそれに類似のものであることを特徴とする音声認識方法。
（３）  前項（１）において、神経回路モデルは、結合パターン認識方程式構造をもつことを特徴とする音声認識方法。
（４）  前項（１）において、神経回路モデルは、３層構造をもつことを特徴とする音声認識方法。
（５）  前項（１）において、神経回路モデルは、２層構造をもつことを特徴とする音声認識方法。
（６）  前項（１）において、各音素の学習データは、ガウス確率分布関数で標準化して保持されていることを特徴とする音声認識方法。
（７）  連続して入力された音声からフレームごとに抽出した音響パラメータからなる入力データと、あらかじめ学習されている複数の音素の音響パラメータからなる基準の学習データとの間でフレームごとに各音素に対する類似度を計算する類似度計算手段と、得られた入力データのフレームごとの類似度データに基づいて音韻認識を行なう音韻認識手段とを備えた音声認識装置において、上記音韻認識手段は、神経回路モデルを有し、該神経回路モデルは、出力層における各音素対応のセルの活性度が、他の音素対応のセルの活性度に応じて抑制され、また近接フレームの同一音素の活性度に応じて強調されるように構成されていることを特徴とする音声認識装置。
（８）  前項（７）において、神経回路方程式は、競合項と協調項とを含むステレオビジョン神経回路方程式あるいはそれに類似のものであることを特徴とする音声認識装置。
（９）  前項（７）において、神経回路モデルは、結合パターン認識方程式構造をもつものであることを特徴とする音声認識装置。
（１０）  前項（７）において、神経回路モデルは、３層構造をもつものであることを特徴とする音声認識装置。
（１１）  前項（７）において、神経回路モデルは、２層構造をもつものであることを特徴とする音声認識装置。
（１２）  前項（７）において、各音素の学習データは、ガウス確率分布関数で標準化して保持されていることを特徴とする音声認識装置。
【００１０】
図１により、本発明の基本構成を説明する。
【００１１】
図１において、認識対象の連続音声信号は、連続音声入力部１１に入力され、次に音声信号処理部１２で一定時間幅のフレームに分割されて、フレームごとに音響パラメータを抽出される。
【００１２】
一方、学習部１３には、あらかじめ認識基準となる音声データが入力されて学習が行われて、音素単位にフレームごとに音響パラメータを抽出して作成された学習データ１３ａが保持されている。
【００１３】
類似度計算部１４は、音声信号処理部１２から出力された入力データと学習データ１３ａの各音素とをフレームごとに比較し、各音素に対する類似度をそれぞれフレームごとに算出して類似度データを作成し、音韻認識部１５へ出力する。
【００１４】
音韻認識部１５は、前述した競合項と協調項とを持つステレオビジョン神経回路方程式に基づく神経回路モデル１５ａを備えており、類似度計算部１４から出力された各音素対応の類似度データを入力して動作させる。その結果、神経回路は一つの音素のみが勝利するように収束して、音韻認識出力を生じる。なお神経回路モデル１５ａは、コンピュータプログラム上に実現されている。
【００１５】
音韻認識部１５から順次出力される音韻認識出力は、図示省略されているが、さらに単語同定処理や文同定処理をされて、連続音声認識結果として出力される。
【００１６】
学習部１３には、多数の音声の学習データが各音素に分類して記憶されている。この学習データは、音素ごとにガウス確率分布関数（pdf）のような標準形式で記憶されている。
【００１７】
類似度計算部１４では、入力データの音素が、記憶されている学習データの各音素のガウスpdfに対して参照され、比較することによって類似度が求められる。
類似度の説明
ｕをフレーム番号、ａを音素名として、あるフレームｕにおける入力データとある音素/a/ との類似度を次の〔数１〕で表わし、またその類似度が対応する神経回路内のニューロン（セル）の活性度（アクティビティ）、つまり興奮のレベルを次の〔数２〕で表わす。
【００１８】
【数１】  
2000338989.tif 000001
【００１９】
【数２】
2000338989.tif 000002
【００２０】
神経回路方程式は、入力として〔数１〕の類似度データを受け取った後、神経回路が安定点に向かって動作するように〔数２〕の活性度を処理し、安定点に達したとき認識を完了する。
【００２１】
記憶されている学習データは、次の〔数３〕に示すガウスpdfの式(1) で表現される。
【００２２】
【数３】
2000338989.tif 000003
【００２３】
ここで、οは入力、μａ はある音素/a/ に対するケプストラムで表わされた学習データの平均値である。Σａ は、次の〔数４〕に示す式(2) で表わされる。
【００２４】
【数４】
2000338989.tif 000004
【００２５】
ここで、οｎ はある音素/a/ の学習データである。ある音素/a/ に対するｕ番目のフレームにおける入力データοｕの正規化された類似度を次の〔数５〕で表わした場合、次の〔数６〕に示す式(3) のように定義される。
【００２６】
【数５】
2000338989.tif 000005
【００２７】
【数６】
2000338989.tif 000006
【００２８】
ここで、Ｎ′はＮの対数尤度を表わし、＜Ｎ′＞は、各音素の平均値を示す。
【００２９】
【発明の実施の形態】
以下に、本発明の具体的な実施の形態について説明する。
【００３０】
図２は、本発明の１実施例による音声認識処理のフローである。図中、21から23までは音素データの学習過程、24から28までは音韻認識過程を示す。なお、連続音声認識に伴う単語同定や文同定の過程は、省略されている。
【００３１】
21では、入力する音素の学習データとして、すでに専門家によって音声データの各音韻部分にラベルが振られたデータが利用される。これらの音声データから、ラベルに基づいて音韻を切り取り、膨大な音素データを作成する。
【００３２】
22では、各音素データからフレームごとに音響パラメータを抽出する。
【００３３】
23では、ガウス確率分布関数（pdf）を用いて各音素の標準モデルを計算し保存する。
【００３４】
24では、認識対象の音声データを入力する。ここでは、入力データとしてすでに音韻ごとに切り出された音素データが用いられる。音素データからは、フレームごとに音響パラメータが抽出される。
【００３５】
25では、入力された音素データと保存されている標準モデルの各音素データとをフレームごとに比較して、それぞれの類似度を計算する。
【００３６】
26では、フレームごとに各音素の類似度データを神経回路方程式に入力して、計算処理する。その際、27で、神経回路の活性度変数に対して適当な初期値の設定を行う。なお、計算時間を短縮する必要がある場合には、入力する類似度データ数を限定し、たとえば上位の５つの音素に限定してもよい。
【００３７】
28では、神経回路方程式を計算処理した結果、定常解が得られたときに音韻認識出力する。フレームごとに、定常解で出力層（最終層）の神経活性度が正の一定値をとる音素が認識候補となり、０に近い値の音素は捨てられる。各フレームで認識頻度がもっとも高かった音素がその音韻の第一候補となり、認識結果として出力される。
【００３８】
次に、ステレオビジョン神経回路方程式の実施例について説明する。
【００３９】
本発明において、音韻認識を行なう神経回路モデルを規定する競合項と協調項をもつステレオビジョン神経回路方程式には種々の態様のものが考えられるが、以下に、結合パターン認知方程式、３層構造神経回路方程式、２層構造神経回路方程式、の３つの実施例について述べる。
実施例Ａ：結合パターン認知方程式
結合パターン認知（Coupled Pattern Recognition ）方程式は、競合項と協調項とを結合したパターン認知方程式であり、立体視の処理のためのステレオビジョン神経回路方程式を、音韻認識の類似度処理のために変形したものである。この方程式は、次の〔数７〕中に示す式(4) 、式(5) 、式(6) の形で与えられる。
【００４０】
【数７】
2000338989.tif 000007
【００４１】
ここで、Ｂ，Ｃ，Ｄ，Ｅは、正の定数である。式(6) の左辺中に示される下記〔数８〕の項は、神経回路の入力層において、下記〔数９〕で示す類似度が入力されるセルの活性度を表わすが、下記〔数１０〕で示す出力層における他の音素の類似度に対応するセルの活性度および近傍のフレームによっても影響を受ける。すなわち、〔数７〕中の式(6) の右辺第２項は、下記〔数１１〕で示す他の音素の活性度によって抑制を受ける競合項を表わし、また右辺第３項は、
ｕ−ｌ＜＝ｕ′＜＝ｕ＋ｌ
の範囲の近接フレーム間での同一音素の活性度により強調を受ける協調項を表わしている。
【００４２】
【数８】
2000338989.tif 000008
【００４３】
【数９】
2000338989.tif 000009
【００４４】
【数１０】
2000338989.tif 000010
【００４５】
【数１１】
2000338989.tif 000011
【００４６】
この結合パターン認知方程式の解は、入力λとξの初期値とによって決定される。しかし、後述されるように、ξが正の値から出発するならば、初期条件とは無関係に、同じ値の解に収束する。
【００４７】
〔数７〕の結合パターン認知方程式において、類似度λは、αを介してのみ式(4),(5),(6) へ導入されて式中で重要な役割を果たす。図３の（ａ）と（ｂ）は、それぞれαの値が正の場合（α＞０）と負の場合（α＜−Ｅ2 ／4 .5Ｃ）の、ξの値に対応する典型的なポテンシャル関数波形を示す。なお、図３の（ａ）と（ｂ）のポテンシャル関数波形では、式(4),(5),(6) 中の定数として、Ｂ＝0 .25 ，Ｃ＝1 .25 ，Ｄ＝0 .60 ，Ｅ＝3 .00 ，ｌ＝4   が用いられている。
【００４８】
図３の（ａ）に示されるα＞０のポテンシャル関数波形では、結合パターン認知方程式によって、ξの値は０に向かうように変化する。また、図３の（ｂ）に示される  α＜−Ｅ2 ／4 .5Ｃ  のポテンシャル関数波形では、ξの初期値が正の値に設定されるならば、ξは、ポテンシャル波形の絶対的最小値に対応するある正の値に向かって変化する。このようにして、ξが最終的にある正の値になるニューロンを勝者ニューロンと呼び、またニューロンが活性を全く失ってξが０になるニューロンを敗者ニューロンと呼ぶ。しかし実際の時間経過では、αが周囲のξの値に依存して時間とともに変化するため、状況はもっと複雑なものになる。
【００４９】
この結合パターン認知方程式による神経回路モデルを用いた音韻認識では、従来のＨＭＭ方式に比べて、平均８％もの認識率の向上が得られた。
実施例Ｂ：３層構造神経回路（３ＬＮＮ）方程式
図４は、３層構造のステレオビジョン神経回路方程式による神経回路（Three Layered Neural Net：３ＬＮＮ) モデルを示したものである。図示の神経回路モデルは、入力層、中間層、出力層の３層からなり、各層には、複数のセル（ニューロン）が２次元配列されている。２次元配列の横の各セル行は順次のフレームに対応付けられており、縦の各セル列は異なる音素の種類に対応付けられている。
【００５０】
入力層、中間層、出力層の各セルの活性度は、それぞれ〔数１２〕のように表される。
【００５１】
【数１２】
2000338989.tif 000012
【００５２】
入力層の各セルには、〔数１３〕に示す類似度データが入力される。また各層のセルには、図中に矢線で例示されるような、神経回路方程式の競合項と協調項に基づく結合が設けられている。図５にその結合の様子を示す。
【００５３】
【数１３】  
2000338989.tif 000013
【００５４】
図５において、入力層上の〔数１４〕で示す音素のセルへは、出力層上の〔数１５〕で示す同じフレームの他の複数の音素のセルから、点線の矢線のように競合項に基づく興奮を抑制する結合が行なわれ、また、出力層上の近接する複数のフレームにある同一音素に属する〔数１６〕のセルからは、実線の矢線のように協調項に基づく興奮を強調させる結合が行なわれる。
【００５５】
【数１４】
2000338989.tif 000014
【００５６】
【数１５】
2000338989.tif 000015
【００５７】
【数１６】
2000338989.tif 000016
【００５８】
次に、３層構造神経回路モデル（３ＬＮＮ）の神経回路方程式（以下、３ＬＮＮ方程式という）について説明する。
３ＬＮＮ方程式は、以下の〔数１７〕に示す式(7) で与えられる。
【００５９】
【数１７】
2000338989.tif 000017
【００６０】
ここで、右辺第1項の下記〔数１８〕は時間依存の神経活性度を表わし、第２項のf(x)は下記〔数１９〕の式(8)で与えられるSigmoid 関数を表わしている。また〔数２０〕は〔数２１〕の式(9) で表わされ、g(u)は〔数２２〕に示す式(10)、(11)で与えられる。
【００６１】
【数１８】
2000338989.tif 000018
【００６２】
【数１９】
2000338989.tif 000019
【００６３】
【数２０】
2000338989.tif 000020
【００６４】
【数２１】
2000338989.tif 000021
【００６５】
【数２２】
2000338989.tif 000022
【００６６】
なお、τ１ ，τ２，Ａ，Ｂ，Ｄ，ｗは、それぞれ適切に選択される正の定数である。また、ｈは適切なしきい値定数である。
【００６７】
図４に示されるように、入力層の〔数２３〕で示す神経活性度は、〔数２４〕の類似度入力とともに、〔数２５〕が零の場合の〔数２６〕で示す近傍の神経活性度の影響をも受ける。式(11)において、右辺の第２項は入力項、第３項は競合項、第４項は協調項である。この第２項は、第ｕフレームにおけるある音素/a/ に対する入力データの類似度を表わす。また第３項は、〔数２７〕で示す他の音素の活性度との競合を表わし、第４項は、同一音素についての近接フレームからの協調を表わす。
【００６８】
【数２３】
2000338989.tif 000023
【００６９】
【数２４】
2000338989.tif 000024
【００７０】
【数２５】
2000338989.tif 000025
【００７１】
【数２６】
2000338989.tif 000026
【００７２】
【数２７】
2000338989.tif 000027
【００７３】
式(11)の右辺第３項中の〔数２８〕に示す加算指標は、a′≠a の制限のもとで、
a−as ＜＝ a′＜＝a＋as 
として定義される不同検索競合範囲を網羅する。また式(11)の右辺第４項中の〔数２９〕に示す加算指標は、u′≠u の制限のもとで、
ｕ−ｌ＜＝ u′＜＝ｕ＋ｌ
として定義される協調範囲を網羅する。
【００７４】
【数２８】
2000338989.tif 000028
【００７５】
【数２９】
2000338989.tif 000029
【００７６】
方程式の本質的特徴を理解するために〔数３０〕の平衡解を考慮すると、式(10)、(11)は次の〔数３１〕のように書き替えられる。
【００７７】
【数３０】
2000338989.tif 000030
【００７８】
【数３１】
2000338989.tif 000031
【００７９】
図６は、曲線ｙ＝ξ  および曲線ｙ＝ｆ( g(α) ＋ g (ξ))のグラフであり、（ａ）〜（ｄ）は、〔数３２〕を正の大きい値４から正の小さい値1.3 まで変化させたときのものを順に示す。
【００８０】
【数３２】
2000338989.tif 000032
【００８１】
式の解は、図６における二つの曲線の交点で与えられる。図６において、上記〔数３２〕の値が（ａ）の４から（ｄ）の1.3 まで減少するならば、（ｃ）の値に達するまで解はほぼ〔数３３〕の値を維持する。これとは反対に、〔数３２〕の値が（ｄ）から（ａ）に増加するならば、（ｂ）の値に達するまで解はほぼ〔数３４〕の値に維持される。
【００８２】
【数３３】
2000338989.tif 000033
【００８３】
【数３４】
2000338989.tif 000034
【００８４】
この事実から、以下の二つの結論が得られる。
（１）  αの値が大きい場合、ξは比較的大きい値（ほぼ１）をとり、αの値が小さい場合は、ξは小さい値（ほぼ０）をとる。
（２）  αが増加するか減少するかにしたがって、解のξは異なるパスをとる。これは、ヒステリシス現象の存在を示唆している。
【００８５】
なお、ｗ＞１を仮定するならば、図６の（ｂ）と（ｃ）の間に、安定でない第３の解が存在する。
（３ＬＮＮ方程式による音韻認識処理）
【００８６】
【表１】
2000338989.tif 000035
【００８７】
表１は、実際には/n/ と発音された入力音素について学習データの各音素との間で類似度計算を行なった結果の候補のベスト５の類似度マップを示す。ここでは、音素/n/,/m/,/o/,/g/,/w/ がベスト５として選択された。これらのデータが、３ＬＮＮ方程式に入力されて、フレームごとに唯一の音素のξのみが勝利を収める勝者決定の処理が行なわれる。表２は、その処理結果を例示したものである。
【００８８】
【表２】
2000338989.tif 000036
【００８９】
表２の例の場合、フレーム１〜１１では音素/n/ のみが正の大きい値をとって他の音素ではほぼ０となることから/n/ が勝者となり、一方、フレーム１２〜１５では音素/m/ のみが正の大きい値をとって他はほぼ０であるから/m/ が勝者となっている。そこで、全フレームの平均あるいは頻度から、/n/ を音韻認識結果として出力する。
【００９０】
３ＬＮＮ方程式のこのような処理についての動的な理解を得るには、αの典型的な値に応じて変わるSigmoid 関数の形に注目するのがよい。また３ＬＮＮ方程式の安定解は、ほぼ１の大きい値か、ほぼ０の小さい値かのどちらかだけを与える式(12)によって決定されるから、すべてのξに対して、初期値として0.5 を設定した。
【００９１】
図７と図８は、それぞれ、表１の類似度マップが入力されるときの、音素/n/,/m/,/o/,/g/,/w/ に対する第５フレームにおけるαとξの時間変化特性を示す。最初に、入力された各音素の類似度データλが異なっている場合、音素間の差だけがαから３ＬＮＮ方程式中に導入される。音素/m/,/o/,/g/,/w/についてのξは、α＜０に対するSigmoid 関数形に基づいて、図８に示すように減少し始める。これに対して、もっとも大きいλを持つ音素/n/ に対するαは、競合項の値の増加につれて正の値をとりはじめる。αｎ が正になると、活性度ξｎ は図８に示すように、Sigmoid 関数形にしたがって増加に転じる。この段階になると、αｎの協調項がαｎ の立ち上がりを助け、ξｎ の増加を加速することが注目される。一方、他の各音素のαは、ξｎ の増加に基づき競合項の値が増加するため減少し始める。
（認識実験例）
学習データから各音素についてのガウス確率分布関数（pdf）を作成するために、１０人の男性話者によって話された４０００語からなるＡＴＲデータと、６人の男性話者によって話された５００の文のＡＳＪデータとから、あらかじめラベル付けされている音素を抽出した。また認識実験のための入力音声データは、二つの種類で構成された。その一つは、２１６語のデータベースからのものであり、他の一つは、３人の異なる男性話者によって話された２４０語の一つからのものである。音声データは、次のようにして解析された。
【００９２】
本発明による神経回路モデルと従来のモデルとの性能を比較するため、同じデータベースを使用し、単一の混合と三つの状態をもつヒドンマルコフモデル（ＨＭＭ）により音韻認識実験が行なわれた。認識テストは、表３に示すように、１０次元のＭＦＣＣと、その速度成分の１０次元のデルタＭＦＣＣを使用して実行された。学習データの各音素のケプストラムデータは、フレームの中間位置の前半と後半に分けて別々にガウスpdfを作成された。入力音声データも前半と後半に分割され、学習データの前半と後半のガウスpdfの対応部分と別々に比較され、類似度マップが作成された。音素の種類は２４あるが、それらの類似度データの上位５つの候補が、３ＬＮＮ方程式に適用された。
【００９３】
【表３】
2000338989.tif 000037
【００９４】
【表４】
2000338989.tif 000038
【００９５】
【表５】
2000338989.tif 000039
【００９６】
表４と表５に、音韻認識結果を示す。非特定話者認識のときの認識率は、216語データベースの場合、ＨＭＭでは71.56 ％であったのに対して３ＬＮＮでは78.05 ％が得られた。また240 語データベースの場合は、ＨＭＭでは72.37 ％であったのに対して３ＬＮＮでは78.94 ％が得られた。
実施例Ｃ：２層構造神経回路（２ＬＮＮ）方程式
図９は、２層構造のステレオビジョン神経回路方程式による神経回路（Two Layered Neural Net：２ＬＮＮ) モデルを示したものである。図示の神経回路モデルは、入力層Ｖ1 と出力層Ｖ2 の２層からなり、各層には、複数のセル（ニューロン）が２次元配列されている。２次元配列の横の各セル行は順次のフレームに対応付けられており、縦の各セル列は異なる音素の種類に対応付けられている。入力層と出力層の各セルの活性度は、それぞれ〔数３５〕のように表される。
【００９７】
【数３５】  
2000338989.tif 000040
【００９８】
入力層の各セルには、〔数３６〕に示す類似度データが入力される。また各層のセルには、図中に矢線で例示されるような、２ＬＮＮ方程式の競合項と協調項に基づく結合が, ３ＬＮＮについて図５で述べたように設けられている。
【００９９】
【数３６】  
2000338989.tif 000041
【０１００】
次に、２層構造神経回路モデル（２ＬＮＮ）の神経回路方程式（以下、２ＬＮＮ方程式という）について説明する。
【０１０１】
２ＬＮＮ方程式は、以下の〔数３７〕に示す式(13)および式(14)で与えられる。
【０１０２】
【数３７】
2000338989.tif 000042
【０１０３】
ここで、式(13）中の下記〔数３８〕の項は時間依存の神経活性度を表わし、f(x)の項は式 (14)で与えられるSigmoid 関数を表わしている。また〔数３９〕は〔数３７〕中の式(15)で表わされ、式(15)中のg(u)は式(16)で与えられる。
【０１０４】
なお、τ，Ａ，Ｂ，Ｄ，ｗは、それぞれ適切に選択される正の定数である。また、ｈは適切なしきい値定数である。
【０１０５】
【数３８】
2000338989.tif 000043
【０１０６】
図９に示されるように、入力層の〔数３９〕で示す神経活性度は、〔数３６〕の類似度入力とともに前記〔数２６〕で示す近傍の神経活性度の影響をも受ける。〔数３７〕中の式(15)において、右辺の第２項は入力項、第３項は競合項、第４項は協調項である。この第２項は、第ｕフレームにおけるある音素/a/ に対する入力データの類似度を表わす。また第３項は、〔数４０〕で示す他の音素の活性度との競合を表わし、第４項は、同一音素についての近接フレームからの協調を表わす。
【０１０７】
【数３９】
2000338989.tif 000044
【０１０８】
【数４０】
2000338989.tif 000045
【０１０９】
式 (15) の第３項中の〔数４１〕に示す加算指標は、a ′≠a の制限のもとで、
a−as ＜＝ a′＜＝a＋as 
として定義される不同検索競合範囲を網羅する。また式(15)の第４項中の〔数４２〕に示す加算指標は、u′≠u の制限のもとで、
ｕ−ｌ＜＝ u′＜＝ｕ＋ｌ
として定義される協調範囲を網羅する。
【０１１０】
【数４１】
2000338989.tif 000046
【０１１１】
【数４２】
2000338989.tif 000047
【０１１２】
方程式の本質的特徴を理解するために〔数４３〕の平衡解を考慮すると、式(15)、(16)は次の〔数４４〕の式(17)および〔数４５〕の式(18)のように書き替えられる。
【０１１３】
【数４３】
2000338989.tif 000048
【０１１４】
【数４４】
2000338989.tif 000049
【０１１５】
【数４５】
2000338989.tif 000050
【０１１６】
〔数４４〕の式(17)では、〔数３７〕の式(14)で与えられるSigmoid 関数により、〔数３９〕で示す神経活性度に対する競合と協調の効果によって、直接的に〔数３８〕に対して勝者と敗者の決定が下される仕組みとなっている。すなわち、〔数３９〕で示す神経活性度の大きな値に対しては１に近い〔数３８〕の出力を与え、〔数３９〕で示す神経活性度の小さな値に対しては０に近い小さな〔数３８〕の出力を与える。
【０１１７】
この２ＬＮＮ方程式によっても、３ＬＮＮ方程式の場合と同様に、ＨＭＭに比べて高い音韻認識率を得ることができる。
【０１１８】
【発明の効果】
本発明は、連続して入力される音声からその要素となっている各音素の種類を識別して音声を認識する手段として、脳の立体視にかかわる神経回路モデルを適用することにより、認識率の向上を図っている。従来は、ヒドンマルコフモデル（ＨＭＭ）を基本として、それを補強するようなモデルが一般に用いられてきたが、ヒドンマルコフモデルでは、技術的限界が見えていた。本発明によるステレオビジョン神経回路モデルは、ヒドンマルコフモデルとは根本的に異なる考え方に基づいており、音韻認識率を著しく改善することができた。この本発明のモデルを連続的な単語認識や文認識に適用することにより、音声認識の飛躍的向上が期待される。
【図面の簡単な説明】
【図１】
本発明の基本構成図である。
【図２】
本発明の１実施例による音声認識処理のフローである。
【図３】
結合パターン認知方程式におけるポテンシャル関数波形の例のグラフである。
【図４】
３層構造神経回路モデル（３ＬＮＮ）の概念図である。
【図５】
異なる音素の類似度間の競合と近接フレームデータ間の協調の説明図である。
【図６】
ｙ＝ξおよびｙ＝ｆ（ｇ（α）＋ｇ（ξ））のグラフである。
【図７】
αの時間変化特性を示すグラフである。
【図８】
ξの時間変化特性を示すグラフである。
【図９】
２層構造神経回路モデル（２ＬＮＮ）の概念図である。
【図１０】
従来の連続音声認識装置のブロック構成図である。
【符号の説明】
１１：連続音声入力部
１２：音声信号処理部
１３：学習部
１３ａ：学習データ
１４：類似度計算部
１５：音韻認識部
１５ａ：ステレオビジョン神経回路モデル
【手続補正２】
【補正対象書類名】図面
【補正対象項目名】全図
【補正方法】変更
【補正の内容】
【図１】
2000338989.tif 000051
【図２】
2000338989.tif 000052
【図３】
2000338989.tif 000053
【図４】
2000338989.tif 000054
【図５】
2000338989.tif 000055
【図６】
2000338989.tif 000056
【図７】
2000338989.tif 000057
【図８】
2000338989.tif 000058
【図９】
2000338989.tif 000059
【図１０】
2000338989.tif 000060