(57)【特許請求の範囲】
【請求項１】
１発声全体に対して発声と同じ向きの音声認識処理を行う音声認識処理システムであって、入力音声信号を時系列の特徴量に変換する音声分析部と、該音声分析部からの供給される前記時系列の特徴量を発声と同じ向きに処理し、発声における音響的に曖昧な区間を検出し、前記１発声中で先読み処理を行うフレーム区間とする先読み判断部とを備え、該先読み判断部で先読み処理を行うと決定されたフレーム区間に対して時間的に逆向きの先読み処理を行って、発声を時間的に遡った時の音響累積スコアである先読みスコアを作成し、前記先読み処理が行われたフレーム区間については、作成された前記先読みスコアを用いて前記音声認識処理を行うことを特徴とする音声認識システム。
【請求項２】
前記先読み判断部は、前記先読み処理を、当該フレーム区間の最後部よりも所定フレーム分さらに時間的に後方から行うことを特徴とする請求項１記載の音声認識システム。
【請求項３】
前記先読み判断部は、当該発声のフレームに対して時間的に前の発声のフレームによって、前記先読み処理が必要かどうかを判断することを特徴とする請求項１又は２記載の音声認識システム。
【請求項４】
前記先読み判断部は、前記先読み処理を行うか否かを、発声と同じ向きの音声認識処理における前フレームの処理量に応じて判断することを特徴とする請求項１記載の音声認識システム。
【請求項５】
前記先読み判断部は、前記先読み処理を、発声と同じ向きの音声認識処理での前フレームの処理量が所定閾値を上回ったときに行うことを特徴とする請求項４記載の音声認識システム。
【請求項６】
前記先読み判断部は、前記先読み処理を、発声と同じ向きの音声認識処理での前フレームの仮説数が所定閾値を上回ったときに行うことを特徴とする請求項４記載の音声認識システム。
【請求項７】
前記先読み判断部は、前記音響的に曖昧であるかどうかの判断を、音声入力に同期して連続音素認識を行った結果に基づいて行うことを特徴とする請求項１記載の音声認識システム。
【請求項８】
前記先読み判断部は、前記音響的に曖昧であるかどうかの判断を、音声入力に同期して連続音素認識を行ったとき、各フレームでの最良仮説からある閾値までの間にある仮説の数が、ある閾値を超えたか否かに応じて行うことを特徴とする請求項７記載の音声認識システム。
【請求項９】
１発声全体に対して発声と同じ向きの音声認識処理を行う音声認識処理システムであって、
音声入力に同期して音声信号を時系列の特徴量に変換する音声分析手段と、
前記特徴量の入力に同期してフレームごとの連続音素認識を行って、仮説数が所定閾値を超えたとき入力特徴量をバッファ手段へ送り、前記仮説数が前記閾値以下のとき入力特徴量を単語制約あり音声認識手段へ送る先読み判断手段と、
前記バッファ手段への前記特徴量の入力を監視して、特徴量の時間的に連続した入力が途絶えるとき、前記バッファ手段内の特徴量の連続区間を先読み処理手段へ伝達する先読み起動手段と、
前記バッファ手段から特徴量の連続区間が入力されたとき、該連続区間の最後の時点、又は前記連続区間の最後から所定フレーム数分後の時点から時間的に遡って先読みスコアを作成して、前記特徴量の連続区間とともに単語制約あり音声認識手段へ送る先読み処理手段と、
前記先読み判断手段から入力された特徴量を用いて連続単語認識を行い、又は前記先読み処理手段から入力された先読みスコアつき特徴量に対して該先読みスコアを用いて探索仮説数を削減しながら連続単語認識を行って音声認識結果を作成する単語制約あり音声認識手段とを備えたことを特徴とする音声認識システム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、音声認識システムに関し、特に、正解単語列探索を行う音声認識システムに関する。
【０００２】
【従来の技術】
従来、正解単語列探索を行う音声認識システムの一例として、逆向きの先読み探索を行う、下記の音声認識システムが知られている。
堀貴明,"大語彙連続音声認識のための音素グラフに基づく仮説制限法の検討" 情報処理学会論文誌，vol40, No.4, p.1365-1373 (1999)
以下、この従来の、音声と逆向きの先読み探索を行う音声認識システムについて説明する。
【０００３】
音声は、１発声ごとに、ある時間間隔ごとに、その時点での特徴抽出が行われる。この離散時点の時間単位は、フレームと呼ばれる。この特徴抽出の処理によって、音声特徴量ベクトルの時系列が生成され、爾後の処理は、この音声特徴量ベクトルをフレームごとに扱うことによって行われる。
先読み処理部は、単語制約を用いずに、発声末から任意のフレームの任意の認識単位までのパターンマッチスコアの最良値を、発声と逆向きのパターンマッチを行って計算し、計算されたそれぞれのパターンマッチスコアを、そのフレームのその認識単位の先読みスコアとする。この先読み処理によれば、フレーム数×認識単位数分の先読みスコアの計算結果を、一度、音声パターンを処理するだけで効率的に作成することができる。
先読み処理が終了すると、その発声の始めから、フレーム同期の単語制約ありの音声認識処理を行う。あるフレームで、ある単語のパターンマッチが次の認識単位まで延びるときは、先読みスコアを一時的に足し合わせて、その結果が所定閾値より低い場合には、そのパターンマッチを中止する。このように、先行きのある認識単位を優先して処理することによって、単語制約処理で発生する、最良スコアを与える仮説の取りこぼしを減少させて、誤りを削減することができる。これと同時に、不要なパターンマッチが減少するので、処理速度向上の効果も得られる。
【０００４】
【発明が解決しようとする課題】
しかしながら、このような従来の、発声と逆向きの先読み探索を行う音声認識システムには、次のような各種の問題点がある。
第１の課題は、発声が終了してからでないと、単語制約ありの認識処理を開始することができないので、認識結果の出力が、１発声の認識処理時間分遅れてしまうということである。
第２の課題は、先読みスコアを使用することによって、単語制約ありの音声認識処理量が減少するが、先読み分の処理の増加のために、先読み分の処理量が単語制約ありの音声認識処理量を上回る場合には、全体の音声認識処理時間が、逆に増大してしまうということである。
【０００５】
この発明は、上述の事情に鑑みてなされたものであって、１発声より短い時間幅で先読み処理と単語制約ありの音声認識処理を行うことによって、上記第１の課題の影響を小さくするとともに、さらに、先読み処理を必要なときのみ行うことによって、上記第２の課題をも解決できる、音声認識システムを提供することを目的としている。
【０００６】
【課題を解決するための手段】
上記課題を解決するため、請求項１記載の発明は、１発声全体に対して発声と同じ向きの音声認識処理を行う音声認識処理システムであって、入力音声信号を時系列の特徴量に変換する音声分析部と、該音声分析部からの供給される前記時系列の特徴量を発声と同じ向きに処理し、発声における音響的に曖昧な区間を検出し、前記１発声中で先読み処理を行うフレーム区間とする先読み判断部とを備え、該先読み判断部で先読み処理を行うと決定されたフレーム区間に対して時間的に逆向きの先読み処理を行って、発声を時間的に遡った時の音響累積スコアである先読みスコアを作成し、前記先読み処理が行われたフレーム区間については、作成された前記先読みスコアを用いて前記音声認識処理を行うことを特徴としている。
【０００７】
また、請求項２記載の発明は、請求項１記載の音声認識システムに係り、前記先読み判断部が、前記先読み処理を、当該フレーム区間の最後部よりも所定フレーム分さらに時間的に後方から行うことを特徴としている。
【０００８】
また、請求項３記載の発明は、請求項１又は２記載の音声認識システムに係り、前記先読み判断部が、当該発声のフレームに対して時間的に前の発声のフレームによって、前記先読み処理が必要かどうかを判断することを特徴としている。
【０００９】
また、請求項４記載の発明は、請求項１記載の音声認識システムに係り、前記先読み判断部が、前記先読み処理を行うか否かを、発声と同じ向きの音声認識処理における前フレームの処理量に応じて判断することを特徴としている。
【００１０】
また、請求項５記載の発明は、請求項４記載の音声認識システムに係り、前記先読み判断部が、前記先読み処理を、発声と同じ向きの音声認識処理での前フレームの処理量が所定閾値を上回ったときに行うことを特徴としている。
【００１１】
また、請求項６記載の発明は、請求項４記載の音声認識システムに係り、前記先読み判断部が、前記先読み処理を、発声と同じ向きの音声認識処理での前フレームの仮説数が所定閾値を上回ったときに行うことを特徴としている。
【００１２】
また、請求項７記載の発明は、請求項１記載の音声認識システムに係り、前記先読み判断部は、前記音響的に曖昧であるかどうかの判断を、音声入力に同期して連続音素認識を行った結果に基づいて行うことを特徴としている。
【００１３】
また、請求項８記載の発明は、請求項７記載の音声認識システムに係り、前記先読み判断部は、前記音響的に曖昧であるかどうかの判断を、音声入力に同期して連続音素認識を行ったとき、各フレームでの最良仮説からある閾値までの間にある仮説の数が、ある閾値を超えたか否かに応じて行うことを特徴としている。
【００１４】
また、請求項９記載の発明は、１発声全体に対して発声と同じ向きの音声認識処理を行う音声認識処理システムに係り、音声入力に同期して音声信号を時系列の特徴量に変換する音声分析手段と、前記特徴量の入力に同期してフレームごとの連続音素認識を行って、仮説数が所定閾値を超えたとき入力特徴量をバッファ手段へ送り、前記仮説数が前記閾値以下のとき入力特徴量を単語制約あり音声認識手段へ送る先読み判断手段と、前記バッファ手段への前記特徴量の入力を監視して、特徴量の時間的に連続した入力が途絶えるとき、前記バッファ手段内の特徴量の連続区間を先読み処理手段へ伝達する先読み起動手段と、前記バッファ手段から特徴量の連続区間が入力されたとき、該連続区間の最後の時点、又は前記連続区間の最後から所定フレーム数分後の時点から時間的に遡って先読みスコアを作成して、前記特徴量の連続区間とともに単語制約あり音声認識手段へ送る先読み処理手段と、前記先読み判断手段から入力された特徴量を用いて連続単語認識を行い、又は前記先読み処理手段から入力された先読みスコアつき特徴量に対して該先読みスコアを用いて探索仮説数を削減しながら連続単語認識を行って音声認識結果を作成する単語制約あり音声認識手段とを備えたことを特徴としている。
【００１５】
【発明の実施の形態】
本発明による音声認識システムは、発声に対する先読みスコアを計算する先読みスコア計算部として、必要に応じて先読みスコアを計算するか否かを判断する先読み判断部と、あるフレーム区間を取り出して先読み処理を行う先読み起動部とを設けたものである。
この際、先読みスコア計算部が、ある発声のあるフレームの先読みスコアを計算するのは、先読み判断部がそのフレームより時間的に前の発声から、必要があると判断した場合に限られる。
このようにすることによって、先読み分の処理の増加のために、先読み分の処理量が単語制約ありの音声認識処理量を上回る場合には、全体の音声認識処理時間が、逆に増大してしまうという、上述した第２の課題の影響も小さくなることが期待される。
【００１６】
先読み起動部は、先読み判断部が先読みが必要であると判断したとき、先読みが必要なフレーム区間を検出して、その区間について先読み処理を起動する。この際のフレーム区間長にある可変の制限を設けて、先読み処理を行うフレーム区間と、単語制約ありの音声認識を行うフレーム区間とに分割して切り替えることによって、そのフレーム区間単位で認識処理を行うことが可能になるので、発声が終了してからでないと、単語制約ありの認識処理を開始することができないので、認識結果の出力が、１発声の認識処理時間分遅れてしまうという、上述の第１の課題の影響を小さくすることが期待できる。
単語制約あり音声認識部は、先読みスコア計算部がすでに先読みスコアを計算したか、又は先読みスコアの計算が必要でないと判断したフレームについて認識処理を行う。先読みスコアが計算されているフレームでは、それを用いて探索仮説数を少なくすることができる。
【００１７】
以下、図面を参照して、この発明の実施の形態について説明する。説明は、実施例を用いて具体的に行う。
◇第１実施例
図１は、この発明の一実施例である音声認識システムの構成を示すブロック図である。
この例の音声認識システムは、図１に示すように、音声分析部１と、先読み判断部２と、単語制約あり音声認識部３と、先読み起動部４と、先読み処理部５と、バッファ部６とから概略構成されている。
【００１８】
音声分析部１は、入力音声信号を、時系列の特徴量に変換する。先読み判断部２は、音声の時系列特徴量の入力に同期して連続音素認識を行い、各フレームにおいて、仮説数がある閾値を上回っていれば入力の特徴量をバッファ部６へ送り、閾値以下であれば、単語制約あり音声認識部３へ送る。この場合単語制約あり音声認識部３は、先読み判断部２からの入力の時系列の特徴量をフレーム順に処理して、音声認識結果を作成する。
先読み起動部４は、バッファ部６への先読みなしと判断された特徴量の入力が時間的に途絶えた場合に、バッファ内のその特徴量の連続区間を先読み処理部５へ伝達する。
先読み処理部５は、連続区間が先読み起動部４から入力されたとき、その区間の最後、又は予め定められたフレーム数後の時点から、時間を遡って先読み処理を行って、先読みスコアをバッファ部６に記録する。バッファ部６は、先読み処理時における、処理途中の情報を一時的に保持するとともに、先読み処理部５の処理が終了したとき、保持した情報を単語制約あり音声認識部３へ送る。この場合単語制約あり音声認識部３は、バッファ部６に記録されていた入力の時系列の特徴量を、対応して記録されていた先読みスコアを用いて、フレーム順に処理して、音声認識結果を作成する。
【００１９】
以下、図１を参照して、この例の音声認識システムの動作を説明する。
音声入力があったとき、音声分析部１は、音声入力に同期して音声を分析して時系列の特徴量に変換して、先読み判断部２に入力する。
この場合の音声分析については、例えば、NTT-AT刊,"音声認識の基礎（上)",p.85 に記述があり、当業者にとって周知の技術なので、ここでは詳細な説明を省略する。
【００２０】
先読み判断部２では、まず、時系列特徴量の入力に同期して、音素音響モデルであるmonophone 音響モデルを用いて、フレーム同期の連続音素認識を行う。ここで、連続音素認識とは、１音素を１単語として連続単語認識を行うものである。なお、連続音素認識には、右又は左の音素環境によって音素パターンを区別するdiphone 音響モデルや、左右両音素環境によって音素パターンを区別するtriphone音響モデルを使用することもできる。
また連続単語認識については、例えば、電子情報通信学会刊,"確率モデルによる音声認識",p.106 ページに記載されており、当業者にとって周知の技術なので、詳細な説明を省略する。
この場合、各フレームにおいて、最良のスコアを与えるmonophone 音響モデルから、あるスコア幅以内に収まる音素の数がある閾値を上回れば、先読みありとして、そのフレームの入力の特徴量をバッファ部６へ送る。一方、あるスコア幅以内に収まる音素の数が、ある閾値以下の場合は、先読みなしとして、そのフレームの入力の特徴量を、直接、単語制約あり音声認識部３へ送り、これによって、音響的あいまいさが大きいフレームについてのみ先読みを行う。なお、後述する先読み処理部５の処理に応じて、バッファ部６にあるフレームで特徴量を送った場合に、その後も、ある定まったフレーム数分の特徴量を送り続けてもよい。
【００２１】
先読み起動部４は、バッファ部６に特徴量が入力されたとき、その後の入力を監視する。そして、あるフレームで先読み判断部２が先読みなしと判断して、特徴量の時間的に連続した入力が途絶えるか、又は定められたフレーム数の上限に達したとき、バッファ部６内のその特徴量の連続区間を、先読み処理部５へ伝達する。
先読み処理部５は、連続区間が先読み起動部４から入力されると、その区間の最後の時点、又はその区間の最後からさらに予め定められたフレーム数後の時点から、時間を遡って先読み処理を行う。後者の場合は、先読み区間後半の先読みスコアの信頼性が向上する利点がある。
【００２２】
以下、先読み処理を具体的に説明する。先読み処理においては、先読みスコアを求めるフレーム区間について、triphone認識単位を用いた連続音素認識を、発声とは逆向きに行う。連続単語認識では、その開始フレームから任意フレームの任意単語までの最良のスコアを効率よく計算できることが当業者に周知であり、この場合の連続音素認識でも、先読み開始フレームから任意のフレームの任意のtriphoneまでの最良スコアをそれぞれ計算することができる。この最良スコアを、そのフレームでのそのtriphoneの先読みスコアとして、バッファ部６に記録する。
先読み処理が終了すると、先読み起動部４から伝達された区間分の時系列の特徴量と先読みスコアが、バッファ部６から単語制約あり音声認識部３へ送られる。単語制約あり音声認識部３では、音声分析部１から出力される時系列の特徴量を、時間的に早いものからフレーム順に処理して認識結果を作成する。時系列の特徴量は、先読み判断部２から直接入力される場合と、先読みスコアつきで、バッファ部６から入力される場合とがある。
【００２３】
単語制約あり音声認識部３の、入力の時系列特徴量に対する基本的な処理は連続単語認識であるが、連続単語認識については、前述のように、当業者にとって周知の技術なので、詳細な説明は省略する。
また先読みスコアがある場合の処理の効率化については、コンピューター・スピーチ・アンド・ラングイッジ誌（Computer Speech and Language,2000,14,p.15-32) 掲載の論文 "Look-ahead techniques for fast beam search" に説明があるが、この発明とは直接関係しないので説明を省略する。
【００２４】
この発明によれば、以上のような構成をとることによって、発声の最後まで待たなくても、先読み判断部２が、一旦、先読みの必要なしと判断すれば、その時点から前の先読みスコア計算と単語制約あり音声認識の処理が可能になり、前述の第１の課題の影響を縮減することができる。また、先読み判断部２が、音響的あいまいさの有無をみて、先読みを行うか否かを判断するので、第２の課題の影響も小さくすることができる。
【００２５】
◇第２実施例
以下、図１を参照して、この発明の第２実施例を説明する。
この例におていは、図１に示す先読み判断部２が、前フレームでの単語制約あり音声認識部３で処理した仮説数がある閾値を超えたとき、先読みありと判断する。
【００２６】
このようにすることによって、この例の音声認識システムでは、先読み分の処理が、単語制約あり音声認識処理を上回るため、認識処理時間が増加するという、前述の第２の課題の影響を小さくすることができる。
【００２７】
◇第３実施例
以下、図１を参照して、この発明の第３実施例を説明する。
この例においては、図１に示す先読み判断部２が、すべてのフレームについて先読みを行うように判断する。
音声分析部１は、音声入力に同期して、音声を時系列の特徴量に変換する。先読み判断部２は、すべての時系列の特徴量をバッファ部６に送る。そして、先読み起動部４は、先読み処理部５又は単語制約あり音声認識部３に対して、定められたあるフレームおきに、以下の動作を促す。
１）先読み処理部５において、フレーム区間の終わりから始めに向かって、先読みスコア計算を行う。
２）単語制約あり音声認識部３において、単語制約ありの音声認識処理を行う。この例における、先読み判断部２以外の動作は、第１実施例の場合と同様であって、定められたフレーム間隔ごとに認識処理を行う。
【００２８】
このようにすることによって、この例の音声認識システムでは、前述した第１の課題である、認識結果の出力の遅れを、認識処理のフレーム間隔分の時間と、上述の１）の処理時間又は２）の処理時間との和まで小さくすることができる。
ただし、前述した第２の課題は解決されない。
【００２９】
以上、この発明の実施例を図面により詳述してきたが、具体的な構成はこの実施例に限られたものではなく、この発明の要旨を逸脱しない範囲の設計の変更等があってもこの発明に含まれる。
【００３０】
【発明の効果】
以上説明したように、この発明の音声認識システムによれば、発声の最後まで待たなくても、先読み判断部が一旦、先読みの必要なしと判断した時点で、それより以前の先読みスコア計算と、単語制約ありの音声認識の処理が可能になり、従って、認識結果出力の遅延を小さくすることができる。
また、先読み判断部において、先読み探索を行うか否かの判断を行うことによって、先読み処理を行わない方が処理が速くなるようなフレームでは、先読みを行う機会が少なくなるので、正味の音声認識時間を短縮することができる。
【図面の簡単な説明】
【図１】この発明の一実施例である音声認識システムの構成を示すブロック図である。
【符号の説明】
１      音声分析部（音声分析手段）
２      先読み判断部（先読み判断部）
３      単語制約あり音声認識部（単語制約あり音声認識手段）
４      先読み起動部（先読み起動手段）
５      先読み処理部（先読み処理手段）
６      バッファ（バッファ手段）
【図１】
0003893911.tif 000002