【手続補正書】
【提出日】平成16年7月7日(2004.7.7)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】特許請求の範囲
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
複数の認識結果候補の単語列を出力する音声認識処理により得られた第１位の認識結果候補に含まれる単語ごとに、所定の第１の信頼尺度を得るようにコンピュータを動作させるステップと、
前記第１の信頼尺度が予め定められたしきい値との間で所定の関係を充足するか否かを単語ごとに判定するようにコンピュータを動作させるステップと、
前記第１の信頼尺度が前記しきい値との間で前記所定の関係を充足しないと判定された連続する単語列ごとに、前記音声認識処理により得られた第２位以下の認識結果候補に含まれる対応する単語列に対して所定の第２の信頼尺度を算出し、最も高い信頼尺度が得られた単語列で置換するようにコンピュータを動作させるステップとを含む、音声認識結果の訂正方法。
【請求項２】
前記所定の第１の信頼尺度を得るようにコンピュータを動作させるステップは、前記音声認識処理によって単語ごとに出力される当該単語の尤度を得るようにコンピュータを動作させるステップを含む、請求項１に記載の音声認識結果の訂正方法。
【請求項３】
前記所定の第１の信頼尺度を得るようにコンピュータを動作させるステップは、前記音声認識処理とは独立の処理によって、単語ごとの尤度を算出するようにコンピュータを動作させるステップを含む、請求項１に記載の音声認識結果の訂正方法。
【請求項４】
前記所定の第１の信頼尺度を得るようにコンピュータを動作させるステップは、前記音声認識処理によって単語ごとに出力される当該単語の尤度と、前記音声認識処理とは独立の処理によって算出された単語ごとの尤度との比を算出するようにコンピュータを動作させるステップを含む、請求項１に記載の音声認識結果の訂正方法。
【請求項５】
前記音声認識処理とは独立の処理は、音韻ループモデルによる単語ごとの尤度の算出処理を含む、請求項３または請求項４に記載の音声認識結果の訂正方法。
【請求項６】
前記第１の信頼尺度が予め定められたしきい値との間で所定の関係を充足するか否かを単語ごとに判定するようにコンピュータを動作させるステップは、前記第１の信頼尺度が予め定められたしきい値以上か否かを単語ごとに判定するようにコンピュータを動作させるステップを含む、請求項１から請求項５のいずれかに記載の音声認識結果の訂正方法。
【請求項７】
前記所定の第２の信頼尺度は、言語モデルによる単語列の統計的な発生確率である、請求項１から請求項６のいずれかに記載の音声認識結果の訂正方法。
【請求項８】
前記言語モデルは、トリグラムによる言語モデルである、請求項７に記載の音声認識結果の訂正方法。
【請求項９】
前記音声認識結果は、
認識結果候補の単語列により構成されるラティスと、
各認識結果候補に含まれる各単語の時間情報とを含み、
前記最も高い信頼尺度が得られた単語列で置換するようにコンピュータを動作させるステップは、
前記ラティスおよび前記時間情報に基づいて、前記音声認識結果に対する単語遷移ネットワークを作成するようにコンピュータを動作させるステップと、
前記第１の信頼尺度が前記しきい値との間で前記所定の関係を充足しないと判定された連続する単語列ごとに、前記単語遷移ネットワーク上で対応する第２位以下の認識結果候補において対応する単語列を選択するようにコンピュータを動作させるステップと、
前記選択するようにコンピュータを動作させるステップにより選択された単語列の各々に対して前記第２の信頼尺度を算出するようにコンピュータを動作させるステップと、
算出された前記第２の信頼尺度が最も大きな単語列によって、前記第１の信頼尺度が前記しきい値との間で前記所定の関係を充足しないと判定された連続する単語列を置換するようにコンピュータを動作させるステップとを含む、請求項１から請求項８のいずれかに記載の音声認識結果の訂正方法。
【請求項１０】
前記選択するようにコンピュータを動作させるステップは、
前記第１の信頼尺度が前記しきい値との間で前記所定の関係を充足しないと判定された連続する単語列ごとに、前記単語遷移ネットワーク上で対応する第２位以下の認識結果候補において、開始時刻が前記判定された単語の開始時刻以後であり、かつ終了時刻が前記所定の関係を充足しないと判定された単語の終了時刻以前である単語列を選択するようにコンピュータを動作させるステップを含む、請求項９に記載の音声認識結果の訂正方法。
【請求項１１】
音声認識結果を訂正する音声認識結果の訂正方法を実施するようにコンピュータを動作させるための、音声認識結果の訂正のためのコンピュータプログラムであって、前記音声認識結果の訂正方法は、
前記音声認識結果の複数の認識結果候補の単語列を出力する音声認識処理により得られた第１位の認識結果候補に含まれる単語ごとに、所定の第１の信頼尺度を得るようにコンピュータを動作させるステップと、
前記第１の信頼尺度が予め定められたしきい値との間で所定の関係を充足するか否かを単語ごとに判定するようにコンピュータを動作させるステップと、
前記第１の信頼尺度が前記しきい値との間で前記所定の関係を充足しないと判定された連続する単語列ごとに、前記音声認識処理により得られた第２位以下の認識結果候補に含まれる対応する単語列に対して所定の第２の信頼尺度を算出し、最も高い信頼尺度が得られた単語列で置換するようにコンピュータを動作させるステップとを含む、音声認識結果の訂正のためのコンピュータプログラム。
【請求項１２】
前記所定の第１の信頼尺度を得るようにコンピュータを動作させるステップは、前記音声認識処理によって単語ごとに出力される当該単語の尤度を得るようにコンピュータを動作させるステップを含む、請求項１１に記載の音声認識結果の訂正のためのコンピュータプログラム。
【請求項１３】
前記所定の第１の信頼尺度を得るようにコンピュータを動作させるステップは、前記音声認識処理とは独立の処理によって、単語ごとの尤度を算出するようにコンピュータを動作させるステップを含む、請求項１１に記載の音声認識結果の訂正のためのコンピュータプログラム。
【請求項１４】
前記所定の第１の信頼尺度を得るようにコンピュータを動作させるステップは、前記音声認識処理によって単語ごとに出力される当該単語の尤度と、前記音声認識処理とは独立の処理によって算出された単語ごとの尤度との比を算出するようにコンピュータを動作させるステップを含む、請求項１１に記載の音声認識結果の訂正のためのコンピュータプログラム。
【請求項１５】
前記音声認識処理とは独立の処理は、音韻ループモデルによる単語ごとの尤度の算出処理を含む、請求項１３または請求項１４に記載の音声認識結果の訂正のためのコンピュータプログラム。
【請求項１６】
前記第１の信頼尺度が予め定められたしきい値との間で所定の関係を充足するか否かを単語ごとに判定するようにコンピュータを動作させるステップは、前記第１の信頼尺度が予め定められたしきい値以上か否かを単語ごとに判定するようにコンピュータを動作させるステップを含む、請求項１１から請求項１５のいずれかに記載の音声認識結果の訂正のためのコンピュータプログラム。
【請求項１７】
前記所定の第２の信頼尺度は、言語モデルによる単語列の統計的な発生確率である、請求項１１から請求項１６のいずれかに記載の音声認識結果の訂正のためのコンピュータプログラム。
【請求項１８】
前記言語モデルは、トリグラムによる言語モデルである、請求項１７に記載の音声認識結果の訂正のためのコンピュータプログラム。
【請求項１９】
前記音声認識結果は、
認識結果候補の単語列により構成されるラティスと、
各認識結果候補に含まれる各単語の時間情報とを含み、
前記最も高い信頼尺度が得られた単語列で置換するようにコンピュータを動作させるステップは、
前記ラティスおよび前記時間情報に基づいて、前記音声認識結果に対する単語遷移ネットワークを作成するようにコンピュータを動作させるステップと、
前記第１の信頼尺度が前記しきい値との間で前記所定の関係を充足しないと判定された連続する単語列ごとに、前記単語遷移ネットワーク上で対応する第２位以下の認識結果候補において対応する単語列を選択するようにコンピュータを動作させるステップと、
前記選択するようにコンピュータを動作させるステップにより選択された単語列の各々に対して前記第２の信頼尺度を算出するようにコンピュータを動作させるステップと、
算出された前記第２の信頼尺度が最も大きな単語列によって、前記第１の信頼尺度が前記しきい値との間で前記所定の関係を充足しないと判定された連続する単語列を置換するようにコンピュータを動作させるステップとを含む、請求項１１から請求項１８のいずれかに記載の音声認識結果の訂正のためのコンピュータプログラム。
【請求項２０】
前記選択するようにコンピュータを動作させるステップは、
前記第１の信頼尺度が前記しきい値との間で前記所定の関係を充足しないと判定された連続する単語列ごとに、前記単語遷移ネットワーク上で対応する第２位以下の認識結果候補において、開始時刻が前記判定された単語の開始時刻以後であり、かつ終了時刻が前記所定の関係を充足しないと判定された単語の終了時刻以前である単語列を選択するようにコンピュータを動作させるステップを含む、請求項１９に記載の音声認識結果の訂正のためのコンピュータプログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００３
【補正方法】変更
【補正の内容】
【０００３】
前者はノイズに対する適合と補償とにより行なわれる。後者は、主として認識結果に対する信頼性を再評価することにより行なわれる。この場合、後処理の信頼性の尺度としては認識に用いられるものよりも複雑な言語モデル（ＬＭ）、または信頼尺度（ＣＭ）が用いられる。後処理では、ＣＭとして事後確率を用いて再スコアリングを行なう技術が後にあげる非特許文献１において報告されている。この報告では、事後確率に基づくＣＭを用い、一度認識した後、その発声全体にわたるＣＭスコアの積を最大化する基準によりその認識結果を再評価する。
【非特許文献１】
Ｆ．ウェセル（F.  Wessel）、Ｒ．シュルター（R.  Schluter）、Ｈ．ネイ（H.Ney）著「改善された音声認識のための事後単語確率の使用（Using  Posterior  word  probabilities  for  improved  speech  recognition）」、ＩＣＡＳＳＰ  ２０００予稿集、ｐｐ．５３６−５６６
【非特許文献２】
Ｇ．エバーマン（G.  Everman）、Ｐ．Ｃ．ウッドランド（P.C.  Woodland）著「単語事後確率を用いた大ボキャブラリデコーディングおよび信頼性推定（Large  vocabulary  decoding  and  confidence  estimation  using  word  posterior  probabilities）」、ＩＣＡＳＳＰ  ２０００予稿集、ｐｐ．２３６６−２３６９
【非特許文献３】
Ｔ．マツイ（T.  Matsui)、Ｆ．Ｋ．スーン（F.K.  Soong）、Ｂ．−Ｈ．ファン（B.-H.  Juan）著「多重クラス認識結果の検証のための識別関数の設計（Classification  design  for  Verification  of  Multi-Class  Recognition  Design）」、日本音響学会2002年春季研究発表会予稿集  Vol.1,  pp.85-86,  2002
【非特許文献４】
Ｊ．Ｇ．フィスカス(J.G.  Fiscus)著「エラー率を低減する後処理システム：認識装置出力多数決エラーリダクション（ＲＯＶＥＲ）（A  Post-processing  system  to  yield  reduced  error  rates:  Recognizer  output  voting  error  reduction  (ROVER)）」
【非特許文献５】
Ｊ．ツァン（J.  Zhang）、Ｋ．マルコフ（K.  Markov）、Ｔ．マツイ（T.  Matsui）、Ｒ．グルーン（R.  Gruhn）、およびＳ．ナカムラ（S.  Nakamura）著「SPINE2  プロジェクトのための耐雑音性に優れたベースライン音響モデルの構築（Developing  Robust  Baseline  Acoustic  Models  for  Noisy  Speech  Recognition  in  SPINE2  Project）日本音響学会2002年春季研究発表会予稿集
Vol.1,  pp.65-66,  2002
【発明が解決しようとする課題】
しかし、ＣＭは通常は実験的に定められるものであり、事後確率のように確率論的に定式化できない場合が多い。その場合には、非特許文献１のように、発声全体にわたり算出される基準でＣＭを適用したとしても、それは必ずしも真の最適化とはいえない。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００２２
【補正方法】変更
【補正の内容】
【００２２】
再び図１を参照して、認識結果訂正装置３２は、音声認識回路３０の出力するラティスから後述する単語遷移ネットワークを作成するための単語遷移ネットワーク作成部４２と、入力音声２２から、音声認識回路３０とは独立に、単語の検証のためのサブ音声認識を行ない、単語ごとの検証（バイナリ判定）のためのＣＭを出力するためのサブ音声認識回路４０と、単語遷移ネットワークおよびサブ音声認識回路４０から出力されるＣＭに基づいて、音声認識回路３０の認識結果Ｎ−ベストのうち第１位のものについて、単語ごとに認識が正しく行なわれたか否かのバイナリ判定を行なうための検証部４４と、検証部４４の検証結果と、単語遷移ネットワークとに基づき、音声認識３０の出力する音声認識結果の第１位の単語列のうち、認識が正しく行なわれなかったと判定された部分を抽出し、第２位以下の候補の対応する部分について、訂正のためのＣＭの再スコアリングを行ない最もＣＭの高い部分と置換して訂正後の認識結果２４として出力するための訂正部４６とを含む。本実施の形態では、再スコアリングはトリグラムのＬＭスコアにより行なう。なお、ＬＭスコアとは、通常は、ある言語において、ある数の特定の単語列が表れる統計的な確率により表わされる。特定の２つの単語が連続して現れる場合をバイグラム、３つの単語が連続して現れる場合をトリグラム、一般的にＮ個の単語が連続して現れる場合をＮグラムとよぶ。これらは、たとえばその言語のコーパスを統計的に処理して算出することができる。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００３１
【補正方法】変更
【補正の内容】
【００３１】
図２に示す候補リスト作成部８０は、単語遷移ネットワークと持続時間情報とに基づいて、誤認識された単語シーケンスに対する置換候補を選択しリストにする。この置換候補としては、単語遷移ネットワーク上のパスのうち、誤認識された単語シーケンスと対応する、第２位以下の候補の単語列に対応するパスが基本的に選ばれる。図６において、単語Ｗ2(1)が誤認識であると判定された場合の置換候補を枠１１０で囲って示してある。本実施の形態では、置換候補には、そのパスの単語シーケンスのグローバル持続時間が、誤認識された単語シーケンスのグローバル持続時間以下であり、その開始時刻が、誤認識された単語シーケンスの開始時刻以後であり、その終了時刻が、誤認識された単語シーケンスの終了時刻以前であるものという条件を課してある。ただし、この条件についてはその一部のみを課すようにしてもよい。さらに、上記したのとは別の時間的条件を課すようにしてもよい。また、場合によっては時間的条件を課さなくてもよい。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００３７
【補正方法】変更
【補正の内容】
【００３７】
図８を参照して、コンピュータシステム１２０はさらに、コンピュータ１４０に接続されるプリンタ１４４を含むが、これは図７には示していない。またコンピュータ１４０はさらに、ＣＤ―ＲＯＭドライブ１５０およびＦＤドライブ１５２に接続されたバス１６６と、いずれもバス１６６に接続された中央演算装置（Central  Processing  Unit：ＣＰＵ）１５６、コンピュータ１４０のブートアッププログラムなどを記憶したＲＯＭ（Read-Only  Memory）１５８、ＣＰＵ１５６が使用する作業エリアおよびＣＰＵ１５６により実行されるプログラムの格納エリアを提供するＲＡＭ(Random  Access  Memory）１６０、およびハードディスク１５４を含む。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００４８
【補正方法】変更
【補正の内容】
【００４８】
以上の処理により、上述した本発明の実施の形態の装置が実現される。
−実験結果−
上記した音声認識システムを実際にコンピュータ上で作成し、以下に述べるような実験を行なった。用いたベースライン音声認識システムは非特許文献５に記載されたものである。データベースとしてはＳＰＩＮＥ（speech in noisy environments）２を用いた。利用したＬＭはＳＰＩＮＥ２のためにＣＭＵ（カーネギーメロン大学）が設計したバイグラムとトリグラムとである。背景雑音が存在する環境下で、１０人の女性および１０人の男性話者による発声データを、５ｄＢから２０ｄＢまでの種々のＳＮＲ（Signal-to-Noise  Ratio）で学習データとして収集した。テストデータは、男性話者一人および女性話者一人（学習データの話者とは別の話者)について、４種類の異なる背景雑音のもとで収集した。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】図面の簡単な説明
【補正方法】変更
【補正の内容】
【図面の簡単な説明】
【図１】  本発明の一実施の形態にかかる音声認識装置のブロック図である。
【図２】  図１に示す検証部４４および訂正部４６をより詳細に示すブロック図である。
【図３】  音声認識回路３０から出力される認識結果のラティスおよびＮ−ベスト情報を模式的に示す図である。
【図４】  ラティスの一例を模式的に示す図である。
【図５】  単語遷移ネットワークの一例を模式的に示す図である。
【図６】  本実施の形態にかかる認識結果の単語の検証処理および訂正処理の原理を説明するための図である。
【図７】  本発明の一実施の形態を実現するコンピュータシステムの外観図である。
【図８】  図７に示すコンピュータシステムのブロック図である。
【図９】  本発明の一実施の形態の音声認識装置および認識結果訂正回路を実現するようにコンピュータシステムを動作させるためのプログラムのフローチャートである。
【図１０】  本発明の一実施の形態が効果を発揮する条件を検証するためのシミュレーション結果を示すグラフである。