(57)【特許請求の範囲】
【請求項１】
話題の種類と詳細度に応じて階層的に構成された複数個の言語モデルを記憶する階層言語モデル記憶手段と、
或る話題について話された入力音声に対する仮の認識結果と前記言語モデルの間の類似度を計算するテキスト−モデル類似度計算手段と、
前記認識結果の信頼度を計算する認識結果信頼度計算手段と、
前記類似度、前記信頼度、および前記言語モデルが属する階層の深さに基づいて前記入力音声の話題に対応する言語モデルを前記階層言語モデル記憶手段から少なくとも１つ選択する話題推定手段と、
前記話題推定手段が選択した言語モデルを混合して前記入力音声の話題に適応した１つの言語モデルを生成する話題適応手段と、
を備えることを特徴とする音声認識装置。
【請求項２】
前記話題推定手段は、前記類似度、前記信頼度、および前記階層の深さに関するしきい値判定に基づいて前記言語モデルを選択することを特徴とする請求項１記載の音声認識装置。
【請求項３】
前記話題推定手段は、前記類似度、前記信頼度の関数、および前記階層の深さの関数の線形和のしきい値判定に基づいて、前記言語モデルを選択することを特徴とする請求項１記載の音声認識装置。
【請求項４】
前記言語モデル間の類似度を記憶するモデル−モデル類似度記憶手段を更に備え、前記話題推定手段は、前記階層の深さの尺度として、その階層に属する言語モデルとその上位階層の言語モデルとの類似度を用いることを特徴とする請求項１乃至３の何れか１項に記載の音声認識装置。
【請求項５】
前記話題推定手段は、前記仮の認識結果を得る際に使用した言語モデルに基づいて前記言語モデルを選択することを特徴とする請求項４記載の音声認識装置。
【請求項６】
前記話題適応手段は、話題別言語モデルを混合する際の混合係数を、前記線形和に基づいて決定することを特徴とする請求項３に記載の音声認識装置。
【請求項７】
話題の種類と詳細度に応じて階層的に構成された複数個の言語モデルを記憶する階層言語モデル記憶手段と、
或る話題について話された入力音声に対する仮の認識結果と前記言語モデルの間の類似度を計算するテキスト−モデル類似度計算手段と、
前記言語モデル間の類似度を記憶するモデル−モデル類似度記憶手段と、
前記仮の認識結果と前記言語モデルの間の類似度、前記言語モデル間の類似度、および前記言語モデルが属する階層の深さに基づいて前記入力音声の話題に対応する言語モデルを前記階層言語モデル記憶手段から少なくとも１つ選択する話題推定手段と、
前記話題推定手段が選択した言語モデルを混合して前記入力音声の話題に適応した１つの言語モデルを生成する話題適応手段と、
を備えることを特徴とする音声認識装置。
【請求項８】
前記話題推定手段は、前記仮の認識結果と前記言語モデルの間の類似度、前記言語モデル間の類似度、および前記言語モデルが属する階層の深さに関するしきい値判定に基づいて、前記言語モデルを選択することを特徴とする請求項７記載の音声認識装置。
【請求項９】
前記話題推定手段は、前記仮の認識結果と前記言語モデルの間の類似度、前記言語モデル間の類似度、および前記言語モデルが属する階層の深さの線形和のしきい値判定に基づいて、前記言語モデルを選択することを特徴とする請求項７記載の音声認識装置。
【請求項１０】
前記話題推定手段は、前記仮の認識結果を得る際に使用した言語モデルに基づいて前記言語モデルを選択することを特徴とする請求項８または９記載の音声認識装置。
【請求項１１】
前記話題推定手段は、前記階層の深さの尺度として、その階層に属する言語モデルとその上位階層の言語モデルとの類似度を用いることを特徴とする請求項７乃至１０の何れか１項に記載の音声認識装置。
【請求項１２】
前記話題適応手段は、言語モデルを混合する際の混合係数を、前記線形和に基づいて決定することを特徴とする請求項９に記載の音声認識装置。
【請求項１３】
話題の種類と詳細度に応じて階層的に構成された複数個の言語モデルを記憶する階層言語モデル記憶手段を参照する参照ステップと、
或る話題について話された入力音声に対する仮の認識結果と前記言語モデルの間の類似度を計算するテキスト−モデル類似度計算ステップと、
前記認識結果の信頼度を計算する認識結果信頼度計算ステップと、
前記類似度、前記信頼度、および前記言語モデルが属する階層の深さに基づいて前記入力音声の話題に対応する言語モデルを前記階層言語モデル記憶手段から少なくとも１つ選択する話題推定ステップと、
前記話題推定ステップで選択した言語モデルを混合して前記入力音声の話題に適応した１つの言語モデルを生成する話題適応ステップと、
を備えることを特徴とする音声認識方法。
【請求項１４】
前記話題推定ステップでは、前記類似度、前記信頼度、および前記階層の深さに関するしきい値判定に基づいて前記言語モデルを選択することを特徴とする請求項１３記載の音声認識方法。
【請求項１５】
前記話題推定ステップでは、前記類似度、前記信頼度の関数、および前記階層の深さの関数の線形和のしきい値判定に基づいて、前記言語モデルを選択することを特徴とする請求項１３記載の音声認識方法。
【請求項１６】
前記言語モデル間の類似度を記憶するモデル−モデル類似度記憶ステップを更に備え、前記話題推定ステップでは、前記階層の深さの尺度として、その階層に属する言語モデルとその上位階層の言語モデルとの類似度を用いることを特徴とする請求項１３乃至１５の何れか１項に記載の音声認識方法。
【請求項１７】
前記話題推定ステップでは、前記仮の認識結果を得る際に使用した言語モデルに基づいて前記言語モデルを選択することを特徴とする請求項１６記載の音声認識方法。
【請求項１８】
前記話題適応ステップでは、話題別言語モデルを混合する際の混合係数を、前記線形和に基づいて決定することを特徴とする請求項１５に記載の音声認識方法。
【請求項１９】
話題の種類と詳細度に応じて階層的に構成された複数個の言語モデルを記憶する階層言語モデル記憶ステップと、
或る話題について話された入力音声に対する仮の認識結果と前記言語モデルの間の類似度を計算するテキスト−モデル類似度計算ステップと、
前記言語モデル間の類似度を記憶するモデル−モデル類似度記憶ステップと、
前記仮の認識結果と前記言語モデルの間の類似度、前記言語モデル間の類似度、および前記言語モデルが属する階層の深さに基づいて前記入力音声の話題に対応する言語モデルを、前記階層言語モデル記憶ステップにより記憶された言語モデルから少なくとも１つ選択する話題推定ステップと、
前記話題推定ステップが選択した言語モデルを混合して前記入力音声の話題に適応した１つの言語モデルを生成する話題適応ステップと、
を備えることを特徴とする音声認識方法。
【請求項２０】
前記話題推定ステップでは、前記仮の認識結果と前記言語モデルの間の類似度、前記言語モデル間の類似度、および前記言語モデルが属する階層の深さに関するしきい値判定に基づいて、前記言語モデルを選択することを特徴とする請求項１９記載の音声認識方法。
【請求項２１】
前記話題推定ステップでは、前記仮の認識結果と前記言語モデルの間の類似度、前記言語モデル間の類似度、および前記言語モデルが属する階層の深さの線形和のしきい値判定に基づいて、前記言語モデルを選択することを特徴とする請求項１９記載の音声認識方法。
【請求項２２】
前記話題推定ステップでは、前記仮の認識結果を得る際に使用した言語モデルに基づいて前記言語モデルを選択することを特徴とする請求項２０又は２１に記載の音声認識方法。
【請求項２３】
前記話題推定ステップでは、前記階層の深さの尺度として、その階層に属する言語モデルとその上位階層の言語モデルとの類似度を用いることを特徴とする請求項１９乃至２２の何れか１項に記載の音声認識方法。
【請求項２４】
前記話題適応ステップでは、言語モデルを混合する際の混合係数を、前記線形和に基づいて決定することを特徴とする請求項２１に記載の音声認識方法。
【請求項２５】
話題の種類と詳細度に応じて階層的に構成された複数個の言語モデルを記憶する階層言語モデル記憶手段を参照する参照ステップと、
或る話題について話された入力音声に対する仮の認識結果と前記言語モデルの間の類似度を計算するテキスト−モデル類似度計算ステップと、
前記認識結果の信頼度を計算する認識結果信頼度計算ステップと、
前記類似度、前記信頼度、および前記言語モデルが属する階層の深さに基づいて前記入力音声の話題に対応する言語モデルを前記階層言語モデル記憶手段から少なくとも１つ選択する話題推定ステップと、
前記話題推定ステップで選択した言語モデルを混合して前記入力音声の話題に適応した１つの言語モデルを生成する話題適応ステップと、
を備えることを特徴とする音声認識方法をコンピュータに行わせるための音声認識用プログラム。
【請求項２６】
前記話題推定ステップでは、前記類似度、前記信頼度、および前記階層の深さに関するしきい値判定に基づいて前記言語モデルを選択することを特徴とする請求項２５記載の音声認識用プログラム。
【請求項２７】
前記話題推定ステップでは、前記類似度、前記信頼度の関数、および前記階層の深さの関数の線形和のしきい値判定に基づいて、前記言語モデルを選択することを特徴とする請求項２５記載の音声認識用プログラム。
【請求項２８】
当該音声認識方法は、前記言語モデル間の類似度を記憶するモデル−モデル類似度記憶ステップを更に備え、前記話題推定ステップでは、前記階層の深さの尺度として、その階層に属する言語モデルとその上位階層の言語モデルとの類似度を用いることを特徴とする請求項２５乃至２７の何れか１項に記載の音声認識用プログラム。
【請求項２９】
前記話題推定ステップでは、前記仮の認識結果を得る際に使用した言語モデルに基づいて前記言語モデルを選択することを特徴とする請求項２８記載の音声認識用プログラム。
【請求項３０】
前記話題適応ステップでは、話題別言語モデルを混合する際の混合係数を、前記線形和に基づいて決定することを特徴とする請求項２７に記載の音声認識用プログラム。
【請求項３１】
話題の種類と詳細度に応じて階層的に構成された複数個の言語モデルを記憶する階層言語モデル記憶ステップと、
或る話題について話された入力音声に対する仮の認識結果と前記言語モデルの間の類似度を計算するテキスト−モデル類似度計算ステップと、
前記言語モデル間の類似度を記憶するモデル−モデル類似度記憶ステップと、
前記仮の認識結果と前記言語モデルの間の類似度、前記言語モデル間の類似度、および前記言語モデルが属する階層の深さに基づいて前記入力音声の話題に対応する言語モデルを、前記階層言語モデル記憶ステップにより記憶された言語モデルから少なくとも１つ選択する話題推定ステップと、
前記話題推定ステップが選択した言語モデルを混合して前記入力音声の話題に適応した１つの言語モデルを生成する話題適応ステップと、
を備えることを特徴とする音声認識方法をコンピュータに行わせるための音声認識用プログラム。
【請求項３２】
前記話題推定ステップでは、前記仮の認識結果と前記言語モデルの間の類似度、前記言語モデル間の類似度、および前記言語モデルが属する階層の深さに関するしきい値判定に基づいて、前記言語モデルを選択することを特徴とする請求項３１記載の音声認識用プログラム。
【請求項３３】
前記話題推定ステップでは、前記仮の認識結果と前記言語モデルの間の類似度、前記言語モデル間の類似度、および前記言語モデルが属する階層の深さの線形和のしきい値判定に基づいて、前記言語モデルを選択することを特徴とする請求項３１記載の音声認識用プログラム。
【請求項３４】
前記話題推定ステップでは、前記仮の認識結果を得る際に使用した言語モデルに基づいて前記言語モデルを選択することを特徴とする請求項３２又は３３に記載の音声認識用プログラム。
【請求項３５】
前記話題推定ステップでは、前記階層の深さの尺度として、その階層に属する言語モデルとその上位階層の言語モデルとの類似度を用いることを特徴とする請求項３１乃至３４の何れか１項に記載の音声認識用プログラム。
【請求項３６】
前記話題適応ステップでは、言語モデルを混合する際の混合係数を、前記線形和に基づいて決定することを特徴とする請求項３３に記載の音声認識用プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本願は、日本の特願２００６−１８７９５１（２００６年７月７日に出願）に基づいたものであり、又、特願２００６−１８７９５１に基づくパリ条約の優先権を主張するものである。特願２００６−１８７９５１の開示内容は、特願２００６−１８７９５１を参照することにより本明細書に援用される。【０００２】
本発明は音声認識装置、音声認識方法、および音声認識用プログラムに関し、特に、入力音声の属する話題内容に応じて適応化した言語モデルを用いて音声認識を行なう音声認識装置、音声認識方法、および音声認識用プログラムに関する。
【背景技術】
【０００３】
本願発明に関連する音声認識装置の一例が、特許文献１に記載されている。図２に示すように、この本願発明に関連する音声認識装置は、音声入力手段９０１と、音響分析手段９０２と、音節認識手段（第一段階認識）９０４と、話題遷移候補点設定手段９０５と、言語モデル設定手段９０６と、単語列探索手段（第二段階認識）９０７と、音響モデル記憶手段９０３と、差分モデル９０８と、言語モデル１記憶手段９０９−１と、言語モデル２記憶手段９０９−２と、…、言語モデルｎ記憶手段９０９−ｎとから構成されている。【０００４】
このような構成を有する本願発明に関連する音声認識装置は、次のように動作する。【０００５】
すなわち、言語モデルｋ記憶手段９０９−ｋ（ｋ＝１，…，ｎ）には、それぞれ異なる話題に対応した言語モデルを記憶しておき、入力される音声の各部に対して、言語モデルｋ記憶手段９０９−ｋ（ｋ＝１，…，ｎ）に記憶された言語モデルを個別にすべて適用して、単語列探索手段９０７がｎ個の単語列を探索し、そのうちもっともスコアの高かった単語列を選択して、最終的な認識結果とする。【０００６】
また、本願発明に関連する音声認識装置の別の一例が、非特許文献１に記載されている。図３に示すように、この本願発明に関連する音声認識装置は、音響分析手段３１と、単語列探索手段３２と、言語モデル混合手段３３と、言語モデル記憶手段３４１、３４２、…、３４ｎとから構成されている。【０００７】
このような構成を有する本願発明に関連する音声認識装置は、次のように動作する。【０００８】
すなわち、言語モデルｋ記憶手段３４１、３４２、…、３４ｎには、それぞれ異なる話題に対応した言語モデルを記憶しておき、言語モデル混合手段３３は、所定の算法で計算される混合比に基づき、前記ｎ個の言語モデルを混合して１個の言語モデルを生成し、単語列探索手段３２に送る。単語列探索手段３２は、言語モデル混合手段３３から１個の言語モデルを受け取り、入力された音声信号に対する単語列を探索し、認識結果として出力する。また、単語列探索手段３２は、前記単語列を言語モデル混合手段３３に送り、言語モデル混合手段３３は、言語モデル記憶手段３４１、３４２、…、３４ｎに記憶された各言語モデルと前記単語列との類似度を測り、類似性の高い言語モデルに対する混合比は高く、また類似性の低い言語モデルに対する混合比は低くなるよう、混合比の値を更新する。【０００９】
また、本願発明に関連する音声認識装置のさらに別の一例が、特許文献２に記載されている。図４に示すように、この本願発明に関連する音声認識装置は、汎用音声認識２２０と、トピック検出２２２と、トピック別音声認識２２４と、トピック別音声認識２２６と、選択２２８と、選択２３２と、選択２３４と、選択２３６と、選択２４０と、トピック記憶２３０と、トピック比較２３８と、階層的言語モデル４０とから構成されている。【００１０】
このような構成を有する本願発明に関連する音声認識装置は、次のように動作する。【００１１】
すなわち、階層的言語モデル４０は図５に例示されるような階層構造で複数個の言語モデルを備えており、汎用音声認識２２０は、階層構造のルートノードに位置する汎用言語モデル７０を参照して音声認識を行い、認識結果の単語列を出力する。トピック検出２２２は、前期認識結果単語列に基づいて、階層構造のリーフノードに位置するトピック毎言語モデル１００〜１２２からいずれか１つを選択する。トピック別音声認識２２４は、トピック検出２２２が選んだトピック毎言語モデル、およびその親ノードに対応する言語モデルを参照し、それぞれ独立に音声認識を行い、認識結果単語列を算出し、両者を比較した上で、いずれかスコアの高い方を選択して出力する。選択２３４は、汎用音声認識２２０およびトピック別音声認識２２４がそれぞれ出力した認識結果を比較し、いずれかスコアの高い方を選択して出力する。
【特許文献１】特開２００２−２２９５８９号公報
【特許文献２】特開２００４−１９８５９７号公報
【特許文献３】特開２００２−０９１４８４号公報
【非特許文献１】三品、山本著「確率的ＬＳＡに基づくｎｇｒａｍモデルの変分ベイズ学習を利用した文脈適応化」電子情報通信学会論文誌、第Ｊ８７−Ｄ−ＩＩ巻、第７号、２００４年７月、ｐｐ．１４０９−１４１７
【発明の開示】
【発明が解決しようとする課題】
【００１２】
第１の問題点は、話題ごとに用意した複数個の言語モデルのすべてを、それぞれ個別に参照して音声認識を行った場合、標準的な性能の計算機を用いて現実的な処理時間内で認識結果を得ることができないということである。【００１３】
その理由は、前述の特許文献１に記載の本願発明に関連する音声認識装置では、話題の種類、すなわち言語モデルの個数に比例して、音声認識処理を行う回数が増大するためである。【００１４】
第２の問題点は、入力音声に応じて特定の話題に関する言語モデルのみを選択的に用いる場合、入力音声が含む話題の内容によっては、話題を正確に推定できない場合があり、その場合、言語モデルの適応化に失敗し、高い認識精度が得られないということである。【００１５】
その理由は、話題、つまり文章の内容が、元来確定的に決められるものではない、すなわち曖昧性を有するものであり、また、話題には一般的なものと特殊なものがあるように、話題の広さには様々なレベルがあり得るためである。【００１６】
例えば、国際政治関連の話題に関する言語モデルと、スポーツ関連の話題に関する言語モデルを持っている場合、国際政治に関して話された音声や、スポーツに関して話された音声から話題を推定することは一般に可能であるが、「国家間の政治情勢の悪化によりオリンピックをボイコットする」というような話題は、国際政治の話題とスポーツ関連の話題の両方を含む。このような話題に関して話された音声は、いずれの言語モデルからも遠い位置にあり、話題の推定をしばしば誤る。【００１７】
前述の特許文献２に記載の本願発明に関連する音声認識装置では、階層構造のリーフノードに位置する言語モデル、すなわちもっとも詳細な話題のレベルで作成された言語モデルの中から１つの言語モデルを選択しているため、上述のような話題の推定誤りを生じることがある。【００１８】
また、非特許文献１に記載の本願発明に関連する音声認識装置では、最尤推定法等の手法により、複数個の言語モデルを所定の混合比で混ぜ合わせるものではあるが、理論上は、１つの入力音声には単一の話題が含まれる（シングルトピック）という仮定をおいているため、複数の話題にまたがった入力（マルチトピック）への対応には限界がある。【００１９】
さらに、本願発明に関連する音声認識装置は、話題の詳細度のレベルが想定と異なる場合にも、正確な話題の推定が困難となる。例えば「イラク戦争」に関する話題は「中東情勢」に関する話題に概ね包含されるであろう。この場合、「イラク戦争」の詳細度レベルの言語モデルを備えている場合、より広い話題である「中東情勢」に関して話された音声が入力された場合、入力音声と言語モデルとの間の距離が遠くなるため、話題の推定が困難となる。逆に、広い話題の言語モデルを備えている場合に、狭い話題に関して話された音声が入力された場合にも、同様の問題が生じる。【００２０】
第３の問題点は、入力音声に応じて特定の話題に関する言語モデルのみを選択的に用いる場合、入力音声の話題を推定する際の判断材料である初期の認識結果が誤認識を多く含む場合、話題を正確に推定できず、結果として言語モデルの適応化に失敗し、高い認識精度が得られないということである。【００２１】
その理由は、初期の認識結果中に認識誤りが多い場合、本来の話題とは無関係な語が頻繁に現れて、それらが話題の正確な推定を妨げるためである。【００２２】
本発明の代表的な(exemplary)目的は、ある内容に関して話された音声に対して、その内容が単一の話題のみからなる（シングルトピック）か複数の話題からなる（マルチトピック）かによらず、かつ話題の詳細度のレベルによらず、また認識結果の信頼性が低い場合でも、言語モデルを適切に適応化させることにより、標準的な性能の計算機において現実的な処理時間内で、高い認識精度を達成することのできる音声認識装置を提供することにある。
【課題を解決するための手段】
【００２３】
本発明の代表的(exemplary)な第１の観点によれば、話題の種類と詳細度に応じて階層的に構成された複数個の言語モデルを記憶する階層言語モデル記憶手段と、或る話題について話された入力音声に対する仮の認識結果と前記言語モデルの間の類似度を計算するテキスト−モデル類似度計算手段と、前記認識結果の信頼度を計算する認識結果信頼度計算手段と、前記類似度、前記信頼度、および前記言語モデルが属する階層の深さに基づいて前記入力音声の話題に対応する言語モデルを前記階層言語モデル記憶手段から少なくとも１つ選択する話題推定手段と、前記話題推定手段が選択した言語モデルを混合して前記入力音声の話題に適応した１つの言語モデルを生成する話題適応手段とを備えることを特徴とする音声認識装置が提供される。
【発明の効果】
【００２４】
第１の効果は、あらゆる話題に関して話された音声が入力される場合でも、標準的な性能の計算機を用いて、現実的な処理時間内で精度の高い音声認識結果を得られることにある。
その理由は、話題の種類と詳細度に応じて階層的に構成された言語モデルを、入力音声に応じて適切に選択し混合した１つの言語モデルを用いて音声認識を行うためである。
第２の効果は、入力音声の属する話題が、複数の話題にまたがる場合や、話題の詳細度レベルが変動する場合でも、精度の高い音声認識結果を得られることにある。
その理由は、話題の種類と詳細度に応じて階層的に構成された言語モデルから、入力音声の仮の認識結果と類似性の高いものを、話題別言語モデル間の関係性も考慮しつつ選択して音声認識に使用するためである。
第３の効果は、入力音声の仮認識結果の信頼性、すなわち認識精度が低い場合でも、頑健に話題を推定し精度の高い音声認識結果を得られることにある。
その理由は、話題の種類と詳細度に応じて階層的に構成された言語モデルから言語モデルを選択する際に、仮認識結果の信頼度を考慮して話題の詳細度を制御し、適切な言語モデルを選択して音声認識に使用するためである。
【図面の簡単な説明】
【００２５】
【図１】本発明の代表的(exemplary)な第１の発明を実施するための最良の形態の構成を示すブロック図である。
【図２】本願発明に関連する技術の一例の構成を示すブロック図である。
【図３】本願発明に関連する技術の一例の構成を示すブロック図である。
【図４】本願発明に関連する技術の一例の構成を示すブロック図である。
【図５】本願発明に関連する技術の一例の構成を示すブロック図である。
【図６】本発明の代表的(exemplary)な第１の発明を実施するための最良の形態の構成を示すプロック図である。
【図７】本発明の代表的(exemplary)な第１の発明を実施するための最良の形態の動作を示す流れ図である。
【図８】本発明の代表的(exemplary)な第２の発明を実施するための最良の形態の構成を示すブロック図である。
【符号の説明】
【００２６】
１１    第一音声認識手段
１２    認識結果信頼度計算手段
１３    テキスト−モデル類似度計算手段
１４    モデル−モデル類似度記憶手段
１５    階層言語モデル記憶手段
１６    話題推定手段
１７    話題適応手段
１８    第二音声認識手段
３１    音響分析手段
３２    単語列探索手段
３３    言語モデル混合手段
３４１    言語モデル記憶手段
３４２    言語モデル記憶手段
３４ｎ    言語モデル記憶手段
１５００    汎用言語モデル
１５０１〜１５１８    話題別言語モデル
８１    入力装置
８２    音声認識用プログラム
８３    データ処理装置
８４    記憶装置
８４０    階層言語モデル記憶部
８４２    モデル−モデル類似度記憶部
Ａ１    音声信号読み込み
Ａ２    汎用言語モデル読み込み
Ａ３    仮認識結果算出
Ａ４    認識結果信頼度算出
Ａ５    認識結果−言語モデル間類似度計算
Ａ６    言語モデル選択
Ａ７    言語モデル混合
Ａ８    最終認識結果算出
【発明を実施するための最良の形態】
【００２７】
以下、図面を参照して本発明を実施するための代表的(exemplary)な最良の形態について詳細に説明する。【００２８】
本発明の音声認識装置は、話題をその種類と詳細度に応じて階層的に表現したグラフ構造と、グラフの各ノードに関連付けられた言語モデルを記憶する階層言語モデル記憶手段（図１の１５）と、入力音声が属する話題を推定するための仮認識結果を算出する第一音声認識手段（図１の１１）と、前記仮認識結果の正しさの度合である信頼度を算出する認識結果信頼度計算手段（図１の１２）と、前記仮認識結果と前記階層言語モデル記憶手段に記憶された言語モデルの間の類似度を計算するテキスト−モデル類似度計算手段（図１の１３）と、前記階層言語モデル記憶手段に記憶された各言語モデルの間の類似度を記憶するモデル−モデル類似度記憶手段（図１の１４）と、前記認識結果信頼度計算手段、テキスト−モデル類似度計算手段、およびモデル−モデル類似度計算手段からそれぞれ得られる信頼度や類似度を用いて、入力音声が含む話題に対応する言語モデルを前記階層言語モデル記憶手段から少なくとも１つ選択する話題推定手段（図１の１６）と、前記話題推定手段が選択した言語モデルを混合して１つの言語モデルを生成する話題適応手段（図１の１７）と、前記話題適応手段が生成した言語モデルを参照して音声認識を行い認識結果単語列を出力する第二音声認識手段とを備え、前記仮認識結果の内容、信頼度、および用意された言語モデル間の関係性を考慮して、入力音声の話題内容に適応した１つの言語モデルを生成するよう動作する。このような構成を採用し、入力音声の話題内容に適した言語モデルで音声認識を行うことにより本発明の目的を達成することができる。【００２９】
図１を参照すると、本発明の第１の実施の形態は、第一音声認識手段１１と、認識結果信頼度計算手段１２と、テキスト−モデル類似度計算手段１３と、モデル−モデル類似度記憶手段１４と、階層言語モデル記憶手段１５と、話題推定手段１６と、話題適応手段１７と、第二音声認識手段１８とから構成されている。【００３０】
これらの手段はそれぞれ概略つぎのように動作する。【００３１】
階層言語モデル記憶手段１５は、話題の種類と詳細度に応じて階層的に構成された話題別言語モデルを記憶する。図６は階層言語モデル記憶手段１５の一例を概念的に示した図である。すなわち、階層言語モデル記憶手段１５は、様々な話題に対応した言語モデル１５００〜１５１８を備える。各言語モデルは公知のＮグラム言語モデル等である。これらの言語モデルは、話題の詳細度によって上位または下位の階層に位置付けられている。図中、矢印で結ばれた言語モデルは、例えば先述の「中東情勢」と「イラク戦争」の例のように、話題に関して上位概念（矢印の元）と下位概念（矢印の先）の関係にある。矢印で結ばれた言語モデル間には、モデル−モデル類似度記憶手段１４に関連して後述するように、何らかの数学的定義による類似度もしくは距離が付随していてもよい。なお、最上位に位置する言語モデル１５００は、最も広い話題をカバーする言語モデルであり、ここでは特に汎用言語モデルと呼ぶ。【００３２】
階層言語モデル記憶手段１５に含まれる言語モデルは、事前に用意された言語モデル学習用テキストコーパスから作成しておく。作成方法については、例えば特許文献３に記載されているように、木構造クラスタリングによってコーパスを逐次分割し、分割単位ごとに言語モデルを学習する方法、あるいは、前出の非特許文献１に記載されている確率的ＬＳＡを用いてコーパスを幾通りかの詳細度で分割し、分割単位（クラスタ）ごとに言語モデルを学習する方法、などを用いることが可能である。前出の汎用言語モデルとは、コーパス全体を用いて学習された言語モデルのことである。【００３３】
モデル−モデル類似度記憶手段１４は、前記階層言語モデル記憶手段１５に記憶された言語モデルのうち、階層的に上下の関係に位置する言語モデルの間の類似度もしくは距離の値を記憶する。類似度や距離の定義としては、例えば、カルバック・ライブラのダイバージェンスや相互情報量、パープレキシティ、あるいは前出の特許文献２に記載されている正規化クロスパープレキシティを距離として用いるのでもよいし、正規化クロスパープレキシティを符号反転したものや逆数を類似度と定義してもよい。【００３４】
第一音声認識手段１１は、階層言語モデル記憶手段１５に記憶された適当な言語モデル、例えば汎用言語モデル１５００を用いて、入力音声の発声内容に含まれる話題を推定するための仮認識結果単語列を算出する。ここに第一音声認識手段１１は、入力音声から音響的特徴量を抽出する音響分析手段や、前記音響的特徴量と最もマッチする単語列を探索する単語列探索手段、音素等の各認識単位について音響的特徴量の標準パタンすなわち音響モデルを記憶する音響モデル記憶手段等、音声認識を行うために必要な公知の手段を内部に備えている。【００３５】
認識結果信頼度計算手段１２は、第一音声認識手段１１が出力する認識結果の正しさの度合いを示す信頼度を計算する。信頼度の定義は、認識結果単語列全体としての正しさの程度、すなわち認識率を反映したものであれば何でもよく、例えば第一音声認識手段１１が認識結果単語列とともに算出する音響スコアと言語スコアを、所定の重み係数をかけて加算したスコアとすればよい。あるいは、第一音声認識手段１１が、１位認識結果だけでなく上位Ｎ位までの認識結果（Ｎベスト認識結果）や、Ｎベスト認識結果を包含した単語グラフを出力可能な場合は、上述のスコアを確率値として解釈可能なように、適当に正規化した量として定義することも可能である。【００３６】
テキスト−モデル類似度計算手段１３は、第一音声認識手段１１が出力する認識結果（テキスト）と、階層言語モデル記憶手段１５に記憶された各言語モデルとの類似度を計算する。類似度の定義については、前述したモデル−モデル類似度記憶手段１４において、言語モデル間で定義された類似度と同様であり、パープレキシティ等を距離として、その符号反転や逆数を類似度と定義すればよい。【００３７】
話題推定手段１６は、認識結果信頼度計算手段１２およびテキスト−モデル類似度計算手段１３の出力を受け、また必要に応じてモデル−モデル類似度記憶手段１４を参照して、入力音声に含まれる話題を推定し、話題に対応した言語モデルを階層言語モデル記憶手段１５から少なくとも１つ選択する。すなわち、言語モデルを一意に特定するインデクスをｉとし、一定の条件を満たすｉを選択する。【００３８】
具体的な選択方法としては、テキスト−モデル類似度計算手段１３が出力する認識結果と言語モデルｉの類似度をＳ１（ｉ）、モデル−モデル類似度記憶手段１４に記憶された言語モデルｉと言語モデルｊの類似度をＳ２（ｉ，ｊ）、言語モデルｉの階層の深さをＤ（ｉ）、認識結果信頼度計算手段１２が出力する信頼度をＣとして、例えば、
条件１：Ｓ１（ｉ）＞Ｔ１
条件２：Ｄ（ｉ）＜Ｔ２（Ｃ）
条件３：Ｓ２（ｉ，ｊ）＞Ｔ３
なる条件を設定する。ここにＴ１およびＴ３は事前に決められたしきい値、Ｔ２（Ｃ）は信頼度Ｃに依存して決まるしきい値であり、信頼度Ｃが大きいほどＴ２（Ｃ）が大きくなるような単調増加関数（比較的低次の多項式関数や指数関数など）であることが望ましい。上記条件を用いて、次の規則で言語モデルを選択する。
１．条件１および条件２を満たす言語モデルｉはすべて選択する。
２．前項で選ばれたすべての言語モデルｉに関して、条件３を満たす言語モデルｊを、言語モデルｉの上位または下位の階層からすべて選択する。【００３９】
なお、条件１、２、３の意味は次の通りである。条件１：言語モデルｉが認識結果と近い話題を含む、条件２：言語モデルｉが汎用言語モデルに近い、すなわち広い話題を含む、条件３：言語モデルｊが（条件１および２を満たす）言語モデルｉと近い話題を含む。【００４０】
上述の条件１、３において、Ｓ１（ｉ）、Ｓ２（ｉ，ｊ）はそれぞれ前出のテキスト−モデル類似度計算手段１３、モデル−モデル類似度記憶手段１４によって計算された値である。また、階層の深さＤ（ｉ）については、例えば、最上位階層（汎用言語モデル）の深さは０、その直下の階層の深さは１、…というように単純な自然数として与えることができる。あるいは、階層の深さＤ（ｉ）については、モデル−モデル類似度記憶手段１４に記憶されている言語モデル間の類似度を用いて、Ｄ（ｉ）＝Ｓ２（０，ｉ）というような実数値として与えることもできる。ただし汎用言語モデルのインデクスを０としている。また、仮に言語モデルｉの属する階層が汎用言語モデルの階層と離れており、Ｓ２（０，ｉ）の値がモデル−モデル類似度記憶手段１４に記憶されていない場合には、隣接階層のように十分近い階層間の言語モデル間の類似度を積算することにより計算可能である。【００４１】
条件1に関しては、右辺のしきい値T1を、第一音声認識手段11で使用した言語モデルに応じて変化させてもよい、すなわち、条件1': S1(i)>T1(i,i0)ここにi0は、第一音声認識手段11で使用した言語モデルを特定するインデクスであり、T1(i,i0)は、着目している言語モデルiと、第一音声認識手段11で使用した言語モデルの類似度から、例えばT1(i,i0)=ρ×S2(i,i0)+μのように決める。ρは正定数である。このようにしきい値T1を制御することにより、話題推定手段16が、入力音声の内容によらず言語モデルi0またはそれに近いモデルを選ぶという傾向を軽減することが可能となる。【００４２】
話題適応手段１７は、話題推定手段１６で選択された言語モデルを混合し、１つの言語モデルを生成する。混合の方法は、例えば線形結合とすればよい。その際の混合比は、単純には各言語モデルに等分配すればよい、すなわち、混合する言語モデルの個数の逆数を混合係数とすればよい。あるいは、前記条件１および２によって一次的に選ばれた言語モデルの混合比を重く、前記条件３によって二次的に選ばれた言語モデルの混合比を軽く設定しておくというような方法も考えられる。【００４３】
なお、話題推定手段１６および話題適応手段１７については、上記とは別の形態も可能である。上記の形態では、話題推定手段１６は、言語モデルを選択する／しないという離散的な（２値の）結果を出力するように動作するが、連続的な結果（実数値）を出力するような形態も可能である。具体的な例としては、前述の条件１〜３の条件式を線形結合した数１のｗｉの値を計算して出力すればよい。言語モデルは、ｗｉの値をしきい値判定ｗ＞ｗ０にかけることにより選択される。
【数１】
0005212910.tif 000002
ここにα、β、γは正定数である。話題適応手段１７は、上記のような話題推定手段１６の出力ｗｉを受けて、これを言語モデル混合時の混合比として利用する。すなわち、数２に従って言語モデルを生成する。
【数２】
0005212910.tif 000003
ここに左辺のＰ（ｔ｜ｈ）は、Ｎグラム言語モデルの一般的な表式であり、直前の単語履歴ｈを条件としたときに単語ｔが出現する確率であり、ここでは第二音声認識手段１８が参照する言語モデルに相当する。また、右辺のＰｉ（ｔ｜ｈ）は、左辺のＰ（ｔ｜ｈ）と同様の意味を持つが、階層言語モデル記憶手段１５に記憶された個々の言語モデルに対応する。ｗ０は前出の話題推定手段１６における言語モデル選択のしきい値である。【００４４】
数1のT1については、条件1'右辺に示したのと同様、第一音声認識手段11で使用した言語モデルに応じて変化させる形、すなわちT1(i,i0)とすることも可能である。【００４５】
第二音声認識手段１８は、話題適応手段１７が生成した言語モデルを参照して、入力音声に対して第一音声認識手段１１と同様の音声認識を行い、得られる単語列を最終的な認識結果として出力する。【００４６】
なお本実施の形態においては、第二音声認識手段１８は、第一音声認識手段１１とは別個に備える構成とする代わりに、第一音声認識手段１１および第二音声認識手段１８を共通化した構成としてもよい。その場合は、順次入力される音声信号に対し、逐次的、オンライン的に言語モデルが適応化されるように動作する。すなわち、ある１文、１文章などの入力音声に対して、第二音声認識手段１８が出力した認識結果に基づいて、認識結果信頼度計算手段１２、テキスト−モデル類似度計算手段１３、話題推定手段１６、話題適応手段１７は、モデル−モデル類似度記憶手段１４、階層言語モデル記憶手段１５を参照して、言語モデルを生成する。生成された言語モデルを参照して、第二音声認識手段１８は、後続の１文、１文章などの音声認識を行い、認識結果を出力する。以上の動作を入力音声の終端までくり返す。【００４７】
次に、図１および図７のフローチャートを参照して本実施の形態の全体の動作について詳細に説明する。【００４８】
まず、第一音声認識手段１１は入力音声を読み込み（図７のステップＡ１）、階層言語モデル記憶手段１５に記憶された言語モデルのいずれか、望ましくは汎用言語モデル（図６の１５００）を読み込み（ステップＡ２）、図示しない音響モデルを読み込み、仮の音声認識結果単語列を算出する（ステップＡ３）。次に、認識結果信頼度計算手段１２は、前記仮音声認識結果から認識結果の信頼度を算出し（ステップＡ４）、テキスト−モデル類似度計算手段１３は、階層言語モデル記憶手段１５に記憶された各言語モデルについて、仮の認識結果との類似度を計算する（ステップＡ５）。さらに、話題推定手段１６は、前記認識結果の信頼度、言語モデルと仮の認識結果の類似度、およびモデル−モデル類似度記憶手段１４に記憶された言語モデル間の類似度を参照し、前述の規則に基づいて、階層言語モデル記憶手段１５に記憶された言語モデルから少なくとも１つの言語モデルを選択する、あるいは、言語モデルに重み係数を設定する（ステップＡ６）。続いて、話題適応手段１７が、選択し、重み係数を設定した言語モデルを混合し、１つの言語モデルを生成する（ステップＡ７）。最後に、第二音声認識手段１８は、話題適応手段１７が生成した言語モデルを用いて、第一音声認識手段１１と同様の音声認識を行い、得られた単語列を最終認識結果として出力する（ステップＡ８）。【００４９】
なお、ステップＡ１とＡ２は入替え可能である。さらに、音声信号がくり返し入力されることがわかっている場合は、最初の音声信号読み込み（ステップＡ１）の前に一度だけ言語モデル読み込み（ステップＡ２）を行えばよい。また、ステップＡ４とステップＡ５の順序も入替え可能である。【００５０】
次に、本実施の形態の効果について説明する。【００５１】
本実施の形態では、話題の種類と詳細度に応じて階層的に構成された言語モデルから、言語モデル間の関係性や仮の認識結果の信頼度を考慮して言語モデルを選択して混合し、生成された言語モデルを用いて入力音声の話題に適応した音声認識を行うというように構成されているため、入力音声の内容が複数の話題にまたがる場合や、話題の詳細度レベルが変動する場合、あるいは仮の認識結果に誤りが多く含まれている場合においても、標準的な計算機を用いて現実的な処理時間内で精度の高い認識結果を得ることができる。【００５２】
次に、本発明の代表的(exemplary)な第２の発明を実施するための最良の形態について図面を参照して詳細に説明する。【００５３】
図８を参照すると、本発明の代表的(exemplary)な第２の発明を実施するための最良の形態は、第１の発明を実施するための最良の形態をプログラムにより構成した場合に、そのプログラムにより動作されるコンピュータの構成図である。【００５４】
当該プログラムは、データ処理装置８３に読み込まれ、データ処理装置８３の動作を制御する。データ処理装置８３は音声認識用プログラム８２の制御により、入力装置８１から入力される音声信号に対し、以下の処理、すなわち第１の実施の形態における第一音声認識手段１１、認識結果信頼度計算手段１２、テキスト−モデル類似度計算手段１３、話題推定手段１６、話題適応手段１７、および第二音声認識手段１８による処理と同一の処理を実行する。【００５５】
本発明の代表的(exemplary)な第２の観点によれば、階層的に構成された複数個の言語モデルを記憶する階層言語モデル記憶手段と、入力音声に対する仮の認識結果と前記言語モデルの間の類似度を計算するテキスト−モデル類似度計算手段と、前記言語モデル間の類似度を記憶するモデル−モデル類似度記憶手段と、前記仮の認識結果と前記言語モデルの間の類似度、前記言語モデル間の類似度、および前記言語モデルが属する階層の深さに基づいて、前記階層言語モデルを少なくとも１つ選択する話題推定手段と、前記話題推定手段が選択した言語モデルを混合して１つの言語モデルを生成する話題適応手段とを備えることを特徴とする音声認識装置が提供される。【００５６】
本発明の代表的(exemplary)な第３の観点によれば、階層的に構成された複数個の言語モデルを記憶する階層言語モデル記憶手段を参照する参照ステップと、入力音声に対する仮の認識結果と前記言語モデルの間の類似度を計算するテキスト−モデル類似度計算ステップと、前記認識結果の信頼度を計算する認識結果信頼度計算ステップと、前記類似度、前記信頼度、および前記言語モデルが属する階層の深さに基づいて、前記言語モデルを少なくとも１つ選択する話題推定ステップと、前記話題推定ステップで選択した言語モデルを混合して１つの言語モデルを生成する話題適応ステップと、を備えることを特徴とする音声認識方法が提供される。【００５７】
本発明の代表的(exemplary)な第４の観点によれば、階層的に構成された複数個の言語モデルを記憶する階層言語モデル記憶ステップと、入力音声に対する仮の認識結果と前記言語モデルの間の類似度を計算するテキスト−モデル類似度計算ステップと、前記言語モデル間の類似度を記憶するモデル−モデル類似度記憶ステップと、前記仮の認識結果と前記言語モデルの間の類似度、前記言語モデル間の類似度、および前記言語モデルが属する階層の深さに基づいて、前記階層言語モデルを少なくとも１つ選択する話題推定ステップと、前記話題推定ステップが選択した言語モデルを混合して１つの言語モデルを生成する話題適応ステップと、を備えることを特徴とする音声認識方法が提供される。【００５８】
本発明の代表的(exemplary)な第５の観点によれば、階層的に構成された複数個の言語モデルを記憶する階層言語モデル記憶手段を参照する参照ステップと、入力音声に対する仮の認識結果と前記言語モデルの間の類似度を計算するテキスト−モデル類似度計算ステップと、前記認識結果の信頼度を計算する認識結果信頼度計算ステップと、前記類似度、前記信頼度、および前記言語モデルが属する階層の深さに基づいて、前記言語モデルを少なくとも１つ選択する話題推定ステップと、前記話題推定ステップで選択した言語モデルを混合して１つの言語モデルを生成する話題適応ステップと、を備えることを特徴とする音声認識方法をコンピュータに行わせるための音声認識用プログラムが提供される。【００５９】
本発明の代表的(exemplary)な第６の観点によれば、階層的に構成された複数個の言語モデルを記憶する階層言語モデル記憶ステップと、入力音声に対する仮の認識結果と前記言語モデルの間の類似度を計算するテキスト−モデル類似度計算ステップと、前記言語モデル間の類似度を記憶するモデル−モデル類似度記憶ステップと、前記仮の認識結果と前記言語モデルの間の類似度、前記言語モデル間の類似度、および前記言語モデルが属する階層の深さに基づいて、前記階層言語モデルを少なくとも１つ選択する話題推定ステップと、前記話題推定ステップが選択した言語モデルを混合して１つの言語モデルを生成する話題適応ステップと、を備えることを特徴とする音声認識方法をコンピュータに行わせるための音声認識用プログラムが提供される。【００６０】
本発明の代表的な実施形態が詳細に述べられたが、様々な変更(changes)、置き換え(substitutions)及び選択(alternatives)が請求項で定義された発明の精神と範囲から逸脱することなくなされることが理解されるべきである。また、仮にクレームが出願手続きにおいて補正されたとしても、クレームされた発明の均等の範囲は維持されるものと発明者は意図する。
【産業上の利用可能性】
【００６１】
本発明によれば、音声信号をテキスト化する音声認識装置や、音声認識装置をコンピュータに実現するためのプログラムといった用途に適用できる。また、音声入力をキーとして種々の情報検索を行う情報検索装置や、音声を伴う映像コンテンツにテキストインデクスを自動付与して検索することができるコンテンツ検索装置、録音された音声データの書き起こし支援装置、といった用途にも適用可能である。
【図１】
0005212910.tif 000004
【図２】
0005212910.tif 000005
【図３】
0005212910.tif 000006
【図４】
0005212910.tif 000007
【図５】
0005212910.tif 000008
【図６】
0005212910.tif 000009
【図７】
0005212910.tif 000010
【図８】
0005212910.tif 000011