(57)【要約】【課題】認識精度を向上する。【解決手段】音声認識装置１０は複数の話者を事前にグループ分けした一方のグループに属する第一話者と他方のグループに属する第二話者との会話音声を認識する。第１認識処理部１３０Ａは音響モデルと言語モデルとを用いて第一話者の音声を認識する。翻訳トピックモデル生成部１４０は対話コーパスから翻訳トピックモデルを求める。単語生起確率算出部１５０は第一話者音声の認識結果と翻訳トピックモデルとを用いて第二話者の単語生起確率を算出する。言語モデル適応部１６０は単語生起確率を用いて言語モデルから適応言語モデルを求める。第２認識処理部１３０Ｂは音響モデルと適応言語モデルとを用いて第二話者の音声を認識する。【選択図】図１
2014025955.tif 000002
【特許請求の範囲】
【請求項１】
複数の話者を事前にグループ分けし、一方のグループに属する第一話者と他方のグループに属する第二話者との会話音声を認識する音声認識装置であって、
前記一方のグループに属する話者と前記他方のグループに属する話者との会話音声を書き起こした対話コーパスを記憶する対話コーパス記憶部と、
言語モデルを記憶する言語モデル記憶部と、
音響モデルを記憶する音響モデル記憶部と、
前記音響モデルと前記言語モデルとを用いて、前記第一話者の音声を認識して第一話者認識結果を求める第１認識処理部と、
前記対話コーパスから前記第一話者の発話内容を前記第二話者の発話内容に変換する翻訳トピックモデルを求める翻訳トピックモデル生成部と、
前記第一話者認識結果と前記翻訳トピックモデルとを用いて、前記第二話者の単語生起確率を算出する単語生起確率算出部と、
前記単語生起確率を用いて、前記言語モデルから適応言語モデルを求める言語モデル適応部と、
前記音響モデルと前記適応言語モデルとを用いて、前記第二話者の音声を認識して第二話者認識結果を求める第２認識処理部と、
を備えることを特徴とする音声認識装置。
【請求項２】
請求項１に記載の音声認識装置であって、
P(zi)はトピックziの生起確率であり、P(wa,n|zi)は前記第一話者におけるトピックzi下での単語wnの生起確率であり、P(wb,n|zi)は前記第二話者におけるトピックzi下での単語wnの生起確率であり、P(zi,da)は前記第一話者認識結果da下でのトピックziの生起確率であり、
前記翻訳トピックモデルは、前記生起確率P(zi)と前記正規確率P(wa,n|zi)と前記正規確率P(wb,n|zi)とを含み、
前記単語生起確率算出部は、以下の式により前記単語生起確率P(wb,n|da)を算出する
【数４】
2014025955.tif 000006
ことを特徴とする音声認識装置。
【請求項３】
請求項１または２に記載の音声認識装置であって、
あらかじめ定められたキーワードを記憶するキーワード記憶部と、
前記第一話者認識結果もしくは前記対話コーパスを入力とし、入力されたテキストに含まれる前記キーワードを抽出したキーワード列を出力するキーワード抽出部と、
を備えることを特徴とする音声認識装置。
【請求項４】
請求項３に記載の音声認識装置であって、
前記キーワードは、前記第一話者認識結果におけるtf-idf値の高い単語を選択したものである
ことを特徴とする音声認識装置。
【請求項５】
請求項１から４のいずれかに記載の音声認識装置であって、
前記第一話者認識結果からあらかじめ定めた閾値よりも認識信頼度が高い単語のみを抽出する高信頼度単語抽出部
を備え、
前記第１認識処理部は、前記第一話者認識結果に対応する前記認識信頼度を出力する
ことを特徴とする音声認識装置。
【請求項６】
請求項１から５のいずれかに記載の音声認識装置であって、
複数の音声を入力とし、前記言語モデルと前記音響モデルを用いて、複数の入力音声それぞれを認識して暫定認識結果と暫定認識信頼度を出力する暫定認識処理部と、
前記暫定認識信頼度を用いて、前記入力音声ごとの文書信頼度を推定する信頼度推定部と、
前記文書信頼度を用いて、前記入力音声から前記第一話者の音声と前記第二話者の音声を決定する適応処理判定部と、
を備えることを特徴とする音声認識装置。
【請求項７】
複数の話者を事前にグループ分けし、一方のグループに属する第一話者と他方のグループに属する第二話者との会話音声を認識する音声認識方法であって、
音響モデルと言語モデルとを用いて、前記第一話者の音声を認識して第一話者認識結果を求める第１認識処理ステップと、
前記一方のグループに属する話者と前記他方のグループに属する話者との会話音声を書き起こした対話コーパスから前記第一話者の発話内容を前記第二話者の発話内容に変換する翻訳トピックモデルを求める翻訳トピックモデル生成ステップと、
前記第一話者認識結果と前記翻訳トピックモデルとを用いて、前記第二話者の単語生起確率を算出する単語生起確率算出ステップと、
前記単語生起確率を用いて、前記言語モデルから適応言語モデルを求める言語モデル適応ステップと、
前記音響モデルと前記適応言語モデルとを用いて、前記第二話者の音声を認識して第二話者認識結果を求める第２認識処理ステップと、
を含むことを特徴とする音声認識方法。
【請求項８】
請求項１から６のいずれかに記載の音声認識装置としてコンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、入力音声中の発話内容をテキストに変換する音声認識技術に関する。
【背景技術】
【０００２】
音声認識とは、音声をテキストに変換するメディア処理技術である。音声認識は入力音声に対して音素列の特徴を規定する音響モデルと、単語列としての語順の確からしさを規定する言語モデルの両方を用いて処理を行う。
【０００３】
２人の話者による対話音声に対して音声認識を行う場合、話者毎に別々に分離した音声に対してそれぞれ独立に音声認識を行うことで、話者毎の音声認識結果であるテキストを得ることができる。従来の対話音声の音声認識を行う技術は、例えば、特許文献１に開示されている。特許文献１に記載の音声認識装置は、一方の話者Ａの発話内容を含む音声信号から得られる特徴量と音響モデルと適応前の言語モデルを用いて音声認識を行い、その認識結果Ａ’と適応前の言語モデルを用いて適応後の言語モデルを求め、他方の話者Ｂの発話内容を含む音声信号から得られる特徴量と音響モデルと適応後の言語モデルを用いて音声認識を行い、認識結果Ｂ’を求める。
【０００４】
従来の対話音声に対する音声認識技術では、特定の場面における対話音声を認識する場合に、一方の話者の認識精度が高く、他方の話者の認識精度が低い場合があった。例えば、コールセンタなどでオペレータと顧客との対話音声を認識する際、オペレータは話し方が丁寧で音声の収録状況も良いため認識率が高いが、顧客は話し方がラフであり音声の収録状況も悪いため認識率が低い傾向がある。
【０００５】
この問題に対する解決方法として非特許文献１に記載の技術が考えられている。非特許文献１には、音声認識精度を改善することを目的として、教師なしの言語モデル適応により言語モデルの性能を向上させる手法が記載されている。非特許文献１に記載の教師なし言語モデル適応手法は以下のように処理を行う。まず、話題非依存のベースラインコーパスから作成したベースライン言語モデルを使用して入力音声の認識を行う。次に、その認識結果に出現した単語からキーワードを抽出し、そのキーワードから検索クエリを構成する。その検索クエリで検索エンジンを用いてインターネットからWWWページを取得し、取得したWWWページからテキストのフィルタリングと整形を行って、WWWコーパスを作成する。そして、ベースラインコーパスとWWWコーパスから新たに適応言語モデルを作成し、その適応言語モデルを用いて入力音声の認識を行う。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１１−１０７３１４号公報
【非特許文献】
【０００７】
【非特許文献１】増村亮，伊藤仁，伊藤彰則，牧野正三, “WWWを利用した有効な検索クエリ構成による言語モデル教師なし適応効果”, 日本音響学会2009年秋季研究発表会講演論文集, 2-1-1, 2009.
【発明の概要】
【発明が解決しようとする課題】
【０００８】
非特許文献１に記載の手法では、ベースライン言語モデルによる認識精度が低いと言語モデルの適応に用いるキーワードの抽出精度も併せて低下するため適応効果が得られない場合がある。ベースライン言語モデルによる認識結果に誤認識が多く含まれた場合には、適応言語モデルによる認識精度が低下することもある。
【０００９】
また、同じトピックについて話していても話者間で出現する単語の傾向が異なる場合がある。例えば、上述のコールセンタの例では、オペレータが「住所変更」と話していた場合に、顧客は「引越し」とだけ語っている場合もある。これによりオペレータの認識結果は認識精度が高く、これを用いて言語モデル適応を行なったとしても、顧客音声の認識では十分な精度が得られない場合がある。
【００１０】
この発明はこのような点に鑑みてなされたものであり、対話音声の音声認識において一方の話者の認識率が高く他方の話者の認識率が低い場合に、認識率が低い話者の認識率を向上することができる音声認識技術を提供することを目的とする。
【課題を解決するための手段】
【００１１】
上記の課題を解決するために、この発明の音声認識装置は、複数の話者を事前にグループ分けし、一方のグループに属する第一話者と他方のグループに属する第二話者との会話音声を認識する。音声認識装置は対話コーパス記憶部と言語モデル記憶部と音響モデル記憶部と第１認識処理部と翻訳トピックモデル生成部と単語生起確率算出部と言語モデル適応部と第２認識処理部とを備える。対話コーパス記憶部は、一方のグループに属する話者と他方のグループに属する話者との会話音声を書き起こした対話コーパスを記憶する。言語モデル記憶部は、言語モデルを記憶する。音響モデル記憶部は、音響モデルを記憶する。第１認識処理部は、音響モデルと言語モデルとを用いて、第一話者の音声を認識して第一話者認識結果を求める。翻訳トピックモデル生成部は、対話コーパスから第一話者の発話内容を第二話者の発話内容に変換する翻訳トピックモデルを求める。単語生起確率算出部は、第一話者認識結果と翻訳トピックモデルとを用いて、第二話者の単語生起確率を算出する。言語モデル適応部は、単語生起確率を用いて、言語モデルから適応言語モデルを求める。第２認識処理部は、音響モデルと適応言語モデルとを用いて、第二話者の音声を認識して第二話者認識結果を求める。
【発明の効果】
【００１２】
対話の特性を活かした言語制約を与えることで、言語モデルの性能が上がり、音声認識精度が向上する。特に、一方の話者の認識率が高いが他方の話者の認識率が低い場合に、認識率が高い話者の発話内容を踏まえた言語制約を与えることで、認識率が低い話者の認識率が向上する。
【図面の簡単な説明】
【００１３】
【図１】第１実施形態に係る音声認識装置の機能構成を例示する図。
【図２】第１実施形態に係る音声認識装置の処理フローを例示する図。
【図３】第２実施形態に係る音声認識装置の機能構成を例示する図。
【図４】第２実施形態に係る音声認識装置の処理フローを例示する図。
【図５】第３実施形態に係る音声認識装置の機能構成を例示する図。
【図６】第３実施形態に係る音声認識装置の処理フローを例示する図。
【図７】変形例に係る音声認識装置の機能構成を例示する図。
【図８】変形例に係る音声認識装置の処理フローを例示する図。
【図９】第４実施形態に係る音声認識装置の機能構成を例示する図。
【図１０】第４実施形態に係る音声認識装置の処理フローを例示する図。
【発明を実施するための形態】
【００１４】
以下、この発明の実施の形態について詳細に説明する。なお、図面中において同じ機能を有する構成部には同じ番号を付し、重複説明を省略する。
【００１５】
［発明のポイント］
実施形態の説明に先立ち、この発明のポイントについて説明する。
【００１６】
従来の音声認識技術では、N-gramによって表現された言語モデルを用いて言語制約を与えることは一般的に行われていたが、対話の特性を考慮した言語制約を与えることは行われていなかった。
【００１７】
対話においては互いの発話内容に強い関係性があり、ある話者が発話した内容を受けて、もう一方の話者の発話内容は制限されると考えられる。この点を考慮してこの発明では、対話音声を認識する際に一方の話者の発話内容を用いて他方の話者の発話内容に対する言語制約を与える。
【００１８】
その際に、一方の話者の認識結果に出現したN-gram確率を直接言語モデルに適応するのではなく、一方の話者の認識結果に表れるN-gram確率から翻訳手法を利用して他方の話者のN-gram確率に変換して、言語モデルに適応する。これにより、認識精度の高い話者の認識結果から認識精度の低い話者の言語モデルの生成を行うことが可能となり、認識精度の低い話者における認識精度の改善効果が得られる。
【００１９】
［第１実施形態］
＜概要＞
この発明の第１実施形態に係る音声認識装置１０は、認識率が高い第一話者Ａと認識率が低い第二話者Ｂとの対話音声を認識し、第一話者認識結果Ａ’と第二話者認識結果Ｂ’を出力する。上述のコールセンタで利用される例に当てはめると、第一話者Ａがオペレータに該当し、第二話者Ｂが顧客に該当する。
【００２０】
＜構成＞
図１を参照して、この実施形態に係る音声認識装置１０の構成例を説明する。音声認識装置１０は、入力端子１０１Ａ，１０１Ｂと音声信号取得部１１０Ａ，１１０Ｂと特徴量分析部１２０Ａ，１２０Ｂと第１認識処理部１３０Ａと第２認識処理部１３０Ｂと翻訳トピックモデル生成部１４０と単語生起確率算出部１５０と言語モデル適応部１６０と対話コーパス記憶部２１０と翻訳トピックモデル記憶部２２０と言語モデル記憶部２３０と音響モデル記憶部２４０と適応言語モデル記憶部２５０とを備える。
【００２１】
対話コーパス記憶部２１０と翻訳トピックモデル記憶部２２０と言語モデル記憶部２３０と音響モデル記憶部２４０と適応言語モデル記憶部２５０は、例えば、ＲＡＭ（Random Access Memory）などの主記憶装置、ハードディスクや光ディスクもしくはフラッシュメモリ（Flash Memory）などの半導体メモリ素子により構成される補助記憶装置などにより構成することができる。
【００２２】
＜音声認識処理＞
図２を参照して、音声認識装置１０の動作例を、実際に行われる手続きの順に従って説明する。
【００２３】
対話コーパス記憶部２１０には、あらかじめ対話コーパスが記憶されている。対話コーパスは、事前に対話における役割に応じてグループ分けされた話者に対し（コールセンタの例ではオペレータグループと顧客グループ）、一方のグループに属する話者と他方のグループに属する話者との会話音声の書き起こし対（コールセンタの例ではオペレータと顧客の会話の書き起こし対）からなるパラレルコーパスである。パラレルコーパスとは、翻訳の分野では対訳コーパスと呼ばれ、それぞれ異なる言語で記述された２つの文が対訳の形でまとめられたコーパスである。
【００２４】
言語モデル記憶部２３０には、あらかじめ言語モデルが記憶されている。言語モデルは汎用言語モデルであってもよいし、例えばコールセンタ用などの利用場面に特化して構築された言語モデルであってもよい。利用場面に特化した言語モデルを用いれば第一話者Ａの音声の認識結果は認識率がより高くなる。第一話者Ａの音声の認識結果の認識率が高ければ、これを利用した言語モデルの適応効果は高くなり、適応言語モデルを用いた第二話者Ｂの音声の認識率も高くなると考えられる。
【００２５】
音響モデル記憶部２４０には、あらかじめ音響モデルが記憶されている。音響モデルは様々なモデル化手法が提案されている。後述する音声認識処理方法に依存するため、利用する音声認識処理方法に対応して利用する音響モデルを決定すればよい。
【００２６】
入力端子１０１Ａを介して第一話者Ａのアナログ音声信号が音声信号取得部１１０Ａに入力される。第一話者Ａは、複数の話者を事前に対話における役割に応じてグループ分けした一方のグループに属する話者である。上述のコールセンタにおける利用場面に当てはめると、第一話者Ａはオペレータに該当する。音声信号取得部１１０Ａは、入力された第一話者Ａのアナログ音声信号をディジタル音声信号に変換する（Ｓ１１０Ａ）。
【００２７】
第一話者Ａのディジタル音声信号は特徴量分析部１２０Ａに入力される。特徴量分析部１２０Ａは、入力された第一話者Ａのディジタル音声信号から音響特徴量を抽出する（Ｓ１２０Ａ）。抽出する特徴量としては、例えば、MFCC(Mel-Frequent Cepstrum Coefficient)の１〜１２次元と、その変化量であるΔMFCCなどの動的パラメータや、パワーやΔパワーなどを用いる。また、CMN(ケプストラム平均正規化)処理を行なってもよい。特徴量は、MFCCやパワーに限定したものではなく、音声認識に用いられるパラメータを用いてもよい。特徴量を抽出する方法についての詳細は、例えば「古井貞煕、“音響・音声工学”、近代科学社、1992年9月（参考文献１）」を参照されたい。
【００２８】
第一話者Ａの音声の特徴量は第１認識処理部１３０Ａに入力される。第１認識処理部１３０Ａは、言語モデル記憶部２３０に記憶されている言語モデルと、音響モデル記憶部２４０に記憶されている音響モデルとを用いて、第一話者Ａの音声の特徴量を音声認識し、第一話者認識結果Ａ’を生成する（Ｓ１３０Ａ）。具体的な認識処理方法は、例えば、参考文献１に記載の方法を適用することができる。
【００２９】
翻訳トピックモデル生成部１４０は、対話コーパス記憶部２１０に記憶されている対話コーパスから、第一話者Ａの発話内容を第二話者Ｂの発話内容に変換する翻訳トピックモデルを求める（Ｓ１４０）。翻訳トピックモデルは、具体的には以下の３つの確率値から構成される。
１．第一話者Ａにおけるトピックzi下での単語wnの生起確率P(wa,n|zi)
２．第二話者Ｂにおけるトピックzi下での単語wnの生起確率P(wb,n|zi)
３．トピックziの生起確率P(zi)
【００３０】
翻訳トピックモデルを生成する方法は多く提案されているが、例えば、Polylingual Topic Model(PLTM)などを適用することができる。
【００３１】
生成された翻訳トピックモデルは翻訳トピックモデル記憶部２２０に記憶される。ただし、必ずしも翻訳トピックモデルを翻訳トピックモデル記憶部２２０に記憶しなくともよく、翻訳トピックモデル生成部１４０が生成した翻訳トピックモデルを単語生起確率算出部１５０へ直接入力するように構成してもよい。
【００３２】
第１認識処理部１３０Ａが生成する第一話者認識結果Ａ’は、単語生起確率算出部１５０へ入力される。単語生起確率算出部１５０は、第一話者認識結果Ａ’と翻訳トピックモデル記憶部２２０に記憶された（もしくは翻訳トピックモデル生成部１４０から入力される）翻訳トピックモデルとを用いて、第二話者Ｂの単語生起確率を算出する（Ｓ１５０）。第二話者Ｂの単語生起確率P(wb,n|da)は、以下の式により算出することができる。
【００３３】
【数１】
2014025955.tif 000003
【００３４】
ただし、P(zi|da)は文書内トピック確率であり、第一話者認識結果da下でのトピックziの生起確率である。文書内トピック確率の計算方法は多く提案されており、例えば、Probabilistic Latent Semantic Analysis(PLSA)やLatent Dirichlet Allocation(LDA)などを適用することができる。
【００３５】
第二話者Ｂの単語生起確率P(zi,da)は言語モデル適応部１６０へ入力される。言語モデル適応部１６０は、単語生起確率P(zi,da)を用いて、言語モデル記憶部２３０に記憶されている言語モデルから適応言語モデルを生成する（Ｓ１６０）。言語モデルの適応方法は多く提案されているが、例えば、Unigram Rescalingなどを適用することができる。Unigram RescalingはunigramモデルをN-gramモデルに適応する方法である。Unigram Rescalingにより単語生起確率P(zi,da)からN-gram確率を推定することができる。
【００３６】
Unigram Rescalingについてより詳細に説明する。この言語モデル適応手法の原理は、適応前のベースとなる言語モデルと適応後の言語モデルのN-gram確率の比はunigram確率の比に近似できるという考えに基づいて、適応後のunigram確率から適応後のN-gram確率を算出するものである。Unigram Rescalingはunigram確率から汎用的にN-gram確率を推定することができるが、音声認識の分野では主にtrigram確率の言語モデルが用いられるため、ここではtrigram確率の推定方法を説明する。ベース言語モデルのtrigram確率をP(wn|wn-2,wn-1)とし、ベース言語モデルのunigram確率をP(wn)とし、適応言語モデルのtrigram確率をP_da(wn|wn-2,wn-1)とし、適応言語モデルのunigram確率をP(wn|da)とし、Unigram Rescaling係数をαとする。適応言語モデルのtrigram確率P_da(wn|wn-2,wn-1)は以下の式により計算することができる。
【００３７】
【数２】
2014025955.tif 000004
【００３８】
生成された適応言語モデルは適応言語モデル記憶部２５０に記憶される。ただし、必ずしも適応言語モデルを適応言語モデル記憶部２５０に記憶する必要はなく、言語モデル適応部１６０が生成した適応言語モデルを第２認識処理部１３０Ｂへ直接入力するように構成してもよい。
【００３９】
入力端子１０１Ｂを介して第二話者Ｂのアナログ音声信号が音声信号取得部１１０Ｂに入力される。第二話者Ｂは、第一話者Ａの属するグループとは異なるグループに属する話者である。上述のコールセンタにおける利用場面に当てはめると、第二話者Ｂは顧客に該当する。音声信号取得部１１０Ｂは、入力された第二話者Ｂのアナログ音声信号をディジタル音声信号に変換する（Ｓ１１０Ｂ）。
【００４０】
第二話者Ｂのディジタル音声信号は特徴量分析部１２０Ｂに入力される。特徴量分析部１２０Ｂは、入力された第二話者Ｂのディジタル音声信号から音響特徴量を抽出する（Ｓ１２０Ｂ）。抽出する特徴量は特徴量分析部１２０Ａの抽出する特徴量と同様であるので、ここでは説明を省略する。
【００４１】
第二話者Ｂの音声の特徴量は第２認識処理部１３０Ｂに入力される。第２認識処理部１３０Ｂは、適応言語モデル記憶部２５０に記憶された（もしくは言語モデル適応部１６０から入力される）適応言語モデルと、音響モデル記憶部２４０に記憶されている音響モデルとを用いて、第二話者Ｂの音声の特徴量を音声認識し、第二話者認識結果Ｂ’を生成する（Ｓ１３０Ｂ）。具体的な認識処理方法は、第１認識処理部１３０Ａと同様に、例えば、参考文献１に記載の方法を適用することができる。
【００４２】
＜効果＞
このように第１実施形態に係る音声認識装置１０は、第一話者Ａの音声を認識した第一話者認識結果Ａ’を用いてトピックを推定し、対話コーパスから生成した翻訳トピックモデルを用いて、そのトピック下における第二話者Ｂの単語生起確率を算出する。算出した単語生起確率に基づいて言語モデルの適応を行い、その適応言語モデルを用いて第二話者Ｂの音声を認識する。つまり認識率の低い第二話者Ｂの音声を認識する際に、対話のトピックを言語制約として与えることで、第二話者Ｂの音声の認識率が向上する。
【００４３】
特に、コールセンタにおけるオペレータと顧客の対話音声を認識する場合には、顧客音声の収録環境が悪く音響モデルの効果に期待できない。このような場合には従来の音声認識技術では認識率は低くなるが、この発明によれば認識率の向上が期待できる。
【００４４】
＜その他＞
なお、音声認識装置１０は、入力端子１０１Ａ，１０１Ｂから、アナログ音声信号ではなくディジタル音声信号を受け取ってもよい。また、外部記憶媒体や通信装置からディジタル音声信号を受け取ることもできる。この場合には、音声認識装置１０に音声入力端子１０１Ａ、１０１Ｂや音声信号取得部１１０Ａ、１１０Ｂを設けなくともよい。
【００４５】
この実施形態では、コールセンタにおけるオペレータと顧客の対話音声を認識する場合について説明したが、それ以外の対話音声であってもよいし、さらに会話音声であってもよい。話者が３人以上の場合には、適応前の言語モデルによる認識率が最も高くなることが期待される話者（例えば、収音環境等が整っている話者や、話す速度や単語、文法等が適切である話者など）のグループを第一話者Ａとし、適応前の言語モデルによる認識率が低くなると予想される話者（例えば、雑音等が多い収音環境にいる話者、話す速度が速い話者、用いる単語や文法に誤りがある話者など）のグループを第二話者Ｂとして、会話の特性を考慮し、この実施形態と同様に言語モデルを会話内容に合うように適応させることができる。
【００４６】
なお、音声認識装置１０は、必ずしも第一話者認識結果Ａ’を出力しなくともよい。例えば、コールセンタにおいて、顧客の発話内容のみをテキストデータとして記録したい場合などには、第二話者認識結果Ｂ’のみを出力、保存する構成としてもよい。
【００４７】
［第２実施形態］
＜概要＞
一般的に音声認識結果には、トピックに関係する単語以外にも口調や話者性などを表す単語などが含まれている。第１実施形態ではこれらの口調や話者性などを表す単語などを含めた音声認識結果全体を用いて言語モデル適応を行なっていたが、このように構成すると第一話者Ａと第二話者Ｂとで口調や話者性が異なる場合に誤った適応効果を得てしまう場合がある。そこで第２実施形態では言語モデル適応を行う際に事前に定めたキーワードに対してのみ適応を行う。このように構成することで誤った適応を実施することを防止することができ、事前に定めたキーワードのみの認識精度が向上することができる。
【００４８】
＜構成＞
図３を参照して、この実施形態に係る音声認識装置２０の構成例を説明する。音声認識装置２０は、第１実施形態に係る音声認識装置１０と同様に、入力端子１０１Ａ，１０１Ｂと音声信号取得部１１０Ａ，１１０Ｂと特徴量分析部１２０Ａ，１２０Ｂと第１認識処理部１３０Ａと第２認識処理部１３０Ｂと翻訳トピックモデル生成部１４０と単語生起確率算出部１５０と言語モデル適応部１６０と対話コーパス記憶部２１０と翻訳トピックモデル記憶部２２０と言語モデル記憶部２３０と音響モデル記憶部２４０と適応言語モデル記憶部２５０とを備える。音声認識装置２０はさらに、キーワード抽出部１７０Ａ，１７０Ｂとキーワード記憶部２６０を備える。
【００４９】
キーワード記憶部２６０は、例えば、ＲＡＭ（Random Access Memory）などの主記憶装置、ハードディスクや光ディスクもしくはフラッシュメモリ（Flash Memory）などの半導体メモリ素子により構成される補助記憶装置などにより構成することができる。
【００５０】
＜音声認識処理＞
図４を参照して、音声認識装置２０の動作例を、実際に行われる手続きの順に従って説明する。
【００５１】
キーワード記憶部２６０には、事前に定められたキーワードが記憶されている。キーワードはトピックに関連する単語であることが望ましい。例えば、品詞情報を用いて「名詞・動詞・形容詞」をキーワードとし、助詞や助動詞などトピックに関係ない可能性の高い単語はキーワードから除外することが考えられる。
【００５２】
また、キーワードの選定にtf-idfなどの手法を用いてもよい。すなわち、第一話者認識結果Ａ’に含まれる単語について、第一話者認識結果におけるその単語の出現数をtfi,jとし、対話コーパスに含まれる対話テキストをドキュメントとしてその単語が含まれるドキュメント数をdfiとし、ドキュメントの総数をNとして、以下の式によりtf-idf値を算出する。
【００５３】
【数３】
2014025955.tif 000005
【００５４】
算出したtf-idf値の高い単語をキーワードとして選定する。キーワードの選定基準は、tf-idf値の降順に所定の単語数を選定してもよいし、所定のtf-idf値以上である単語をすべてキーワードとして選定してもよい。多くの対話テキストに出現する単語は一般的な単語であると考えられるので、トピックとの関連においては重要ではない可能性が高い。tf-idf値によるキーワード選定を行うことで、よりトピックに関連のある単語のみをキーワードとして得られる効果がある。
【００５５】
キーワード抽出部１７０Ａは、対話コーパス記憶部２１０に記憶されている対話コーパスから、キーワード記憶部２６０に記憶されている事前に定められたキーワードを抽出し、キーワード列を出力する（Ｓ１７０Ａ）。抽出したキーワード列は翻訳トピックモデル生成部１４０へ出力される。翻訳トピックモデル生成部１４０は、対話コーパスの替わりにキーワード抽出部１７０Ａが出力するキーワード列を用いて、翻訳トピックモデルを求める（Ｓ１４０）。
【００５６】
キーワード抽出部１７０Ｂは、第１認識処理部１３０Ａが出力する第一話者認識結果Ａ’から、キーワード記憶部２６０に記憶されている事前に定められたキーワードを抽出し、キーワード列を出力する（Ｓ１７０Ｂ）。抽出したキーワード列は単語生起確率算出部１５０へ出力される。単語生起確率算出部１５０は、第一話者認識結果Ａ’の替わりにキーワード抽出部１７０Ｂが出力するキーワード列を用いて、第二話者Ｂの単語生起確率を算出する（Ｓ１５０）。
【００５７】
＜効果＞
このように第２実施形態に係る音声認識装置２０は、第一話者Ａの音声を認識した第一話者認識結果Ａ’の中から事前に定めたキーワードを抽出し、抽出されたキーワードのみについて単語生起確率を算出する。このように構成することで、第一話者認識結果Ａ’に含まれているトピックと関係しない口調や話者性などを表す単語により、誤った適応が実施されることを防止することができる。結果として、事前に定めたキーワードのみの認識精度が向上することができる。
【００５８】
［第３実施形態］
＜概要＞
音声認識結果には必ず認識誤りが含まれる。第１実施形態では第一話者認識結果全体を用いて言語モデル適応を行うため、認識誤りによる単語が言語モデル適応に悪い影響を与えることが考えられる。そこで第３実施形態では音声認識を行う際に認識結果と併せて、その認識結果の確からしさを表す認識信頼度を出力し、その認識信頼度が高い単語のみを適応対象の単語とする。このように構成することで認識誤りが言語モデル適応に与える影響を抑え、より認識精度が向上することができる。
【００５９】
＜構成＞
図５を参照して、この実施形態に係る音声認識装置３０の構成例を説明する。音声認識装置３０は、第１実施形態に係る音声認識装置１０と同様に、入力端子１０１Ａ，１０１Ｂと音声信号取得部１１０Ａ，１１０Ｂと特徴量分析部１２０Ａ，１２０Ｂと第２認識処理部１３０Ｂと翻訳トピックモデル生成部１４０と単語生起確率算出部１５０と言語モデル適応部１６０と対話コーパス記憶部２１０と翻訳トピックモデル記憶部２２０と言語モデル記憶部２３０と音響モデル記憶部２４０と適応言語モデル記憶部２５０とを備える。音声認識装置３０はさらに、高信頼度単語抽出部１８０を備える。また、第１認識処理部１３０Ａの替わりに第１認識処理部１３１Ａを備える。
【００６０】
＜音声認識処理＞
図６を参照して、音声認識装置３０の動作例を、実際に行われる手続きの順に従って説明する。
【００６１】
第１認識処理部１３１Ａは、言語モデル記憶部２３０に記憶されている言語モデルと、音響モデル記憶部２４０に記憶されている音響モデルとを用いて、特徴量分析部１２０Ａが出力する第一話者Ａの音声の特徴量を音声認識し、第一話者認識結果Ａ’および対応する認識信頼度を生成する（Ｓ１３１Ａ）。認識信頼度は音声認識処理により出力される認識結果をどれだけ信頼してよいかを表す尺度であり、一般的に事後確率に基づき算出される。値は0.0〜1.0の範囲をとる。値が1.0に近いほど、最終的な認識結果との他の競合候補がほとんど無かったことを示し、値が0.0に近いほど、同程度のスコアをもつ他の候補が多く出現していたことを示す。
【００６２】
認識信頼度は高信頼度単語抽出部１８０へ入力される。高信頼度単語抽出部１８０は、第一話者認識結果Ａ’からあらかじめ定めた閾値よりも認識信頼度が高い単語のみを抽出する（Ｓ１８０）。ここで利用する閾値は評価セットを用いて第二話者の音声の認識率が最も高くなる値に設定する。上述の通り認識信頼度は0.0〜1.0の範囲をとるため、この値域にある複数の互いに異なる値それぞれについて、評価セットに含まれる第二話者音声の認識を試行し、認識精度が最もよい結果となる値を閾値として採用すればよい。評価セットは、第一話者が属するグループの話者と第二話者が属するグループの話者との対話音声と、その対話音声を書き起こした正解文から構成される。評価セットと対話コーパスとの相違点は、評価セットは対話音声と正解文の組からなるが、対話コーパスは正解文のみからなる点と、対話コーパスは多くの件数を必要とするが評価セットは対話コーパスほどの件数を必要としない点である。したがって、大量の対話音声を収集し、その対話音声を書き起こした正解文のみを対話コーパスとし、対話音声と対応する正解文とを組としてそのサブセットを評価セットとすればよい。抽出された高信頼度単語は単語生起確率算出部１５０へ入力される。単語生起確率算出部１５０は、第一話者認識結果Ａ’の替わりに高信頼度単語抽出部１８０が出力する高信頼度単語を用いて、第二話者Ｂの単語生起確率を算出する（Ｓ１５０）。
【００６３】
＜効果＞
このように第３実施形態に係る音声認識装置３０は、第一話者Ａの音声を認識した第一話者認識結果Ａ’の中から認識信頼度が高い単語を抽出し、抽出した単語のみについて単語生起確率を算出する。このように構成することで、第一話者認識結果Ａ’に含まれている認識誤りが言語モデル適応に与える影響を抑えることができる。結果として、第１実施形態に係る音声認識装置１０よりもさらに認識精度が向上することが期待できる。
【００６４】
［変形例］
＜概要＞
第２実施形態の音声認識装置２０に対して第３実施形態の考え方を適用することも可能である。すなわち認識信頼度が高い単語のうち事前に定めたキーワードのみについて言語モデル適応を行う。このように構成することで、認識信頼度は高いがトピックと関係しない口調や話者性などを表す単語による影響や、認識誤りにより事前に定めたキーワードに偶然合致したような単語による影響などを排除することができる。
【００６５】
＜構成＞
図７を参照して、この変形例に係る音声認識装置３０’の構成例を説明する。音声認識装置３０’は、第２実施形態に係る音声認識装置２０と同様に、入力端子１０１Ａ，１０１Ｂと音声信号取得部１１０Ａ，１１０Ｂと特徴量分析部１２０Ａ，１２０Ｂと第２認識処理部１３０Ｂと翻訳トピックモデル生成部１４０と単語生起確率算出部１５０と言語モデル適応部１６０とキーワード抽出部１７０Ａ，１７０Ｂと対話コーパス記憶部２１０と翻訳トピックモデル記憶部２２０と言語モデル記憶部２３０と音響モデル記憶部２４０と適応言語モデル記憶部２５０とキーワード記憶部２６０とを備える。音声認識装置３０’はさらに、高信頼度単語抽出部１８０を備える。また、第１認識処理部１３０Ａの替わりに第１認識処理部１３１Ａを備える。
【００６６】
＜音声認識処理＞
図８を参照して、音声認識装置３０’の動作例を、実際に行われる手続きの順に従って説明する。
【００６７】
第１認識処理部１３１Ａは、言語モデルと音響モデルとを用いて、第一話者Ａの音声の特徴量を音声認識し、第一話者認識結果Ａ’および対応する認識信頼度を生成する（Ｓ１３１Ａ）。認識信頼度は高信頼度単語抽出部１８０へ入力される。高信頼度単語抽出部１８０は、第一話者認識結果Ａ’からあらかじめ定めた閾値よりも認識信頼度が高い単語のみを抽出する（Ｓ１８０）。抽出した高信頼度単語はキーワード抽出部１７０Ｂへ入力される。キーワード抽出部１７０Ｂは、高信頼度単語から、キーワード記憶部２６０に記憶されているあらかじめ定められたキーワードを抽出し、キーワード列を出力する（Ｓ１７０Ｂ）。抽出したキーワード列は単語生起確率算出部１５０へ出力される。単語生起確率算出部１５０は、高信頼度単語から抽出されたキーワード列と翻訳トピックモデルとを用いて、第二話者の単語生起確率を算出する（Ｓ１５０）。
【００６８】
＜効果＞
このように変形例に係る音声認識装置３０’は、第一話者Ａの音声を認識した第一話者認識結果Ａ’のうち認識信頼度が高い単語のみから事前に定めたキーワードを抽出し、抽出したキーワードのみについて単語生起確率を算出する。このように構成することで、認識信頼度は高いがトピックと関係しない口調や話者性などを表す単語による影響や、認識誤りにより事前に定めたキーワードに偶然合致したような単語などによる影響を排除することができる。結果として、第２実施形態に係る音声認識装置２０よりもさらに認識精度が向上することができる。
【００６９】
［第４実施形態］
＜概要＞
対話音声に含まれる二者の音声のうち、事前にどちらの音声の認識精度が高いかわからない場合も考えられる。また、いずれの音声も認識率が十分に高く言語モデル適応が必要とされない場合や、いずれの音声も同程度に認識率が低く言語モデル適応が必要とされない場合も考えられる。そこで第４実施形態では事前に両者の音声を認識した暫定認識結果からそれぞれの認識精度を推定し、言語モデル適応が必要か否か、もしくはいずれの音声を第一話者Ａの音声とし、いずれの音声を第二話者Ｂの音声とするかの判定を行う。
【００７０】
＜構成＞
図９を参照して、この実施形態に係る音声認識装置４０の構成例を説明する。音声認識装置４０は、第１〜３実施形態および変形例に示した音声認識装置１０，２０，３０，３０’の構成に加えて、暫定認識処理部１３５Ａ，１３５Ｂと信頼度推定部１９０Ａ，１９０Ｂと適応処理判定部１９５とを備える。
【００７１】
＜音声認識処理＞
図１０を参照して、音声認識装置４０の動作例を、実際に行われる手続きの順に従って説明する。
【００７２】
入力端子１０１Ａを介して話者Ｘのアナログ音声信号が音声信号取得部１１０Ａに入力される。話者Ｘは複数の話者を事前に対話の役割に応じてグループ分けしたいずれかのグループに属する話者である。音声信号取得部１１０Ａは、入力された話者Ｘのアナログ音声信号をディジタル音声信号に変換する（Ｓ１１０Ａ）。
【００７３】
入力端子１０１Ｂを介して話者Ｙのアナログ音声信号が音声信号取得部１１０Ｂに入力される。話者Ｙは話者Ｘの属するグループとは異なるグループに属する話者である。音声信号取得部１１０Ｂは、入力された話者Ｙのアナログ音声信号をディジタル音声信号に変換する（Ｓ１１０Ｂ）。
【００７４】
話者Ｘのディジタル音声信号は特徴量分析部１２０Ａに入力される。特徴量分析部１２０Ａは、入力された話者Ｘのディジタル音声信号から音響特徴量を抽出する（Ｓ１２０Ａ）。抽出する特徴量は上述の他の実施形態と同様であるので、ここでは説明を省略する。
【００７５】
話者Ｙのディジタル音声信号は特徴量分析部１２０Ｂに入力される。特徴量分析部１２０Ｂは、入力された話者Ｙのディジタル音声信号から音響特徴量を抽出する（Ｓ１２０Ｂ）。抽出する特徴量は上述の他の実施形態と同様であるので、ここでは説明を省略する。
【００７６】
話者Ｘの音声の特徴量は暫定認識処理部１３５Ａに入力される。暫定認識処理部１３５Ａは、言語モデル記憶部２３０に記憶されている言語モデルと、音響モデル記憶部２４０に記憶されている音響モデルとを用いて、話者Ｘの音声の特徴量を音声認識し、暫定認識結果および対応する認識信頼度を生成する（Ｓ１３５Ａ）。具体的な認識処理方法および認識信頼度の推定方法は、上述の実施形態における第１認識処理部１３１Ａと同様であるので、ここでは説明を省略する。
【００７７】
話者Ｙの音声の特徴量は暫定認識処理部１３５Ｂに入力される。暫定認識処理部１３５Ｂは、言語モデル記憶部２３０に記憶されている言語モデルと、音響モデル記憶部２４０に記憶されている音響モデルとを用いて、話者Ｙの音声の特徴量を音声認識し、暫定認識結果および対応する認識信頼度を生成する（Ｓ１３５Ｂ）。具体的な認識処理方法および認識信頼度の推定方法は、暫定認識処理部１３５Ａと同様であるので、ここでは説明を省略する。
【００７８】
話者Ｘの認識信頼度は信頼度推定部１９０Ａへ入力される。信頼度推定部１９０Ａは、話者Ｘの認識信頼度を用いて、話者Ｘの暫定認識結果の文書信頼度を推定する（Ｓ１９０Ａ）。文書信頼度とは、文書単位の認識信頼度であり、対話音声の音声認識においては文書とは一つの対話である。単語単位の認識信頼度から文書単位の認識信頼度を推定する方法は、例えば、「浅見太一,小橋川哲,山口義和,政瀧浩和,高橋敏, “単語の文脈一貫性と音響尤度を用いた音声ドキュメント認識信頼度の推定”, 信学技報, vol. 110, no. 143, SP2010-42, pp. 43-48, 2010年7月.」に記載されている。
【００７９】
話者Ｙの認識信頼度は信頼度推定部１９０Ｂへ入力される。信頼度推定部１９０Ｂは、話者Ｙの認識信頼度を用いて、話者Ｙの暫定認識結果の文書信頼度を推定する（Ｓ１９０Ｂ）。文書信頼度の推定方法は、信頼度推定部１９０Ａと同様であるので、ここでは説明を省略する。
【００８０】
話者Ｘの文書信頼度と話者Ｙの文書信頼度は、適応処理判定部１９５へ入力される。適応処理判定部１９５は、話者Ｘの文書信頼度と話者Ｙの文書信頼度を用いて、話者Ｘの音声と話者Ｙの音声とから、いずれを第一話者Ａの音声とし、いずれを第二話者Ｂの音声とするかを決定する（Ｓ１９５）。この際、言語モデル適応処理を行う必要がないと判定した場合には、暫定認識結果を第一話者認識結果Ａ’もしくは第二話者認識結果Ｂ’として出力する。
【００８１】
適応処理判定部１９５の行う判定方法の規則を例示する。まず、話者Ｘの文書信頼度と話者Ｙの文書信頼度がいずれもあらかじめ定めた閾値より大きい場合、言語モデル適応処理を行わない。これは、いずれも既に認識率が高く言語モデルの適応効果が期待できず、処理コストが無駄になると考えられるためである。次に、話者Ｘの文書信頼度と話者Ｙの文書信頼度がいずれも閾値より小さい場合、言語モデル適応処理を行わない。これは、いずれも認識率が低いと誤った認識結果に基づいて言語モデル適応が行われるため適応効果が期待できず、むしろ認識精度が劣化する可能性すらあるためである。また、話者Ｘの文書信頼度は閾値より大きく、話者Ｙの文書信頼度は閾値より小さい場合、話者Ｘを第一話者Ａとし、話者Ｙを第二話者Ｂとして、言語モデル適応処理を行う。そして、話者Ｘの文書信頼度は閾値より小さく、話者Ｙの文書信頼度は閾値より大きい場合、話者Ｙを第一話者Ａとし、話者Ｘを第二話者Ｂとして、言語モデル適応処理を行う。
【００８２】
判定に利用する閾値は評価セットを用いて話者Ｘの音声と話者Ｙの音声の認識率が最も高くなる値に設定する。文書信頼度は文書単位での認識信頼度であり、上述の通り認識信頼度は0.0〜1.0の範囲をとるため、この値域にある複数の互いに異なる値それぞれについて、評価セットに含まれる話者Ｘの音声と話者Ｙの音声の認識を試行し、認識精度が最もよい結果となる値を閾値として採用すればよい。評価セットは、第３実施形態で高信頼度単語抽出部１８０の閾値を決定する際に用いた評価セットと同じものを利用すればよい。高信頼度単語抽出部１８０の閾値を決定する際に用いた評価セットとは異なる評価セットを別途用意してもよい。
【００８３】
適応処理判定部１９５において言語モデル適応処理を行う必要があると判定され、第一話者Ａの音声と第二話者Ｂの音声が決定された場合、上述の実施形態に示す処理が行われる。この際、第一話者認識結果Ａ’として暫定認識結果を再利用するように構成することで処理コストを低減することができる。
【００８４】
＜効果＞
このように第４実施形態に係る音声認識装置４０は、対話音声に含まれる二者の音声のうち、事前にどちらの音声の認識精度が高いかわからない場合であっても、それぞれを認識した暫定認識結果から、言語モデル適応が必要か、必要な場合にはいずれの音声を第一話者Ａとし、いずれの音声を第二話者Ｂとするかを判定する。このように構成することで、必要のない言語モデル適応を省略し処理コストを低減することができる。また、誤って認識率の低い話者を第一話者Ａとし認識率の高い話者を第二話者Ｂとして言語モデル適応を行うことにより認識精度が劣化する事態を防止することができる。
【００８５】
［プログラム、記録媒体］
この発明は上述の実施形態に限定されるものではなく、この発明の趣旨を逸脱しない範囲で適宜変更が可能であることはいうまでもない。上記実施例において説明した各種の処理は、記載の順に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。
【００８６】
また、上記実施形態で説明した各装置における各種の処理機能をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記各装置における各種の処理機能がコンピュータ上で実現される。
【００８７】
この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。
【００８８】
また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。
【００８９】
このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。そして、処理の実行時、このコンピュータは、自己の記録媒体に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。
【００９０】
また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、本装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。
【符号の説明】
【００９１】
１０，２０，３０，３０’，４０  音声認識装置
１０１Ａ，１０１Ｂ  入力端子
１１０Ａ，１１０Ｂ  音声信号取得部
１２０Ａ，１２０Ｂ  特徴量抽出部
１３０Ａ  第１認識処理部
１３０Ｂ  第２認識処理部
１３５Ａ，１３５Ｂ  暫定認識処理部
１４０  翻訳トピックモデル生成部
１５０  単語生起確率算出部
１６０  言語モデル適応部
１７０Ａ，１７０Ｂ  キーワード抽出部
１８０  高信頼度単語抽出部
１９０Ａ，１９０Ｂ  信頼度推定部
１９５  適応処理判定部
２１０  対話コーパス記憶部
２２０  翻訳トピックモデル記憶部
２３０  言語モデル記憶部
２４０  音響モデル記憶部
２５０  適応言語モデル記憶部
２６０  キーワード記憶部
【図１】
2014025955.tif 000007
【図２】
2014025955.tif 000008
【図３】
2014025955.tif 000009
【図４】
2014025955.tif 000010
【図５】
2014025955.tif 000011
【図６】
2014025955.tif 000012
【図７】
2014025955.tif 000013
【図８】
2014025955.tif 000014
【図９】
2014025955.tif 000015
【図１０】
2014025955.tif 000016