(57)【特許請求の範囲】
【請求項１】
複数の話題単語と、その各話題単語と各一般の単語との関連度とがそれぞれ格納されている話題抽出モデルを用いて、
入力された音声の連続音声認識結果の単語の系列の内容を表す話題単語を抽出する方法において、
上記話題抽出モデル中の各話題単語ごとに、これと上記入力単語系列の各単語との関連度を上記話題抽出モデルを参照して求めて関連度系列をそれぞれ作り、
これらの各関連度系列の各関連度の和を求めて上記単語系列に対する各話題単語の関連度を求め、
これらの単語系列に対する関連度中の大きいものから順にQ個（Qは１以上の整数）のものとそれぞれ対応する話題単語を出力する話題抽出方法であって、
各単語の上記認識時の音響的な尤度と対応した値と言語的な尤度と対応した値の双方に基づいて各単語の認識尤度を求め、
上記各単語の音響的な尤度と対応した値と言語的な尤度と対応した値との差分値を求め、
上記各単語に対応する差分値が大きいほど認識尤度が低くなる重みを上記各単語の認識尤度に与えたものを各単語の信頼度とし、
上記話題抽出モデルの各話題単語と上記単語系列の各単語との関連度に対して、対応する各単語の上記信頼度により重み付けを行って上記各関連度の和を求めることを特徴とする話題抽出方法。
【請求項２】
上記連続音声認識時の音響的な尤度及び言語的な尤度をそれぞれある指定した値域の中の値をとるように変換して上記音響的尤度と対応した値及び言語的尤度と対応した値とする請求項１に記載の話題抽出方法。
【請求項３】
連続音声認識時の音響的な尤度または言語的な尤度Ｐｋが最大値Ｌmax 、最小値Ｌminをとるとき、尤度Ｐｋを最大値Ｓmaxと最小値Ｓminとの間の値をとるように下記式（１）を用いて変換してｓｋを得て、それを上記尤度と対応した値として用いる請求項２記載の話題抽出方法。
ｓｋ＝（（Ｐｋ−Ｌmin）／（Ｌmax−Ｌmin））・（Ｓmax−Ｓmin）+Ｓmin・・・（１）
【請求項４】
連続音声認識時に得られる複数の上位候補の単語系列を上記入力単語系列とすることを特徴とする請求項１乃至３の何れかに記載の話題抽出方法。
【請求項５】
入力された音声を、音響モデル及び言語モデルを参照して連続的に音声認識し、その認識結果として単語系列を得、
この単語系列の各単語の上記認識時の音響的な尤度と対応した値と、言語的な尤度と対応した値との双方に基づいて各単語の認識尤度を求め、
上記各単語の音響的尤度と対応した値と言語的尤度と対応した値との差分値を求め、
上記各単語に対応する差分値が大きいほど認識尤度が低くなる重みを上記各単語の認識尤度に与えたものを各単語の信頼度とし、
入力された音声を連続的に音声認識して単語系列を得、
複数の話題単語と、その各話題単語と各一般の単語との関連度とがそれぞれ格納されている話題抽出モデルを参照して、その各話題単語ごとに、上記認識結果の単語系列の各単語との関連度に対し、対応する各単語の上記信頼度により重み付けを行った関連度をそれぞれ求めて関連度系列を作り、
これらの各関連度系列の各関連度の和を求めて、その大きいものから順にQ個（Qは１以上の整数）のものを入力音声の話題単語として出力する各過程を
コンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項６】
上記連続音声認識時の音響的な尤度及び言語的な尤度をそれぞれある指定した値域の中の値をとるように変換して上記音響的尤度と対応した値及び上記言語的尤度と対応した値とする過程を含むことを特徴とする請求項５に記載の記録媒体。
【請求項７】
上記尤度と対応した値を得る過程は、上記連続音声認識時の音響的な尤度または言語的な尤度Ｐｋが最大値Ｌmax 、最小値Ｌminをとるとき、尤度Ｐｋを最大値Ｓmaxと最小値Ｓminとの間の値をとるように下記式（１）を用いて変換してｓｋを得て、それを上記尤度と対応した値とする過程であることを特徴とする請求項６記載の記録媒体。
ｓｋ＝（（Ｐｋ−Ｌmin）／（Ｌmax−Ｌmin））・（Ｓmax−Ｓmin）+Ｓmin・・・（１）
【請求項８】
上記連続音声認識時に得られる複数の上位候補の単語系列を上記入力単語系列とすることを特徴とする請求項５乃至７の何れかに記載の記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、連続発声された音声に対してその内容を表す話題を抽出する方法、及びそのプログラム記録媒体に関する。
【０００２】
【従来の技術】
連続発声された音声に対して連続音声認識を行い、その結果の単語系列から、音声の内容を表す複数の単語の組み合わせを抽出する話題抽出では、大量のテキストデータを用いて学習された確率モデルに基づいて、音声の内容を表す単語（話題単語）が抽出される。例えば、
今井，小林，安藤，“話題混合モデルによる日本語ニュースからの話題抽出”、日本音響学会平成９年度秋季研究発表会、３−１−７，ｐｐ．９９−１００。
【０００３】
大附，松岡，松永，古井，“ニュース音声を対象とした連続音声認識に基づく話題抽出”、日本音響学会平成９年度秋季研究発表会、３−１−８，ｐｐ．１０１−１０２。
特願平９−１６０９５４号
などに示されている。
【０００４】
この連続発声された音声の話題単語の抽出を簡単に述べる。図２に示すように入力音声は音響モデル、言語モデルを参照して連続音声認識される（Ｓ１）、その認識結果として単語系列が得られる。この単語系列の各単語の、話題単語に対する関連度を話題抽出モデルを参照して求められ、関連度系列が各話題単語ごとに作られる（Ｓ２）。つまり話題単語モデルには例えば図３Ａに示すように、話題単語ｔ１  と単語Ｗ１１，Ｗ１２，Ｗ１３，・・・との各関連度ｒ１１１，ｒ１１２，ｒ１１３，・・・が格納され、話題単語ｔ２  と単語Ｗ２１，Ｗ２２，Ｗ２３，・・・との各関連度ｒ２２１，ｒ２２２，ｒ２２３，・・・が格納され、以下同様に各話題単語ごとに、各単語との関連度が格納されている。
【０００５】
連続音声認識の結果の単語系列が例えば図３Ｂに示すように、Ｗ１，Ｗ２，・・・Ｗｎであった場合、話題単語抽出モデルを参照して、その話題単語ｔ１  と単語系列の単語Ｗ１との関連度がｒ１１、単語Ｗ２との関連度がｒ１２と、・・・単語Ｗｎとの関連度がｒ１ｎと求めて関連度系列を得、また同様に話題単語ｔ２  と単語系列の単語Ｗ１，Ｗ２，・・・Ｗｎとの各関連度がｒ２１，ｒ２２，・・・ｒ２ｎと求めて関連度系列を得、同様にして全ての話題単語について単語系列の各単語との関連度を求めて関連度系列を得る。
【０００６】
これら各話題単語ｔ１  ・・・ｔＭ  ことの関連度系列における関連度の和、つまり、ｔ１  についてＲ１  ＝Σｋ＝１  ｎ  ｒ１ｋ  ，ｔ２  についてＲ２  ＝Σｋ＝１  ｎ  ｒ２ｋ
・・・を求められて、単語系列Ｗ１，Ｗ２，・・・Ｗｎに対する各話題単語ｔ１  ，ｔ２  ・・・の関連度Ｒ１  ，Ｒ２  ・・・を得る（Ｓ３）。この話題単語関連度Ｒ１  ，Ｒ２  ・・・から大きいのから順にＱ個（Ｑは１以上の整数）が、その入力音声に対する話題単語として出力される（Ｓ４）。
【０００７】
上述したように従来の話題抽出法は、連続音声認識結果が誤りを含むにもかかわらず、認識されたすべての単語を均等の重みで扱っていた。
【０００８】
【発明が解決しようとする課題】
従来の連続音声認識に基づく話題抽出方法では、音声認識結果として得られる単語系列の各単語をすべて均等の重みで扱っていた。放送ニュースの連続音声認識結果には、１０％〜３０％ほどの認識誤り単語が含まれるが、それらの誤り単語も正しく認識された単語と同じ重みで扱われるために、それらの誤り単語によって話題抽出性能が低下していた。
【０００９】
この発明の目的は、音声認識結果の各単語の確からしさによって単語を扱う重みを変えることにより、誤り単語の話題抽出への影響を小さくし、話題抽出性能を改善した話題抽出方法を提供することにある。
【００１０】
【課題を解決するための手段】
この発明の話題抽出方法では、入力音声の連続音声認識結果から、単語系列、各単語の音響的な尤度、各単語の言語的な尤度を得、各話題単語と単語系列中の各単語との関連度に対して、各単語の尤度に基づいて得られる信頼度による重み付けをした上で話題単語ごとの関連度系列を得、これら単語系列の関連度中の大きいものと対応する話題単語を入力音声に対する話題として出力する。
【００１１】
【発明の実施の形態】
音声認識時の尤度に基づく重み係数を用いたこの発明の実施例の話題抽出の方法を図１を参照して説明する。
まず各単語の尤度に基づいて信頼度を得る方法を説明する。連続音声認識（Ｓ１）時に得られる単語の尤度には、音響的な確からしさを表す音響尤度と、言語的な確からしさを表す言語尤度とがある。音素ＨＭＭ（隠れマルコフモデル）による音響モデル（Ｓ２）と、単語ｎ−ｇｒａｍ言語モデル（Ｓ３）を用いた連続音声認識システムの場合には、各単語の音響尤度として、音素ＨＭＭを連結した単語モデルに、その単語の音声区間のパラメータを入力した際に各分析フレームにおいて得られる尤度の累積値が得られる。言語尤度としては、単語ｂｉｇｒａｍの場合には、先行単語の次に当該単語の出現する確率、単語ｔｒｉｇｒａｍの場合には、先先行単語、先行単語に続いて当該単語が出現する確率に基づく尤度が得られる。認識の際には、これらの２種類の尤度を音響モデルと言語モデルとのバランスをとるための重み付けで加算（対数領域）したものが単語の尤度となり、累積尤度が最大となるような単語系列が認識結果として出力される。
【００１２】
認識結果として得られるのは、単語系列全体の尤度が最大となる単語系列（Ｓ４）であるため、各単語に着目すると尤度に局所的な落ち込みのあるものがある。また単語尤度は高くても、音響尤度は高いが言語尤度が低い、またはその逆の場合が考えられる。音響尤度または言語尤度が低い単語は信頼度が低く誤りである可能性が高い。
【００１３】
音響尤度（Ｓ５）は前記のように単語の音声区間で累積した値であるために、区間長の異なる単語間同士の比較に用いることができない。そこで、単語の音響尤度を区間長（分析フレーム数）で正規化（Ｓ６）することにより、一分析フレームあたりの音響尤度（正規化音響尤度）を得ることができる。放送ニュース音声１４２文の連続音声認識結果の単語系列に対して正規化音響尤度を求めると、最大値は５４．９１、最小値は１２．７６になった。この値をそのまま信頼度として用いると扱いにくいため、式（１）を用いて重み係数ｓｋ  に変換（Ｓ７）する。
【００１４】
ｓｋ  ＝（（Ｐｋ  −Ｌｍｉｎ  ）／（Ｌｍａｘ  −Ｌｍｉｎ  ））・（Ｓｍａｘ  −Ｓｍｉｎ  ）＋Ｓｍｉｎ  …（１）
つまり尤度Ｐｋ  が最大値Ｌｍａｘ  と最小値Ｌｍｉｎ  との間をとるとき、尤度Ｐｋ  が最大値Ｓｍａｘ  と最小値Ｓｍｉｎ  との間をとるように変換する。
正規化音響尤度ａを最大値１，最小値０となるような重み係数ｗａ  に変換する式は次式のようになる。
【００１５】
ｗａ  ＝［（ａ−１２．７６）／（５４．９１−１２．７６）］  ・（１−０）＋０      …（２）
言語尤度は単語が出現する確率に基づく値であるので、区間長による正規化の必要はない。言語尤度（Ｓ８）も音響尤度と同様に式（１）を用いて最大値１，最小値０となるような重み係数に変換することができる。
次にこの重み係数を用いて話題抽出を行う方法を説明する。話題抽出モデルＳ１０には各話題単語と、その単語系列における各単語との関連度がそれぞれ格納されている。従ってこの話題抽出モデルＳ１０を参照して、各話題単語の、単語系列に対する関連度は、従来技術の項で述べたように、各話題単語ｔｊ  に対する単語系列Ｗ中の各単語ｗｋ  との関連度ｒｋｊの和Ｒ（Ｗ，ｔｊ  ）として次式のように求められる。
【００１６】
Ｒ（Ｗ，ｔｊ  ）＝Σｋ＝１  ｎ  ｒｋｊ                        …（３）
ｎは単語系列Ｗの単語数
従来の話題抽出では、この単語系列に対する関連度の大きい話題単語を関連度の大きなものから複数抽出する。
この発明による各単語の尤度に基づく重み係数ｓｋ  を用いた話題抽出では、単語系列中の各単語の関連度ｒｋｊに対して重み付けｓｋ  を行い、次式のように関連度の和を求める（Ｓ９）。
【００１７】
Ｒ（Ｗ，ｔｊ  ）＝Σｋ＝１  ｎ  ｓｋ  ｒｋｊ                    …（４）
また、音響重み係数ａｋ  と言語重み係数ｂｋ  の積を単語の重み係数として次式のように関連度の和を求めることもできる。
Ｒ（Ｗ，ｔｊ  ）＝Σｋ＝１  ｎ  （ａｋ  ｂｋ  ）・ｒｋｊ          …（５）
このように音響重み係数ａｋ  、言語重み係数ｂｋ  を用いて話題抽出を行うことにより、音響尤度や言語尤度が低くなっている認識誤りの単語に対する関連度を低く見積もることができ、認識誤り単語による話題抽出の性能劣化を抑えることができる。
【００１８】
さらに、入力単語系列として、連続音声認識結果の上位複数の単語系列候補を用いることにより、複数候補中に安定して現れる正解単語に重み付けした話題抽出を行うことができる。また上述の説明から明らかなように、各単語の認識時における信頼度による重み付けとして、言語的尤度、音響的尤度に基づき、計算した値を用いたが、これら尤度自体を用いてもよく、上記例以外の変換形式により変形した値を用いてもよい。更に言語的尤度と音響的尤度との差が大きい場合は、その単語の認識尤度は低いと考えられ、これら両尤度と対応した値の差を用いて、この差が大きい程、信頼度が低くなる重みを関連度に与えてもよい。
【００１９】
【発明の効果】
評価は、放送ニュース音声の２万語彙の大語彙連続音声認識システムによる音声認識結果に対して、この発明の評価を行った。評価用音声の書き起こし文に対して３人の被験者が人手で付与した話題を評価対象とした。話題単語を１０単語抽出した場合の適合率（抽出した話題単語のうち、正解の話題単語の割合）は、重み係数を用いない場合に６２．４％であったが、この発明を適用し、音響重みを用いた場合は、６３．１％、言語重みを用いた場合は６６．９％、とそれぞれ向上し、更に単語重み（音響重みと言語重みの積）を用いた場合は６８．３％と重み係数を用いることにより改善された。
【００２０】
音声認識結果の上位１０位までの単語系列に対して単語重みを用いて話題抽出を行うと、さらに改善がみられ、１０単語抽出の場合、認識誤りによって低下した話題抽出性能の５５．６％を回復することができた。
この発明によれば、音声認識結果の単語系列中の各単語の音響尤度、言語尤度を話題単語と単語間の関連度に対する重み付けに用いることにより、認識誤りを含む単語系列から正確な話題抽出を行うことができるという利点がある。
【００２１】
つまり、各単語の信頼度を考慮することが可能であり、信頼度の低い単語の重み係数を小さくすることにより、音声認識結果の単語系列の各単語を均等の重みで扱う話題抽出方法に比べ、正確な話題が抽出できるという利点がある。
【図面の簡単な説明】
【図１】この発明の話題抽出方法を示す流れ図。
【図２】従来の話題抽出方法を示す流れ図。
【図３】Ａは話題抽出モデルの例を示す図、Ｂは単語系列と、各話題単語に対する関連度系列との例を示す図である。
【図１】
0003591695.tif 000002
【図２】
0003591695.tif 000003
【図３】
0003591695.tif 000004