(57)【要約】【課題】この発明は、単語共起情報に基づいてテキストコーパスをクラスタリングするテキストクラスタリング方法を提供することを目的とする。【解決手段】テキスト間の距離を尺度としてテキストコーパスをクラスタリングするテキストクラスタリング方法であって、テキスト間の距離を各テキストに含まれる各単語の単語共起情報に基づいて算出する。より具体的には、テキスト間の相対距離を尺度としたｋ−ｍｅａｎｓ　法により、クラスタリングを行う。ただし、ｋ−ｍｅａｎｓ　法で必要な各クラスタの重心は、各テキストについてクラスタ内の自分以外のテキストとの距離の総和を求め、その総和距離が最小となるテキストとする。【選択図】　図３
2004109906.tif 000002
【特許請求の範囲】
【請求項１】
テキスト間の距離を尺度としてテキストコーパスをクラスタリングするテキストクラスタリング方法であって、テキスト間の距離を各テキストに含まれる各単語の単語共起情報に基づいて算出することを特徴とするテキストクラスタリング方法。
【請求項２】
テキスト中の各単語の単語共起情報を用いて、テキストコーパスをクラスタリングする第１ステップ、
第１ステップのクラスタリング結果に基づいて各クラスタに対応した言語モデルを作成する第２ステップ、
各クラスタ毎に作成した言語モデルを割り当てた認識系を並列動作させることにより、複数の認識結果を得る第３ステップ、および
得られた認識結果のうちの尤度が最大となるものを最終認識結果として選択する第４ステップ、
を備えている音声認識方法。
【請求項３】
テキスト中の各単語の単語共起情報を用いて、テキストコーパスをクラスタリングする第１ステップ、
エントロピーに基づいて、テキストコーパスをクラスタリングする第２ステップ、
第１ステップのクラスタリング結果に基づいて各クラスタに対応した言語モデルを作成する第３ステップ、
第２ステップのクラスタリング結果に基づいて各クラスタに対応した言語モデルを作成する第４ステップ、
第３ステップおよび第４ステップでそれぞれ作成された各言語モデルを割り当てた認識系を並列動作させることにより、複数の認識結果を得る第５ステップ、および
得られた認識結果のうちの尤度が最大となるものを最終認識結果として選択する第６ステップ、
を備えている音声認識方法。
【請求項４】
第１ステップでは、テキスト間の相対距離を尺度としてテキストコーパスのクラスタリングが行われ、テキスト間の距離が各テキストに含まれる各単語の単語共起情報に基づいて算出される請求項２および３のいずれかに記載の音声認識方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、テキストクラスタリング方法および音声認識方法に関する。
【０００２】
【従来の技術】
音声対話システムにおいて、対話の様々なシーンでユーザが自主的に発する質問や要求を受理できる仕組み（ユーザ指導型システム）は、ユーザフレンドリーなシステムを構築するにあたって不可欠な要素であるものの、シーン毎にユーザの発話内容が制限されるシステム主導の場合とは異なり、ユーザの発話内容のバリエーションが増大するため、音声認識性能が低下するという問題を抱えている。
【０００３】
しかし、対話のシーンやドメインが推定できれば、それに対応した認識系を用いることにより、認識性能の向上が見込まれる。このような試みとして、様々な発話内容に対応した言語モデルを別々の認識系に割り当て、それらの出力する複数の認識結果から尤度をもとに認識結果を選択する手法が報告されている（文献１参照）。
【０００４】
文献１：田熊，岩野，古井，”並列処理型計算機を用いた音声対話システムの検討”，人口知能学会研究会資料，ＳＩＧ−ＳＬＵＤ−Ａ２０１−０４，　ｐｐ．２１−２６，　２００２．
【０００５】
また、ユーザの内部状態も考慮して対話の状態を定義し、その同定を通じて最適な言語モデルを動的に割り当てる手法も提案されている（文献２参照）。
【０００６】
文献２：Ｙａｎｎｉｋ　Ｅｓｔｅｖｅ，　Ｆｒｅｄｅｒｉｃ　Ｂｅｃｈｅｔ，　Ａｌｅｘｉｓ　Ｎａｓｒ，　ａｎｄ　Ｒｅｎａｔｏ　Ｄｅ　Ｍｏｒｉ，　”Ｓｔｏｃｈａｓｔｉｃ　Ｆｉｎｉｔｅ　Ｓｔａｔｅ　Ａｕｔｏｍａｔａ　Ｌａｎｇｕａｇｅ　Ｍｏｄｅｌ　ｔｒｉｇｇｅｒｅｄ　ｂｙ　Ｄｉａｌｏｇｕｅ　Ｓｔａｔｅ，”Ｅｕｒｏｓｐｅｅｃｈ　２００１．
【０００７】
しかし、対話のシーンやドメインに対応した言語モデルを作成するには、学習用テキストに対話のシーンやドメインのタグを振る作業が必要となる。その作業を人手で行った場合、コストが膨大となる。また、そもそも対話のシーンやドメインを正確に規定するのは困難である。
【０００８】
そこで本発明者らは、対話のシーンやドメインを一発声中の各単語の共起情報から（概略的に）判別できるのではないかと考え、単語共起情報に基づいて、テキストコーパスを自動的にクラスタリングする手法について検討を行った。クラスタ毎に作成した言語モデルを割り当てた認識系を並列動作させ、複数の認識結果を得て、その内の尤度が最大になるものを最終結果として選択する。
【０００９】
従来、テキストコーパスの自動クラスタリング手法に関しては、エントロピーに基づくクラスタリング手法（以下、従来法という）が報告されている（文献３参照）。
【００１０】
文献３：清水，大野，樋口，”文のクラスタリングに基づく統計的言語モデル”，音響学会講演論文集，１−６−１４，　ｐｐ．３１−３２，　１９９８−３．
【００１１】
従来法（エントロピーに基づくクラスタリング手法）では、次のような手順によってクラスタリングが行われる。
【００１２】
１．全学習文を１クラスタとする。
【００１３】
２．全クラスタについて以下の処理を行う。
まず、クラスタに属するテキストからモデルを作成する。次に、このモデルを用いてクラスタ内の各テキストの単語当たりのエントロピーを計算する。次に、クラスタをコピーし、１方のクラスタからはエントロピーの低い文を、他方のクラスタからはエントロピーの高い文をそれぞれわずかづつ取り除く。このようにして、１つのクラスタから、含まれるテキストがわずかに異なる２つのクラスタを作成する。
【００１４】
３．上記クラスタを初期値として、準最適なクラスタを求める。具体的には、各クラスタ毎にクラスタに属するテキストからモデルを作成し、全ての学習文に対して、各クラスタ別モデルに対するエントロピーを求める。次に、各テキストを最もエントロピーが小さくなるクラスタに割り当てる。この作業を全学習文に対する平均エントロピーの値が収束する（すなわち、前回との差分が一定のしきい値以下になる）まで繰り返す。
【００１５】
４．クラスタ数が予め定められた値に達するまで、２，３を繰り返す。
【００１６】
【発明が解決しようとする課題】
この発明は、単語共起情報に基づいてテキストコーパスをクラスタリングするテキストクラスタリング方法を提供することを目的とする。
【００１７】
また、この発明は、単語共起情報に基づくクラスタリング結果を利用した音声認識方法を提供することを目的とする。
【００１８】
【課題を解決するための手段】
請求項１に記載の発明は、テキスト間の距離を尺度としてテキストコーパスをクラスタリングするテキストクラスタリング方法であって、テキスト間の距離を各テキストに含まれる各単語の単語共起情報に基づいて算出することを特徴とする。
【００１９】
請求項２に記載の発明は、テキスト中の各単語の単語共起情報を用いて、テキストコーパスをクラスタリングする第１ステップ、第１ステップのクラスタリング結果に基づいて各クラスタに対応した言語モデルを作成する第２ステップ、各クラスタ毎に作成した言語モデルを割り当てた認識系を並列動作させることにより、複数の認識結果を得る第３ステップ、および得られた認識結果のうちの尤度が最大となるものを最終認識結果として選択する第４ステップを備えていることを特徴とする。
【００２０】
請求項３に記載の発明は、テキスト中の各単語の単語共起情報を用いて、テキストコーパスをクラスタリングする第１ステップ、エントロピーに基づいて、テキストコーパスをクラスタリングする第２ステップ、第１ステップのクラスタリング結果に基づいて各クラスタに対応した言語モデルを作成する第３ステップ、第２ステップのクラスタリング結果に基づいて各クラスタに対応した言語モデルを作成する第４ステップ、第３ステップおよび第４ステップでそれぞれ作成された各言語モデルを割り当てた認識系を並列動作させることにより、複数の認識結果を得る第５ステップ、および得られた認識結果のうちの尤度が最大となるものを最終認識結果として選択する第６ステップを備えていることを特徴とする。
【００２１】
請求項４に記載の発明は、請求項２または請求項３に記載の音声認識装置において、第１ステップでは、テキスト間の相対距離を尺度としてテキストコーパスのクラスタリングが行われ、テキスト間の距離が各テキストに含まれる各単語の単語共起情報に基づいて算出されることを特徴とする。
【００２２】
【発明の実施の形態】
以下、図面を参照して、この発明の実施の形態について説明する。
【００２３】
〔１〕音声認識方法の説明
【００２４】
〔１．１〕第１の音声認識方法
図１は、第１の音声認識方法の手順を示している。
【００２５】
まず、テキスト中の各単語の単語共起情報を用いて、テキストコーパスをクラスタリングする（ステップ１）。この処理（単語共起情報に基づくクラスタリング処理）の詳細については後述する。次に、ステップ１のクラスタリング結果に基づいて各クラスタに対応した言語モデルを作成する（ステップ２）。たとえば、クラスタリングしたテキストセットを、標準的な学習セットに重み付けして足し合わせ、言語モデルを適応学習して各クラスタに対応した言語モデルを作成する。
【００２６】
この後、各クラスタ毎に作成した言語モデルを割り当てた認識系を並列動作させることにより、複数の認識結果を得る（ステップ３）。そして、得られた認識結果のうちの尤度が最大となるものを最終認識結果として選択する（ステップ４）。
【００２７】
〔１．２〕第２の音声認識方法
図２は、第２の音声認識方法の手順を示している。
【００２８】
まず、テキスト中の各単語の単語共起情報を用いて、テキストコーパスをクラスタリングする（ステップ１１）。この処理（単語共起情報に基づくクラスタリング処理）の詳細については後述する。エントロピーに基づいて、テキストコーパスをクラスタリングする（ステップ１２）。この処理（エントロピーに基づくクラスタリング処理）の詳細については、既に従来法として説明したので、その説明を省略する。
【００２９】
次に、ステップ１１のクラスタリング結果に基づいて各クラスタに対応した言語モデルを作成する（ステップ１３）。また、ステップ１２のクラスタリング結果に基づいて各クラスタに対応した言語モデルを作成する（ステップ１４）。
【００３０】
この後、ステップ１３およびステップ１４でそれぞれ作成された各言語モデルを割り当てた認識系を並列動作させることにより、複数の認識結果を得る（ステップ１５）。そして、得られた認識結果のうちの尤度が最大となるものを最終認識結果として選択する（ステップ１６）。
【００３１】
〔２〕単語共起情報に基づくクラスタリング処理の説明
単語共起情報に基づくクラスタリング処理では、２つのテキスト間の距離を各テキストに含まれる単語どうしの共起のしやすさで測る。以下、その手法について説明する。
【００３２】
単語Ｗｐ　の単語共起ベクトルＣｐ　を次式（１）のように定める。
【００３３】
【数１】
2004109906.tif 000003
【００３４】
ただし、ａｐ　ｋ　は、全コーパス中の同一テキスト内において単語Ｗｐ　が単語Ｗｋ　と共起した回数である。言い換えれば、ａｐ　ｋ　は、全コーパスのうち、単語Ｗｐ　と単語Ｗｋ　とを含むテキストの数である。ただし、Ｋは対象とする単語の総数である。また、ｋ＝０，１，…Ｋ−１である。
【００３５】
さらに、単語Ｗｐ　の単語共起ベクトルＣｐ　と単語Ｗｑ　の単語共起ベクトルＣｑ　を使い、単語Ｗｐ　とＷｑ　の単語間距離ｄ（Ｗｐ　，Ｗｑ　）を次式（２）のように単語共起ベクトル間のユークリッド距離として定めた。
【００３６】
【数２】
2004109906.tif 000004
【００３７】
テキストＬとテキストＭのテキスト間距離ＳＬ−Ｍ　は、上記単語間距離を用い、次式（３）で与える。
【００３８】
【数３】
2004109906.tif 000005
【００３９】
ただし、ｗ［Ｌ，ｊ］　はテキストＬの第ｉ番目の単語、同様にｗ［Ｍ，ｊ］　はテキストＭの第ｊ番目の単語を表す。ｎＬ　とｎＭ　はそれぞれ、テキストＬとテキストＭに含まれる単語数である。
【００４０】
テキストコーパスのクラスタリングは、テキスト間の相対距離ＳＬ−Ｍ　を尺度としたｋ−ｍｅａｎｓ　法（文献４参照）により行う。ただし、ｋ−ｍｅａｎｓ　法で必要な各クラスタの重心は、各テキストについてクラスタ内の自分以外のテキストとの距離の総和を求め、その総和距離が最小となるテキストとする。
【００４１】
文献４：Ｊ．　ＭａｃＱｕｅｅｎ．　Ｓｏｍｅ　ｍｅｔｈｏｄ　ｆｏｒ　ｃｌａｓｓｉｆｉｃａｔｉｏｎ　ａｎｄ　ａｎａｌｙｓｉｓ　ｏｆ　ｍｕｌｔｉｖａｒｉａｔｅ　ｏｂｓｅｒｖａｔｉｏｎｓ．　ｖｏｌｕｍｅ　１　ｏｆ　Ｐｒｏｃｅｅｄｉｎｇｓ　ｏｆ　ｔｈｅ　Ｆｉｆｔｈ　Ｂｅｒｋｅｌｅｙ　Ｓｙｍｐｏｓｉｕｍ　ｏｎ　Ｍａｔｈｅｍａｔｉｃａｌ　ｓｔａｔｉｓｔｉｃｓ　ａｎｄ　ｐｒｏｂａｂｉｌｉｔｙ，　ｐａｇｅｓ　２８１−２９７，　Ｂｅｒｋｅｌｅｙ，　１９６７．　Ｕｎｉｖｅｒｓｉｔｙ　ｏｆ　Ｃａｌｉｆｏｒｎｉａ　Ｐｒｅｓｓ．
【００４２】
図３は、単語共起情報に基づくクラスタリング処理手順を示している。
【００４３】
ここでは、データ集合（テキストコーパス）をｘ個の集合にクラスタリングする場合の処理について説明する。
【００４４】
まず、前処理を行う（ステップ２１）。前処理では、次のようにして、テキストコーパスに含まれているテキストの全ての組み合わせについて、テキスト間距離を算出する。
【００４５】
つまり、まず、上記式（１）に基づいて、テキストコーパスに含まれている各単語毎に、単語共起ベクトルを求める。次に、上記式（２）に基づいて、テキストコーパスに含まれている単語の全ての組み合わせについて、単語間距離を求める。そして、上記式（３）に基づいて、テキストコーパスに含まれているテキストの全ての組み合わせについて、テキスト間距離を算出する。
【００４６】
前処理が行われると、ｘ個のクラスタの重心となるテキストを適当に決定する（ステップ２２）。残りの各テキストを最近隣距離の重心を持ったクラスタに割り当てる（ステップ２３）。
【００４７】
上記ステップ２３で得られた各クラスタの重心を求める（ステップ２４）。具体的には、各クラスタ毎に、そのクラスタに含まれる各テキストについて自分以外のテキストとの距離の総和を求め、その総和距離が最も小さいテキストを新たなクラスタの重心とする。
【００４８】
上記ステップ２４で得られた各クラスタの重心が、それぞれ前回の重心と同じであるか否かを判別する（ステップ２５）。上記ステップ２４で得られたｘ個のクラスタの重心が、それぞれ前回の重心と同じであれば、クラスタリング処理を終了する。そうでなければ、上記ステップ２３に戻る。
【００４９】
〔３〕対話音声認識実験
【００５０】
〔３．１〕実験条件
名詞と動詞３，７０８単語と日時・数詞（数字）の２シンボル、計３，７１０次元の単語共起ベクトルを作成し、これらの単語が共起する８３，２１１を対象にクラスタリングを行った。それらのテキスト群より複数の言語モデルを作成して認識実験を行った。
【００５１】
音声認識エンジンは、本研究で開発したＡＴＲＳＰＲＥＣを用いた。図４に示すように、複数の認識器（ベースラインとなる言語モデルとクラスタに対応した言語モデルとからなる）から得られた認識結果のうち、スコア（音響尤度と言語尤度の和）が一番大きいものを認識結果として選択する。ベースラインとなる言語モデルは、本研究所で収録した旅行対話タスクデータベース（１５８，４８８文）を用いて学習した多重クラス複合Ｎ−ｇｒａｍを用いた。
【００５２】
音響モデルには、窓長２０ｍｓｅｃ、フレームシフト１０ｍｓｅｃで抽出した２５次元の特徴ベクトル（１２次ＭＦＣＣ，１２　次ΔＭＦＣＣ，　Δｐｏｗｅｒ　）によりモデル化した男女別、５　混合ガウス分布の状態共有化ＨＭＭ（１４００状態）　を用いた。単語辞書サイズは２１，７５０単語である。評価データには学習セットと同一タスクの男女４２名、４７０発話データを用いた。
【００５３】
〔３．２〕結果
【００５４】
単語共起情報に基づくクラスタリング手法により学習コーパスを２，４，８，１６，３２個のクラスタに分割して、それら分割セット毎に言語モデルを作成し、認識実験を行った結果を表１に示す。比較のため、従来法による各言語モデルのエントロピーの総和が最小になるようにクラスタリングを行った場合（エントロピー基準）の結果についても示す。
【００５５】
【表１】
2004109906.tif 000006
【００５６】
表１より、エントロピーに基づいてクラスタリングを行った場合、クラスタ数が増えるほど、認識率が改善される。単語共起情報に基づくクラスタリング手法においては、クラスタ数８において、最大の改善量が得られ、同一クラスタ数のエントロピー基準を用いた場合を上回った。
【００５７】
また、単語共起情報に基づくクラスタリング手法、エントロピーに基づくクラスタリング手法の両者を組み合わせて用いた場合の結果を表２に示す。
【００５８】
【表２】
2004109906.tif 000007
【００５９】
両者の組み合わせでは、それぞれの言語モデルを全て使って、最尤基準により認識結果を選択した。二種類の言語モデルを合わせて用いることによりそれぞれ単独で用いた場合より認識率が改善された。これは、エントロピーに基づくクラスタリング手法は、各クラスタのＮグラムのエントロピーを基準に分割が行われるため、テキスト中で離れた位置にある単語間の関係を表現できないが、単語共起情報に基づくクラスタリング手法のように単語共起情報を利用すると、離れた単語どうしの関係も表現できることから、それら双方を組み合わせた場合、相補的な効果により性能が向上するからであると考えられる。
【００６０】
【発明の効果】
この発明によれば、単語共起情報に基づいてテキストコーパスをクラスタリングするテキストクラスタリング方法が実現する。
【００６１】
また、この発明によれば、単語共起情報に基づくクラスタリング結果を利用した音声認識方法が実現する。
【図面の簡単な説明】
【図１】第１の音声認識方法の手順を示すフローチャートである。
【図２】第２の音声認識方法の手順を示すフローチャートである。
【図３】単語共起情報に基づくクラスタリング処理手順を示すフローチャートである。
【図４】音声認識システムの構成例を示す模式図である。
【図１】
2004109906.tif 000008
【図２】
2004109906.tif 000009
【図３】
2004109906.tif 000010
【図４】
2004109906.tif 000011