(57)【要約】【課題】意味的な対応関係を有するテキストの組における翻訳先のテキスト同士が十分に類似していない場合でも、精度の高い翻訳モデルの作成を可能とし、正確なクラスタリングを可能とすること。【解決手段】意味対応入替部２により、意味対応テキスト組セット１の意味的な対応関係を入れ替えた意味対応入替テキスト組セット１’を作成し、翻訳確率計算部３より、意味対応テキスト組セット１及び意味対応入替テキスト組セット１’中における単語から単語への翻訳確率をそれぞれ計算して対応非入替翻訳モデル４及び対応入替翻訳モデル５を作成し、翻訳確率合成部６により、翻訳モデル４及び５から意味対応テキスト組セット１中の各単語が別の単語に翻訳される翻訳確率を計算して合成翻訳モデル７を作成し、この合成翻訳モデル７を用いて、入力されたテキストの集合をクラスタリングする。【選択図】図３
2010267200.tif 000002
【特許請求の範囲】
【請求項１】
学習用に予め与えられた、意味的な対応関係を有するテキストの組を少なくとも１組含む意味対応テキスト組セットをコピーし、それぞれの組の意味的な対応関係を入れ替えた意味対応入替テキスト組セットを作成する意味対応入替部と、
前記意味対応テキスト組セット中の翻訳元テキストに含まれる単語毎に前記意味対応テキスト組セット中の翻訳先テキストに含まれる各単語への翻訳確率を計算して対応非入替翻訳モデルを作成するとともに、前記意味対応入替テキスト組セット中の翻訳元テキストに含まれる単語毎に前記意味対応入替テキスト組セット中の翻訳先テキストに含まれる各単語への翻訳確率を計算して対応入替翻訳モデルを作成する翻訳確率計算部と、
前記対応非入替翻訳モデル及び前記対応入替翻訳モデルを組合わせることにより、前記意味対応テキスト組セット中の翻訳元テキストに含まれる各単語が別の単語に翻訳される翻訳確率を計算して合成翻訳モデルを作成する翻訳確率合成部とを備えた
ことを特徴とする合成翻訳モデル作成装置。
【請求項２】
前記翻訳確率合成部は、
前記意味対応テキスト組セット中の前記翻訳元テキストに含まれる各単語について、前記意味対応テキスト組セット中の前記翻訳先テキストの単語毎に、前記対応非入替翻訳モデルにおける単語から前記翻訳先テキストの単語への翻訳確率と前記対応入替翻訳モデルにおける前記翻訳先テキストの単語と同一の単語から前記意味対応テキスト組セット中の翻訳元テキストの単語への翻訳確率とを掛け合わせた値の総和を求め、これを前記意味対応テキスト組セット中の前記翻訳元テキストに含まれる各単語が別の単語へ翻訳される翻訳確率とする
ことを特徴とする請求項１に記載の合成翻訳モデル作成装置。
【請求項３】
入力されたテキストの集合を、類似する内容を含むテキストの部分集合にクラスタリングするテキストクラスタリング装置であって、
学習用に予め与えられた、意味的な対応関係を有するテキストの組を少なくとも１組含む意味対応テキスト組セットをコピーし、それぞれの組の意味的な対応関係を入れ替えた意味対応入替テキスト組セットを作成する意味対応入替部と、
前記意味対応テキスト組セット中の翻訳元テキストに含まれる単語毎に前記意味対応テキスト組セット中の翻訳先テキストに含まれる各単語への翻訳確率を計算して対応非入替翻訳モデルを作成するとともに、前記意味対応入替テキスト組セット中の翻訳元テキストに含まれる単語毎に前記意味対応入替テキスト組セット中の翻訳先テキストに含まれる各単語への翻訳確率を計算して対応入替翻訳モデルを作成する翻訳確率計算部と、
前記対応非入替翻訳モデル及び前記対応入替翻訳モデルを組合わせることにより、前記意味対応テキスト組セット中の翻訳元テキストに含まれる各単語が別の単語に翻訳される翻訳確率を計算して合成翻訳モデルを作成する翻訳確率合成部と、
入力された形態素解析済みのテキストの集合を受け付けるテキスト群入力部と、
前記入力されたテキスト毎に言語モデルを作成する言語モデル計算部と、
前記テキスト毎の言語モデルと前記合成翻訳モデルとを統合することにより、前記テキスト毎に翻訳モデル統合言語モデルを作成する言語モデル・翻訳モデル統合部と、
前記テキスト毎の前記翻訳モデル統合言語モデル間の類似度を計算することにより、前記入力されたテキスト間の類似度を計算する類似度計算部と、
前記テキスト間の類似度に基づいて前記入力されたテキストの集合を、類似する内容を含むテキストの部分集合にクラスタリングするクラスタリング部とを備えた
ことを特徴とするテキストクラスタリング装置。
【請求項４】
前記翻訳確率合成部は、
前記意味対応テキスト組セット中の前記翻訳元テキストに含まれる各単語について、前記意味対応テキスト組セット中の前記翻訳先テキストの単語毎に、前記対応非入替翻訳モデルにおける単語から前記翻訳先テキストの単語への翻訳確率と前記対応入替翻訳モデルにおける前記翻訳先テキストの単語と同一の単語から前記意味対応テキスト組セット中の翻訳元テキストの単語への翻訳確率とを掛け合わせた値の総和を求め、これを前記意味対応テキスト組セット中の前記翻訳元テキストに含まれる各単語が別の単語へ翻訳される翻訳確率とする
ことを特徴とする請求項３に記載のテキストクラスタリング装置。
【請求項５】
前記言語モデル・翻訳モデル統合部は、
前記言語モデル計算部で計算された言語モデルが単語を生起する確率と、前記翻訳確率合成部で計算された合成翻訳モデルにおける前記単語から別の単語への翻訳確率とを足し合わせた値を、前記翻訳モデル統合言語モデルが前記単語を生成する確率とする
ことを特徴とする請求項３または４に記載のテキストクラスタリング装置。
【請求項６】
意味対応入替部が、学習用に予め与えられた、意味的な対応関係を有するテキストの組を少なくとも１組含む意味対応テキスト組セットをコピーし、それぞれの組の意味的な対応関係を入れ替えた意味対応入替テキスト組セットを作成するステップと、
翻訳確率計算部が、前記意味対応テキスト組セット中の翻訳元テキストに含まれる単語毎に前記意味対応テキスト組セット中の翻訳先テキストに含まれる各単語への翻訳確率を計算して対応非入替翻訳モデルを作成するとともに、前記意味対応入替テキスト組セット中の翻訳元テキストに含まれる単語毎に前記意味対応入替テキスト組セット中の翻訳先テキストに含まれる各単語への翻訳確率を計算して対応入替翻訳モデルを作成するステップと、
翻訳確率合成部が、前記対応非入替翻訳モデル及び前記対応入替翻訳モデルを組合わせることにより、前記意味対応テキスト組セット中の翻訳元テキストに含まれる各単語が別の単語に翻訳される翻訳確率を計算して合成翻訳モデルを作成するステップとを含む
ことを特徴とする合成翻訳モデル作成方法。
【請求項７】
前記翻訳確率合成ステップは、
前記意味対応テキスト組セット中の前記翻訳元テキストに含まれる各単語について、前記意味対応テキスト組セット中の前記翻訳先テキストの単語毎に、前記対応非入替翻訳モデルにおける単語から前記翻訳先テキストの単語への翻訳確率と前記対応入替翻訳モデルにおける前記翻訳先テキストの単語と同一の単語から前記意味対応テキスト組セット中の翻訳元テキストの単語への翻訳確率とを掛け合わせた値の総和を求め、これを前記意味対応テキスト組セット中の前記翻訳元テキストに含まれる各単語が別の単語へ翻訳される翻訳確率とする
ことを特徴とする請求項６に記載の合成翻訳モデル作成方法。
【請求項８】
入力されたテキストの集合を、類似する内容を含むテキストの部分集合にクラスタリングするテキストクラスタリング方法であって、
意味対応入替部が、学習用に予め与えられた、意味的な対応関係を有するテキストの組を少なくとも１組含む意味対応テキスト組セットをコピーし、それぞれの組の意味的な対応関係を入れ替えた意味対応入替テキスト組セットを作成するステップと、
翻訳確率計算部が、前記意味対応テキスト組セット中の翻訳元テキストに含まれる単語毎に前記意味対応テキスト組セット中の翻訳先テキストに含まれる各単語への翻訳確率を計算して対応非入替翻訳モデルを作成するとともに、前記意味対応入替テキスト組セット中の翻訳元テキストに含まれる単語毎に前記意味対応入替テキスト組セット中の翻訳先テキストに含まれる各単語への翻訳確率を計算して対応入替翻訳モデルを作成するステップと、
翻訳確率合成部が、前記対応非入替翻訳モデル及び前記対応入替翻訳モデルを組合わせることにより、前記意味対応テキスト組セット中の翻訳元テキストに含まれる各単語が別の単語に翻訳される翻訳確率を計算して合成翻訳モデルを作成するステップと、
テキスト群入力部が、入力された形態素解析済みのテキストの集合を受け付けるステップと、
言語モデル計算部が、前記入力されたテキスト毎に言語モデルを作成するステップと、
言語モデル・翻訳モデル統合部が、前記テキスト毎の言語モデルと前記合成翻訳モデルとを統合することにより、前記テキスト毎に翻訳モデル統合言語モデルを作成するステップと、
類似度計算部が、前記テキスト毎の前記翻訳モデル統合言語モデル間の類似度を計算することにより、前記入力されたテキスト間の類似度を計算するステップと、
クラスタリング部が、前記テキスト間の類似度に基づいて前記入力されたテキストの集合を、類似する内容を含むテキストの部分集合にクラスタリングするステップとを含む
ことを特徴とするテキストクラスタリング方法。
【請求項９】
前記翻訳確率合成ステップは、
前記意味対応テキスト組セット中の前記翻訳元テキストに含まれる各単語について、前記意味対応テキスト組セット中の前記翻訳先テキストの単語毎に、前記対応非入替翻訳モデルにおける単語から前記翻訳先テキストの単語への翻訳確率と前記対応入替翻訳モデルにおける前記翻訳先テキストの単語と同一の単語から前記意味対応テキスト組セット中の翻訳元テキストの単語への翻訳確率とを掛け合わせた値の総和を求め、これを前記意味対応テキスト組セット中の前記翻訳元テキストに含まれる各単語が別の単語へ翻訳される翻訳確率とする
ことを特徴とする請求項８に記載のテキストクラスタリング方法。
【請求項１０】
前記言語モデル・翻訳モデル統合ステップは、
前記言語モデル計算部で計算された言語モデルが単語を生起する確率と、前記翻訳確率合成部で計算された合成翻訳モデルにおける前記単語から別の単語への翻訳確率とを足し合わせた値を、前記翻訳モデル統合言語モデルが前記単語を生成する確率とする
ことを特徴とする請求項８または９に記載のテキストクラスタリング方法。
【請求項１１】
コンピュータを、請求項１または２に記載の合成翻訳モデル作成装置の各手段として機能させるためのプログラム。
【請求項１２】
コンピュータを、請求項３乃至５のいずれかに記載のテキストクラスタリング装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、テキスト（文書）の集合を、類似する内容を含むテキストの部分集合にクラスタリング（分類）する技術に関する。
【背景技術】
【０００２】
電子化されたテキストの爆発的な増加に伴い、必要なテキストに対する迅速なアクセスを可能とする技術が望まれている。その際、内容が似通ったテキストをクラスタリングすることができれば、大量のテキストをいくつかのまとまり（クラスタ）として扱うことができる。大量のテキストをいくつかのまとまりとして扱うことができれば、必要なテキストが含まれている範囲を素早く特定することができるようになり、必要なテキストに対して迅速なアクセスが可能になる。
【０００３】
クラスタリングを行うためにはテキスト間の類似度を定義する必要がある。現在、クラスタリングに一般的に用いられている手法によって類似度を計算するには、互いのテキストに同一の語彙（単語）が出現する必要がある。しかし、内容（意味）が似通ったテキストであっても語彙を共有していない場合がある。そのような場合、それら類似したテキスト間の類似度は低くなってしまい、結果としてクラスタリングの精度が悪化する。
【０００４】
例えば、図１に示すような３つのテキスト１，２，３があったとし、これらのテキストのうちの２つを１つのクラスタとすることを考える。テキスト１及び２は宿泊場所を尋ねているもので、テキスト３は名所を尋ねているものである。そのため、意味を考えれば、クラスタリングの結果としてテキスト１及び２が同一のクラスタとして扱われることが望ましい。しかし、表層的な語彙を見る限り、テキスト１はテキスト３により類似しているため、テキスト１及び２が同一のクラスタとして扱われることは期待できない。
【０００５】
このような、表層的には類似していないが、意味的には類似したテキストをクラスタリングするに当たって、一つの解決策として、例えば単語「旅館」と単語「ホテル」とが似た概念であることを示した情報（例えばシソーラス）を予め用意しておくことが考えられる。しかし、そのような情報の作成には多大な人的コストを必要とする。
【０００６】
そこで、ある単語が別の単語に翻訳される確率（翻訳確率）を導入し、単語を共有していないテキストでも高い類似度が得られる手法が提案されている（例えば非特許文献１参照）。
【０００７】
なお、ここで言う翻訳とは、必ずしも、ある単語を異なる言語の単語に置き換えることに限られるものではなく、ある単語を同一言語の別の単語（同一言語の別の表現）に置き換えることも含む。例えば、上述した図１の例における「旅館」及び「ホテル」は同一の概念を示すものではないが、類似する概念を示すものであるため、何らかのテキストにおいて「旅館」という表現が「ホテル」という表現に置き換えられる可能性は大きい。そのため、「旅館」が「ホテル」に置き換えられる可能性、即ち翻訳確率を事前に得ることができれば、シソーラスを利用せずとも精度の高いクラスタリングが可能になる。
【０００８】
前述したクラスタリングを行うには、翻訳元の単語と翻訳先の単語とそれらの間の翻訳確率とのセットである翻訳モデルが必要であるが、この翻訳モデルを作成するためには、事前に類似するテキストを集めておく必要がある。上述した図１の例で言えば、「旅館」及び「ホテル」が類似した概念を指していることを知るためには、「旅館」という単語を用いて宿泊場所について書かれたテキストと、「ホテル」という単語を用いて宿泊場所について書かれたテキストとを予め収集しておき、それらを用いて翻訳確率を計算する必要がある。しかし、それが難しいがために翻訳モデルを利用したいのであって、事前に類似するテキストを収集しておくのは難しい。人手でそれを行うことはできるが、多大なコストを必要とする。
【０００９】
そのため、あるテキストとそれに意味的に対応した別のテキスト、つまり何らかの意味的な対応関係を有するテキストの組を用いて、類似するテキストを集め、翻訳モデルを作成する手法が提案されている（例えば非特許文献２参照）。
【００１０】
何らかの意味的な対応関係を有するテキストの組として、例えば質問が書かれたテキスト（質問テキスト）ＡQ，ＢQとそれらの質問の回答が書かれたテキスト（回答テキスト）ＡA，ＢAとがあるとする。そのような場合、回答テキストＡA及びＢA間の類似度を計算し、それらの類似度が一定の閾値より上であるならば、質問テキストＡQ及びＢQも類似しているとみなすというものである。
【００１１】
一度類似するテキストを集めることができれば、それらを用いて翻訳モデルを作成することができ、当該作成した翻訳モデルを用いて、意味的に対応するテキストが存在しないテキストの集合でも精度良くクラスタリングすることが可能になる。
【先行技術文献】
【非特許文献】
【００１２】
【非特許文献１】Adam Berger et al., "Information Retrieval as Statistical Translation", In Proceedings of the 22nd annual international ACM SIGIR conference on Research and development in information retrieval, pp.222-229, 1999.
【非特許文献２】Jiwoon Jeon et al., "Finding Similar Questions in Large Question and Answer Archives", In Proceedings of the ACM 14th Conference for Information and Knowledge Management (CIKM), pp.84-90, 2005.
【非特許文献３】Peter F. Brown et al., "The Mathematics of Statistical Machine Translation: Parameter Estimation", Computational Linguistics, Vol.19, No.2, pp.263-311, 1993.
【非特許文献４】Anil K. Jain et al., "Data Clustering: A Review", ACM Computing Surveys, Vol.31, No.3, pp.264-323, 1999.
【発明の概要】
【発明が解決しようとする課題】
【００１３】
しかしながら、前述の手法では、例えば類似する質問テキストを集める場合、対応する回答テキスト同士が十分に類似していなければ類似する質問テキストを集めることができないという問題が存在する。前述の例では、質問テキストＡQ及びＢQが類似していても、回答テキストＡA及びＢAが類似していない場合には、質問テキストＡQ及びＢQが類似していることを特定できない。
【００１４】
そのため、前述の手法では、類似する質問テキストとして、回答テキストが類似している質問テキストしか集めることができず、翻訳確率を計算する際に少量のテキストしか利用できなかった。少量のテキストによる翻訳モデルは、含まれる語彙が少なく、翻訳確率の値も不正確なものになり易い。そのような翻訳モデルはクラスタリングの精度に対して悪影響を与える。
【００１５】
そこで、本発明の目的は、何らかの意味的な対応関係を有するテキストの組が与えられた際の、翻訳モデルの作成を工夫することで、より良いクラスタリングを可能とすることにある。
【００１６】
具体的には、非特許文献２のように、意味的に対応するテキスト単位（前述の例では回答テキスト）で質問テキスト間の類似を特定して翻訳確率を計算するのではなく、回答テキストのより細かい単位、例えば単語、句、文節などを介して翻訳確率を計算する。
【００１７】
図２に翻訳確率の計算における工夫の一例を示す。図２に示す質問テキストＡQ，ＢQは、それぞれの回答テキストＡA，ＢAが類似していないため、非特許文献２の手法では対応づけることはできない。しかし、回答テキストＡA，ＢAは少なくとも「庭」という単語を共有している。この点に関して質問テキストＡQ，ＢQは類似しているとみなせば、翻訳確率を計算できる。
【００１８】
より厳密には、質問テキストＡQの「旅館」は、回答テキストＡA，ＢAに現れる「庭」を介して質問テキストＢQの「ホテル」に翻訳されるとみなす。そのため、本発明では、まず質問テキストＡQの「旅館」から回答テキストＡAの「庭」への翻訳確率を計算し、その後、回答テキストＢAの「庭」から質問テキストＢQの「ホテル」への翻訳確率を計算し、この２つの翻訳確率の積を「旅館」から「ホテル」への翻訳確率とみなす。
【００１９】
この工夫により、翻訳確率を計算する際には意味的に対応するテキスト全てを利用することができるため、より多くの語彙を含み、より正確な翻訳確率を保持した翻訳モデルを得ることができる。より正確な翻訳確率を保持した翻訳モデルを得ることができれば、より良いクラスタリングを行うことが可能となる。
【課題を解決するための手段】
【００２０】
前記目的を達成するため、本発明では、入力されたテキストの集合を、類似する内容を含むテキストの部分集合にクラスタリングするテキストクラスタリング装置であって、学習用に予め与えられた、意味的な対応関係を有するテキストの組を少なくとも１組含む意味対応テキスト組セットをコピーし、それぞれの組の意味的な対応関係を入れ替えた意味対応入替テキスト組セットを作成する意味対応入替部と、前記意味対応テキスト組セット中の翻訳元テキストに含まれる単語毎に前記意味対応テキスト組セット中の翻訳先テキストに含まれる各単語への翻訳確率を計算して対応非入替翻訳モデルを作成するとともに、前記意味対応入替テキスト組セット中の翻訳元テキストに含まれる単語毎に前記意味対応入替テキスト組セット中の翻訳先テキストに含まれる各単語への翻訳確率を計算して対応入替翻訳モデルを作成する翻訳確率計算部と、前記対応非入替翻訳モデル及び前記対応入替翻訳モデルを組合わせることにより、前記意味対応テキスト組セット中の翻訳元テキストに含まれる各単語が別の単語に翻訳される翻訳確率を計算して合成翻訳モデルを作成する翻訳確率合成部と、入力された形態素解析済みのテキストの集合を受け付けるテキスト群入力部と、前記入力されたテキスト毎に言語モデルを作成する言語モデル計算部と、前記テキスト毎の言語モデルと前記合成翻訳モデルとを統合することにより、前記テキスト毎に翻訳モデル統合言語モデルを作成する言語モデル・翻訳モデル統合部と、前記テキスト毎の前記翻訳モデル統合言語モデル間の類似度を計算することにより、前記入力されたテキスト間の類似度を計算する類似度計算部と、前記テキスト間の類似度に基づいて前記入力されたテキストの集合を、類似する内容を含むテキストの部分集合にクラスタリングするクラスタリング部とを備えたことを特徴とする。
【発明の効果】
【００２１】
本発明によれば、翻訳確率を求める際に、意味的に対応するテキスト間の類似度に基づいて、類似度が高いもののみを翻訳確率を求めるためのテキストとして扱うのではなく、全てのテキストにおいて部分的にでも意味的に対応するテキストを利用し、意味的な対応を入れ替えて２つの翻訳モデルを作成した後にそれを合成し、翻訳モデルを作成する。そのため、より多くテキストを用いて翻訳確率の計算を行うことができ、より多くの語彙を含み、より精度の高い翻訳確率を含んだ翻訳モデルを作成する効果を有する。
【００２２】
特に図２の質問テキストＡQ，ＢQに示すような、意味的に対応するテキスト同士（この場合はそれらの回答テキストＡA，ＢA）が類似しておらず、結果として翻訳確率の計算に使うテキストが十分に集められない場合でも、十分な翻訳モデルを作成することが可能である。さらに、質問や回答といった意味的な対応に限らず、意味的な対応を有する日本語と英語のテキスト（対訳コーパス）、要約されたテキストとその原典といったテキストの組からも翻訳モデルの作成が可能である。
【図面の簡単な説明】
【００２３】
【図１】クラスタリング対象テキストの一例を示す説明図
【図２】翻訳確率の計算における工夫の一例を示す説明図
【図３】本発明のテキストクラスタリング装置の実施の形態の一例を示す構成図
【図４】意味対応テキスト組の一例を示す説明図
【図５】翻訳確率の計算処理の一例を示す流れ図
【図６】翻訳確率計算のようすの一例を示す説明図
【図７】翻訳確率計算のようすの他の例を示す説明図
【図８】対応非入替翻訳モデルの一例を示す説明図
【図９】対応入替翻訳モデルの一例を示す説明図
【図１０】対応非入替翻訳モデル及び対応入替翻訳モデルの合成のようすの一例を示す説明図
【図１１】合成翻訳モデルの一例を示す説明図
【図１２】クラスタリング対象テキストの一例を示す説明図
【図１３】クラスタリング対象テキストの言語モデルの一例を示す説明図
【図１４】翻訳モデル統合言語モデルの一例を示す説明図
【図１５】類似度行列の一例を示す説明図
【図１６】クラスタリングの結果の一例を示す説明図
【図１７】本発明のテキストクラスタリング装置における処理を示す流れ図
【発明を実施するための形態】
【００２４】
次に、本発明の実施の形態について図面を参照して説明する。
【００２５】
図３は本発明のテキストクラスタリング装置の実施の形態の一例を示すもので、本実施の形態のテキストクラスタリング装置は、意味対応テキスト組セット（記憶部）１と、意味対応入替部２と、翻訳確率計算部３と、対応非入替翻訳モデル（記憶部）４と、対応入替翻訳モデル（記憶部）５と、翻訳確率合成部６と、合成翻訳モデル（記憶部）７と、テキスト群入力部８と、言語モデル計算部９と、言語モデル（記憶部）１０と、言語モデル・翻訳モデル統合部１１と、翻訳モデル統合言語モデル（記憶部）１２と、類似度計算部１３と、類似度行列（記憶部）１４と、クラスタリング部１５と、テキスト群出力部１６とからなる。
【００２６】
また、これらのうち、意味対応テキスト組セット１、意味対応入替部２、翻訳確率計算部３、対応非入替翻訳モデル４、対応入替翻訳モデル５及び翻訳確率合成部６により合成翻訳モデル作成装置が構成される。
【００２７】
意味対応テキスト組セット（記憶部）１には、質問が書かれたテキスト及びその質問に対する回答が書かれたテキスト、日本語が書かれたテキスト及びその訳が書かれた英語のテキスト、要約が書かれたテキスト及びその原典テキストなど、何らかの意味的な対応関係を有する２種類のテキスト（翻訳元テキスト及び翻訳先テキスト）の組（意味対応テキスト組）が１組以上形態素解析されて格納されている。これらのテキストの対応関係は逆でも良く、例えば日本語が書かれたテキスト及びその訳が書かれた英語のテキストの逆として、英語が書かれたテキスト及びその訳が書かれた日本語のテキストでも良い。
【００２８】
図４は意味対応テキスト組の一例、ここでは質問が書かれたテキスト（質問テキスト）及びその質問に対する回答が書かれたテキスト（回答テキスト）の組からなる例を示すもので、左側の２列は質問テキストを形態素解析処理後の表記及び品詞で表し、また、右側の２列はその質問テキストに対する回答テキストを形態素解析処理後の表記及び品詞で表している。なお、テキストは予め特定の文法カテゴリに属する単語が除去された形でも良い。例えば、予め機能語が除去され、内容語のみになった形式や、名詞のみになった形式でも良い。
【００２９】
意味対応入替部２は、意味対応テキスト組セット１を入力として、これをコピーし、それぞれの組の意味的な対応関係を入れ替えた（逆にした）意味対応入替テキスト組セット１’を作成する処理を行う。具体的には、翻訳元テキストが質問テキストであり、翻訳先テキストが回答テキストである意味対応テキスト組セット１の場合は、翻訳元テキストが前記と同一の回答テキストであり、翻訳先テキストが前記と同一の質問テキストである意味対応入替テキスト組セット１’を作成する。
【００３０】
翻訳確率計算部３は、意味対応テキスト組セット１及び意味対応入替部２で作成された意味対応入替テキスト組セット１’を入力として、それら２つのセットに対し、それぞれ翻訳元テキストに含まれる単語毎に翻訳先テキストに含まれる各単語への翻訳確率を計算し、それぞれの翻訳モデル、即ち対応非入替翻訳モデル及び対応入替翻訳モデルを作成して、対応非入替翻訳モデル（記憶部）４及び対応入替翻訳モデル（記憶部）５に格納する。つまり、意味対応テキスト組セット１が質問テキスト及びその回答テキストの組のセットからなる場合であれば、当該意味対応テキスト組セット１と、同一の回答テキスト及び同一のその質問テキストの組のセットからなる意味対応入替テキスト組セット１’とを入力として、それら２つのセットに対し、それぞれ翻訳元テキストに含まれる単語毎に翻訳先テキストに含まれる各単語への翻訳確率を計算し、意味対応テキスト組セット１に対する対応非入替翻訳モデル４と、意味対応入替テキスト組セット１’に対する対応入替翻訳モデル５との２つの翻訳モデルを出力する。
【００３１】
翻訳確率の計算は、対応づけられた単語列間から翻訳確率を推定する公知の技術、例えば非特許文献３に記載の技術を用いることができる。また、翻訳確率を求める単位として単語以外、例えば文節などの単位を用いることもできる。
【００３２】
一例として、非特許文献３に記載のＭｏｄｅｌ１による翻訳確率の計算の流れを図５に示す。
【００３３】
まず、対応する２つの単語列、即ち意味対応テキスト組セット中の対応する翻訳元テキスト及び翻訳先テキストの各単語列が入力される（ｓ１）。意味対応テキスト組が質問テキスト及びその回答テキストである場合は、図４に示されたような質問テキスト及びその回答テキストの表記の列がそれぞれ単語列として入力される。
【００３４】
単語列が入力された後、翻訳先テキストの単語列の異なり語の数、この場合は回答テキストとして入力された全ての単語列が含む異なり語の数に基づいて翻訳確率が初期化される（ｓ２）。翻訳確率が初期化された後、入力された質問テキスト及び回答テキストの対応する単語列の単語同士をそれぞれ結ぶエッジの重みが０に初期化される（ｓ３）。その後、翻訳確率に基づいてエッジの重みが更新される（ｓ４）。
【００３５】
単語間のエッジの重みとは、翻訳元テキストに含まれる単語が当該翻訳元テキストに対応する翻訳先テキストに含まれるいずれかの単語に翻訳される確率の和で、エッジによって対応する翻訳先テキストの単語に翻訳される確率を割ったものである。つまり、翻訳確率が高い単語間のエッジの重みは大きくなる。
【００３６】
エッジの重みを更新した後、更新されたエッジの重みに基づいて翻訳確率を推定する（ｓ５）。単語間の翻訳確率は、意味対応テキスト組の中で、翻訳元の単語が有する全てのエッジの重みの和で、翻訳先のある単語に対応するエッジの重みの和を割ったものである。
【００３７】
翻訳確率に基づいたエッジの重みの更新及び更新後のエッジの重みに基づく翻訳確率の推定は、翻訳確率が収束する（更新前のエッジの重みと更新後のエッジに重みとの差が、予め設定した誤差以下になる）か、あるいはエッジの重みの更新回数が予め規定された数に達するまで繰り返され（ｓ６）、推定された翻訳確率が翻訳モデルとして出力される（ｓ７）。このプロセスによって翻訳確率は一意に収束することが知られている。
【００３８】
図６に翻訳確率計算のようすの一例、ここでは意味対応テキスト組が単語「旅館」を含む質問テキスト及びそれに対応する回答テキストの組からなる場合の例について示す。質問テキスト（翻訳元テキスト）に含まれる単語が当該質問テキストに対応する回答テキスト（翻訳先テキスト）に含まれる単語に翻訳される確率が計算される、ここでは質問テキストに含まれる単語「旅館」が、回答テキストに含まれる単語「庭」、「奇麗」、「トラベル」などに翻訳される確率が計算される。
【００３９】
図７に翻訳確率計算のようすの他の例、ここでは意味対応テキスト組が単語「ホテル」を含む質問テキスト及びそれに対応する回答テキストの組の意味的な対応関係を入れ替えた組からなる場合の例について示す。回答テキスト（翻訳元テキスト）に含まれる単語が当該回答テキストに対応する質問テキスト（翻訳先テキスト）に含まれる単語に翻訳される確率が計算される、ここでは回答テキストに含まれる単語「庭」、「トラベル」、「料理」などが、質問テキストに含まれる「ホテル」に翻訳される確率が計算される。
【００４０】
図６、図７では説明のため自然言語のままのテキストを示しているが、実際の翻訳確率の計算には図４に示したような形態素解析済みのテキストが用いられる。
【００４１】
翻訳確率計算部３から出力された２つの翻訳モデルの一例、即ち意味対応テキスト組セット１に対する翻訳確率が計算された対応非入替翻訳モデル４と、意味対応テキスト組セット１の意味的な対応関係を入れ替えた意味対応入替テキスト組セット１’に対する翻訳確率が計算された対応入替翻訳モデル５とを、それぞれ図８、図９に示す。
【００４２】
図８の対応非入替翻訳モデル４は、図６に示した翻訳確率計算によって得られた翻訳モデルを示すもので、翻訳元である質問テキスト中に現れる単語が、翻訳先である回答テキストにどのような単語として現れ易いかを翻訳確率と共に示している。この例では、質問テキストに単語「旅館」が現れた場合、回答テキストには「おすすめ」、「トラベル」、「メジャー」、「温泉」、「奇麗」、「滝」、「庭」、「料理」などといった単語が現れ易いことを示している。これは、質問テキストの書き手（即ち質問者）が「旅館」という単語を書いた際、つまり旅館に関係する質問を行った際、その回答には「トラベル」、「奇麗」といった単語が現れ易いことを示している。
【００４３】
図９の対応入替翻訳モデル５は、図７に示した翻訳確率計算によって得られた翻訳モデルを示すもので、図８とは逆に、翻訳元である回答テキスト中に現れる単語が、翻訳先である質問テキストにどのような単語として現れ易いかを翻訳確率と共に示している。この例では、質問テキストに現れる単語「ホテル」に翻訳される回答テキスト中の単語を示している。
【００４４】
翻訳確率合成部６は、対応非入替翻訳モデル４及び対応入替翻訳モデル５の２つの翻訳モデルを入力として、これらを組合わせることにより１つの新しい翻訳モデル、即ち合成翻訳モデルを作成して合成翻訳モデル（記憶部）７に格納する。詳細には、意味対応テキスト組セット１中の翻訳元テキストに含まれる各単語について、前記意味対応テキスト組セット１中の前記翻訳先テキストの単語毎に、前記対応非入替翻訳モデル４における単語から前記翻訳先テキストの単語への翻訳確率と前記対応入替翻訳モデル５における前記翻訳先テキストの単語と同一の単語から翻訳元テキストの単語への翻訳確率とを掛け合わせた値の総和を求め、これを前記意味対応テキスト組セット１中の前記翻訳元テキストに含まれる各単語が別の単語へ翻訳される翻訳確率とする。
【００４５】
例えば、対応非入替翻訳モデル４が質問テキストから回答テキストへの翻訳確率を含むモデルであり、対応入替翻訳モデル５が回答テキストから質問テキストへの翻訳確率を含むモデルである場合を考える。その場合、対応非入替翻訳モデル４の翻訳先であり、対応入替翻訳モデル５の翻訳元である回答テキストにおいて同一の表記を有する単語の翻訳確率を掛け合わせることで、対応非入替翻訳モデル４の翻訳元である質問テキストから対応入替翻訳モデル５の翻訳先である質問テキストへの翻訳確率できる。このことは下記式（１）で示すことができる。
【００４６】
【数１】
2010267200.tif 000003
【００４７】
右辺のＴｒ1(ｗa|ｗq)は対応非入替翻訳モデル４を示している。質問テキストに含まれる単語ｗqは回答テキストに含まれるｗaに翻訳確率Ｔｒ1(ｗa|ｗq)で変化することを示している。Ｔｒ2(ｗq'|ｗa)は対応入替翻訳モデル５を示し、回答テキストに含まれる単語ｗaが質問テキストに含まれる単語ｗq'に翻訳確率Ｔｒ2(ｗq'|ｗa)で変化することを示している。
【００４８】
もし、対応非入替翻訳モデル４の翻訳先の単語に単語ｗaが含まれ、対応入替翻訳モデル５の翻訳元の単語に単語ｗaが含まれていた場合、単語ｗaを介して質問テキストに現れる単語ｗqと単語ｗq'との間の翻訳確率を計算することができる。つまり、単語ｗqが単語ｗq'に変化する確率Ｔｒ(ｗq'|ｗq)を求めることができる。また、表記と品詞の結びついた単位を式（１）の単語とみなして、同一の表記でかつ同一の品詞を有する単語の翻訳確率を掛け合わせて計算を行っても良い。
【００４９】
対応非入替翻訳モデル及び対応入替翻訳モデルの合成のようすの一例を図１０に示す。対応非入替翻訳モデル４に示した質問テキストに含まれる単語、ここでは「旅館」が回答テキストに含まれる何らかの単語に翻訳され、それらの単語が更に質問テキストに含まれる何らかの単語、ここでは「ホテル」に翻訳される例を示している。結果として、質問テキストに現れるある単語が別の単語として現れる場合の当該別の単語とその現れ易さを得ることができる。
【００５０】
図１１は合成翻訳モデル７の一例、ここでは質問テキストに含まれる単語「旅館」が他にどのような単語として出現するかを翻訳確率と共に示したものである。この例では、質問テキストに現れる単語「旅館」が、他に「どこ」、「ホテル」、「所」などといった単語として質問テキストに現れ易いことが分かる。これは単語「旅館」が回答テキストに翻訳された際の単語が、再度質問テキストに翻訳される際に「どこ」、「ホテル」、「所」などに翻訳され易いことを示している。図１１の例では、前述の翻訳確率Ｔｒ(ホテル|旅館)は0.017839である。また、図１１の例では、単語「旅館」は他の名詞に翻訳されているが、翻訳は同一の品詞間に限らない。例えば、名詞が動詞や形容詞などの品詞に翻訳されることも、その逆もあり得る。
【００５１】
テキスト群入力部８は、図示しないキーボード等から直接入力され又は記憶媒体から読み出されて入力され又は通信媒体を介して他の装置等から入力された、クラスタリングの対象とするテキスト群、ここでは形態素解析済みのテキスト群（テキストの集合）を受け付ける。入力された形態素解析済みのテキストの一例を図１２に示す。
【００５２】
言語モデル計算部９は、テキスト群入力部８で受け付けた形態素解析済みのテキストの集合を入力として、テキスト毎に、当該テキスト中の単語とその生起確率とのセットである言語モデルを作成して言語モデル（記憶部）１０に格納する。言語モデルの作成には公知の技術を用いることができる。一例として、単語ｗをテキストｄの言語モデルＭdが生成する確率（単語ｗの言語モデルＭdからの出現確率）は、下記式（２）で示すことができる。
【００５３】
【数２】
2010267200.tif 000004
【００５４】
ここで、ｔｆw,dとはテキストｄ中における単語ｗの出現頻度であり、Ｌdとはテキストｄのテキスト長、即ちテキストｄに含まれる単語の総数である。ここで示した例はユニグラムの言語モデルであるが、他にもバイグラムのモデルや統語的構造を仮定したモデルなど、他の言語モデルを用いることもできる。また、テキスト中に含まれない単語は出現確率が０になってしまうゼロ頻度問題への対処のため、公知の技術を用いて補間などを行うこともできる。
【００５５】
クラスタリング対象テキストの言語モデル１０の一例を図１３に示す。この言語モデルにおいては、例えば単語「旅館」は確率0.04で出現し得ることになる。
【００５６】
言語モデル・翻訳モデル統合部１１は、テキスト毎の言語モデル１０と合成翻訳モデル７とを統合することにより、テキスト毎の翻訳モデル統合言語モデルを作成して翻訳モデル統合言語モデル（記憶部）１２に格納する。詳細には、前記言語モデル計算部９で計算された言語モデルが単語ｗを生起する確率と、前記翻訳確率合成部６で計算された合成翻訳モデルにおける前記単語ｗから別の単語ｗ’への翻訳確率とを足し合わせた値を、翻訳モデル統合言語モデル１２が前記単語ｗを生成する確率とする。
【００５７】
翻訳モデル統合言語モデルＭdtから単語ｗが生成される確率Ｐ(ｗ|Ｍdt)は、一例として下記式（３）のようにできる。
【００５８】
【数３】
2010267200.tif 000005
【００５９】
ここで、ｔとは言語モデルＭdが生成し得るｗとは別の単語であり、αは言語モデルと翻訳モデルの重みパラメータであり、０以上１以下の任意の実数である。αによって翻訳モデルが統合されたモデルに与える影響が制御される。αが１の時には翻訳モデルは統合されたモデルに何ら影響を与えないが、αが０に近づくにつれて翻訳モデルが統合されたモデルに与える影響が大きくなる。ここでは、式（３）で示されるような言語モデルと翻訳モデルを線形に統合する方法以外の、何らかの二つの確率分布を、各々の確率分布の値が大きいほど結合した値が大きくなるように、二つの確率分布を結合する異なる方法を用いることもできる。
【００６０】
例として、テキストｄは、単語「旅館」は含むが、単語「ホテル」を含まないとする。そのような場合、テキストｄから作成された言語モデルＭdは単語「ホテル」を生成する確率を持たない。即ち、テキストｄが単語「ホテル」を生成する確率は０である。しかし、統合された翻訳モデルが単語「旅館」が単語「ホテル」に変化する確率Ｔｒ(ホテル|旅館)を含むならば、翻訳モデルを統合した言語モデルは単語「ホテル」の生成する確率として０以上の値を有することになる。
【００６１】
翻訳モデル統合言語モデル１２は、一例として式（３）で示すような方法によって翻訳モデルと統合された言語モデルである。翻訳モデル統合言語モデルの一例を図１４に示す。
【００６２】
翻訳モデルを言語モデルに統合することによって、統合前の言語モデルには含まれていないが、類似する質問テキストには含まれる単語の出現確率を与えることができる。例えば、図１３の統合前の言語モデルには含まれていなかった単語「ホテル」や「オススメ」、「観光」（図１４に太字で示したもの）が翻訳モデルの統合によって出現確率を与えられたことがわかる。
【００６３】
類似度計算部１３は、テキスト毎の翻訳モデル統合言語モデル１２を入力とし、これら全ての翻訳モデル統合言語モデル１２間の類似度を計算することによって、入力されたテキスト間の類似度を計算して類似度行列を出力し、類似度行列（記憶部）１４に格納する。２つのモデルＭdt1とＭdt2の間の類似度Ｓｉｍ(Ｍdt1，Ｍdt2)の計算方法として、公知の技術を使うことができる。２つのモデルは確率分布であるので、一例として、下記式（４）で示す負のJensen-Shannon Divergenceを用いることができる。
【００６４】
【数４】
2010267200.tif 000006
【００６５】
【数５】
2010267200.tif 000007
【００６６】
【数６】
2010267200.tif 000008
【００６７】
式（５）はJensen-Shannon divergence、式（６）はKullback-Leibler divergenceである。Jensen-Shannon divergenceは確率分布間の距離を求めるものであるため、求められた値が高いほど類似度は低いものとなる。そのため、式（４）では負にしており、導かれる類似度は全て負の値になり、０に近いほどテキスト同士が類似していることを示す。
【００６８】
もちろん、これ以外にも、確率分布間の類似度を計算する任意の方法を用いることができる。
【００６９】
類似度行列１４の一例を図１５に示す。上段の表は翻訳モデル統合前の言語モデルによる類似度行列であり、下段の表は翻訳モデル統合後の言語モデルによる類似度行列である。それぞれの表の中で、太線で囲った数値が類似度行列中で最大の値である。翻訳モデルの統合によって、類似度行列が含む類似度の値が変化したことがわかる。
【００７０】
図１５の上段の表によれば、テキスト１及び２間の類似度は−0.976であり、テキスト１及び３間の類似度は−0.342である。このことは、翻訳モデル統合前の言語モデルによって類似度を計算したときには、テキスト１はテキスト３により類似していることを示している。
【００７１】
一方、図１５の下段の表によれば、テキスト１及び２間の類似度は−0.497であり、テキスト１及び３間の類似度は−0.566である。このことは、翻訳モデル統合後の言語モデルによって類似度を計算したときには、テキスト１はテキスト２により類似していることを示している。
【００７２】
クラスタリング部１５は、類似度計算部１３で計算された、入力されたテキスト間の類似度である類似度行列１４を入力として、入力されたテキストの集合を、類似する内容を含むテキストの部分集合にクラスタリングする。このクラスタリング部１５では、公知の手法を用いることができる（非特許文献４参照）。
【００７３】
クラスタリングの結果の一例を図１６に示す。図１５では、翻訳モデルの統合によって類似度行列中の最大の値が変化したことを示した。ここで例として用いたクラスタリング手法は、類似度行列中で最大の類似度を有するテキストの組を同一のクラスタとして扱うものである。そのため、翻訳モデル統合前の言語モデルによる類似度行列を用いたクラスタリングではテキスト１及びテキスト３が同一のクラスタとみなされる。それに対し、翻訳モデル統合後の言語モデルによる類似度行列を用いたクラスタリングでは、テキスト１及びテキスト２が同一のクラスタとみなされる。これは、翻訳モデルを言語モデルに統合したため、テキスト１及びテキスト２の語彙的な重なりの少なさが解消されたためである。結果として、より意味的に適切なクラスタリングが行えたことがわかる。
【００７４】
テキスト群出力部１６は、クラスタリング部１５のクラスタリングの結果を受け付け、クラスタリングの過程と、テキスト群入力部８で入力された各テキストが属するクラスタを出力する。具体的には、クラスタのＩＤと当該クラスタに属するテキストの部分集合のＩＤ集合との対を出力するか、あるいはテキストの部分集合と当該テキストの部分集合が属するクラスタのＩＤを出力するものでも良い。
【００７５】
図１７に前述した本発明のテキストクラスタリング装置における処理の流れを示す。
【００７６】
意味対応入替部２は、意味的に対応したテキストの組のセット１をコピーし（ｓ８）、意味的な対応を入れ替える（ｓ９）。翻訳確率計算部３は、まず、対応を入れ替えていないセット（意味対応テキスト組セット）１の翻訳確率を計算し（ｓ１０）、当該セット１の翻訳確率を対応非入替翻訳モデル４として記憶する（ｓ１１）。次に、翻訳確率計算部３は、対応を入れ替えたテキスト組セット（意味対応入替テキスト組セット）１’の翻訳確率を計算し（ｓ１２）、当該セット１’の翻訳確率を対応入替翻訳モデル５として記憶する（ｓ１３）。翻訳確率合成部６は、前記対応非入替翻訳モデル４及び対応入替翻訳モデル５を受け付けて翻訳確率を合成し（ｓ１４）、合成された翻訳モデルを合成翻訳モデル７として記憶する（ｓ１５）。
【００７７】
テキスト群入力部８は、クラスタリングの対象とする形態素解析済みのテキスト群を受け付け（ｓ１６）、言語モデル計算部９はテキスト群入力部８に入力されたテキスト毎に言語モデルを計算し（ｓ１７）、それぞれの言語モデル１０を記憶する（ｓ１８）。言語モデル・翻訳モデル統合部１１は、記憶されたテキスト毎の言語モデル１０と合成翻訳モデル７とを統合し（ｓ１９）、統合されたテキスト毎の翻訳モデル統合言語モデル１２を記憶する（ｓ２０）。
【００７８】
類似度計算部１３は、テキスト毎の翻訳モデル統合言語モデル１２を受け付け、全てのテキスト間の類似度を計算し（ｓ２１）、計算したテキスト間の類似度を類似度行列１４として記憶する（ｓ２２）。
【００７９】
クラスタリング部１５は、類似度行列１４を受け付け、クラスタリングを行う。
【００８０】
クラスタリング部１５は、まず全てのテキストにそれぞれ１つのクラスタをランダムに割り当て（ｓ２３）、受け付けたテキスト間の類似度行列１４に基づいてクラスタ間の類似度を計算し（ｓ２４）、類似度が最大のクラスタ同士を統合（マージ）し（ｓ２５）、さらにクラスタリングの終了条件を満たしているか判定を行う（ｓ２６）。
【００８１】
クラスタリングの終了条件は、一例としては所定のクラスタ数に処理の対象となるクラスタが到達することが考えられるが、他に例えば、予め指定した閾値を超える類似度を有するクラスタの対がなくなるといったものでも良い。クラスタリングの終了条件を満たしていない場合は再度、クラスタ間の類似度の計算を行い（ｓ２４）、類似度が最大のクラスタ同士をマージする（ｓ２５）。クラスタリングの終了条件を満たした場合はクラスタリングの過程と各テキストが属するクラスタを出力し（ｓ２７）、処理を終了する。
【００８２】
このように、意味的な対応関係を入れ替えて作成した２つの翻訳モデルを合成することで、より高精度なクラスタリングを行うことができる。
【００８３】
なお、本発明は、周知のコンピュータに媒体もしくは通信回線を介して、図３の構成図に示された機能を実現するプログラムあるいは図１７のフローチャートに示された手順を備えるプログラムをインストールすることによっても実現可能である。
【符号の説明】
【００８４】
１：意味対応テキスト組セット（記憶部）
２：意味対応入替部
３：翻訳確率計算部
４：対応非入替翻訳モデル（記憶部）
５：対応入替翻訳モデル（記憶部）
６：翻訳確率合成部
７：合成翻訳モデル（記憶部）
８：テキスト群入力部
９：言語モデル計算部
１０：言語モデル（記憶部）
１１：言語モデル・翻訳モデル統合部
１２：翻訳モデル統合言語モデル（記憶部）
１３：類似度計算部
１４：類似度行列（記憶部）
１５：クラスタリング部
１６：テキスト群出力部
【図１】
2010267200.tif 000009
【図２】
2010267200.tif 000010
【図３】
2010267200.tif 000011
【図４】
2010267200.tif 000012
【図５】
2010267200.tif 000013
【図６】
2010267200.tif 000014
【図７】
2010267200.tif 000015
【図８】
2010267200.tif 000016
【図９】
2010267200.tif 000017
【図１０】
2010267200.tif 000018
【図１１】
2010267200.tif 000019
【図１２】
2010267200.tif 000020
【図１３】
2010267200.tif 000021
【図１４】
2010267200.tif 000022
【図１５】
2010267200.tif 000023
【図１６】
2010267200.tif 000024
【図１７】
2010267200.tif 000025