(57)【要約】【課題】単語・成分番号間共起に基づく手法において、対応する単語の間の意味的な類似性と識別性をより緻密に反映できる共起ベクトルまたは概念ベクトルを生成することを可能とする共起行列生成装置を提供する。【解決手段】各行が単語に対応し、各列がＮ個の成分番号に対応している第１共起行列１４を入力とし、該第１共起行列１４の行ベクトルの集合をＮ´個のクラスタにクラスタリングして、単語とクラスタの成分番号を対応付ける第１クラスタリング手段１１と、各行が、形態素解析されたテキストの単語に対応し、各列がＮ´個の成分番号に対応している第２共起行列１７を生成する第２共起行列生成手段１２と、任意の単語と任意の成分番号に対し、前記第１共起行列１４と前記第２共起行列１７の対応する要素を、線形結合した値を、対応する要素とする第３共起行列１８を生成する第３共起行列生成手段１３とを備える。【選択図】図２３
2011065317.tif 000002
【特許請求の範囲】
【請求項１】
単語の異なりの集合と、Ｎ個の成分番号との間の共起行列で、各行が単語に対応し、各列が成分番号に対応しているような第１共起行列を入力とし、該第１共起行列の行ベクトルの集合をＮ´個のクラスタにクラスタリングし、各クラスタに、Ｎ´個の成分番号のうちの一つを、クラスタによって成分番号が異なるように付与し、各行ベクトルに対応する単語に、該行ベクトルが属するクラスタの成分番号を対応付ける第１クラスタリング手段と、
形態素解析されたテキストにおける単語の異なりの集合と、Ｎ´個の成分番号との間で、各行が単語に対応し、各列が成分番号に対応しているような第２共起行列を生成し、該テキストの所定の範囲において、任意の単語Ａと、該範囲中の単語に対応付けられた成分番号Ｂとが共起する頻度を、該テキスト中の全ての所定の範囲にわたって加算した値を、該単語Ａと該成分番号Ｂに対応する該第２共起行列の要素とする第２共起行列生成手段と、
任意の単語と任意の成分番号に対し、前記第１共起行列と前記第２共起行列の対応する要素を、線形結合した値を、対応する要素とする第３共起行列を生成する第３共起行列生成手段とからなることを特徴とする共起行列生成装置。
【請求項２】
単語の異なりの集合と、Ｎ個の成分番号との間の共起行列で、各行が単語に対応し、各列が成分番号に対応しているような第１共起行列を入力とし、該第１共起行列を特異値分解し、列数を少なくした行列である概念ベースを生成する概念ベース生成手段と、
前記概念ベースの行ベクトルの集合をＮ´個のクラスタにクラスタリングし、各クラスタに、Ｎ´個の成分番号のうちの一つを、クラスタによって成分番号が異なるように付与し、各行ベクトルに対応する単語に、該行ベクトルが属するクラスタの成分番号を対応付ける第２クラスタリング手段と、
形態素解析されたテキストにおける単語の異なりの集合と、Ｎ´個の成分番号との間で、各行が単語に対応し、各列が成分番号に対応しているような第２共起行列を生成し、該テキストの所定の範囲において、任意の単語Ａと、該範囲中の単語に対応付けられた成分番号Ｂとが共起する頻度を、該テキスト中の全ての所定の範囲にわたって加算した値を、該単語Ａと該成分番号Ｂに対応する該第２共起行列の要素とする第２共起行列生成手段と、
任意の単語と任意の成分番号に対し、前記第１共起行列と前記第２共起行列の対応する要素を、線形結合した値を、対応する要素とする第３共起行列を生成する第３共起行列生成手段とからなることを特徴とする共起行列生成装置。
【請求項３】
単語の異なりの集合と、Ｎ個の成分番号との間の共起行列で、各行が単語に対応し、各列が成分番号に対応しているような第１共起行列を入力とし、該第１共起行列を特異値分解し、列数を少なくした行列である第１概念ベースを生成する第１概念ベース生成手段と、
前記第１概念ベースの行ベクトルの集合をＮ´個のクラスタにクラスタリングし、各クラスタに、Ｎ´個の成分番号のうちの一つを、クラスタによって成分番号が異なるように付与し、各行ベクトルに対応する単語に、該行ベクトルが属するクラスタの成分番号を対応付ける第３クラスタリング手段と、
形態素解析されたテキストにおける単語の異なりの集合と、Ｎ´個の成分番号との間で、各行が単語に対応し、各列が成分番号に対応しているような第２共起行列を生成し、該テキストの所定の範囲において、任意の単語Ａと、該範囲中の単語に対応付けられた成分番号Ｂとが共起する頻度を、該テキスト中の全ての所定の範囲にわたって加算した値を、該単語Ａと該成分番号Ｂに対応する該第２共起行列の要素とする第２共起行列生成手段と、
前記第２共起行列を特異値分解し、列数を少なくした行列である第２概念ベースを生成する第２概念ベース生成手段と、
前記第１概念ベースと前記第２概念ベースのそれぞれに対し、各列に成分番号を付与した上で、任意の単語と任意の成分番号に対し、該第１概念ベースと該第２概念ベースの対応する要素を、線形結合した値を、対応する要素とする第３概念ベースを生成する第３概念ベース生成手段とからなることを特徴とする共起行列生成装置。
【請求項４】
単語の異なりの集合と、Ｎ個の成分番号との間の共起行列で、各行が単語に対応し、各列が成分番号に対応しているような第１共起行列を入力とし、該第１共起行列を特異値分解し、列数を少なくした行列である第１概念ベースを生成する第１概念ベース生成手段と、
前記第１概念ベースの行ベクトルの集合をＮ´個のクラスタにクラスタリングし、各クラスタに、Ｎ´個の成分番号のうちの一つを、クラスタによって成分番号が異なるように付与し、各行ベクトルに対応する単語に、該行ベクトルが属するクラスタの成分番号を対応付ける第３クラスタリング手段と、
形態素解析されたテキストにおける単語の異なりの集合と、Ｎ´個の成分番号との間で、各行が単語に対応し、各列が成分番号に対応しているような第２共起行列を生成し、該テキストの所定の範囲において、任意の単語Ａと、該範囲中の単語に対応付けられた成分番号Ｂとが共起する頻度を、該テキスト中の全ての所定の範囲にわたって加算した値を、該単語Ａと該成分番号Ｂに対応する該第２共起行列の要素とする第２共起行列生成手段と、
前記第２共起行列を特異値分解し、列数を少なくした行列である第２概念ベースを生成する第２概念ベース生成手段と、
前記第１共起行列を特異値分解し、列数を少なくした行列である第４概念ベースを生成する第４概念ベース生成手段と、
前記第４概念ベースと前記第２概念ベースのそれぞれに対し、各列に成分番号を付与した上で、任意の単語と任意の成分番号に対し、該第４概念ベースと該第２概念ベースの対応する要素を、線形結合した値を、対応する要素とする第５概念ベースを生成する第５概念ベース生成手段とからなることを特徴とする共起行列生成装置。
【請求項５】
第１クラスタリング手段が、単語の異なりの集合と、Ｎ個の成分番号との間の共起行列で、各行が単語に対応し、各列が成分番号に対応しているような第１共起行列を入力とし、該第１共起行列の行ベクトルの集合をＮ´個のクラスタにクラスタリングし、各クラスタに、Ｎ´個の成分番号のうちの一つを、クラスタによって成分番号が異なるように付与し、各行ベクトルに対応する単語に、該行ベクトルが属するクラスタの成分番号を対応付ける第１クラスタリングステップと、
第２共起行列生成手段が、形態素解析されたテキストにおける単語の異なりの集合と、Ｎ´個の成分番号との間で、各行が単語に対応し、各列が成分番号に対応しているような第２共起行列を生成し、該テキストの所定の範囲において、任意の単語Ａと、該範囲中の単語に対応付けられた成分番号Ｂとが共起する頻度を、該テキスト中の全ての所定の範囲にわたって加算した値を、該単語Ａと該成分番号Ｂに対応する該第２共起行列の要素とする第２共起行列生成ステップと、
第３共起行列生成手段が、任意の単語と任意の成分番号に対し、前記第１共起行列と前記第２共起行列の対応する要素を、線形結合した値を、対応する要素とする第３共起行列を生成する第３共起行列生成ステップとからなることを特徴とする共起行列生成方法。
【請求項６】
概念ベース生成手段が、単語の異なりの集合と、Ｎ個の成分番号との間の共起行列で、各行が単語に対応し、各列が成分番号に対応しているような第１共起行列を入力とし、該第１共起行列を特異値分解し、列数を少なくした行列である概念ベースを生成する概念ベース生成ステップと、
第２クラスタリング手段が、前記概念ベースの行ベクトルの集合をＮ´個のクラスタにクラスタリングし、各クラスタに、Ｎ´個の成分番号のうちの一つを、クラスタによって成分番号が異なるように付与し、各行ベクトルに対応する単語に、該行ベクトルが属するクラスタの成分番号を対応付ける第２クラスタリングステップと、
第２共起行列生成手段が、形態素解析されたテキストにおける単語の異なりの集合と、Ｎ´個の成分番号との間で、各行が単語に対応し、各列が成分番号に対応しているような第２共起行列を生成し、該テキストの所定の範囲において、任意の単語Ａと、該範囲中の単語に対応付けられた成分番号Ｂとが共起する頻度を、該テキスト中の全ての所定の範囲にわたって加算した値を、該単語Ａと該成分番号Ｂに対応する該第２共起行列の要素とする第２共起行列生成ステップと、
第３共起行列生成手段が、任意の単語と任意の成分番号に対し、前記第１共起行列と前記第２共起行列の対応する要素を、線形結合した値を、対応する要素とする第３共起行列を生成する第３共起行列生成ステップとからなることを特徴とする共起行列生成方法。
【請求項７】
第１概念ベース生成手段が、単語の異なりの集合と、Ｎ個の成分番号との間の共起行列で、各行が単語に対応し、各列が成分番号に対応しているような第１共起行列を入力とし、該第１共起行列を特異値分解し、列数を少なくした行列である第１概念ベースを生成する第１概念ベース生成ステップと、
第３クラスタリング手段が、前記第１概念ベースの行ベクトルの集合をＮ´個のクラスタにクラスタリングし、各クラスタに、Ｎ´個の成分番号のうちの一つを、クラスタによって成分番号が異なるように付与し、各行ベクトルに対応する単語に、該行ベクトルが属するクラスタの成分番号を対応付ける第３クラスタリングステップと、
第２共起行列生成手段が、形態素解析されたテキストにおける単語の異なりの集合と、Ｎ´個の成分番号との間で、各行が単語に対応し、各列が成分番号に対応しているような第２共起行列を生成し、該テキストの所定の範囲において、任意の単語Ａと、該範囲中の単語に対応付けられた成分番号Ｂとが共起する頻度を、該テキスト中の全ての所定の範囲にわたって加算した値を、該単語Ａと該成分番号Ｂに対応する該第２共起行列の要素とする第２共起行列生成ステップと、
第２概念ベース生成手段が、前記第２共起行列を特異値分解し、列数を少なくした行列である第２概念ベースを生成する第２概念ベース生成ステップと、
第３概念ベース生成手段が、前記第１概念ベースと前記第２概念ベースのそれぞれに対し、各列に成分番号を付与した上で、任意の単語と任意の成分番号に対し、該第１概念ベースと該第２概念ベースの対応する要素を、線形結合した値を、対応する要素とする第３概念ベースを生成する第３概念ベース生成ステップとからなることを特徴とする共起行列生成方法。
【請求項８】
第１概念ベース生成手段が、単語の異なりの集合と、Ｎ個の成分番号との間の共起行列で、各行が単語に対応し、各列が成分番号に対応しているような第１共起行列を入力とし、該第１共起行列を特異値分解し、列数を少なくした行列である第１概念ベースを生成する第１概念ベース生成ステップと、
第３クラスタリング手段が、前記第１概念ベースの行ベクトルの集合をＮ´個のクラスタにクラスタリングし、各クラスタに、Ｎ´個の成分番号のうちの一つを、クラスタによって成分番号が異なるように付与し、各行ベクトルに対応する単語に、該行ベクトルが属するクラスタの成分番号を対応付ける第３クラスタリングステップと、
第２共起行列生成手段が、形態素解析されたテキストにおける単語の異なりの集合と、Ｎ´個の成分番号との間で、各行が単語に対応し、各列が成分番号に対応しているような第２共起行列を生成し、該テキストの所定の範囲において、任意の単語Ａと、該範囲中の単語に対応付けられた成分番号Ｂとが共起する頻度を、該テキスト中の全ての所定の範囲にわたって加算した値を、該単語Ａと該成分番号Ｂに対応する該第２共起行列の要素とする第２共起行列生成ステップと、
第２概念ベース生成手段が、前記第２共起行列を特異値分解し、列数を少なくした行列である第２概念ベースを生成する第２概念ベース生成ステップと、
第４概念ベース生成手段が、前記第１共起行列を特異値分解し、列数を少なくした行列である第４概念ベースを生成する第４概念ベース生成ステップと、
第５概念ベース生成手段が、前記第４概念ベースと前記第２概念ベースのそれぞれに対し、各列に成分番号を付与した上で、任意の単語と任意の成分番号に対し、該第４概念ベースと該第２概念ベースの対応する要素を、線形結合した値を、対応する要素とする第５概念ベースを生成する第５概念ベース生成ステップとからなることを特徴とする共起行列生成方法。
【請求項９】
コンピュータを請求項１ないし４のいずれか１項に記載の各手段として機能させる共起行列生成プログラム。
【請求項１０】
コンピュータを請求項１ないし４のいずれか１項に記載の各手段として機能させる共起行列生成プログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、単語の意味表現であるベクトルの集合である共起行列を生成する共起行列生成装置及び方法及びプログラム及びプログラムを記録した記録媒体に関する。
【背景技術】
【０００２】
単語の意味表現としてのベクトルは、単語間の意味的類似性を定量化できるため、検索等の言語処理に適用され、精度向上に寄与している。単語の意味表現であるベクトルを生成する方法として、非特許文献１の手法がある。
【０００３】
この手法では、テキストを入力とし、テキスト中に存在する単語の異なりの集合をとり、該集合間の共起行列を生成する。本明細書では、便宜上、共起行列の各行ベクトルに対応する単語を概念語、各列ベクトルに対応する単語を共起語と呼ぶ。
【０００４】
該テキストの所定の範囲（典型的には１文）において、任意の概念語と任意の共起語とが共起する頻度を、該テキスト中の全ての所定の範囲にわたって加算した値を、該概念語と該共起語に対応する該共起行列の要素とする。共起行列中の各行ベクトルは、該行に対応する概念語が、どのような共起語と共起しているか（すなわちどのような共起語を隣人として持っているか）を表している。一般に、意味の近い概念語は、共通の隣人となる共起語を持っており、対応する行ベクトルが近くなる。そこで、概念語の概念を、対応する行ベクトルで表す。本明細書では、この行ベクトルを便宜上、共起ベクトルと呼ぶ。概念語間の意味的類似性は、対応する共起ベクトルの間の類似度により定量化される。
【０００５】
生成された共起行列を特異値分解し、列数を少なくした行列である概念ベースに変換する。このようにして、共起ベクトルの次元数を圧縮することにより、ベクトル間の類似度の精度を向上させることができる。本明細書では、共起ベクトルの次元数を圧縮して得られるベクトルを便宜上、概念ベクトルと呼ぶ。
【０００６】
また、共起ベクトルと概念ベクトルを合わせて単語ベクトルと呼ぶ。  
【０００７】
非特許文献１で示した単語間共起に基づく手法では、共起語として、全異なり単語をとった場合、生成される共起ベクトルの次元数は非常に大きなものとなるため、この共起ベクトルを使用した言語処理の計算量が非常に大きなものになるという問題がある。
【０００８】
また、共起行列の列数が非常に大きい場合、共起行列を特異値分解するのに要する計算量は非常に大きなものとなり、特異値分解の実行が不可能になる。
【０００９】
これらのことから、単語間共起に基づく手法では、共起ベクトル、概念ベクトルのいずれを使用する場合でも、共起語の集合を制限する必要がある。一般的には、高頻度語のみに制限する。
【００１０】
共起語を制限するので、この列から漏れた共起語との共起頻度は、単語ベクトルにおいて一切考慮されず、単語ベクトルの品質が低くなる。
【００１１】
このことを解決するため、以下のような、単語と成分番号との共起に基づく手法がある。
【００１２】
この手法では、各共起語に、Ｎ個の成分番号のうちのいくつかを対応付ける。典型的な対応付けは、異なる共起語には異なる成分番号集合が対応付けられるように、一つの共起語に対し、Ｎ個の成分番号の中からいくつかの成分番号をランダムに選んで対応付ける。
【００１３】
次に、テキスト中に存在する概念語の集合と、Ｎ個の成分番号との間の共起行列で、各行が概念語に対応し、各列が成分番号に対応しているような共起行列を生成する。該テキストの所定の範囲（典型的には１文）において、任意の概念語Ａと、該範囲中の共起語に対応付けられた任意の成分番号Ｂとが共起する頻度を、該テキスト中の全ての所定の範囲にわたって加算した値を、該概念語Ａと該成分番号Ｂに対応する該共起行列の要素とする。
【００１４】
このようにして、任意の概念語に対し全ての共起語との共起情報を保持し、なおかつ、次元数を一定（Ｎ個）に抑えた共起ベクトルを生成できる。単語・成分番号間共起に基づく手法は、単語間共起に基づく手法と比べ、概念語間の意味的な類似性と識別性をより緻密に反映でき、かつ、共起ベクトルを使用した処理の計算量を増やさないようにすることができる。
【先行技術文献】
【非特許文献】
【００１５】
【非特許文献１】Ｈ．  Ｓｃｈｕｔｚｅ，  “Ｄｉｍｅｎｓｉｏｎｓ  ｏｆ  Ｍｅａｎｉｎｇ”，  Ｐｒｏｃ．  ｏｆ  Ｓｕｐｅｒｃｏｍｐｕｔｉｎｇ  ’９２，  １９９２，ｐｐ．７８７−７９６
【発明の概要】
【発明が解決しようとする課題】
【００１６】
上記単語・成分番号間共起に基づく手法では、以下のような課題がある。  
【００１７】
テキストにおいて、意味の近い概念語は、共通の隣人となる共起語を持っている傾向があるものの、同一の低頻度の共起語との共起頻度には差があることが多い。例えば、図１は単語間共起行列の一部であるが、「農園」と「菜園」は意味的に近いものの、低頻度語である「人参」との共起頻度には差がある。別の低頻度語である「南瓜」との共起頻度についても同様に差がある。
【００１８】
低頻度の共起語の中には、同一カテゴリに属するものがあり、それらの共起語との共起頻度が別々にカウントされるため、共起ベクトルが適切なものでなくなり、意味の近い概念語の共起ベクトルが遠くなる。図１の例では、「人参」と「南瓜」は、同一のカテゴリ「野菜」に属するが、それらとの共起頻度が別々にカウントされるため、「農園」と「菜園」の共起ベクトルが適切なものでなくなり、「農園」と「菜園」は意味的に近いにもかかわらず、対応する共起ベクトルは遠くなる。
【００１９】
単語・成分番号間共起に基づく手法において、同一カテゴリに属する低頻度の共起語に、共通の成分番号が割り当てられていないことが多い。例えば図２は、同一カテゴリ「野菜」に属する「人参」と「南瓜」へ成分番号集合を割り当てた成分番号付単語集合である。成分番号集合は第２項目として、各成分番号がコロン区切りとなっている。同一カテゴリ「野菜」に属する「人参」と「南瓜」には、共通の成分番号がない。
【００２０】
このとき、単語・成分番号間共起行列においても、同一カテゴリに属する低頻度の共起語に付随する成分番号との共起頻度が別々にカウントされるため、生成される単語・成分番号間共起行列の一部である図３が示すように、共起ベクトルが適切なものでなくなり、意味の近い概念語の共起ベクトルが遠くなる。
【００２１】
本発明は、このような課題を解決するために考え出されたものであり、単語・成分番号間共起に基づく手法において、対応する単語の間の意味的な類似性と識別性をより緻密に反映できる共起ベクトルまたは概念ベクトルを生成することを可能とする共起行列生成装置及び方法及びプログラム及びプログラムを記録した記録媒体を提供することを目的とする。
【課題を解決するための手段】
【００２２】
上記課題を解決するための請求項１に記載の共起行列生成装置は、単語の異なりの集合と、Ｎ個の成分番号との間の共起行列で、各行が単語に対応し、各列が成分番号に対応しているような第１共起行列を入力とし、該第１共起行列の行ベクトルの集合をＮ´個のクラスタにクラスタリングし、各クラスタに、Ｎ´個の成分番号のうちの一つを、クラスタによって成分番号が異なるように付与し、各行ベクトルに対応する単語に、該行ベクトルが属するクラスタの成分番号を対応付ける第１クラスタリング手段と、
形態素解析されたテキストにおける単語の異なりの集合と、Ｎ´個の成分番号との間で、各行が単語に対応し、各列が成分番号に対応しているような第２共起行列を生成し、該テキストの所定の範囲において、任意の単語Ａと、該範囲中の単語に対応付けられた成分番号Ｂとが共起する頻度を、該テキスト中の全ての所定の範囲にわたって加算した値を、該単語Ａと該成分番号Ｂに対応する該第２共起行列の要素とする第２共起行列生成手段と、
任意の単語と任意の成分番号に対し、前記第１共起行列と前記第２共起行列の対応する要素を、線形結合した値を、対応する要素とする第３共起行列を生成する第３共起行列生成手段とからなることを特徴としている。
【００２３】
また請求項２に記載の共起行列生成装置は、単語の異なりの集合と、Ｎ個の成分番号との間の共起行列で、各行が単語に対応し、各列が成分番号に対応しているような第１共起行列を入力とし、該第１共起行列を特異値分解し、列数を少なくした行列である概念ベースを生成する概念ベース生成手段と、
前記概念ベースの行ベクトルの集合をＮ´個のクラスタにクラスタリングし、各クラスタに、Ｎ´個の成分番号のうちの一つを、クラスタによって成分番号が異なるように付与し、各行ベクトルに対応する単語に、該行ベクトルが属するクラスタの成分番号を対応付ける第２クラスタリング手段と、
形態素解析されたテキストにおける単語の異なりの集合と、Ｎ´個の成分番号との間で、各行が単語に対応し、各列が成分番号に対応しているような第２共起行列を生成し、該テキストの所定の範囲において、任意の単語Ａと、該範囲中の単語に対応付けられた成分番号Ｂとが共起する頻度を、該テキスト中の全ての所定の範囲にわたって加算した値を、該単語Ａと該成分番号Ｂに対応する該第２共起行列の要素とする第２共起行列生成手段と、
任意の単語と任意の成分番号に対し、前記第１共起行列と前記第２共起行列の対応する要素を、線形結合した値を、対応する要素とする第３共起行列を生成する第３共起行列生成手段とからなることを特徴としている。
【００２４】
また請求項３に記載の共起行列生成装置は、単語の異なりの集合と、Ｎ個の成分番号との間の共起行列で、各行が単語に対応し、各列が成分番号に対応しているような第１共起行列を入力とし、該第１共起行列を特異値分解し、列数を少なくした行列である第１概念ベースを生成する第１概念ベース生成手段と、
前記第１概念ベースの行ベクトルの集合をＮ´個のクラスタにクラスタリングし、各クラスタに、Ｎ´個の成分番号のうちの一つを、クラスタによって成分番号が異なるように付与し、各行ベクトルに対応する単語に、該行ベクトルが属するクラスタの成分番号を対応付ける第３クラスタリング手段と、
形態素解析されたテキストにおける単語の異なりの集合と、Ｎ´個の成分番号との間で、各行が単語に対応し、各列が成分番号に対応しているような第２共起行列を生成し、該テキストの所定の範囲において、任意の単語Ａと、該範囲中の単語に対応付けられた成分番号Ｂとが共起する頻度を、該テキスト中の全ての所定の範囲にわたって加算した値を、該単語Ａと該成分番号Ｂに対応する該第２共起行列の要素とする第２共起行列生成手段と、
前記第２共起行列を特異値分解し、列数を少なくした行列である第２概念ベースを生成する第２概念ベース生成手段と、
前記第１概念ベースと前記第２概念ベースのそれぞれに対し、各列に成分番号を付与した上で、任意の単語と任意の成分番号に対し、該第１概念ベースと該第２概念ベースの対応する要素を、線形結合した値を、対応する要素とする第３概念ベースを生成する第３概念ベース生成手段とからなることを特徴としている。
【００２５】
また請求項４に記載の共起行列生成装置は、単語の異なりの集合と、Ｎ個の成分番号との間の共起行列で、各行が単語に対応し、各列が成分番号に対応しているような第１共起行列を入力とし、該第１共起行列を特異値分解し、列数を少なくした行列である第１概念ベースを生成する第１概念ベース生成手段と、
前記第１概念ベースの行ベクトルの集合をＮ´個のクラスタにクラスタリングし、各クラスタに、Ｎ´個の成分番号のうちの一つを、クラスタによって成分番号が異なるように付与し、各行ベクトルに対応する単語に、該行ベクトルが属するクラスタの成分番号を対応付ける第３クラスタリング手段と、
形態素解析されたテキストにおける単語の異なりの集合と、Ｎ´個の成分番号との間で、各行が単語に対応し、各列が成分番号に対応しているような第２共起行列を生成し、該テキストの所定の範囲において、任意の単語Ａと、該範囲中の単語に対応付けられた成分番号Ｂとが共起する頻度を、該テキスト中の全ての所定の範囲にわたって加算した値を、該単語Ａと該成分番号Ｂに対応する該第２共起行列の要素とする第２共起行列生成手段と、
前記第２共起行列を特異値分解し、列数を少なくした行列である第２概念ベースを生成する第２概念ベース生成手段と、
前記第１共起行列を特異値分解し、列数を少なくした行列である第４概念ベースを生成する第４概念ベース生成手段と、
前記第４概念ベースと前記第２概念ベースのそれぞれに対し、各列に成分番号を付与した上で、任意の単語と任意の成分番号に対し、該第４概念ベースと該第２概念ベースの対応する要素を、線形結合した値を、対応する要素とする第５概念ベースを生成する第５概念ベース生成手段とからなることを特徴としている。
【発明の効果】
【００２６】
（１）請求項１〜１０に記載の発明によれば、概念語間の類似性を考慮した品質の高さを備え、なおかつ、概念語間の識別性も備えた共起行列を生成することができる。
（２）本発明の請求項１では、典型的には単語・成分番号間共起に基づく手法によって生成した単語・成分番号間共起行列を第１共起行列とし、各概念語を共起語とみなして、共起語に対応する共起ベクトルの集合のクラスタリングにより、共起語群をクラスタリングする。これにより、同一カテゴリに属する共起語群は、一つのクラスタを形成する。次に、概念語の集合と、各クラスタに対応付けられた成分番号の集合との間の共起により、第２共起行列を生成する。このように、クラスタに対応付けられた成分番号との共起頻度をとることにより、同一のカテゴリに属する個々の共起語との共起頻度は、対応する成分番号との共起頻度に含まれるため、共起ベクトルが、より適切なものとなる。これにより、意味の近い概念語間の類似性が高まる。
【００２７】
例えば、図３の行列を一部にもつ第１共起行列において、「人参」と「南瓜」の共起ベクトルは近いため、共起ベクトルのクラスタリングにより、「人参」と「南瓜」は同一クラスタに属する。このクラスタに成分番号１をつけると、図４のような共起語と成分番号との対応付けである成分番号付単語集合が得られる。図５は生成した第２共起行列の一部であり、「人参」と「南瓜」それぞれとの共起頻度は、成分番号１との共起頻度に含まれる。これによって意味の近い「農園」と「菜園」の共起ベクトルは値が近くなる。
【００２８】
反面、第２共起行列においては、同一カテゴリの個々の共起語との共起頻度が、一つの成分番号との共起頻度にまとめ上げられるため、共起ベクトルの識別性が損なわれる。図５の第２共起行列では、同一カテゴリに属すると思われる「農園」と「菜園」の共起ベクトルは近くなるものの、逆に、「農園」と「菜園」が属するカテゴリ内での、「農園」と「菜園」との間の識別性は低下する。
【００２９】
そこで、概念語の識別能力の高い第１共起行列と、概念語の類似判断能力の高い第２共起行列に対し、要素の線形結合により、第３共起行列を生成する。このようにすることにより、概念語間の類似性を考慮した品質の高さを備え、なおかつ、概念語間の識別性も備えた共起行列を生成することができる。
【００３０】
図３を一部にもつ第１共起行列と、図５を一部にもつ第２共起行列に対し、第１共起行列の要素に例えば係数０．５を乗じ、第２共起行列の要素に係数１．０を乗じた上で加算して得られる第３共起行列の一部を示したものが図６である。第３共起行列は、概念語間の類似性を考慮した品質の高さを備え、なおかつ、概念語間の識別性も備えている。
【００３１】
第３共起行列は、以下のようにしても生成可能である。  
【００３２】
第１クラスタリング手段によって共起語に割り当てられた成分番号の重みを例えば１．０とし、第１共起行列を生成する際の共起語に割り当てられた成分番号の重みを例えば０．５として、共起語に、それらの成分番号集合を対応付けた図７のような成分番号付単語集合を得る。図７では、括弧内の数値が成分番号の重みを示す。
【００３３】
形態素解析されたテキストにおける概念語の集合と、成分番号集合との間で第３共起行列を生成し、該テキストの所定の範囲において、任意の概念語Ａと、該範囲中の共起語に対応付けられた、上記成分番号付単語集合中の任意の成分番号Ｂ（同一番号のものが複数あっても別物とする）とが共起する頻度に、該成分番号Ｂの重みを乗じた値を、該テキスト中の全ての所定の範囲にわたって加算した値を、該概念語Ａと該成分番号Ｂに対応する第３共起行列の要素に加算する。
【００３４】
図７の成分番号付単語集合は、同一カテゴリの共起語群に、該カテゴリにユニークな重み１．０の成分番号を付与することにより、共起語間の類似性を考慮している。また、共起語ごとに異なる、各成分番号の重みが０．５の成分番号集合を対応付けることにより、重み１．０の同一の成分番号をもつ共起語群内での共起語間の識別性を保持している。このような成分番号付単語集合をもとに第３共起行列を生成するので、第３共起行列は、概念語間の類似性を考慮した品質の高さを備え、なおかつ、概念語間の識別性も備えたものとなる。
（３）本発明の請求項２では、第１共起行列を特異値分解して得られる概念ベースの各概念語を共起語とみなして、共起語に対応する概念ベクトルの集合のクラスタリングにより、共起語群をクラスタリングする。請求項１との差分は、クラスタリングの対象が、請求項１は第１共起行列の共起ベクトル群であるのに対し、請求項２は概念ベースの概念ベクトル群である点である。請求項２の手法は、請求項１の手法よりも、以下の理由で、より高品質な第３共起行列を生成できる。
【００３５】
一般に概念ベクトルは共起ベクトルよりも、概念語間の意味的類似性をより反映できるという意味で、より高品質なので、クラスタリングで得られるクラスタも、より高精度となる。このクラスタ群を用いて第２共起行列を生成することにより、第２共起行列の共起ベクトルも、より高品質となる。この第２共起行列を用いて第３共起行列を生成することにより、第３共起行列の共起ベクトルも、より高品質となる。
（４）本発明の請求項３では、第１共起行列を特異値分解して得られる第１概念ベースと、第２共起行列を特異値分解して得られる第２概念ベースとを結合することにより、第３概念ベースを生成する。概念語の識別能力の高い第１共起行列から生成した第１概念ベースは概念語の識別能力が高く、概念語の類似判断能力の高い第２共起行列から生成した第２概念ベースは概念語の類似判断能力が高いので、これらから生成した第３概念ベースは、概念語間の類似性を考慮した品質の高さを備え、なおかつ、概念語間の識別性も備えたものとなる。
（５）本発明の請求項４では、第１概念ベース生成手段で特異値分解後の行列の次元数を大きくすることにより、高品質な第１概念ベースを生成し、この第１概念ベースから高品質な第２共起行列、第２概念ベースを生成する。一方、第４概念ベース生成手段で次元数が比較的小さい第４概念ベースを生成し、第４概念ベースと第２概念ベースとを結合することにより、次元数が比較的小さい第５概念ベースを生成する。最終的に得られる第５概念ベースの次元数を比較的小さくできるので、第５概念ベースを用いた言語処理の計算量を小さくすることができる。
【図面の簡単な説明】
【００３６】
【図１】単語間共起行列の一部を示す説明図。
【図２】従来の手法による成分番号付単語集合の例を示す説明図。
【図３】単語・成分番号間共起行列の一部を示す説明図。
【図４】本発明による成分番号付単語集合の例を示す説明図。
【図５】本発明により生成した第２共起行列の一部を示す説明図。
【図６】本発明により生成した第３共起行列の一部を示す説明図。
【図７】本発明による成分番号付単語集合の他の例を示す説明図。
【図８】本発明の入力となる第１共起行列（単語・成分番号間共起行列）を生成する装置の構成図。
【図９】図８の装置で利用する単語辞書の内容の一例を示す説明図。
【図１０】図８の装置で利用する不要語テーブルの内容の一例を示す説明図。
【図１１】図８の装置で利用する不要品詞テーブルの内容の一例を示す説明図。
【図１２】図８の装置に入力されるテキストの一例を示す説明図。
【図１３】図８の装置においてテキストを形態素解析した結果を示す説明図。
【図１４】図８の成分番号付与手段が実行する処理のフローチャート。
【図１５】図１３の形態素解析結果を図８の成分番号付与手段に入力したときに得られる異なり単語の集合である単語群を示す説明図。
【図１６】図１５の単語群について、各単語に対応付ける成分番号集合の要素数を２としたとき、図８の成分番号付与手段の処理が終了した時点での成分番号付単語集合を示す説明図。
【図１７】図８の第１共起行列生成手段が実行する処理のフローチャート。
【図１８】図８の第１共起行列生成手段により生成された第１共起行列の例を示す説明図。
【図１９】図１７のフローチャートの処理対象単語を決定するステップにおいて、処理対象の単語がなくなった時点での必要語列の例を示す説明図。
【図２０】図１７のフローチャートの処理対象単語を決定するステップにおいて、処理対象の単語がなくなった時点での頻度ハッシュの例を示す説明図。
【図２１】図１７のフローチャートの共起行列更新ステップにおいて、自己非共起方式を実施したときに生成される一時的な頻度ハッシュの例を示す説明図。
【図２２】図１７のフローチャートの、必要語列における処理対象とする必要語を決定するステップにおいて、図１３の２番目の文まで処理が終了した時点で得られる第１共起行列の例を示す説明図。
【図２３】請求項１に係る本発明の共起行列生成装置の一例を示す構成図。
【図２４】図２３の第１クラスタリング手段により得られた成分番号付単語集合の例を示す説明図。
【図２５】図２３の第２共起行列生成手段が行なう、図１７のフローチャートの処理対象単語を決定するステップにおいて、処理対象の単語がなくなった時点での頻度ハッシュの例を示す説明図。
【図２６】図２３の第２共起行列生成手段が行なう、図１７のフローチャートの共起行列更新ステップにおいて、自己非共起方式を実施したときに生成される一時的な頻度ハッシュの例を示す説明図。
【図２７】図２３の第２共起行列生成手段が行なう、図１７のフローチャートの、必要語列における処理対象とする必要語を決定するステップにおいて、図１３の２番目の文まで処理が終了した時点で得られる第２共起行列の例を示す説明図。
【図２８】図２３の第３共起行列生成手段で生成される第３共起行列の例を示す説明図。
【図２９】請求項１に係る本発明の共起行列生成装置の他の例を示す構成図。
【図３０】図２９の第１クラスタリング手段により得られた成分番号付単語集合の例を示す説明図。
【図３１】図２９の第３共起行列生成手段が行なう、図１７のフローチャートの処理対象単語を決定するステップにおいて、処理対象の単語がなくなった時点での頻度ハッシュの例を示す説明図。
【図３２】図２９の第３共起行列生成手段が行なう、図１７のフローチャートの共起行列更新ステップにおいて、自己非共起方式を実施したときに生成される一時的な頻度ハッシュの例を示す説明図。
【図３３】請求項２に係る本発明の共起行列生成装置の一例を示す構成図。
【図３４】本発明の第１共起行列を特異分解して得られた請求項２の概念ベース、請求項３の第１概念ベース、請求項４の第４概念ベースの例を示す説明図。
【図３５】請求項２に係る本発明の共起行列生成装置の他の例を示す構成図。
【図３６】請求項３に係る本発明の共起行列生成装置の一例を示す構成図。
【図３７】本発明の第２共起行列を特異分解して得られた請求項３の第２概念ベースの例を示す説明図。
【図３８】本発明の第１概念ベースと第２概念ベースの対応する要素を線形結合して得られた第３概念ベース、本発明の第４概念ベースと第２概念ベースの対応する要素を線形結合して得られた第５概念ベースの例を示す説明図。
【図３９】請求項４に係る本発明の共起行列生成装置の一例を示す構成図。
【発明を実施するための形態】
【００３７】
以下、図面を参照しながら本発明の実施の形態を説明するが、本発明は下記の実施形態例に限定されるものではない。
【００３８】
本発明の構成について説明する前に、本発明の入力となる第１共起行列となる単語・成分番号間共起行列を生成する手法の一例である単語・成分番号間共起に基づく手法について説明する。
【００３９】
図８は、単語・成分番号間共起に基づく手法を実現する装置の構成例である。
【００４０】
形態素解析手段０１では、例えばハードディスク等の記憶手段に格納された単語辞書０４および図示省略の不要語テーブル、不要品詞テーブルを参照して、入力されたテキスト０５を形態素解析する。
【００４１】
図９は、単語辞書０４の内容の一例である。同図では、単語辞書０４は、１レコードが１単語に関する情報となっており、１レコードは、カンマで区切られた２つの項目から構成されている。第１項目は単語の表記であり、第２項目は該単語の品詞情報である。活用語に対しては、終止形も新たな項目として登録しておくということも考えられる。
【００４２】
図１０は、不要語テーブルの内容の一例である。不要とされる各単語の終止形（終止形がない単語に対しては、単語表記を終止形とする。）が１レコードとして記述されている。図１１は、不要品詞テーブルの内容の一例である。不要とされる各品詞情報が１レコードとして記述されている。
【００４３】
図１２は、形態素解析手段０１に入力されるテキスト０５の一例であり、図１３は、図９に示される単語辞書０４を参照して図１２のテキスト０５を形態素解析した結果１６を示す。各単語間は“／”で区切られている。各単語は、単語表記、終止形、品詞情報、必要語フラグから成っており、それぞれ“，”で区切られている。単語辞書０４に終止形が登録されていない場合は、形態素解析後に、単語表記と品詞情報から終止形を導出する。終止形がない単語に対しては、単語表記を終止形とする。終止形が不要語テーブルのあるレコードと一致するか、あるいは、品詞情報が不要品詞テーブルのあるレコードと一致する場合、必要語フラグを０とし、一致しない場合、必要語フラグを１とする。
【００４４】
成分番号付与手段０２は、形態素解析手段０１で得られた単語の各異なりに対し、Ｎ個の成分番号のうちのいくつかを対応付ける。Ｎ個の成分番号は任意の番号でよい。以下、本発明の処理の具体的なデータの例を使用した説明においては、Ｎ個の成分番号を１，  ２，・・・，  Ｎとした場合を記述する。
【００４５】
図１４は、成分番号付与手段０２の処理のフローチャートの例である。各ステップについて説明する。
【００４６】
ステップ０２１）
形態素解析結果１６中の終止形で、必要語フラグが１となっているものの異なりの集合をとる。図１３の形態素解析結果１６を入力としたとき、異なり単語の集合として、図１５の単語群が得られる。
【００４７】
得られた単語群の単語数をＭとする。対象となる一単語に対応付ける成分番号の個数Ｋを以下のようにして定める。
【００４８】
Ｎ個の成分番号から抽出したＫ個の成分番号の組合せの数は、以下の式で表されるNＣKである。
【００４９】
【数１】
2011065317.tif 000003
【００５０】
異なる単語には異なる成分番号集合が対応付けられるように、NＣK≧ＭとなるようにＫを定める。ステップ０２２へ移行する。
【００５１】
ステップ０２２）
ステップ０２１で得られた単語群の単語を一つ読み出す。単語を読み出したら、ステップ０２３へ移行する。読み出す単語がない場合は、成分番号付与手段０２の処理を終了する。
【００５２】
ステップ０２３）
最初にステップ０２３に入ったときは、Ｎ個の成分番号からランダムに抽出したＫ個の成分番号を、対象単語に対応付ける。
【００５３】
２番目以降にステップ０２３に入ったときは、Ｎ個の成分番号から抽出されるＫ個の成分番号の集合の群から、これまでに付与した成分番号集合の群を除いた集合群から、ランダムに一つの成分番号集合を選び、該成分番号集合を対象単語に付与する。ステップ０２３の処理が終了すれば、ステップ０２２へ移行する。
【００５４】
ステップ０２１で得られた図１５の単語群は、各単語に対応付ける成分番号集合の要素数を２としたとき、成分番号付与手段０２の処理が終了した時点で図１６のようになる。各単語には、該単語にユニークな、２個の要素からなる成分番号集合が対応付けられており、該成分番号集合は第２項目として、各成分がコロン区切りとなっている。この各単語に成分番号集合が対応付けられた単語群を、成分番号付単語集合０６と呼ぶ。
【００５５】
第１共起行列生成手段０３では、形態素解析結果１６と成分番号付単語集合０６を入力とし、形態素解析結果１６中の単語の異なりの集合と、Ｎ個の成分番号との間で、各行が単語に対応し、各列が成分番号に対応しているような第１共起行列１４を生成し、入力テキスト０５の所定の範囲において、任意の単語Ａと、該範囲中の単語に対応付けられた任意の成分番号Ｂとが共起する頻度を、テキスト０５中の全ての所定の範囲にわたって加算した値を、該単語Ａと該成分番号Ｂに対応する該第１共起行列１４の要素とする。
【００５６】
図１７は、第１共起行列生成手段０３の処理のフローチャートの例である。各ステップについて説明する。
【００５７】
ステップ１２１）
形態素解析結果１６中の終止形で、必要語フラグが１となっているものの異なりの集合をとる。但し、それが、入力となる成分番号付単語集合における単語集合と同一であれば、該成分番号付単語集合における単語集合をとればよい。
【００５８】
上記単語集合と、Ｎ個の成分番号との間で、図１８のような、各行が単語に対応し、各列が成分番号に対応するような共起行列を生成する。共起行列中の各要素は、対応する単語と成分番号との共起頻度を表し、本ステップでは初期値として０をセットする。ステップ１２２へ移行する。
【００５９】
ステップ１２２）
単語と成分番号とが共起する頻度を算出する処理の対象となるテキスト中の範囲を決定する。所定の範囲としては、１文、１段落や１文書等がある。所定の範囲を１文とした場合は、まず、テキスト中の最初の文を処理対象とする。処理対象とした文に関する処理が終了したならば、その次の文を処理対象とする。最後の文に関する処理が終了したならば、処理対象の文はないので、本フローチャートを終了する。所定の範囲を、他のものとした場合も同様である。
【００６０】
ステップ１２３）
処理対象となる必要語の列を記憶する必要語列を、ヌルにクリアする。また、成分番号とその頻度の組の集合を記憶する頻度ハッシュを、ヌルにクリアする。ステップ１２４へ移行する。
【００６１】
ステップ１２４）
処理対象のテキストの範囲における、処理対象とする単語を決定する。まず、処理対象のテキストの範囲における最初の単語を処理対象とする。処理対象とした単語に関する処理が終了したならば、その次の単語を処理対象とする。最後の単語に関する処理が終了したならば、処理対象の単語はないので、ステップ１２７へ移行する。
【００６２】
ステップ１２５）
処理対象の単語が必要語かどうかを判断する。処理対象の単語の必要語フラグが１ならばステップ１２６へ移行し、そうでないならばステップ１２４へ移行する。
【００６３】
ステップ１２６）
処理対象の単語の終止形で共起行列の単語集合を検索する。ヒットしたならば、該終止形を必要語列に追加する。必要語列においては、必要語が、追加される順に格納されており、同一の必要語がすでに必要語列にある場合でも追加される。
【００６４】
また、該単語の終止形で入力となる成分番号付単語集合を検索する。ヒットしたならば、以下を行う。該終止形の各成分番号に対し、該成分番号が頻度ハッシュになければ、該成分番号とその頻度１を頻度ハッシュに追加する。該成分番号が頻度ハッシュにあれば、頻度ハッシュにおける該成分番号の頻度を１だけ増やす。
【００６５】
図１３に示した、テキストの１範囲の形態素解析結果である１番目の文からは、ステップ１２４で処理対象の単語がなくなった時点で、図１９の必要語列と図２０の頻度ハッシュが得られる。
【００６６】
ステップ１２７）
必要語列における、処理対象とする必要語を決定する。まず、必要語列における最初の必要語を処理対象とする。処理対象とした必要語に関する処理が終了したならば、その次の必要語を処理対象とする。最後の必要語に関する処理が終了したならば、処理対象の必要語はないので、ステップ１２２へ移行する。
【００６７】
ステップ１２８）
処理対象の必要語で共起行列の単語集合を検索し、頻度ハッシュにおける各成分番号の頻度を、該必要語に対応する行ベクトルの該成分番号の値に加算する。ここで加算の仕方として、該必要語自身の成分番号との共起をカウントする自己共起方式と、カウントしない自己非共起方式がある。
【００６８】
・自己共起方式  ：  頻度ハッシュを、該必要語の行ベクトルに加算する。
【００６９】
・自己非共起方式  ：該必要語の成分番号集合を、該必要語で入力となる成分番号付単語集合を検索することにより取得する。該必要語の各成分番号の、頻度ハッシュにおける頻度から、１だけ減じて得られる一時的な頻度ハッシュを、該必要語の行ベクトルに加算する。（頻度ハッシュは、一時的な頻度ハッシュを生成する際も、保持し続け、一時的な頻度ハッシュは、行ベクトルへの加算が終わった後、クリアする。）
自己非共起方式での例として、ステップ１２２において、共起行列が図１８であり、かつ、図１３に示した、テキストの１範囲の形態素解析結果である１番目の文を処理対象と決定した場合を考える。ステップ１２７で最初の必要語「人参」を処理対象と決定したときに、ステップ１２８では、該必要語の成分番号である３と４の、図２０の頻度ハッシュにおける頻度から、それぞれ１だけ減じて得られる、図２１に示した一時的な頻度ハッシュを生成し、この一時的な頻度ハッシュを、該必要語の行ベクトルに加算する。ステップ１２７で、図１３に示した２番目の文までの処理が終了した時点で、図２２の共起行列が得られる。
【００７０】
以上のようにして、第１共起行列１４が生成される。図２２で示した第１共起行列１４の例では、各共起ベクトルはいずれも異なっており、カテゴリ「野菜」に属する「人参」、「南瓜」、「胡瓜」の共起ベクトルは互いに近く（各要素の差の絶対値の和が４）、カテゴリ「格闘技」に属する「相撲」、「空手」、「柔道」の共起ベクトルは互いに近く（各要素の差の絶対値の和が４）、カテゴリ「野菜」に属する概念語の共起ベクトルとカテゴリ「格闘技」に属する概念語の共起ベクトルとは離れている（各要素の差の絶対値の和の最小値が６）。
【００７１】
以下、本発明の構成について説明する。  
【００７２】
図２３は、本発明の請求項１の共起行列生成装置の構成例を表し（ａ）は各構成要素と各データの流れを示し、（ｂ）は共起行列生成装置１０１のハードウェア構成を示している。
【００７３】
共起行列生成装置１０１は、例えば図８で説明した第１共起行列１４、形態素解析結果１６を入力とし、第１クラスタリング手段１１、第２共起行列生成手段１２、第３共起行列生成手段１３および前記各手段で処理された各データ（成分番号付単語集合１５、第２共起行列１７、第３共起行列１８）を記憶する記憶部１１１とを備えている。
【００７４】
前記第１クラスタリング手段１１、第２共起行列生成手段１２、第３共起行列生成手段１３の、後述する各機能は例えばコンピュータの演算処理部によって達成される。
【００７５】
第１クラスタリング手段１１は、第１共起行列１４を入力とし、第１共起行列１４の行ベクトルの集合をＮ´個のクラスタにクラスタリングし、各クラスタに、Ｎ´個の成分番号のうちの一つを、クラスタによって成分番号が異なるように付与し、各行ベクトルに対応する単語に、該行ベクトルが属するクラスタの成分番号を対応付ける。
【００７６】
第１共起行列１４の任意の共起ベクトルをＸ＝（ｘ1，ｘ2，…，ｘN）としたとき、各成分値を、成分値の和で割って得られる確率ベクトル
【００７７】
【数２】
2011065317.tif 000004
【００７８】
に変換する。この操作により、共起ベクトルの長さのクラスタリングへの影響をなくす。
【００７９】
上記確率ベクトルの集合をＮ´個のクラスタにクラスタリングする。Ｎ´は必ずしもＮでなくてもよい。クラスタリングアルゴリズムの例として、ウォード法がある。
【００８０】
Ｎ´個の成分番号を任意に決める。Ｎ´個の成分番号の集合は、必ずしも第１共起行列１４における成分番号集合と一致しなくてもよく、その２つの集合が共通の成分番号を一つも持っていなくてもよい。
【００８１】
得られたＮ´個のクラスタのそれぞれに、Ｎ´個の成分番号のうちの一つを、クラスタによって成分番号が異なるように付与する。各共起ベクトルに対応する単語に、該共起ベクトルが属するクラスタの成分番号を対応付ける。このようにして、各単語に成分番号が対応付けられた成分番号付単語集合１５が得られる。
【００８２】
以下、本発明の処理の具体的なデータの例を使用した説明においては、Ｎ´＝Ｎで、Ｎ´個の成分番号を１，  ２，・・・，  Ｎとした場合を記述する。
【００８３】
図２２の第１共起行列１４を入力としたとき、「人参」、「南瓜」、「胡瓜」の共起ベクトルが１クラスタとなり、「相撲」、「空手」、「柔道」の共起ベクトルが１クラスタとなる。前者のクラスタに成分番号１を付与し、後者のクラスタに成分番号２を付与することにより、図２２の第１共起行列１４の単語群から、図２４のような成分番号付単語集合１５が得られる。図２４においては、各レコードにおいて、第２項目が成分番号となっている。
【００８４】
第２共起行列生成手段１２は、形態素解析結果１６と成分番号付単語集合１５を入力とし、形態素解析結果１６中の単語の異なりの集合と、Ｎ´個の成分番号との間で、各行が単語に対応し、各列が成分番号に対応しているような第２共起行列１７を生成し、該テキストの所定の範囲において、任意の単語Ａと、該範囲中の単語に対応付けられた成分番号Ｂとが共起する頻度を、該テキスト中の全ての所定の範囲にわたって加算した値を、該単語Ａと該成分番号Ｂに対応する第２共起行列１７の要素とする。
【００８５】
図１７は、第２共起行列生成手段１２の処理のフローチャートでもある。第２共起行列生成手段１２で処理される各ステップの動作は、上記図１７の説明において、成分番号付単語集合０６が成分番号付単語集合１５となり、成分番号の個数ＮがＮ´となるのを除けば、上記図１７の説明と同じである。
【００８６】
図１３に示した、テキストの１範囲の形態素解析結果である１番目の文からは、ステップ１２４で処理対象の単語がなくなった時点で、図１９の必要語列と図２５の頻度ハッシュが得られる。
【００８７】
自己非共起方式での例として、ステップ１２２において、共起行列が図１８であり、かつ、図１３に示した、テキストの１範囲の形態素解析結果である１番目の文を処理対象と決定した場合を考える。ステップ１２７で最初の必要語「人参」を処理対象と決定したときに、ステップ１２８では、図２５の頻度ハッシュから、該必要語の成分番号である１の頻度を１だけ減じて得られる、図２６に示した一時的な頻度ハッシュを生成し、この一時的な頻度ハッシュを、該必要語の行ベクトルに加算する。（図２５の頻度ハッシュは、一時的な頻度ハッシュを生成する際も、保持し続け、一時的な頻度ハッシュは、行ベクトルへの加算が終わった後、クリアする。）ステップ１２７で、図１３に示した２番目の文までの処理が終了した時点で、図２７の共起行列が得られる。
【００８８】
以上のようにして、第２共起行列１７が生成される。図２７で示した第２共起行列１７の例では、カテゴリ「野菜」に属する「人参」、「南瓜」、「胡瓜」の共起ベクトルは同一となり、カテゴリ「格闘技」に属する「相撲」、「空手」、「柔道」の共起ベクトルは同一となり、カテゴリ「野菜」に属する概念語の共起ベクトルとカテゴリ「格闘技」に属する概念語の共起ベクトルとは離れている（各要素の差の絶対値の和の最小値が４）。カテゴリ間の距離と、カテゴリ内の距離との差は、第１共起行列１４より大きくなっている。このように第２共起行列１７は第１共起行列１４と比べ、カテゴリ間の識別性が高まる。一方で、カテゴリ内の類似性は極めて高いものの、識別性は低下する。
【００８９】
第３共起行列生成手段１３は、任意の単語と任意の成分番号に対し、第１共起行列１４と第２共起行列１７の対応する要素を、線形結合した値を、対応する要素とする第３共起行列１８を生成する。
【００９０】
第１共起行列１４におけるＮ個の成分番号の集合と、第２共起行列１７におけるＮ´個の成分番号の集合との和集合を、仮に１，  ２，・・・，  Ｎ´´とおく。
【００９１】
任意の一単語ｐに対し、単語ｐの第１共起行列１４における共起ベクトルをＸp＝（ｘp1，ｘp2，…，ｘpN"）とし、単語ｐの第２共起行列１７における共起ベクトルをＹp＝（ｙp1，ｙp2，…，ｙpN"）とする。一方の成分番号集合にない成分番号の値は０とする。このとき、単語ｐの第３共起行列１８における共起ベクトルＺp＝（ｚp1，ｚp2，…，ｚpN"）は、線形結合の、第１共起行列１４側の係数をα、第２共起行列１７側の係数をβとしたとき、以下のように表される。
【００９２】
Ｚp＝（ｚp1，ｚp2，…，ｚpN"）  ｚpi＝α・ｘpi＋β・ｙpi…（３）
図２２の第１共起行列１４と図２７の第２共起行列１７を入力とし、線形結合の係数α、βをα＝０．５、β＝１．０としたとき、第３共起行列１８は図２８のようになる。図２８の第３共起行列１８では、各共起ベクトルはいずれも異なっており、カテゴリ「野菜」に属する「人参」、「南瓜」、「胡瓜」の共起ベクトルは互いに近く（各要素の差の絶対値の和が２）、カテゴリ「格闘技」に属する「相撲」、「空手」、「柔道」の共起ベクトルは互いに近く（各要素の差の絶対値の和が２）、カテゴリ「野菜」に属する概念語の共起ベクトルとカテゴリ「格闘技」に属する概念語の共起ベクトルとは離れている（各要素の差の絶対値の和の最小値が７）。カテゴリ間の距離と、カテゴリ内の距離との差は、第１共起行列１４より大きくなっている。このように第３共起行列１８は第１共起行列１４と比べ、カテゴリ間の識別性が高まり、なおかつ、概念語間の識別性も備えたものとなる。
【００９３】
本発明の請求項１の共起行列生成装置の構成を、図２９のようにすることもできる。図２９では、入力テキストから第１共起行列を生成する処理を含めており、（ａ）は各構成要素と各データの流れを示し、（ｂ）は共起行列生成装置１０２のハードウェア構成を示している。
【００９４】
共起行列生成装置１０２は、テキスト０５を入力とし、形態素解析手段０１、成分番号付与手段０２、第１共起行列生成手段０３、第１クラスタリング手段（２）３１、第３共起行列生成手段（２）３２、例えばハードディスクなどの記憶手段に格納された単語辞書０４および前記各手段で処理された各データ（形態素解析結果１６、成分番号付単語集合０６、第１共起行列１４、成分番号付単語集合（２）３３、第３共起行列１８）を記憶する記憶部１１２とを備えている。
【００９５】
前記形態素解析手段０１、成分番号付与手段０２、第１共起行列生成手段０３、第１クラスタリング手段（２）３１、第３共起行列生成手段（２）３２の、後述する各機能は例えばコンピュータの演算処理部によって達成される。
【００９６】
形態素解析手段０１、成分番号付与手段０２、第１共起行列生成手段０３は、図８におけるものと同じである。
【００９７】
第１クラスタリング手段（２）３１は、第１共起行列１４と成分番号付単語集合０６を入力とし、以下の処理を行う。
【００９８】
第１共起行列１４の行ベクトルの集合をＮ´個のクラスタにクラスタリングし、各クラスタに、Ｎ´個の成分番号のうちの一つを、クラスタによって成分番号が異なるように付与し、各行ベクトルに対応する単語に、該行ベクトルが属するクラスタの成分番号を対応付ける。任意の単語ｐに対し、このとき対応付けられた成分番号を{ EMBED Equation.3 , }とし、成分番号付単語集合０６における単語ｐの成分番号をｔp1，ｔp2，…，ｔpkとする。
【００９９】
線形結合の係数α、βに対し、ｓpの重みをβ、ｔp1，ｔp2，…，ｔpkの各重みをαとして、以下の、単語ｐとその重み付成分番号集合の情報が格納された成分番号付単語集合（２）３３を出力する。
【０１００】
Ｐ，ｓp（β）：ｔp1（α）：ｔp2（α）：…：ｔpk（α）…（４）
図２２の第１共起行列１４と、図１６の成分番号付単語集合０６を入力とし、α＝０．５、β＝１．０として、第１クラスタリング手段（２）３１の処理を行うと、図３０のような成分番号付単語集合（２）３３が得られる。成分番号付単語集合（２）３３の各単語を共起語とみなすと、同一カテゴリの共起語群｛人参，南瓜，胡瓜｝や｛相撲，空手，柔道｝に、該カテゴリにユニークな成分番号（それぞれ１，２）を重み１．０で付与することにより、共起語間の類似性を考慮している。また、共起語ごとに異なる、各成分番号の重みが０．５の成分番号集合を対応付けることにより、重み１．０の同一の成分番号をもつ共起語群内での共起語間の識別性を保持している。
【０１０１】
成分番号付単語集合（２）３３中の成分番号の異なりの個数をＮ´´とする。
【０１０２】
第３共起行列生成手段（２）３２は、請求項１の第２共起行列生成手段と第３共起行列生成手段の機能を達成するものであり、以下の処理を行う。形態素解析結果１６と成分番号付単語集合（２）３３を入力とし、形態素解析結果１６中の単語の異なりの集合と、Ｎ´´個の成分番号との間で、各行が単語に対応し、各列が成分番号に対応しているような第３共起行列１８を生成し、該テキストの所定の範囲において、任意の単語Ａと、該範囲中の単語に対応付けられた任意の成分番号Ｂ（同一番号のものが複数あっても別物とする）とが共起する頻度に、該成分番号Ｂの重みを乗じた値を、該テキスト中の全ての所定の範囲にわたって加算した値を、該単語Ａと該成分番号Ｂに対応する第３共起行列１８の要素に加算する。
【０１０３】
図１７は、第３共起行列生成手段（２）３２の処理のフローチャートでもある。第３共起行列生成手段（２）３２で処理される各ステップの動作は、上記図１７の説明において、成分番号付単語集合０６が成分番号付単語集合（２）３３となり、成分番号の個数ＮがＮ´´となる。また、ステップ１２６、ステップ１２８については、以下のように動作する。
【０１０４】
ステップ１２６）
処理対象の単語の終止形で共起行列の単語集合を検索する。ヒットしたならば、該終止形を必要語列に追加する。必要語列においては、必要語が、追加される順に格納されており、同一の必要語がすでに必要語列にある場合でも追加される。
【０１０５】
また、該単語の終止形で入力となる成分番号付単語集合（２）３３を検索する。ヒットしたならば、以下を行う。該終止形の各成分番号（同一番号のものが複数あっても別物とする）に対し、該成分番号が頻度ハッシュになければ、該成分番号とその重みを頻度ハッシュに追加する。該成分番号が頻度ハッシュにあれば、頻度ハッシュにおける該成分番号の頻度を、該成分番号の重みだけ増やす。
【０１０６】
図１３に示した、テキストの１範囲の形態素解析結果である１番目の文からは、ステップ１２４で処理対象の単語がなくなった時点で、図１９の必要語列と図３１の頻度ハッシュが得られる。
【０１０７】
ステップ１２８）
処理対象の必要語で共起行列の単語集合を検索し、頻度ハッシュにおける各成分番号の頻度を、該必要語に対応する行ベクトルの該成分番号の値に加算する。ここで加算の仕方として、該必要語自身の成分番号との共起をカウントする自己共起方式と、カウントしない自己非共起方式がある。
【０１０８】
・自己共起方式  ：  頻度ハッシュを、該必要語の行ベクトルに加算する。
【０１０９】
・自己非共起方式  ：該必要語の成分番号集合を、該必要語で入力となる成分番号付単語集合（２）３３を検索することにより取得する。該必要語の各成分番号（同一番号のものが複数あっても別物とする）の、頻度ハッシュにおける頻度から、該成分番号の重みだけ減じて得られる一時的な頻度ハッシュを、該必要語の行ベクトルに加算する。（頻度ハッシュは、一時的な頻度ハッシュを生成する際も、保持し続け、一時的な頻度ハッシュは、行ベクトルへの加算が終わった後、クリアする。）
自己非共起方式での例として、ステップ１２２において、共起行列が図１８であり、かつ、図１３に示した、テキストの１範囲の形態素解析結果である１番目の文を処理対象と決定した場合を考える。ステップ１２７で最初の必要語「人参」を処理対象と決定したときに、ステップ１２８では、該必要語の成分番号である１と３と４の、図３１の頻度ハッシュにおける頻度から、それぞれの重みだけ減じて得られる、図３２に示した一時的な頻度ハッシュを生成し、この一時的な頻度ハッシュを、該必要語の行ベクトルに加算する。ステップ１２７で、図１３に示した２番目の文までの処理が終了した時点で、図２８の共起行列が得られる。
【０１１０】
図３３は、本発明の請求項２の共起行列生成装置の構成例を表し（ａ）は各構成要素と各データの流れを示し、（ｂ）は共起行列生成装置１０３のハードウェア構成を示している。
【０１１１】
共起行列生成装置１０３は、例えば図８で説明した第１共起行列１４、形態素解析結果１６を入力とし、概念ベース生成手段２１、第２クラスタリング手段２２、第２共起行列生成手段１２、第３共起行列生成手段１３および前記各手段で処理された各データ（概念ベース２３、成分番号付単語集合１５、第２共起行列１７、第３共起行列１８）を記憶する記憶部１１３とを備えている。
【０１１２】
前記概念ベース生成手段２１、第２クラスタリング手段２２、第２共起行列生成手段１２、第３共起行列生成手段１３の、後述する各機能は例えばコンピュータの演算処理部によって達成される。
【０１１３】
概念ベース生成手段２１は、第１共起行列１４を特異値分解し、列数を少なくした行列である概念ベース２３を生成する。
【０１１４】
第１共起行列１４の各要素を、生成される概念ベースの品質を高めるために、該要素の平方根に変換した上で、特異値分解を行ってもよい。特異値分解後の行列の各行ベクトルを長さ１に正規化してもよい。
【０１１５】
図３４は、図２２で示した第１共起行列１４を特異値分解して得られた概念ベース２３である。列数について、Ｄ≦Ｎとなっている。
【０１１６】
第２クラスタリング手段２２は、概念ベース２３の行ベクトルの集合をＮ´個のクラスタにクラスタリングし、各クラスタに、Ｎ´個の成分番号のうちの一つを、クラスタによって成分番号が異なるように付与し、各行ベクトルに対応する単語に、該行ベクトルが属するクラスタの成分番号を対応付ける。
【０１１７】
第２クラスタリング手段２２の処理内容は、概念ベース２３の概念ベクトル群がクラスタリング対象であることを除いて、図２３における第１クラスタリング手段１１と同じである。（但し一般的には、概念ベクトルを確率ベクトルには変換しない。）
第２共起行列生成手段１２、第３共起行列生成手段１３の処理内容は、図２３におけるものと同じである。
【０１１８】
本発明の請求項２の共起行列生成装置の構成を、図３５のようにすることもできる。図３５では、入力テキストから第１共起行列を生成する処理を含めており、（ａ）は各構成要素と各データの流れを示し、（ｂ）は共起行列生成装置１０４のハードウェア構成を示している。
【０１１９】
共起行列生成装置１０４は、テキスト０５を入力とし、形態素解析手段０１、成分番号付与手段０２、第１共起行列生成手段０３、概念ベース生成手段２１、第２クラスタリング手段（２）３４、第３共起行列生成手段（２）３２、例えばハードディスクなどの記憶手段に格納された単語辞書０４および前記各手段で処理された各データ（形態素解析結果１６、成分番号付単語集合０６、第１共起行列１４、概念ベース２３、成分番号付単語集合（２）３３、第３共起行列１８）を記憶する記憶部１１４とを備えている。
【０１２０】
前記形態素解析手段０１、成分番号付与手段０２、第１共起行列生成手段０３、概念ベース生成手段２１、第２クラスタリング手段（２）３４、第３共起行列生成手段（２）３２の、後述する各機能は例えばコンピュータの演算処理部によって達成される。
【０１２１】
形態素解析手段０１、成分番号付与手段０２、第１共起行列生成手段０３は、図８におけるものと同じである。概念ベース生成手段２１の処理内容は、図３３におけるものと同じである。第２クラスタリング手段（２）３４の処理内容は、概念ベース２３の概念ベクトル群がクラスタリング対象であることを除いて、図２９における第１クラスタリング手段（２）３１と同じである。第３共起行列生成手段（２）３２は、請求項２の第２共起行列生成手段と第３共起行列生成手段の機能を達成するものであり、その処理内容は、図２９におけるものと同じである。
【０１２２】
図３６は、本発明の請求項３の共起行列生成装置の構成例を表し（ａ）は各構成要素と各データの流れを示し、（ｂ）は共起行列生成装置１０５のハードウェア構成を示している。
【０１２３】
共起行列生成装置１０５は、例えば図８で説明した第１共起行列１４、形態素解析結果１６を入力とし、第１概念ベース生成手段４１、第３クラスタリング手段４２、第２共起行列生成手段１２、第２概念ベース生成手段４３、第３概念ベース生成手段４４および前記各手段で処理された各データ（第１概念ベース４５、成分番号付単語集合１５、第２共起行列１７、第２概念ベース４６、第３概念ベース４７）を記憶する記憶部１１５とを備えている。
【０１２４】
前記第１概念ベース生成手段４１、第３クラスタリング手段４２、第２共起行列生成手段１２、第２概念ベース生成手段４３、第３概念ベース生成手段４４の、後述する各機能は例えばコンピュータの演算処理部によって達成される。
【０１２５】
第１概念ベース生成手段４１の処理内容は、図３３における概念ベース生成手段２１と同じであり、出力する概念ベースを第１概念ベース４５とする。
【０１２６】
第３クラスタリング手段４２の処理内容は、入力が第１概念ベース４５であることを除いて、図３３における第２クラスタリング手段２２と同じである。第２共起行列生成手段１２の処理内容は、図３３におけるものと同じである。
【０１２７】
第２概念ベース生成手段４３の処理内容は、入力が第２共起行列１７であることを除いて、第１概念ベース生成手段４１と同じであり、出力する概念ベースを第２概念ベース４６とする。
【０１２８】
但し、第２概念ベース４６の列数は、第１概念ベース４５の列数とは異なるように、特異値分解を行ってもよい。
【０１２９】
第３概念ベース生成手段４４は、第１概念ベース４５と第２概念ベース４６のそれぞれに対し、各列に成分番号を付与した上で、任意の単語と任意の成分番号に対し、第１概念ベース４５と第２概念ベース４６の対応する要素を、線形結合した値を、対応する要素とする第３概念ベース４７を生成する。
【０１３０】
一つの概念ベースにおいて、異なる列には、異なる成分番号を付与する。但し、第１概念ベース４５の成分番号集合と第２概念ベース４６の成分番号集合とは必ずしも一致しなくてもよく、その２つの集合が共通の成分番号を一つも持っていなくてもよい。
【０１３１】
第１概念ベース４５の成分番号集合と、第２概念ベース４６の成分番号集合との和集合を、仮に１，  ２，・・・，  Ｄ´とおく。
【０１３２】
任意の一単語ｐに対し、単語ｐの第１概念ベース４５における概念ベクトルをＸp＝（ｘp1，ｘp2，…，ｘpD'）とし、単語ｐの第２概念ベース４６における概念ベクトルをＹp＝（ｙp1，ｙp2，…，ｙpD'）とする。一方の成分番号集合にない成分番号の値は０とする。このとき、単語ｐの第３概念ベース４７における概念ベクトルＺp＝（ｚp1，ｚp2，…，ｚpD'）は、線形結合の、第１概念ベース４５側の係数をα、第２概念ベース４６側の係数をβとしたとき、以下のように表される。
【０１３３】
Ｚp＝（ｚp1，ｚp2，…，ｚpD'）  ｚpi＝α・ｘpi＋β・ｙpi…（５）
生成した第３概念ベース４７の各行ベクトルを長さ１に正規化してもよい。
【０１３４】
図３４は、第１概念ベース４５の例でもあり、各列ベクトルに１，  ２，・・・，Ｄの成分番号を付与している。図３７は、第２概念ベース４６の例であり、列数がＤとなっている。第２概念ベース４６の各列ベクトルには、Ｄ＋１，  Ｄ＋２，・・・，Ｄ×２の成分番号を付与している。図３４の第１概念ベース４５と図３７の第２概念ベース４６を入力とし、線形結合の係数α、βをα＝１．０、β＝１．０としたとき、第３概念ベース４７は図３８のようになる。
【０１３５】
図３９は、本発明の請求項４の共起行列生成装置の構成例を表し（ａ）は各構成要素と各データの流れを示し、（ｂ）は共起行列生成装置１０６のハードウェア構成を示している。
【０１３６】
共起行列生成装置１０６は、例えば図８で説明した第１共起行列１４、形態素解析結果１６を入力とし、第１概念ベース生成手段４１、第３クラスタリング手段４２、第２共起行列生成手段１２、第２概念ベース生成手段４３、第４概念ベース生成手段４８、第５概念ベース生成手段４９および前記各手段で処理された各データ（第１概念ベース４５、成分番号付単語集合１５、第２共起行列１７、第２概念ベース４６、第４概念ベース５０、第５概念ベース５１）を記憶する記憶部１１６とを備えている。
【０１３７】
前記第１概念ベース生成手段４１、第３クラスタリング手段４２、第２共起行列生成手段１２、第２概念ベース生成手段４３、第４概念ベース生成手段４８、第５概念ベース生成手段４９の、後述する各機能は例えばコンピュータの演算処理部によって達成される。
【０１３８】
第１概念ベース生成手段４１、第３クラスタリング手段４２、第２共起行列生成手段１２、第２概念ベース生成手段４３の処理内容は、図３６におけるものと同じである。
【０１３９】
第４概念ベース生成手段４８は第１共起行列１４を入力とし、その処理内容は、第１概念ベース生成手段４１と同じであり、出力する概念ベースを第４概念ベース５０とする。
【０１４０】
第５概念ベース生成手段４９の処理内容は、入力が第４概念ベース５０、第２概念ベース４６であることを除いて、図３６の第３概念ベース生成手段４４と同じであり、出力する概念ベースを第５概念ベース５１とする。
【０１４１】
典型的には、第１概念ベース生成手段４１で、例えば、次元数が比較的大きいＤ×２次元の第１概念ベース４５を生成する。第２概念ベース生成手段４３でＤ次元の第２概念ベース４６を生成する。第１概念ベース４５をＤ次元とするよりもＤ×２次元とする方が高品質であれば、第２概念ベース４６も高品質なものが生成される。第４概念ベース生成手段４８では、Ｄ次元の第４概念ベース５０を生成する。
【０１４２】
図３４は第４概念ベース５０の例でもあり、また図３８は第５概念ベース５１の例でもある。
【０１４３】
第５概念ベース生成手段４９で、図３４の第４概念ベース５０と図３７の第２概念ベース４６を入力とし、線形結合の係数α、βをα＝１．０、β＝１．０とすることにより、図３８のＤ×２次元の第５概念ベース５１を生成する。（Ｄ×２次元の第１概念ベース４５とＤ次元の第２概念ベース４６を結合すればＤ×３次元の第５概念ベース５１が生成されてしまう。第５概念ベース５１の次元数をＤ×２に抑えるためには、結合する２つの概念ベースの次元数をＤ次元にする必要がある。請求項４の構成により、第２概念ベース４６は、Ｄ×２次元の第１概念ベース４５から生成する方が高品質となる。）
図１７のフローチャートが示すように、本発明での共起行列生成では、処理対象のテキストの範囲において、単語の頻度をカウントするプロセスや、単語同士の共起頻度をカウントするプロセスを含めないように構成することができる。
【０１４４】
これまで述べた処理をプログラムとして構築し、当該プログラムを通信回線または記録媒体からインストールし、ＣＰＵ等の手段で実施することが可能である。
【０１４５】
すなわち、本実施形態の共起行列生成装置における各手段の一部もしくは全部の機能をコンピュータのプログラムで構成し、そのプログラムをコンピュータを用いて実行して本発明を実現することができること、本実施形態の共起行列生成方法における手順をコンピュータのプログラムで構成し、そのプログラムをコンピュータに実行させることができることは言うまでもなく、コンピュータでその機能を実現するためのプログラムを、そのコンピュータが読み取り可能な記録媒体、例えばＦＤ（Ｆｌｏｐｐｙ（登録商標）  Ｄｉｓｋ）や、ＭＯ（Ｍａｇｎｅｔｏ−Ｏｐｔｉｃａｌ  ｄｉｓｋ）、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、メモリカード、ＣＤ（Ｃｏｍｐａｃｔ  Ｄｉｓｋ）−ＲＯＭ、ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｋ）−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＨＤＤ、リムーバブルディスクなどに記録して、保存したり、配布したりすることが可能である。また、上記のプログラムをインターネットや電子メールなど、ネットワークを通して提供することも可能である。
【０１４６】
なお、本発明は、上記の実施例に限定されることなく、特許請求の範囲内において、種々変更・応用が可能である。
【産業上の利用可能性】
【０１４７】
本発明は、単語の意味表現であるベクトルを生成する技術に適用可能である。
【符号の説明】
【０１４８】
０１…形態素解析手段
０２…成分番号付与手段
０３…第１共起行列生成手段
０４…単語辞書
０５…テキスト
１１，３１…第１クラスタリング手段
１２…第２共起行列生成手段
１３，３２…第３共起行列生成手段
１４…第１共起行列
１６…形態素解析結果
２１…概念ベース生成手段
２２，３４…第２クラスタリング手段
２３…概念ベース
４１…第１概念ベース生成手段
４２…第３クラスタリング手段
４３…第２概念ベース生成手段
４４…第３概念ベース生成手段
４５…第１概念ベース
４６…第２概念ベース
４７…第３概念ベース
４８…第４概念ベース生成手段
４９…第５概念ベース生成手段
５０…第４概念ベース
５１…第５概念ベース
１０１〜１０６…共起行列生成装置
１１１〜１１６…記憶部
【図１】
2011065317.tif 000005
【図２】
2011065317.tif 000006
【図３】
2011065317.tif 000007
【図４】
2011065317.tif 000008
【図５】
2011065317.tif 000009
【図６】
2011065317.tif 000010
【図７】
2011065317.tif 000011
【図８】
2011065317.tif 000012
【図９】
2011065317.tif 000013
【図１０】
2011065317.tif 000014
【図１１】
2011065317.tif 000015
【図１２】
2011065317.tif 000016
【図１３】
2011065317.tif 000017
【図１４】
2011065317.tif 000018
【図１５】
2011065317.tif 000019
【図１６】
2011065317.tif 000020
【図１７】
2011065317.tif 000021
【図１８】
2011065317.tif 000022
【図１９】
2011065317.tif 000023
【図２０】
2011065317.tif 000024
【図２１】
2011065317.tif 000025
【図２２】
2011065317.tif 000026
【図２３】
2011065317.tif 000027
【図２４】
2011065317.tif 000028
【図２５】
2011065317.tif 000029
【図２６】
2011065317.tif 000030
【図２７】
2011065317.tif 000031
【図２８】
2011065317.tif 000032
【図２９】
2011065317.tif 000033
【図３０】
2011065317.tif 000034
【図３１】
2011065317.tif 000035
【図３２】
2011065317.tif 000036
【図３３】
2011065317.tif 000037
【図３４】
2011065317.tif 000038
【図３５】
2011065317.tif 000039
【図３６】
2011065317.tif 000040
【図３７】
2011065317.tif 000041
【図３８】
2011065317.tif 000042
【図３９】
2011065317.tif 000043