(57)【要約】【課題】  単語の表記のみに基づく方法よりも、より単語の意味を反映した重み付けを可能にする。【解決手段】  本発明は、テキストを単語単位に分割し、各異なり単語ｗ毎に、該単語ｗの出現位置で１、それ以外の位置で０をとる分布をとり、この分布を観測値分布とする確率密度関数を推定し、該確率密度関数のエントロピーをもとに、該単語ｗの重みを算出する。【選択図】  図１
2005135110.tif 000002
【特許請求の範囲】
【請求項１】
テキスト中の単語に重みを付与する単語重み付け装置が実行する単語重み付け方法において、
形態素解析手段が、前記テキストを単語単位に分割する形態素解析過程と、
重み算出手段が、各異なり単語ｗ毎に、該単語ｗの出現位置で１、それ以外の位置で０をとる分布をとり、この分布を観測値分布とする確率密度関数を推定し、該確率密度関数のエントロピーをもとに、該単語ｗの重みを算出する重み算出過程とからなることを特徴とする単語重み付け方法。
【請求項２】
テキスト中の単語に重みを付与する単語重み付け装置が実行する単語重み付け方法において、
形態素解析手段が、前記テキストを単語単位に分割する形態素解析過程と、
単語ベクトル取得手段が、単語の意味を表現するベクトルが格納されている記憶手段である概念ベースを検索することによって、各異なり単語に対応するベクトルを取得する単語ベクトル取得過程と、
意味度数算出手段が、各異なり単語w毎に、任意の異なり単語ｗ’が該単語ｗの意味を持つ度合いである意味度数ｓｗｗ’を、該単語ｗ及び該単語ｗ’のベクトル間の距離から算出する意味度数算出過程と、
重み算出手段が、各異なり単語w毎に、単語ｗ’の出現位置で前記意味度数ｓｗｗ’をとる分布をとり、この分布を観測値分布とする確率密度関数を推定し、該確率密度関数のエントロピーをもとに、該単語ｗの重みを算出する重み算出過程とからなることを特徴とする単語重み付け方法。
【請求項３】
テキスト中の単語に重みを付与する単語重み付け装置が実行する単語重み付け方法において、
形態素解析手段が、前記テキストを単語単位に分割する形態素解析過程と、
単語ベクトル取得手段が、単語の意味を表現するベクトルが格納されている記憶手段である概念ベースを検索することによって、各異なり単語に対応するベクトルを取得する単語ベクトル取得過程と、
意味度数算出手段が、各異なり単語w毎に、任意の異なり単語ｗ’が該単語wの意味を持つ度合いである意味度数ｓｗｗ’を、該単語ｗ及び該単語ｗ’のベクトル間の距離から算出する意味度数算出過程と、
重み算出手段が、各異なり単語w毎に、単語ｗ’の出現位置で前記意味度数ｓｗｗ’をとる分布をとり、任意の出現位置の意味度数の総和をもとに、該単語ｗの重みを算出する重み算出過程とからなることを特徴とする単語重み付け方法。
【請求項４】
テキスト中の単語に重みを付与する単語重み付け装置が実行する単語重み付け方法において、
形態素解析手段が、前記テキストを単語単位に分割する形態素解析過程と、
単語ベクトル取得手段が、単語の意味を表現するベクトルが格納されている記憶手段である概念ベースを検索することによって、各異なり単語に対応するベクトルを取得する単語ベクトル取得過程と、
重み算出手段が、各異なり単語w毎に、任意の出現位置における単語のベクトルの重心と、該単語ｗのベクトルとの間の距離をもとに、該単語ｗの重みを算出する重み算出過程とからなることを特徴とする単語重み付け方法。
【請求項５】
テキスト中の単語に重みを付与する単語重み付け装置が実行する単語重み付け方法において、
形態素解析手段が、前記テキストを単語単位に分割する形態素解析過程と、
単語ベクトル取得手段が、単語の意味を表現するベクトルが格納されている記憶手段である概念ベースを検索することによって、各異なり単語に対応するベクトルを取得する単語ベクトル取得過程と、
重み算出手段が、各異なり単語w毎に、任意の出現位置における単語のベクトルと、該単語ｗのベクトルとの間の距離をもとに、該単語ｗの重みを算出する重み算出過程とからなることを特徴とする単語重み付け方法。
【請求項６】
テキスト中の単語に重みを付与する単語重み付け装置において、
前記テキストを単語単位に分割する形態素解析手段と、
各異なり単語w毎に、該単語ｗの出現位置で１、それ以外の位置で０をとる分布をとり、この分布を観測値分布とする確率密度関数を推定し、該確率密度関数のエントロピーをもとに、該単語ｗの重みを算出する重み算出手段とからなることを特徴とする単語重み付け装置。
【請求項７】
テキスト中の単語に重みを付与する単語重み付け装置において、
前記テキストを単語単位に分割する形態素解析手段と、
単語の意味を表現するベクトルが格納されている記憶手段である概念ベースを検索することによって、各異なり単語に対応するベクトルを取得する単語ベクトル取得手段と、
各異なり単語w毎に、任意の異なり単語ｗ’が該単語ｗの意味を持つ度合いである意味度数ｓｗｗ’を、該単語ｗ及び該単語ｗ’のベクトル間の距離から算出する意味度数算出手段と、
各異なり単語w毎に、単語ｗ’の出現位置で前記意味度数ｓｗｗ’をとる分布をとり、この分布を観測値分布とする確率密度関数を推定し、該確率密度関数のエントロピーをもとに、該単語ｗの重みを算出する重み算出手段とからなることを特徴とする単語重み付け装置。
【請求項８】
テキスト中の単語に重みを付与する単語重み付け装置において、
前記テキストを単語単位に分割する形態素解析手段と、
単語の意味を表現するベクトルが格納されている記憶手段である概念ベースを検索することによって、各異なり単語に対応するベクトルを取得する単語ベクトル取得手段と、
各異なり単語w毎に、任意の異なり単語ｗ’が該単語wの意味を持つ度合いである意味度数ｓｗｗ’を、該単語ｗ及び該単語ｗ’のベクトル間の距離から算出する意味度数算出手段と、
各異なり単語w毎に、単語ｗ’の出現位置で前記意味度数ｓｗｗ’をとる分布をとり、任意の出現位置の意味度数の総和をもとに、該単語ｗの重みを算出する重み算出手段とからなることを特徴とする単語重み付け装置。
【請求項９】
テキスト中の単語に重みを付与する単語重み付け装置において、
前記テキストを単語単位に分割する形態素解析手段と、
単語の意味を表現するベクトルが格納されている記憶手段である概念ベースを検索することによって、各異なり単語に対応するベクトルを取得する単語ベクトル取得手段と、
各異なり単語w毎に、任意の出現位置における単語のベクトルの重心と、該単語ｗのベクトルとの間の距離をもとに、該単語ｗの重みを算出する重み算出手段とからなることを特徴とする単語重み付け装置。
【請求項１０】
テキスト中の単語に重みを付与する単語重み付け装置において、
前記テキストを単語単位に分割する形態素解析手段と、
単語の意味を表現するベクトルが格納されている記憶手段である概念ベースを検索することによって、各異なり単語に対応するベクトルを取得する単語ベクトル取得手段と、
各異なり単語w毎に、任意の出現位置における単語のベクトルと、該単語ｗのベクトルとの間の距離をもとに、該単語ｗの重みを算出する重み算出手段とからなることを特徴とする単語重み付け装置。
【請求項１１】
コンピュータを、
テキストを単語単位に分割する形態素解析手段と、
各異なり単語w毎に、該単語ｗの出現位置で１、それ以外の位置で０をとる分布をとり、この分布を観測値分布とする確率密度関数を推定し、該確率密度関数のエントロピーをもとに、該単語ｗの重みを算出する重み算出手段として機能させることを特徴とする単語重み付けプログラム。
【請求項１２】
コンピュータを、
テキストを単語単位に分割する形態素解析手段と、
単語の意味を表現するベクトルが格納されている記憶手段である概念ベースを検索することによって、各異なり単語に対応するベクトルを取得する単語ベクトル取得手段と、
各異なり単語w毎に、任意の異なり単語ｗ’が該単語ｗの意味を持つ度合いである意味度数ｓｗｗ’を、該単語ｗ及び該単語ｗ’のベクトル間の距離から算出する意味度数算出手段と、
各異なり単語w毎に、単語ｗ’の出現位置で前記意味度数ｓｗｗ’をとる分布をとり、この分布を観測値分布とする確率密度関数を推定し、該確率密度関数のエントロピーをもとに、該単語ｗの重みを算出する重み算出手段として機能させることを特徴とする単語重み付けプログラム。
【請求項１３】
コンピュータを、
テキストを単語単位に分割する形態素解析手段と、
単語の意味を表現するベクトルが格納されている記憶手段である概念ベースを検索することによって、各異なり単語に対応するベクトルを取得する単語ベクトル取得手段と、
各異なり単語w毎に、任意の異なり単語ｗ’が該単語wの意味を持つ度合いである意味度数ｓｗｗ’を、該単語ｗ及び該単語ｗ’のベクトル間の距離から算出する意味度数算出手段と、
各異なり単語w毎に、単語ｗ’の出現位置で前記意味度数ｓｗｗ’をとる分布をとり、任意の出現位置の意味度数の総和をもとに、該単語ｗの重みを算出する重み算出手段として機能させることを特徴とする単語重み付けプログラム。
【請求項１４】
コンピュータを、
テキストを単語単位に分割する形態素解析手段と、
単語の意味を表現するベクトルが格納されている記憶手段である概念ベースを検索することによって、各異なり単語に対応するベクトルを取得する単語ベクトル取得手段と、
各異なり単語w毎に、任意の出現位置における単語のベクトルの重心と、該単語ｗのベクトルとの間の距離をもとに、該単語ｗの重みを算出する重み算出手段として機能させることを特徴とする単語重み付けプログラム。
【請求項１５】
コンピュータを、
テキストを単語単位に分割する形態素解析手段と、
単語の意味を表現するベクトルが格納されている記憶手段である概念ベースを検索することによって、各異なり単語に対応するベクトルを取得する単語ベクトル取得手段と、
各異なり単語w毎に、任意の出現位置における単語のベクトルと、該単語ｗのベクトルとの間の距離をもとに、該単語ｗの重みを算出する重み算出手段として機能させることを特徴とする単語重み付けプログラム。
【請求項１６】
コンピュータを、
テキストを単語単位に分割する形態素解析手段と、
各異なり単語w毎に、該単語ｗの出現位置で１、それ以外の位置で０をとる分布をとり、この分布を観測値分布とする確率密度関数を推定し、該確率密度関数のエントロピーをもとに、該単語ｗの重みを算出する重み算出手段として機能させることを特徴とする単語重み付けプログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項１７】
コンピュータを、
テキストを単語単位に分割する形態素解析手段と、
単語の意味を表現するベクトルが格納されている記憶手段である概念ベースを検索することによって、各異なり単語に対応するベクトルを取得する単語ベクトル取得手段と、
各異なり単語w毎に、任意の異なり単語ｗ’が該単語ｗの意味を持つ度合いである意味度数ｓｗｗ’を、該単語ｗ及び該単語ｗ’のベクトル間の距離から算出する意味度数算出手段と、
各異なり単語w毎に、単語ｗ’の出現位置で前記意味度数ｓｗｗ’をとる分布をとり、この分布を観測値分布とする確率密度関数を推定し、該確率密度関数のエントロピーをもとに、該単語ｗの重みを算出する重み算出手段として機能させることを特徴とする単語重み付けプログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項１８】
コンピュータを、
テキストを単語単位に分割する形態素解析手段と、
単語の意味を表現するベクトルが格納されている記憶手段である概念ベースを検索することによって、各異なり単語に対応するベクトルを取得する単語ベクトル取得手段と、
各異なり単語w毎に、任意の異なり単語ｗ’が該単語wの意味を持つ度合いである意味度数ｓｗｗ’を、該単語ｗ及び該単語ｗ’のベクトル間の距離から算出する意味度数算出手段と、
各異なり単語w毎に、単語ｗ’の出現位置で前記意味度数ｓｗｗ’をとる分布をとり、任意の出現位置の意味度数の総和をもとに、該単語ｗの重みを算出する重み算出手段として機能させることを特徴とする単語重み付けプログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項１９】
コンピュータを、
テキストを単語単位に分割する形態素解析手段と、
単語の意味を表現するベクトルが格納されている記憶手段である概念ベースを検索することによって、各異なり単語に対応するベクトルを取得する単語ベクトル取得手段と、
各異なり単語w毎に、任意の出現位置における単語のベクトルの重心と、該単語ｗのベクトルとの間の距離をもとに、該単語ｗの重みを算出する重み算出手段として機能させることを特徴とする単語重み付けプログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項２０】
コンピュータを、
テキストを単語単位に分割する形態素解析手段と、
単語の意味を表現するベクトルが格納されている記憶手段である概念ベースを検索することによって、各異なり単語に対応するベクトルを取得する単語ベクトル取得手段と、
各異なり単語w毎に、任意の出現位置における単語のベクトルと、該単語ｗのベクトルとの間の距離をもとに、該単語ｗの重みを算出する重み算出手段として機能させることを特徴とする単語重み付けプログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、単語重み付け方法及び装置及び単語重み付けプログラム及び単語重み付けプログラムを記録したコンピュータ読み取り可能な記録媒体に係り、特に、テキスト中の単語に重みを付与するための単語重み付け方法及び装置及び単語重み付けプログラム及び単語重み付けプログラムを記録したコンピュータ読み取り可能な記録媒体に関する。
【背景技術】
【０００２】
テキストをトピック単位に分割するトピックセグメンテーションのような言語処理タスクにおいて、対象テキストにおけるセグメンテーションに寄与する度合いとしての単語の重みを算出する方法はこれまでに無い。
【発明の開示】
【発明が解決しようとする課題】
【０００３】
同一単語でもそれが出現するテキストのセグメンテーションに寄与する度合いは、出現テキストによって異なる。例えば、「コンピュータ」という単語は、医療問題について論じたテキストにおいて、テキストを構成する複数のトピックの内のいずれかを他のトピックと識別するだけの能力を持っている可能性はあるが、ＩＴについて論じたテキストにおいては、このような識別能力はあまりないといえる。このように、対象テキストにおいて均等な分布で出現する単語は、トピックに特徴的な単語とはいえず、セグメンテーションに寄与する度合いは低いと考えられる。
【０００４】
ニュースや新聞記事等のテキストにおいては、全く異なるジャンルのトピックが混在しており、テキスト全体に均等に出現する単語はあまりないかもしれない。しかしながら、同一ジャンルの異なるトピックが隣接しているような区間においては、その区間で均等に出現する単語は存在し得る。また、会議録、講演録などのテキストにおいては、テキスト全体に均等に出現する単語は存在し得る。同一ジャンルのテキストにおいては、このようなよりきめの細かいトピックの識別を阻害するような単語が数多く含まれている。各単語にセグメンテーションに寄与する度合いとしての重みを付与し、セグメンテーションにおける役割において単語間によりコントラストをつける必要がある。
【０００５】
本発明は、上記の点に鑑みなされたもので、単語の表記のみに基づく方法よりも、より単語の意味を反映した重み付けが可能な単語重み付け方法及び装置及び単語重み付けプログラム及び単語重み付けプログラムを記録したコンピュータ読み取り可能な記録媒体を提供することを目的とする。
【課題を解決するための手段】
【０００６】
図１は、本発明の原理を説明するための図である。
【０００７】
上記の課題を解決するため、本発明は、形態素解析手段が、テキストを単語単位に分割する形態素解析過程（ステップ１）と、
重み算出手段が、各異なり単語ｗ毎に、該単語ｗの出現位置で１、それ以外の位置で０をとる分布をとり、この分布を観測値分布とする確率密度関数を推定し、該確率密度関数のエントロピーをもとに、該単語ｗの重みを算出する重み算出過程（ステップ４）とからなる。
【０００８】
また、本発明は、形態素解析手段が、テキストを単語単位に分割する形態素解析過程（ステップ１）と、
単語ベクトル取得手段が、単語の意味を表現するベクトルが格納されている記憶手段である概念ベースを検索することによって、各異なり単語に対応するベクトルを取得する単語ベクトル取得過程（ステップ２）と、
意味度数算出手段が、各異なり単語w毎に、任意の異なり単語ｗ’が該単語ｗの意味を持つ度合いである意味度数ｓｗｗ’を、該単語ｗ及び該単語ｗ’のベクトル間の距離から算出する意味度数算出過程（ステップ３）と、
重み算出手段が、各異なり単語w毎に、単語ｗ’の出現位置で意味度数ｓｗｗ’をとる分布をとり、この分布を観測値分布とする確率密度関数を推定し、該確率密度関数のエントロピーをもとに、該単語ｗの重みを算出する重み算出過程（ステップ４）とからなる。
【０００９】
また、本発明は、形態素解析手段が、テキストを単語単位に分割する形態素解析過程（ステップ１）と、
単語ベクトル取得手段が、単語の意味を表現するベクトルが格納されている記憶手段である概念ベースを検索することによって、各異なり単語に対応するベクトルを取得する単語ベクトル取得過程（ステップ２）と、
意味度数算出手段が、各異なり単語w毎に、任意の異なり単語ｗ’が該単語wの意味を持つ度合いである意味度数ｓｗｗ’を、該単語ｗ及び該単語ｗ’のベクトル間の距離から算出する意味度数算出過程（ステップ３）と、
重み算出手段が、各異なり単語w毎に、単語ｗ’の出現位置で意味度数ｓｗｗ’をとる分布をとり、任意の出現位置の意味度数の総和をもとに、該単語ｗの重みを算出する重み算出過程（ステップ４）とからなる。
【００１０】
また、本発明は、形態素解析手段が、テキストを単語単位に分割する形態素解析過程（ステップ１）と、
単語ベクトル取得手段が、単語の意味を表現するベクトルが格納されている記憶手段である概念ベースを検索することによって、各異なり単語に対応するベクトルを取得する単語ベクトル取得過程（ステップ２）と、
重み算出手段が、各異なり単語w毎に、任意の出現位置における単語のベクトルの重心と、該単語ｗのベクトルとの間の距離をもとに、該単語ｗの重みを算出する重み算出過程（ステップ４）とからなる。
【００１１】
また、本発明は、形態素解析手段が、テキストを単語単位に分割する形態素解析過程（ステップ１）と、
単語ベクトル取得手段が、単語の意味を表現するベクトルが格納されている記憶手段である概念ベースを検索することによって、各異なり単語に対応するベクトルを取得する単語ベクトル取得過程（ステップ２）と、
重み算出手段が、各異なり単語w毎に、任意の出現位置における単語のベクトルと、該単語ｗのベクトルとの間の距離をもとに、該単語ｗの重みを算出する重み算出過程（ステップ４）とからなる。
【００１２】
図２は、本発明の原理構成図である。
【００１３】
本発明は、テキストを単語単位に分割する形態素解析手段２１と、
各異なり単語w毎に、該単語ｗの出現位置で１、それ以外の位置で０をとる分布をとり、この分布を観測値分布とする確率密度関数を推定し、該確率密度関数のエントロピーをもとに、該単語ｗの重みを算出する重み算出手段２４とからなる。
【００１４】
また、本発明は、テキストを単語単位に分割する形態素解析手段２１と、
単語の意味を表現するベクトルが格納されている記憶手段である概念ベース２５を検索することによって、各異なり単語に対応するベクトルを取得する単語ベクトル取得手段２２と、
各異なり単語w毎に、任意の異なり単語ｗ’が該単語ｗの意味を持つ度合いである意味度数ｓｗｗ’を、該単語ｗ及び該単語ｗ’のベクトル間の距離から算出する意味度数算出手段２３と、
各異なり単語w毎に、単語ｗ’の出現位置で意味度数ｓｗｗ’をとる分布をとり、この分布を観測値分布とする確率密度関数を推定し、該確率密度関数のエントロピーをもとに、該単語ｗの重みを算出する重み算出手段２４とからなる。
【００１５】
また、本発明は、テキストを単語単位に分割する形態素解析手段２１と、
単語の意味を表現するベクトルが格納されている記憶手段である概念ベース２５を検索することによって、各異なり単語に対応するベクトルを取得する単語ベクトル取得手段２２と、
各異なり単語w毎に、任意の異なり単語ｗ’が該単語wの意味を持つ度合いである意味度数ｓｗｗ’を、該単語ｗ及び該単語ｗ’のベクトル間の距離から算出する意味度数算出手段２３と、
各異なり単語w毎に、単語ｗ’の出現位置で意味度数ｓｗｗ’をとる分布をとり、任意の出現位置の意味度数の総和をもとに、該単語ｗの重みを算出する重み算出手段２４とからなる。
【００１６】
また、本発明は、テキストを単語単位に分割する形態素解析手段２１と、
単語の意味を表現するベクトルが格納されている記憶手段である概念ベース２５を検索することによって、各異なり単語に対応するベクトルを取得する単語ベクトル取得手段２２と、
各異なり単語w毎に、任意の出現位置における単語のベクトルの重心と、該単語ｗのベクトルとの間の距離をもとに、該単語ｗの重みを算出する重み算出手段２４とからなる。
【００１７】
また、本発明は、テキストを単語単位に分割する形態素解析手段２１と、
単語の意味を表現するベクトルが格納されている記憶手段である概念ベース２５を検索することによって、各異なり単語に対応するベクトルを取得する単語ベクトル取得手段２２と、
各異なり単語w毎に、任意の出現位置における単語のベクトルと、該単語ｗのベクトルとの間の距離をもとに、該単語ｗの重みを算出する重み算出手段２４とからなる。
【００１８】
本発明の単語重み付けプログラムは、コンピュータを、
テキストを単語単位に分割する形態素解析手段と、
各異なり単語w毎に、該単語ｗの出現位置で１、それ以外の位置で０をとる分布をとり、この分布を観測値分布とする確率密度関数を推定し、該確率密度関数のエントロピーをもとに、該単語ｗの重みを算出する重み算出手段として機能させる。
【００１９】
また、本発明の単語重み付けプログラムは、コンピュータを、
テキストを単語単位に分割する形態素解析手段と、
単語の意味を表現するベクトルが格納されている記憶手段である概念ベースを検索することによって、各異なり単語に対応するベクトルを取得する単語ベクトル取得手段と、
各異なり単語w毎に、任意の異なり単語ｗ’が該単語ｗの意味を持つ度合いである意味度数ｓｗｗ’を、該単語ｗ及び該単語ｗ’のベクトル間の距離から算出する意味度数算出手段と、
各異なり単語w毎に、単語ｗ’の出現位置で意味度数ｓｗｗ’をとる分布をとり、この分布を観測値分布とする確率密度関数を推定し、該確率密度関数のエントロピーをもとに、該単語ｗの重みを算出する重み算出手段として機能させる。
【００２０】
また、本発明の単語重み付けプログラムは、コンピュータを、
テキストを単語単位に分割する形態素解析手段と、
単語の意味を表現するベクトルが格納されている記憶手段である概念ベースを検索することによって、各異なり単語に対応するベクトルを取得する単語ベクトル取得手段と、
各異なり単語w毎に、任意の異なり単語ｗ’が該単語wの意味を持つ度合いである意味度数ｓｗｗ’を、該単語ｗ及び該単語ｗ’のベクトル間の距離から算出する意味度数算出手段と、
各異なり単語w毎に、単語ｗ’の出現位置で意味度数ｓｗｗ’をとる分布をとり、任意の出現位置の意味度数の総和をもとに、該単語ｗの重みを算出する重み算出手段として機能させる。
【００２１】
また、本発明の単語重み付けプログラムは、コンピュータを、
テキストを単語単位に分割する形態素解析手段と、
単語の意味を表現するベクトルが格納されている記憶手段である概念ベースを検索することによって、各異なり単語に対応するベクトルを取得する単語ベクトル取得手段と、
各異なり単語w毎に、任意の出現位置における単語のベクトルの重心と、該単語ｗのベクトルとの間の距離をもとに、該単語ｗの重みを算出する重み算出手段として機能させる。
【００２２】
また、本発明の単語重み付けプログラムは、コンピュータを、
テキストを単語単位に分割する形態素解析手段と、
単語の意味を表現するベクトルが格納されている記憶手段である概念ベースを検索することによって、各異なり単語に対応するベクトルを取得する単語ベクトル取得手段と、
各異なり単語w毎に、任意の出現位置における単語のベクトルと、該単語ｗのベクトルとの間の距離をもとに、該単語ｗの重みを算出する重み算出手段として機能させる。
【００２３】
本発明の単語重み付けプログラムを記録したコンピュータ読み取り可能な記録媒体は、コンピュータを、
テキストを単語単位に分割する形態素解析手段と、
各異なり単語w毎に、該単語ｗの出現位置で１、それ以外の位置で０をとる分布をとり、この分布を観測値分布とする確率密度関数を推定し、該確率密度関数のエントロピーをもとに、該単語ｗの重みを算出する重み算出手段として機能させるプログラムを格納する。
【００２４】
また、本発明の単語重み付けプログラムを記録したコンピュータ読み取り可能な記録媒体は、コンピュータを、
テキストを単語単位に分割する形態素解析手段と、
単語の意味を表現するベクトルが格納されている記憶手段である概念ベースを検索することによって、各異なり単語に対応するベクトルを取得する単語ベクトル取得手段と、
各異なり単語w毎に、任意の異なり単語ｗ’が該単語ｗの意味を持つ度合いである意味度数ｓｗｗ’を、該単語ｗ及び該単語ｗ’のベクトル間の距離から算出する意味度数算出手段と、
各異なり単語w毎に、単語ｗ’の出現位置で意味度数ｓｗｗ’をとる分布をとり、この分布を観測値分布とする確率密度関数を推定し、該確率密度関数のエントロピーをもとに、該単語ｗの重みを算出する重み算出手段として機能させるプログラムを格納する。
【００２５】
また、本発明の単語重み付けプログラムを記録したコンピュータ読み取り可能な記録媒体は、コンピュータを、
テキストを単語単位に分割する形態素解析手段と、
単語の意味を表現するベクトルが格納されている記憶手段である概念ベースを検索することによって、各異なり単語に対応するベクトルを取得する単語ベクトル取得手段と、
各異なり単語w毎に、任意の異なり単語ｗ’が該単語wの意味を持つ度合いである意味度数ｓｗｗ’を、該単語ｗ及び該単語ｗ’のベクトル間の距離から算出する意味度数算出手段と、
各異なり単語w毎に、単語ｗ’の出現位置で意味度数ｓｗｗ’をとる分布をとり、任意の出現位置の意味度数の総和をもとに、該単語ｗの重みを算出する重み算出手段として機能させるプログラムを格納する。
【００２６】
また、本発明の単語重み付けプログラムを記録したコンピュータ読み取り可能な記録媒体は、コンピュータを、
テキストを単語単位に分割する形態素解析手段と、
単語の意味を表現するベクトルが格納されている記憶手段である概念ベースを検索することによって、各異なり単語に対応するベクトルを取得する単語ベクトル取得手段と、
各異なり単語w毎に、任意の出現位置における単語のベクトルの重心と、該単語ｗのベクトルとの間の距離をもとに、該単語ｗの重みを算出する重み算出手段として機能させるプログラムを格納する。
【００２７】
また、本発明の単語重み付けプログラムを記録したコンピュータ読み取り可能な記録媒体は、コンピュータを、
テキストを単語単位に分割する形態素解析手段と、
単語の意味を表現するベクトルが格納されている記憶手段である概念ベースを検索することによって、各異なり単語に対応するベクトルを取得する単語ベクトル取得手段と、
各異なり単語w毎に、任意の出現位置における単語のベクトルと、該単語ｗのベクトルとの間の距離をもとに、該単語ｗの重みを算出する重み算出手段として機能させるプログラムを格納する。
【発明の効果】
【００２８】
本発明の請求項１，２，６，７，１１，１２，１６，１７で述べたように、単語の出現分布のエントロピーを求めることにより、該単語の分布の集中性を測ることが可能となる。エントロピーが大きいほど一様に分布しており、トピック識別能力としての重みは小さくなる。
【００２９】
また、請求項３，８，１３，１８で述べたような、単語ベクトルを用いた単語の出現頻度もトピック識別能力と考えられ、出現頻度が高いほど重みは小さくなる。
【００３０】
また、請求項４，５，９，１０，１４，１５，１９，２０で述べたような、テキスト全体の単語ベクトル群との距離もトピック識別能力と考えられ、距離が小さいほどテキスト全体を表す意味を持っていると考えられ、重みは小さくなる。
【００３１】
いずれの方法も、単語ベクトルを用いることにより、単語表記のみに基づく方法よりも、より単語の意味を反映した重み付けが可能となる。
【発明を実施するための最良の形態】
【００３２】
以下、図面と共に、本発明の実施の形態を説明する。
【００３３】
図１、図２を用いて装置構成とその動作について説明する。
【００３４】
図１は、本発明の原理を説明するための図である。また図２は、本発明の原理構成図である。図１，２は、請求項２，３，７，８，１２，１３，１７，１８の構成であるが、請求項１，６，１１，１６では、単語ベクトル取得過程（ステップ２）、意味度数算出過程（ステップ３）、単語ベクトル取得手段２２、意味度数算出手段２３、概念ベース２５がなく、請求項４，５，９，１０，１４，１５，１９，２０では、意味度数算出過程（ステップ３）、意味度数算出手段２３がない。
【００３５】
本発明は、形態素解析手段２１が、テキストを単語単位に分割する形態素解析過程（ステップ１）と、重み算出手段２４が、各異なり単語ｗ毎に、該単語ｗの出現位置で１、それ以外の位置で０をとる分布をとり、この分布を観測値分布とする確率密度関数を推定し、該確率密度関数のエントロピーをもとに、該単語ｗの重みを算出する重み算出過程（ステップ４）とからなる。
【００３６】
また、本発明は、形態素解析手段２１が、テキストを単語単位に分割する形態素解析過程（ステップ１）と、単語ベクトル取得手段２２が、単語の意味を表現するベクトルが格納されている記憶手段である概念ベース２５を検索することによって、各異なり単語に対応するベクトルを取得する単語ベクトル取得過程（ステップ２）と、意味度数算出手段２３が、各異なり単語w毎に、任意の異なり単語ｗ’が該単語ｗの意味を持つ度合いである意味度数ｓｗｗ’を、該単語ｗ及び該単語ｗ’のベクトル間の距離から算出する意味度数算出過程（ステップ３）と、重み算出手段２４が、各異なり単語w毎に、単語ｗ’の出現位置で意味度数ｓｗｗ’をとる分布をとり、この分布を観測値分布とする確率密度関数を推定し、該確率密度関数のエントロピーをもとに、該単語ｗの重みを算出する重み算出過程（ステップ４）とからなる。
【００３７】
また、本発明は、形態素解析手段２１が、テキストを単語単位に分割する形態素解析過程（ステップ１）と、単語ベクトル取得手段２２が、単語の意味を表現するベクトルが格納されている記憶手段である概念ベース２５を検索することによって、各異なり単語に対応するベクトルを取得する単語ベクトル取得過程（ステップ２）と、意味度数算出手段２３が、各異なり単語w毎に、任意の異なり単語ｗ’が該単語wの意味を持つ度合いである意味度数ｓｗｗ’を、該単語ｗ及び該単語ｗ’のベクトル間の距離から算出する意味度数算出過程（ステップ３）と、重み算出手段２４が、各異なり単語w毎に、単語ｗ’の出現位置で意味度数ｓｗｗ’をとる分布をとり、任意の出現位置の意味度数の総和をもとに、該単語ｗの重みを算出する重み算出過程（ステップ４）とからなる。
【００３８】
また、本発明は、形態素解析手段２１が、テキストを単語単位に分割する形態素解析過程（ステップ１）と、単語ベクトル取得手段２２が、単語の意味を表現するベクトルが格納されている記憶手段である概念ベース２５を検索することによって、各異なり単語に対応するベクトルを取得する単語ベクトル取得過程（ステップ２）と、重み算出手段２４が、各異なり単語w毎に、任意の出現位置における単語のベクトルの重心と、該単語ｗのベクトルとの間の距離をもとに、該単語ｗの重みを算出する重み算出過程（ステップ４）とからなる。
【００３９】
また、本発明は、形態素解析手段２１が、テキストを単語単位に分割する形態素解析過程（ステップ１）と、単語ベクトル取得手段２２が、単語の意味を表現するベクトルが格納されている記憶手段である概念ベース２５を検索することによって、各異なり単語に対応するベクトルを取得する単語ベクトル取得過程（ステップ２）と、重み算出手段２４が、各異なり単語w毎に、任意の出現位置における単語のベクトルと、該単語ｗのベクトルとの間の距離をもとに、該単語ｗの重みを算出する重み算出過程（ステップ４）とからなる。
【００４０】
請求項２，７，１２，１７は、請求項１，６，１１，１６の拡張にあたるので、基本的に請求項２，７，１２，１７に沿って請求項１，２，６，７，１１，１２，１６，１７の実施例の説明を行っていく。
【００４１】
形態素解析手段２１は、テキストを単語単位に分割する。この結果得られた単語の内、品詞情報等を参照して内容語のみを残す。
【００４２】
単語ベクトル取得手段２２は、単語の意味を表現するベクトルが格納されている記憶手段である概念ベース２５を検索することによって、形態素解析手段２１で得られた各異なり単語に対応するベクトルを取得する。
【００４３】
図３は、本発明の一実施の形態における概念ベースの例を示す。同図に示す概念ベース２５は、ハードディスク等の記憶手段に格納され、各単語毎に、f次元のベクトル値が付与されている。概念ベース２５中の単語は、名詞や動詞、形容詞等の自立語である。概念ベース２５における単語ベクトルは、意味的に類似している単語間ほど距離が近く、意味的に類似していない単語間ほど距離が遠くなるように値が設定されている。
【００４４】
概念ベース２５の例としては、特開平６−１０３３１５の「類似性判別装置」や、特開平７−３０２２６５の「類似性判別用データ精錬方法およびこの方法を実施する装置」で開示されているデータベースがある。
【００４５】
また、Deerwesterの論文(Deerwester, S.,Dumais, S.T., Furnas, G.W.,Landauer, T.K., and Harshman, R.:Indexing by Latent Semantic Analysis, Journal of the American Society for Information Science, pp. 391-407(1990)）では、単語の文書における頻度を記録した単語・文書間の共起行列を特異値分解により次元数を縮退させた行列に変換しているが、この変換後の行列も概念ベースの一例である。Schutzeの論文(Schutze, H.:Dimensions of Meaning, Proc. of Supercomputing ’92, pp. 786-796(1992))では、コーパス中の単語間の共起頻度を記録した単語・単語間の共起行列を特異値分解により次元数を縮退させた行列に変換しているが、この変換後の行列も概念ベースの一例である。
【００４６】
意味度数算出手段２３は、各異なり単語ｗ毎に、任意の異なり単語ｗ’がｗの意味をもつ度合いである意味度数ｓｗｗ’を、ｗ及びｗ’のベクトル間の距離から算出する。
【００４７】
ｗ、ｗ’のベクトルをそれぞれｖｗ、ｖｗ’と表したとき、意味度数ｓｗｗ’を、
【００４８】
【数１】
2005135110.tif 000003
として計算する。
【００４９】
ｓｗｗ’は、ｖｗとｖｗ’が一致するとき値１をとり、ｖｗとｖｗ’との間の距離が大きくなるにつれ減少していき、０に近づいていく。
【００５０】
重み算出手段２４は、各異なり単語w毎に、単語ｗ’の出現位置で前記意味度数ｓｗｗ’
をとる分布をとり、この分布を観測値分布とする確率密度関数を推定し、該確率密度関数のエントロピーをもとに、ｗの重みを算出する。
【００５１】
形態素解析手段２１で得られた内容語の単語の例において、最初の単語から順に番号をつけていき、単語出現位置の番号列１，２，…，ｎが得られたとする。出現位置iの単語をｔｉと表す。
【００５２】
【数２】
2005135110.tif 000004
と定義する。このようにして、異なり単語ｗ毎に、出現位置ｉで意味度数ｕｗｉをとる分布が得られる。
【００５３】
ここで請求項１，６，１１，１６においては、ｔｉ＝ｗのとき、ｕｗｉ＝１，ｔｉ≠ｗのときｕｗｉ＝０となる。このように請求項１，６，１１，１６では単語ベクトルを考えていず、単語表記のみを見ているため、単語ベクトル取得手段２２、意味度数算出手段２３の処理は不要となる。
【００５４】
意味度数の総和を、
【００５５】
【数３】
2005135110.tif 000005
とおく。
【００５６】
図４，５，６はｎ＝６、ｋ＝２の場合の意味度数の分布の例である。太い縦棒が出ている出現位置が、意味度数１であり、それ以外の位置は意味度数０である。図４ではｕｗ２＝１、ｕｗ５＝１であり、意味度数が１となる位置が３だけ離れており、ｎ／ｋ＝６／２＝３より、単語ｗはこのテキストにおいて均等に分布しているといえる。意味度数が１となる位置が、図５では２だけ、図６では１だけ離れており、図４、５、６と図の番号が増えるにつれ、意味度数の分布の集中度は高くなる。
【００５７】
分布の集中度を測る指標としてエントロピーがある。各意味度数の、ｋに占める割合
【００５８】
【数４】
2005135110.tif 000006
を確率値とみなすと、確率変数Ｘ上の確率分布
【００５９】
【数５】
2005135110.tif 000007
のエントロピーＨ（Ｘ）は、
【００６０】
【数６】
2005135110.tif 000008
と表される。この式を用いると、意味度数の分布が一様であるほどエントロピーは大きくなる。確率分布
【００６１】
【数７】
2005135110.tif 000009
は、分布ｕｗｉ（１≦ｉ≦ｎ）を観測値分布とする離散的な確率密度関数といえる。
【００６２】
【数８】
2005135110.tif 000010
のときに、エントロピーＨ（Ｘ）は最大となり、その値は、
【００６３】
【数９】
2005135110.tif 000011
である。エントロピーＨ（Ｘ）については、０≦Ｈ（Ｘ）≦log nが成り立つ。
【００６４】
本発明のエントロピーの式として上記を用いてもよいが、この式ではｕｗｉの出現順序に依存しなくなり、図４〜６の分布のエントロピーはどれも同じになってしまう。
【００６５】
そこで、分布ｕｗｉ（１≦ｉ≦ｎ）を観測値分布とする連続的な確率密度関数ｆ（x）を推定し、このｆ（x）に対するエントロピーを算出してもよい。ｆ（x）のエントロピーＨ（Ｘ）は、
【００６６】
【数１０】
2005135110.tif 000012
と表される。このような指標により、ｕｗｉの出現順序を考慮した、分布ｕｗｉ（１≦ｉ≦ｎ）の集中度を測ることが可能となる。
【００６７】
任意の点xに対する確率密度値ｆ（x）は、適当なｈ（＞０）をとって、（x−ｈ，x＋ｈ］上のｆ（x）の積分値が、（x−ｈ，x＋ｈ］における意味度数の総和の、ｋに占める割合と等しいことを考慮し、
【００６８】
【数１１】
2005135110.tif 000013
と表される。
【００６９】
図４のように、意味度数１のｋ個の位置がｎ／ｋの間隔で離れているときに、一様な連続分布をなしているようにするために、
【００７０】
【数１２】
2005135110.tif 000014
とする。（２）（３）式より、
【００７１】
【数１３】
2005135110.tif 000015
となる。
【００７２】
図４の意味度数の分布を平行移動して得られるｋ＝２、ｕｗ３＝１、ｕｗ６＝１のような分布も、集中度は変わらないと考える。このように、意味度数の分布の平行移動によりエントロピーが変化しないようにするために、任意の点xに対して、x≡x+ｎと規定する。例えば、ｎ＝６のときは、x＝0.5とx＝6.5を同一視する。この規定により、（１）式における積分区間Ｉは、Ｉ＝［0.5，ｎ＋0.5］となる。
【００７３】
確率密度関数ｆ（x）が、全区間Ｉにおいて一様な分布ｆ（x）＝１／ｎ（x∈Ｉ）のときに、エントロピーＨ（Ｘ）は最大となり、その値は、
【００７４】
【数１４】
2005135110.tif 000016
である。エントロピーＨ（Ｘ）については、０≦H（Ｘ）≦log nが成り立つ。
【００７５】
図４〜６では、ｎ=６、ｋ＝２なので、ｈ＝1.5となる。
【００７６】
図４では、確率密度関数ｆ（x）は、全区間［0.5，6.5］にわたって、ｆ（x）＝１／６となる一様分布となる。ｆ（x）のエントロピーＨ（Ｘ）は、
【００７７】
【数１５】
2005135110.tif 000017
となる。
【００７８】
図５では、確率密度関数ｆ（x）は、ｆ（x）＝１／６（x∈［0.5，2.5)∪［3.5，5.5))、ｆ（x）＝１／３（x∈［2.5，3.5)）となる。ｆ（x）のエントロピーＨ（Ｘ）は、
【００７９】
【数１６】
2005135110.tif 000018
となる。
【００８０】
図６では、確率密度関数ｆ（x）は、ｆ（x）＝１／６（x∈［0.5，1.5)∪［3.5，4.5))、ｆ（x）＝１／３（x∈［1.5，3.5)）となる。ｆ（x）のエントロピーＨ（Ｘ）は、
【００８１】
【数１７】
2005135110.tif 000019
となる。
【００８２】
図４，５，６と図の番号が増えるにつれ、エントロピーＨ(Ｘ)が減少していき、分布の集中度が上がっていることが分かる。
【００８３】
エントロピーＨ（Ｘ）を求める具体的な計算方法を述べる。
【００８４】
【数１８】
2005135110.tif 000020
とおく。０≦ｒ＜１である。
【００８５】
１／２≦ｒ＜１のとき、確率密度関数ｆ（x）は図７に示すように、
【００８６】
【数１９】
2005135110.tif 000021
となる。ｆ（x）のエントロピーＨ（Ｘ）は、
【００８７】
【数２０】
2005135110.tif 000022
として算出される。
【００８８】
０≦ｒ≦１／２のとき、確率密度関数ｆ（x）は図８に示すように、
【００８９】
【数２１】
2005135110.tif 000023
となる。ｆ（x）のエントロピーＨ（Ｘ）は、
【００９０】
【数２２】
2005135110.tif 000024
として算出される。
【００９１】
離散的または連続的な確率密度関数からエントロピーＨ（Ｘ）を求めた後、エントロピーが大きいほど重みが小さくなるように、単語ｗの重みＺｗを、
【００９２】
【数２３】
2005135110.tif 000025
として算出する。
【００９３】
あるいは次のようにしてもよい。意味度数の総和がｋである分布のエントロピーが最も小さくなるような（すなわち最も集中度が高くなるような）分布ｕｗｉ(１≦ｉ≦ｎ)の一つは、ｋ＝［ｋ］＋ｑとおいたとき、
ｕｗｉ＝１      １≦ｉ≦［ｋ］
ｕｗｉ＝ｑ      ｉ＝［ｋ］＋１
ｕｗｉ＝０      ［ｋ］＋２≦ｉ≦ｎ
と表される。このような分布ｕｗｉ（１≦ｉ≦ｎ）のエントロピーＨｍｉｎを求め、エントロピーＨ（Ｘ）がＨｍｉｎのとき、単語ｗの重みＺｗが１となるようにする。具体的にはエントロピーがＨ（Ｘ）のときのＺｗを以下のように算出する。
【００９４】
【数２４】
2005135110.tif 000026
以下の請求項３，４，５，８，９，１０，１３，１４，１５，１８，１９，２０の実施例において、形態素解析手段２１、単語ベクトル取得手段２２、意味度数算出手段２３の説明は、上記の請求項１，２，６，７，１１，１２，１６，１７の実施例における説明と同じなので省略する。
【００９５】
請求項３，８，１３，１８の実施例を説明する。
【００９６】
請求項３，８，１３，１８における重み算出手段２４は、各異なり単語ｗ毎に単語ｗ’の出現位置で前記意味度数ｓｗｗ’をとる分布をとり、任意の出現位置の意味度数の総和をもとに、ｗの重みを算出する。
【００９７】
総出現位置数ｎ、意味度数の総和ｋに対し、ｗの重みＺｗを、
【００９８】
【数２５】
2005135110.tif 000027
として求める。ｋ＝１のときＺｗ＝１となり、ｋが増えるにつれ重みは減少し、ｋ＝ｎのときＺｗ＝０となる。
【００９９】
請求項４，９，１４，１９の実施例を説明する。
【０１００】
請求項４，９，１４，１９における重み算出手段２４は、各異なり単語w毎に、任意の出現位置における単語のベクトルの重心と、ｗのベクトルとの間の距離をもとに、ｗの重みを算出する。
【０１０１】
ｗのベクトルをｖｗ、出現位置ｉの単語ｔｉのベクトルを
【０１０２】
【数２６】
2005135110.tif 000028
としたとき、
【０１０３】
【数２７】
2005135110.tif 000029
の重心ベクトル
【０１０４】
【数２８】
2005135110.tif 000030
は、
【０１０５】
【数２９】
2005135110.tif 000031
である。ｗの重みＺｗを、
【０１０６】
【数３０】
2005135110.tif 000032
として求める。ｖｗと
【０１０７】
【数３１】
2005135110.tif 000033
が一致しているときＺｗ＝０であり、ｖｗと
【０１０８】
【数３２】
2005135110.tif 000034
との間の距離が大きくなるにつれ、Ｚｗは大きくなっていく。
【０１０９】
請求項５，１０，１５，２０の実施例を説明する。
【０１１０】
請求項５，１０，１５，２０における重み算出手段２４は、各異なり単語ｗ毎に、任意の出現位置における単語のベクトルと、ｗのベクトルとの間の距離をもとに、ｗの重みを算出する。
【０１１１】
ｗのベクトルをｖｗ、出現位置ｉの単語ｔｉのベクトルを
【０１１２】
【数３３】
2005135110.tif 000035
としたとき、ｗの重みＺｗを、
【０１１３】
【数３４】
2005135110.tif 000036
として求める。ｖｗが平均的に
【０１１４】
【数３５】
2005135110.tif 000037
と近ければＺｗは小さくなり、遠ければＺｗは大きくなる。
【０１１５】
なお、本発明で述べた方法により取得した単語の重みを用いたトピックセグメンテーション処理について簡単に説明する。トピックセグメンテーションの方法としては、特開２００２−３４２３２４や「別所克人：クラスター内変動最小アルゴリズムに基づくトピックセグメンテーション，情報処理学会研究報告，Vol. SIG-NL 154, pp. 177-183 (2003)」で述べられている方法がある。これらの方法は、単語ベクトル取得手段２２で得られた単語ベクトルの系列から、テキストを同一話題の区間であるセグメントの集合へ分割するものである。
【０１１６】
特開２００２−３４２３２４で述べられている方法の一実施例では、任意の単語境界の前後に、ある個数の単語の集合である単語列をとり、各単語列に対し、該単語列を構成する単語のベクトルの重心を算出し、前後の単語列に対応する重心間の余弦測度を該単語境界の結束度としてとり、この結束度が極小となる単語境界を話題区間の境界と認定する。
【０１１７】
ここで、単語列をｔｉ（１≦ｉ≦ｍ）、単語ｔｉのベクトルを
【０１１８】
【数３６】
2005135110.tif 000038
としたとき、通常の重心ベクトル
【０１１９】
【数３７】
2005135110.tif 000039
は、
【０１２０】
【数３８】
2005135110.tif 000040
と表される。本発明の方法により、単語ｔｉの重み
【０１２１】
【数３９】
2005135110.tif 000041
が取得されているとき、重み付き重心
【０１２２】
【数４０】
2005135110.tif 000042
を、
【０１２３】
【数４１】
2005135110.tif 000043
として求める。この重み付き重心
【０１２４】
【数４２】
2005135110.tif 000044
に基づいて処理を行う。
【０１２５】
また、「別所克人：クラスター内変動最小アルゴリズムに基づくトピックセグメンテーション，情報処理学会研究報告，Vol. SIG-NL 154, pp. 177-183 (2003)」で述べられている方法の一実施例では、任意の区間に対して、該区間内の単語ベクトルの重心と各単語ベクトルとの間の距離の自乗の和をコストとして求め、任意の区間列のコストを、該区間列に含まれる区間のコストの和として、一定の条件下でコストが最小となる区間列を話題区間列と認定する。
【０１２６】
ここで、単語列ｔｉ（１≦ｉ≦ｍ）からなる区間のコストＣは、
【０１２７】
【数４３】
2005135110.tif 000045
と表される。本発明の方法により、単語ｔｉの重み
【０１２８】
【数４４】
2005135110.tif 000046
が取得されているとき、重みを考慮したコストＣ’を、
【０１２９】
【数４５】
2005135110.tif 000047
として求める。この重みを考慮したコストＣ’に基づいて処理を行う。
【０１３０】
なお、これまで述べた処理をプログラムとして構築し、当該プログラムを通信回線または、記憶媒体からインストールし、ＣＰＵ等の手段で実施することが可能である。
【０１３１】
なお、本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において、種々変更・応用が可能である。
【産業上の利用可能性】
【０１３２】
本発明は、テキストをトピック単位に分割するトピックセグメンテーションのような言語処理技術に適用可能である。
【図面の簡単な説明】
【０１３３】
【図１】本発明の原理を説明するための図である。
【図２】本発明の原理構成図である。
【図３】本発明の一実施の形態における概念ベースの例を示す図である。
【図４】本発明の一実施の形態における意味度数の分布の例を示す図である。
【図５】本発明の一実施の形態における意味度数の分布の例を示す図である。
【図６】本発明の一実施の形態における意味度数の分布の例を示す図である。
【図７】本発明の一実施の形態における推定した確率密度関数を示す図である。
【図８】本発明の一実施の形態における推定した確率密度関数を示す図である。
【符号の説明】
【０１３４】
２１  形態素解析手段
２２  単語ベクトル取得手段
２３  意味度数算出手段
２４  重み算出手段
２５  概念ベース
【図１】
2005135110.tif 000048
【図２】
2005135110.tif 000049
【図３】
2005135110.tif 000050
【図４】
2005135110.tif 000051
【図５】
2005135110.tif 000052
【図６】
2005135110.tif 000053
【図７】
2005135110.tif 000054
【図８】
2005135110.tif 000055