(57)【特許請求の範囲】
【請求項１】
テキストを意味的なまとまりの単位である意味段落に分割するテキスト分割方法であって、
形態素解析手段が、前記テキストを形態素解析して、単語に分割する形態素解析過程と、
単語ベクトル取得手段が、単語の意味を表現するベクトルが格納されている概念ベースを検索することによって前記形態素解析過程で得られた各単語に対応する単語ベクトルを取得する単語ベクトル取得過程と、
単語列結束度算出手段が、
単語の境界の前後に、ある個数の単語の集合である単語列をとり、
前記各単語列に対し、該単語列を構成する単語の前記単語ベクトルの和ベクトルまたは重心ベクトルを算出し、
前後の単語列に対応する前記和ベクトルまたは前記重心ベクトル間の余弦測度を始めとする類似尺度または距離尺度を単語列結束度として算出する単語列結束度算出過程と、
意味段落境界認定手段が、前記単語列結束度が類似尺度である場合は極小である単語境界を、前記単語列結束度が距離尺度である場合は極大である単語境界を、前記テキストの意味段落の境界と認定する意味段落境界認定過程と、
からなることを特徴とするテキスト分割方法。
【請求項２】
テキストを意味的なまとまりの単位である意味段落に分割するテキスト分割方法であって、
形態素解析手段が、前記テキストを形態素解析して、単語に分割する形態素解析過程と、
単語ベクトル取得手段が、単語の意味を表現するベクトルが格納されている概念ベースを検索することによって前記形態素解析過程で得られた各単語に対応する単語ベクトルを取得する単語ベクトル取得過程と、
単語列結束度算出手段が、
単語の境界の前後に、ある個数の単語の集合である単語列をとり、
前記各単語列に対し、該単語列を構成する単語のベクトルの分布から母集団ベクトル分布を推定し、
前後の単語列に対応する前記母集団ベクトル分布間のカルパック・リーブラー距離を始めとする類似尺度または距離尺度を単語列結束度として算出する単語列結束度算出過程と、
意味段落境界認定手段が、
前記単語列結束度が類似尺度である場合は極小である単語境界を、前記単語列結束度が距離尺度である場合は極大である単語境界を、前記テキストの意味段落の境界と認定する意味段落境界認定過程と、
からなることを特徴とするテキスト分割方法。
【請求項３】
テキストを意味的なまとまりの単位である意味段落に分割するテキスト分割装置であって、
前記テキストを形態素解析して、単語に分割する形態素解析手段と、
単語の意味を表現するベクトルが格納されている概念ベースと、
前記概念ベースを検索することによって前記形態素解析手段で得られた各単語に対応する単語ベクトルを取得する単語ベクトル取得手段と、
単語の境界の前後に、ある個数の単語の集合である単語列をとり、前記各単語列に対し、該単語列を構成する単語の前記単語ベクトルの和ベクトルまたは重心ベクトルを算出し、前後の単語列に対応する前記和ベクトルまたは前記重心ベクトル間の余弦測度を始めとする類似尺度または距離尺度を単語列結束度として算出する単語列結束度算出手段と、
前記単語列結束度が類似尺度である場合は極小である単語境界を、前記単語列結束度が距離尺度である場合は極大である単語境界を、前記テキストの意味段落の境界と認定する意味段落境界認定手段と、
を有することを特徴とするテキスト分割装置。
【請求項４】
テキストを意味的なまとまりの単位である意味段落に分割するテキスト分割装置であって、
前記テキストを形態素解析して、単語に分割する形態素解析手段と、
単語の意味を表現するベクトルが格納されている概念ベースと、
前記概念ベースを検索することによって前記形態素解析手段で得られた各単語に対応する単語ベクトルを取得する単語ベクトル取得手段と、
単語の境界の前後に、ある個数の単語の集合である単語列をとり、前記各単語列に対し、該単語列を構成する単語のベクトルの分布から母集団ベクトル分布を推定し、前後の単語列に対応する前記母集団ベクトル分布間のカルパック・リーブラー距離を始めとする類似尺度または距離尺度を単語列結束度として算出する単語列結束度算出手段と、
前記単語列結束度が類似尺度である場合は極小である単語境界を、前記単語列結束度が距離尺度である場合は極大である単語境界を、前記テキストの意味段落の境界と認定する意味段落境界認定手段と、
を有することを特徴とするテキスト分割装置。
【請求項５】
コンピュータを、
請求項３または４記載のテキスト分割装置として機能させることを特徴とするテキスト分割プログラム。
【請求項６】
コンピュータを、
請求項３または４記載のテキスト分割装置として機能させるプログラムを格納したことを特徴とするテキスト分割プログラムを格納した記憶媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、テキスト分割方法及び装置及びテキスト分割プログラム及びテキスト分割プログラムを格納した記憶媒体に係り、特に、テキストを入力とし、当該テキストを意味的なまとまりの単位である意味段落に自動分割するためのテキスト分割方法及び装置及びテキスト分割プログラム及びテキスト分割プログラムを格納した記憶媒体に関する。
【０００２】
【従来の技術】
従来のテキスト分割方法としては、M.A.Hearstによって考案された単位の頻度に基づく単語列の結束度による方法( 参考文献:Hearst, M.A.,: Multi-Paragraph Segmentation of Expository Text, 32nd Annual Meeting of the Association for Computational Linguistics, pp.9-16(1994)) がある。
【０００３】
この方法では、まず、テキストを形態素解析して単語に分割する。
【０００４】
次に、図６に示すように、任意の単語境界の前後に、ある個数の単語の集合である単語列（以下の説明では、「窓」と記す）をとり、各窓を構成する単語の頻度ベクトルをとり、前後の窓に対応する頻度ベクトル間の余弦測度を単語列結束度として計算する。各単語境界に対し、この計算を行うことにより、各単語境界に一つの単語列結束度が対応することになる。
【０００５】
単語境界が意味段落境界に近づくにつれ、前後の窓に共通して含まれる単語は一般に少なくなるため、単語列結束度は減少していく。そこで、単語列結束度が極小である単語境界を当該テキストの意味段落の境界と認定する。
【０００６】
ここで、ある単語境界位置をｉ、前の窓をｂl 、後ろの窓をｂr とし、単語ｔのｂl 、ｂr における出現頻度をそれぞれ
【０００７】
【数１】
0003775239.tif 000002
としたとき、ｉにおける単語列結束度Ｃi は、
【０００８】
【数２】
0003775239.tif 000003
と表される。
【０００９】
【発明が解決しようとする課題】
テキストの意味段落の中途の単語境界位置で、前後の窓に共通して含まれる単語が少ないことは多い。しかしながら、上記従来のHearstの方法では、単語の頻度ベクトル間の余弦測度を取っているため、そのような単語境界位置における結束度は小さくなり、意味段落の境界と認定されることが多い。このように、上記従来のHearstの方法では、認定した意味段落の境界にノイズとなるものが多く含まれるという問題がある。
本発明は、上記の点に鑑みなされたもので、テキストから正解である意味段落の境界（テキストの隣接単語間境界）のみを過不足なく認定できるようなテキスト分割方法及び装置及びテキスト分割プログラム及びテキスト分割プログラムを格納した記憶媒体を提供することを目的とする。
【００１０】
【課題を解決するための手段】
図１は、本発明の原理を説明するための図である。
【００１１】
本発明（請求項１）は、テキストを意味的なまとまりの単位である意味段落に分割するテキスト分割方法であって、
形態素解析手段が、テキストを形態素解析して、単語に分割する形態素解析過程（ステップ１）と、
単語ベクトル取得手段が、単語の意味を表現するベクトルが格納されている概念ベースを検索することによって形態素解析過程で得られた各単語に対応する単語ベクトルを取得する単語ベクトル取得過程（ステップ２）と、
単語列結束度算出手段が、
単語の境界の前後に、ある個数の単語の集合である単語列をとり、
各単語列に対し、該単語列を構成する単語の単語ベクトルの和ベクトルまたは重心ベクトルを算出し、
前後の単語列に対応する和ベクトルまたは重心ベクトル間の余弦測度を始めとする類似尺度または距離尺度を単語列結束度として算出する単語列結束度算出過程（ステップ３）と、
意味段落境界認定手段が、単語列結束度が類似尺度である場合は極小である単語境界を、単語列結束度が距離尺度である場合は極大である単語境界を、テキストの意味段落の境界と認定する意味段落境界認定過程（ステップ４）と、からなる。
【００１２】
本発明（請求項２）は、テキストを意味的なまとまりの単位である意味段落に分割するテキスト分割方法であって、
形態素解析手段が、テキストを形態素解析して、単語に分割する形態素解析過程（ステップ１）と、
単語ベクトル取得手段が、単語の意味を表現するベクトルが格納されている概念ベースを検索することによって形態素解析過程で得られた各単語に対応する単語ベクトルを取得する単語ベクトル取得過程（ステップ２）と、
単語列結束度算出手段が、
単語の境界の前後に、ある個数の単語の集合である単語列をとり、
各単語列に対し、該単語列を構成する単語のベクトルの分布から母集団ベクトル分布を推定し、
前後の単語列に対応する母集団ベクトル分布間のカルパック・リーブラー距離を始めとする類似尺度または距離尺度を単語列結束度として算出する単語列結束度算出過程（ステップ３）と、
意味段落境界認定手段が、
単語列結束度が類似尺度である場合は極小である単語境界を、単語列結束度が距離尺度である場合は極大である単語境界を、テキストの意味段落の境界と認定する意味段落境界認定過程（ステップ４）と、からなる。
【００１４】
図２は、本発明の原理構成図である。
【００１５】
本発明（請求項３）は、テキストを意味的なまとまりの単位である意味段落に分割するテキスト分割装置であって、
テキストを形態素解析して、単語に分割する形態素解析手段２０と、
単語の意味を表現するベクトルが格納されている概念ベース６０を検索することによって形態素解析手段２０で得られた各単語に対応する単語ベクトルを取得する単語ベクトル取得手段３０と、
単語の境界の前後に、ある個数の単語の集合である単語列をとり、該各単語列に対し、該単語列を構成する単語の単語ベクトルの和ベクトルまたは重心ベクトルを算出し、前後の単語列に対応する該和ベクトルまたは該重心ベクトル間の余弦測度を始めとする類似尺度または距離尺度を単語列結束度として算出する単語列結束度算出手段４０と、
単語列結束度が類似尺度である場合は極小である単語境界を、単語列結束度が距離尺度である場合は極大である単語境界を、テキストの意味段落の境界と認定する意味段落境界認定手段５０と、を有する。
【００１６】
本発明（請求項４）は、テキストを意味的なまとまりの単位である意味段落に分割するテキスト分割装置であって、
テキストを形態素解析して、単語に分割する形態素解析手段２０と、
単語の意味を表現するベクトルが格納されている概念ベース６０を検索することによって形態素解析手段２０で得られた各単語に対応する単語ベクトルを取得する単語ベクトル取得手段３０と、
単語の境界の前後に、ある個数の単語の集合である単語列をとり、該各単語列に対し、該単語列を構成する単語のベクトルの分布から母集団ベクトル分布を推定し、前後の単語列に対応する該母集団ベクトル分布間のカルパック・リーブラー距離を始めとする類似尺度または距離尺度を単語列結束度として算出する単語列結束度算出手段４０と、
単語列結束度が類似尺度である場合は極小である単語境界を、単語列結束度が距離尺度である場合は極大である単語境界を、テキストの意味段落の境界と認定する意味段落境界認定手段５０と、を有する。
【００１８】
本発明（請求項５）は、コンピュータを、請求項３または４記載のテキスト分割装置として機能させるプログラムである。
【００２１】
本発明（請求項６）は、コンピュータを、請求項３または４記載のテキスト分割装置として機能させるプログラムを格納した記憶媒体である。
【００２３】
上記のように、本発明では、単語の意味を表現するベクトルが格納されている概念ベースを用いる。この概念ベースにおける単語ベクトルは、意味的に類似している単語間ほど距離が近く、意味的に類似していない単語間ほど距離が遠くなるように値が設定されている。正解の意味段落境界の前の窓（直前の単語列）に含まれる単語と後ろの窓（直後の単語列）に含まれる単語とは意味的類似性が低いことにより、そのベクトル間の距離も遠くなるため、単語列の結束度は、類似尺度のとき低くなり、距離尺度のとき高くなる。
【００２４】
また、意味段落の中途の単語境界位置においては、前の窓（直前の単語列）に含まれる単語と後ろの窓（直後の単語列）に含まれる単語とは意味的類似性が高い。前後の窓（直前・直後の単語列）に共通して含まれる単語がない場合でも、同様のことが言える。従って、そのベクトル間の距離も近くなるため、単語列の結束度は、類似尺度のとき高くなり、距離尺度のとき低くなる。
【００２５】
そこで、単語列結束度が類似尺度である場合は極小である単語境界を、距離尺度である場合は極大である単語境界を当該テキストの意味段落の境界と認定することにより、正解である意味段落の境界のみを過不足なく認定できるようになる。
【００２６】
【発明の実施の形態】
図３は、本発明の一実施の形態におけるテキスト分割装置の構成を示す。  同図に示すテキスト分割装置は、テキスト入力部１０、形態素解析部２０、単語ベクトル取得部３０、単語列結束度算出部４０、意味段落境界認定部５０、概念ベース６０から構成される。
【００２７】
概念ベース６０は、単語の意味を表現する単語ベクトルが格納されており、当該単語ベクトルは、意味的に類似している単語間程距離が近く、意味的に類似していない単語間ほど距離が遠くなるように値が設定されており、データベースに格納される。
【００２８】
テキスト入力部１０は、処理対象となるテキストを入力する。
【００２９】
形態素解析部２０は、入力されたテキストを形態素解析して単語に分割し、その形態素解析結果を単語ベクトル取得部３０に転送する。
【００３０】
単語ベクトル取得部３０は、概念ベース６０を検索することにより、形態素解析の結果得られた各単語に対応するベクトルを取得する。
【００３１】
単語列結束度算出部４０は、図６に示すように、任意の単語境界の前後に、ある個数の単語の集合である窓（単語列）をとり、各窓を構成する単語のベクトルの情報から、前後の窓の類似尺度または距離尺度である単語列結束度を算出する。各単語境界に対し、この計算を行うことにより、各単語境界に一つの単語列結束度が対応することになる。また、単語列結束度を求める際に、単語列結束度を求める際に、単語列結束度算出部４０は、各窓に対し、当該窓を構成する単語のベクトルの和または重心をとり、単語列結束度として、前後の窓に対応する和または重心ベクトル間の余弦測度を始めとする類似尺度または距離尺度をとる。あるいは、各窓に対し、当該窓を構成する単語のベクトルの分布から母集団分布を推定し、単語列結束度として、前後の窓に対応する母集団分布間のカルバック・リーブラー距離を始めとする類似尺度または距離尺度をとる。
【００３２】
意味段落境界認定部５０は、単語列結束度が類似尺度である場合は極小である単語境界を、距離尺度である場合は極大である単語境界を、当該テキストの意味段落の境界と認定する。
【００３３】
【実施例】
以下、図面と共に本発明の実施例を説明する。
【００３４】
図４は、本発明の一実施例のテキスト分割装置の動作のフローチャートである。
【００３５】
ステップ１０１）  形態素解析部２０は、入力テキストを形態素解析して単語に分割する。
【００３６】
ステップ１０２）  単語ベクトル取得部３０は、単語の意味を表現するベクトルが格納されている概念ベース６０を検索することによって、ステップ１０１の形態素解析処理により得られた各単語に対応するベクトルを取得する。
【００３７】
ステップ１０３）  単語列結束度算出部４０は、前述の図６に示すように、任意の単語境界の前後に、ある個数の単語集合である窓を取り、各窓を構成する単語のベクトルの情報から、前後の窓の類似尺度または距離尺度である単語列結束度を算出する。単語列結束度を算出する単語境界は、１単語の刻み幅でとっていく。各単語境界に対する窓の幅は単語の一定個数分とる。窓の幅をａ個としたとき、テキストの最小のａ単語以内の単語境界の前の窓の幅と最後のａ単語以内の単語境界の後ろの窓の幅はａ個足りないが、ａ個に足りない窓はとれる最大幅をとって単語列結束度を算出する。あるいは、前後の窓の幅が、ａ個とれる単語境界のみ単語列結束度を算出する。
【００３８】
ステップ１０４）  意味段落境界設定部５０は、単語列結束度が類似尺度である場合は極小である単語境界を、距離尺度である場合は極大である単語境界を、当該テキストの意味段落の境界と認定する。ここでいう極値とは、テキスト全体における極値である。
【００３９】
次に、概念ベース６０について説明する。
【００４０】
図５は、本発明の一実施例の概念ベースのデータの例を示す。
【００４１】
概念ベース６０は、各単語毎に、ｐ次元のベクトル値が付与されている。概念ベース６０中の単語は、名詞や動詞、形容詞等の自立語である。概念ベース６０における単語ベクトルは、意味的に類似している単語間ほど距離が近く、意味的に類似していない単語間ほど距離が遠くなるように値が設定されている。
【００４２】
概念ベースの例としては、特願平４−２５１５１３の「類似性判別装置」や、特願平６−０９６０１１の「類似性判別利用データ精錬方法及びこの方法を実施する装置」で紹介されているデータベースがある。
【００４３】
また、Deerwesterの論文(Deerwester,S.,Dumais,S.T.,Furnas, G. W.,Landauer,T.K.,and Harshman, R.:Indexing by Latent Semantic Analysis, Journal of the American Society for Information Science,pp.391-407(1990)) では、単語の文書における頻度を記録した単語・文書間の共起行列を特異値分解により次元数を縮退させた行列に変換しているが、この変換後の行列も概念ベースの一例である。Schutze の論文(Schutze,H.:Dimensions of Meaning, Proc. of Supercomputing '92,pp.787-796(1992))では、コーパス中の単語間の共起頻度を記録した単語・単語間の共起行列を特異値分解により次元数を縮退させた行列に変換しているが、この変換後の行列も概念ベースの一例である。
【００４４】
前述のステップ１０２における単語ベクトル取得部３０において、概念ベース６０を検索することによって、ステップ１０１の形態素解析処理で得られた各単語に対応するベクトルを取得する。
【００４５】
次に、上記のステップ１０３における単語列結束度算出部４０の処理について説明する。
【００４６】
単語列結束度算出部４０は、各窓に対し、当該窓を構成する単語のベクトルの和または重心をとり、単語列結束度として、前後の窓に対応する和または重心ベクトル間の余弦測度を始めとする類似尺度または距離尺度をとる。
【００４７】
余弦測度は、類似尺度である。ここで、ある単語境界位置をｉ、前の窓に含まれる単語集合をＬ、後ろの窓に含まれる単語の集合をＲとし、単語ｔに対応する概念ベース６０中のベクトルをνt としたとき、前後の窓に対応する和ベクトル間の余弦測度Ｃi は、以下のように表される。なお、以下の式における“・”は、ベクトル間の内積である。
【００４８】
【数３】
0003775239.tif 000004
余弦測度は、２つのベクトル間の角度で決まるので、前後の窓に対応する重心ベクトル間の余弦測度は、和ベクトル間の余弦測度と一致する。
【００４９】
また、前後の窓に対応するベクトル間の距離尺度として、ベクトルを分布と見做して、分布間の距離尺度であるカルバック・リーブラー距離をとる方法もある。  カルバック・リーブラー距離は、以下のように表される。前の窓に対応する和ベクトルωL を以下のように成分表示したとする。
【００５０】
【数４】
0003775239.tif 000005
ここで、ａL1＞0(1≦ｉ≦ｐ）と仮定する。
【００５１】
また、あるベクトル値が表現する意味と、そのベクトル値のスカラ倍の値が表現する意味を同一視できるように概念ベースが構成されているとする。このとき、以下のようなωLの各成分の和が１となるように正規化したベクトルωL ’とωL を同一視できる。
【００５２】
【数５】
0003775239.tif 000006
後ろの窓に対応する和ベクトルのωR についても同様に正規化したベクトル
【００５３】
【数６】
0003775239.tif 000007
を作る。
【００５４】
【数７】
0003775239.tif 000008
ベクトルωL’、ωR’間のカルバック・リーブラ距離として、ＫＬ（ωR’，ωL ’）をとってもよい。
【００５５】
上記のカルバック・リーブラ距離は、２つの分布に対して対称ではないので、双方の分布からみたカルバック・リーブラ距離の和であるJeffery 距離を距離尺度としてとる方法もある。Jeffery 距離Ｊ（ωL’，ωR’）は、以下のように表される。
【００５６】
【数８】
0003775239.tif 000009
次に、上記のステップ１０３における単語列結束度算出部４０の処理について説明する。
【００５７】
単語列結束度算出部４０では、各窓に対し、当該窓を構成する単語のベクトルの分布から母集団分布を推定し、単語列結束度として前後の窓に対応する母集団分布間のカルバック・リーブラー距離を始めとする類似尺度または距離尺度をとる。単語ベクトルの次元をｐ次元としたとき、単語ベクトルの集合を、ｐ次元空間上の連続的なある確率分布に従う標本の集合と見て、標本集合から元の確率分布を推定する訳である。
【００５８】
前述したように、カルバック・リーブラ距離は距離尺度である。カルバック・リーブラ距離の算出は、具体的には以下のようにする。
【００５９】
前の窓を構成する単語ベクトルの集合
【００６０】
【数９】
0003775239.tif 000010
から母集団分布ｆ（ｘ）（ｘ∈Ｒp ）を推定する。母集団分布の推定には、母集団分布としてパラメトリックな分布をとる方法と、ノンパラメトリックな分布をとる方法がある。パラメトリックな分布の一例としては、正規分布があり、これを決定付けるパラメータは、母平均と母分散共分散行列である。ＶLから最尤推定等の手法により、これらのパラメータを推定することにより、母集団分布ｆ（ｘ）（ｘ∈Ｒp ）を推定する。ここで、母平均μは、次のように推定される。
【００６１】
なお、｜Ｌ｜は、Ｌの要素数である。
【００６２】
【数１０】
0003775239.tif 000011
また、母分散共分散行列Ωは、次のように推定される。（νt −μ）は縦ベクトルであり、（νt −μ）’は、それを転置した横ベクトルである。
【００６３】
【数１１】
0003775239.tif 000012
推定したμ、Ωにより、正規分布である母集団分布ｆ（ｘ）（ｘ∈Ｒp ）は次のように表される。
【００６４】
【数１２】
0003775239.tif 000013
後ろの窓を構成する単語ベクトルの集合からも同様に母集団分布ｇ（ｘ）（ｘ∈Ｒp ）を推定する。
【００６５】
確率分布ｆ（ｘ），ｇ（ｘ）間のカルバック・リーブラ距離ＫＬ（ｆ（ｘ），ｇ（ｘ））は、
【００６６】
【数１３】
0003775239.tif 000014
となる。
【００６７】
確率分布ｆ（ｘ），ｇ（ｘ）間のカルバック・リーブラ距離として、ＫＬ（ｆ（ｘ），ｇ（ｘ））をとってもよい。
【００６８】
上記のカルバック・リーブラ距離は、２つの確率分布に対して対称ではないので、双方の確率分布からみたカルバック・リーブラ距離の和であるJeffery 距離を距離尺度としてとる方法もある。Jeffery 距離Ｊ（ｆ（ｘ），ｇ（ｘ））は、以下のように表される。
【００６９】
【数１４】
0003775239.tif 000015
実際のカルバック・リーブラ距離や、Jeffery 距離の算出では、積分領域を分割し、各分割領域のある一点に対応する積分関数の数値に基づいて積分値の近似値を求めるといった離散的な数値計算手法をとることができる。
【００７０】
次に、ステップ１０４における意味段落境界認定部５０の処理について説明する。
【００７１】
ステップ１０３において、上記の方法により各単語境界に対応する単語列結束度を計算した後、意味段落境界認定部５０において、単語列結束度が類似尺度である場合は極小である単語境界を、距離尺度である場合は極大である単語境界を、当該テキストの意味段落の境界と認定する。ここでいう極値とは、テキスト全体における極値である。
【００７２】
また、上記の実施例では、図４のフローチャートに基づいて説明したが、図４に示す一連の動作をプログラムとして構築し、概念ベースをテキスト分割装置として利用されるコンピュータのバッファ等に格納し、構築されたプログラムをＣＰＵにインストールして実行したり、ネットワークを介して流通させることも可能である。
【００７３】
また、構築されたプログラムをテキスト分割装置として利用されるコンピュータに接続されるハードディスク装置や、フロッピーディスク、ＣＤ−ＲＯＭ等の可搬記憶媒体に格納しておき、本発明を実施する際にインストールすることにより、容易に本発明を実現できる。
【００７４】
なお、本発明は、上記の実施例に限定されることなく、特許請求の範囲内において、種々変更・応用が可能である。
【００７５】
【発明の効果】
上述のように、本発明によれば、単語の意味を表現するベクトルの情報から単語列結束度を算出することにより、正解である意味段落の境界のみを過不足なく認定できるようになる。
【図面の簡単な説明】
【図１】本発明の原理を説明するための図である。
【図２】本発明の原理構成図である。
【図３】本発明の一実施の形態におけるテキスト分割装置の構成図である。
【図４】本発明の一実施例のテキスト分割装置の動作のフローチャートである。
【図５】本発明の一実施例の概念ベースのデータの例である。
【図６】単語列結束度算出を説明するための図である。
【符号の説明】
１０  テキスト入力部
２０  形態素解析手段、形態素解析部
３０  単語ベクトル取得手段、単語ベクトル取得部
４０  単語列結束度算出手段、単語列結束度算出部
５０  隣接単語列認定手段、意味段落境界認定部
６０  概念ベース
【図１】
0003775239.tif 000016
【図２】
0003775239.tif 000017
【図３】
0003775239.tif 000018
【図４】
0003775239.tif 000019
【図５】
0003775239.tif 000020
【図６】
0003775239.tif 000021