(57)【特許請求の範囲】
【請求項１】
電子化された文書から言語要素を切り出して記憶手段に記憶する言語要素切り出し手段と、前記記憶手段に記憶された全ての言語要素同士の関連度を、言語要素内の共通の文字、単語、類義単語のいずれか毎の総和の割合により求めて言語要素間関連度行列記憶手段へ記憶する言語要素間関連度行列取得手段と、前記言語要素間関連度行列記憶手段へ記憶された言語要素間関連度行列を、各部分行列の内の要素の関連度の密度と各部分行列の外の要素の関連度の密度との比を評価値とし、該評価値を用いて最適な関連性の高い部分行列の並びに分割して部分行列記憶手段へ記憶する行列分割手段とを有し、前記行列分割手段により分割された部分行列に対して、再帰的に前記行列分割手段を用いることにより、階層的に文書を分割することを特徴とする文書分割装置。
【請求項２】
請求項１に記載された文書分割装置において、前記言語要素切り出し手段は、段落、文、行のいずれかを言語要素として切り出すことを特徴とする文書分割装置。
【請求項３】
請求項１または２に記載された文書分割装置において、前記行列分割手段で用いる評価値は、分割された部分行列の内容のまとまりの程度を表すことを特徴とする文書分割装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、文書分割装置に関するものである。
【０００２】
【従来の技術】
例えば、複数の新聞記事が一緒になっている文書に対して、キーワード抽出等を行うと、新聞記事がいくつかの分野を含んでいると様々なキーワードが混ざり合って抽出されてしまう。また、文書検索において、指定された検索語を含む文書を検索しても、大きな文書であると、検索語に関連の深い部分を探すことが必要になるが、予め分割した単位を対象とすることができれば、直ちにその分割単位に辿り着くことができる。
このように、一つの文書を内容のまとまり毎に分割することができると、様々な文書処理が容易になる、即ち、文書を内容のまとまり毎に分割することにより、有用な文書処理を実現することができる。
【０００３】
文書分割の最も単純な方法としては、異なり語数の増加率に着目して、増加率の極小値を切れ目として認識する方法［１］、異なり語数の増加率の代わりに、意味レベルの単語の類似単語の結束度を文書上の位置の一定の窓幅での総和を用いる方法［２］がある。また、意味的に関連性のある語の連鎖（語彙的結束性）に着目する方法［３］がある。
これらの方法は、近傍の連鎖に着目しており、隣接間の関連に着目したボトムアップ的な視点での処理となっているが、文書分割のような処理は、トップダウン的な広い視野の処理が必要である。
【０００４】
【発明が解決しようとする課題】
本発明では、隣接間の関連だけでなく、広域的な関連も考慮に入れた文書分割装置を提供するものである。
【０００５】
【課題を解決するための手段】
請求項１の発明は、電子化された文書から言語要素を切り出して記憶手段に記憶する言語要素切り出し手段と、前記記憶手段に記憶された全ての言語要素同士の関連度を、言語要素内の共通の文字、単語、類義単語のいずれか毎の総和の割合により求めて言語要素間関連度行列記憶手段へ記憶する言語要素間関連度行列取得手段と、前記言語要素間関連度行列記憶手段へ記憶された言語要素間関連度行列を、各部分行列の内の要素の関連度の密度と各部分行列の外の要素の関連度の密度との比を評価値とし、該評価値を用いて最適な関連性の高い部分行列の並びに分割して部分行列記憶手段へ記憶する行列分割手段とを有し、前記行列分割手段により分割された部分行列に対して、再帰的に前記行列分割手段を用いることにより、階層的に文書を分割する文書分割装置である。
【０００６】
請求項２の発明は、請求項１に記載された文書分割装置において、前記言語要素切り出し手段は、段落、文、行のいずれかを言語要素として切り出す文書分割装置である。
【００１０】
請求項３の発明は、請求項１または２に記載された文書分割装置において、前記行列分割手段で用いる評価値は、分割された部分行列の内容のまとまりの程度を表す文書分割装置である。
【００１８】
【発明の実施の形態】
図１は、本発明の文書分割装置を概略的に示したブロック図であって、図中、Ｄは本発明の文書分割装置による分割の対象となる電子化文書、１は言語要素切出し手段であって電子化文書から言語要素群ＬＥを切り出す。切り出された言語要素群ＬＥは、後述のように言語要素間関連度評価手段２によって相互の関連度が評価され、言語要素間関連度行列取得手段３は前記言語要素間関連度評価手段２の評価結果に基づいて言語要素間関連度行列３ａを作成する。行列分割手段４は前記言語要素間関連度行列３ａから関連度に応じて文書を分割する。
【００１９】
以下、本発明をその実施例について詳しく説明する。
まず、電子化された文書は、言語要素切り出し手段により、言語要素群に切り出される。この際の言語要素とは、文書における行であったり、文であったり、段落などであり、特に、いずれかを特定するものではない。これらの言語要素を単位とする切り出しは、一定文字数によったり、句点や改行で容易に切り出すことができる。
【００２０】
【表１】
0003578618.tif 000002
【００２１】
例えば、表１の文書を改行コードあるいは行先頭から４０文字目で強制的に切り出せば、表２のようになる（［  ］内は、切り出し番号である）。
【００２２】
【表２】
0003578618.tif 000003
【００２３】
また、改行コードあるいは句点で切り出せば、表３のような文の切り出しを得る。
【００２４】
【表３】
0003578618.tif 000004
【００２５】
さらに、改行だけで切り出せば、表４のようになる。
【表４】
0003578618.tif 000005
【００２６】
次に、言語要素間関連度行列取得手段及び言語要素間関連度評価手段について説明する。
切り出された言語要素群から、言語要素間関連度行列取得手段により、全ての言語要素間の関連度から成る言語要素間関連度行列が得られる。この際、２つの言語要素間の関連度は、言語要素間関連度評価手段により求められる。言語要素間の関連度の評価法は、例えば、最も簡単には、一方の言語要素内の文字の総数のうち、もう一方の言語要素内の文字と共通の文字数の割合をみればよい。あるいは、日本語の場合であれば、文字のうち文字自体に意味を持たない「かな文字」を除いた文字とするのもよい。また、文を文形態素（単語）に分割する形態素解析系を用いて共通単語の割合を用いてもよい。さらに、シソーラス辞書等を用いて異なる単語でも語彙的な関連を考慮して関連度を求めてもよい。
例えば、表３の第２文と第４文
【００２７】
【表５】
0003578618.tif 000006
【００２８】
この２文の文字総数は、第２文は７文字、第４文は４１文字であり、共通文字は、「輸」、「出」、「規」、「制」、「が」、「始」、の６文字であり、第２文と第４文の関連度は、第２文から見た場合は、６／７＝０．８５７、第４文から見た場合は、６／４１＝０．１４６となる。この場合は、２つの関連度が得られるが、両文を全体から見た場合は６×２／（７＋４１）＝１２／４８＝０．２５を一つの関連度として用いてもよい。
また、文字から平仮名と句読点を除くと、第２文は６文字、第４文は２６文字、共通文字は５文字であるから、５／６＝０．８３３と５／２６＝０．１９２、あるいは５×２／（６＋２６）＝０．３１２５が得られる。
【００２９】
また、形態素解析系を用いて単語分割し、一般名詞やサ変動詞を切り出すと、
２：輸出、規制、始動
４：通常、兵器、部品、加工、機械、転用、工業、製品、輸出、規制、日本
となり、第２文が３単語、第４文が１１単語、共通単語が「輸出」と「規制」の２単語なので、２／３＝０．６６７と２／１１＝０．１８２、あるいは２×２／（３＋１１）＝４／１２＝０．２９が得られる。
さらに異なる単語であっても、２単語間の意味的な関連度がシソーラス辞書等を用いて得ることができれば、その関連度を共通単語数に加えて計算することができる。
このようにして、全ての言語要素間の関連度を計算することによって、言語要素間関連度行列を得ることができる。例えば、言語要素を文として、関連度を共通単語の割合によるとすれば、表６のような文間関連度マトリックスを得ることができる。
【００３０】
【表６】
0003578618.tif 000007
【００３１】
なお、表６の行列要素は、関連度を１０倍して四捨五入により、１桁の整数で表示してある。また、自分自身との関連度に当たる要素は‘＊’で示している。
【００３２】
次に、行列分割手段について説明する。
以上で得られた言語要素間関連度行列を行列分割手段が関連度の高い部分行列に分割する。
表７は段落間関連度行列から関連度の高い部分行列の並びを抽出・分割したイメージを示したものである。表中、‘Ｈ’は高い関連度、‘Ｌ’は低い関連度を示す。
【００３３】
【表７】
0003578618.tif 000008
【００３４】
上記のような部分行列に分割された場合は、分割された部分行列の範囲に応じて部分文書が対応する。
この行列の分割の指標としては、（ａ）部分行列の内の関連度の平均値（Ｈの平均値）に対する、（ｂ）部分行列外の関連度の平均値（Ｌの平均値）あるいは（ｃ）行列全体の関連度の平均値の比、等を用いてその値が最小になるような分割を計算する。この計算はよく知られた動的計画法等を用いれば効率的に行うことができる。
部分行列の内外の比を用いるとすると、表７では、
（Ｌの総和／Ｌの要素数）／（  Ｈの総和／Ｈの要素数）
が評価指標となる。
【００３５】
表８は、１０の新聞記事を連結した文書の段落間関連度行列である（要素＃は、１０の意味である）。表９の関連度行列に対して、前記の指標に基づき、最適な分割を計算すると、次のような部分行列が抽出・分割される。
第  １段落〜第  ６段落
第  ７段落〜第１３段落
第１４段落〜第１７段落
第１８段落〜第２７段落
第２８段落〜第段３３落
第３４段落〜第３６段落
第３７段落〜第３８段落
第３９段落〜第５５段落
ここで、Ｌの総和／Ｌの要素数＝１６５．３７／２４８６＝０．０６７
Ｈの総和／Ｈの要素数＝１３４５．６２／５３９＝２．４９７
から、評価値は、０．０２６６である。
【００３６】
【表８】
0003578618.tif 000009
【００３７】
【表９】
0003578618.tif 000010
【００３８】
また、部分行列に対し、再帰的に分割を施すとさらに内部の分割を得ることができる。例えば、第１８段落から第２７段落の部分行列に対しては、評価値は０．２３７であって、第１８段落〜第２１段落及び第２２段落〜第２７段落の分割が得られる（表１０）。
【００３９】
【表１０】
0003578618.tif 000011
【００４０】
第３９段落から第５５段落の部分行列に対しては、評価値は０．６８１で
第３９段落〜第４０段落、第４１段落、第４２段落、第４３段落〜第４８段落、第４９段落、第５０段落〜第５２段落、及び第５３段落から第５５段落、の分割が得られる（表１１）。
【００４１】
【表１１】
0003578618.tif 000012
【００４２】
表９，表１０，表１１の分割の評価値が各々０．０２６２，０．２３７，０．６８１と大きくなるにつれて、内容の分割の程度が緩くなっていることが分かるように、分割の指標として用いることができる。即ち、この指標が小さい程、内容のまとまりが強く、大きい程まとまりは弱いことを示唆している。
【００４３】
また、本発明の文書分割装置によって分割された文書は、その分割に応じて文書を識別して表示する文書表示手段、前記分割された部分文書ごとに文書を処理する文書処理手段、文書からのキーセンテンス抽出処理を用いて抄録表示を行う文書抄録手段、前記分割された部分文書ごとに文書を管理する文書管理手段、及び、文書を分割された単位で検索対象として管理する文書検索手段において利用される。
【００４４】
【発明の効果】
本発明によれば、次のような効果を奏する。
（１）文書間の広域的な関連をも考慮にいれた文書分割手法であるため、従来の隣接間の関連による手法に比して、より適切な文書分割を行うことができる。
（２）目的に応じて文書を自由に切り出すことができる。
（３）簡単かつ容易に文書の関連度を評価することができる。
（４）再帰的に分割を行い階層的な分割が可能であるからより精度の高い文書の内部構造分析が可能である。
（５）文書間における文書の内容のまとまりの強弱を容易に把握することができる。
【図面の簡単な説明】
【図１】本発明を実施するための装置を概略的に示すブロック図である。
【符号の説明】
１…言語要素切出し手段、２…言語要素間関連度評価手段、３…言語要素間関連度行列取得手段、３ａ…言語要素間関連度行列、４…行列分割手段、Ｄ…電子化文書、ＤＤ…分割文書、ＬＥ…言語要素群。
【図１】
0003578618.tif 000013