(57)【特許請求の範囲】
【請求項１】
単語分割手段と重要度付与手段と部分単語列生成手段とＮグラム確率付与手段と要約文確率算出手段と要約文出力手段とから構成される、コンピュータを用いたテキスト要約装置が実施する、入力されたテキストから要約文を作成するテキスト要約方法であって、
前記単語分割手段が、前記テキストを単語に分割し、各単語の品詞を決定する単語分割ステップと、
前記重要度付与手段が、前記各単語に当該単語の品詞に基づいて重要度を付与する重要度付与ステップと、
前記部分単語列生成手段が、重要度が付与されたテキスト中の単語から任意の部分単語列を生成する部分単語列生成ステップと、
前記Ｎグラム確率付与手段が、任意のＮ個の単語が連続して出現する確率であるＮグラム確率を保持するＮグラム確率テーブルを記憶した記憶手段のＮグラム確率テーブルを参照して、前記生成された部分単語列に含まれる全単語に対してＮグラム確率を付与するＮグラム確率付与ステップと、
前記要約文確率算出手段が、前記部分単語列の要約文らしさを表す要約文確率を、該部分単語列に含まれる各単語のＮグラム確率と、該部分単語列に含まれる各単語の重要度とから計算する要約文確率算出ステップと、
前記要約文出力手段が、前記部分単語列を構成する単語または文字の数が所定の条件に合致する前記部分単語列のうち要約文確率が最大となる部分単語列を要約文として選択し、出力する要約文出力ステップと
を有するテキスト要約方法。
【請求項２】
コンピュータを用いて、入力されたテキストから要約文を作成するテキスト要約装置であって、
前記テキストを単語に分割し、各単語の品詞を決定する単語分割手段と、
前記各単語に当該単語の品詞に基づいて重要度を付与する重要度付与手段と、
重要度が付与されたテキスト中の単語から任意の部分単語列を生成する部分単語列生成手段と、
任意のＮ個の単語が連続して出現する確率であるＮグラム確率を保持するＮグラム確率テーブルを記憶した記憶手段のＮグラム確率テーブルを参照して、前記生成された部分単語列に含まれる全単語に対してＮグラム確率を付与するＮグラム確率付与手段と、
前記部分単語列の要約文らしさを表す要約文確率を、該部分単語列に含まれる各単語のＮグラム確率と、該部分単語列に含まれる単語の重要度とから計算する要約文確率算出手段と、
前記部分単語列を構成する単語または文字の数が所定の条件に合致する前記部分単語列のうち要約文確率が最大となる部分単語列を要約文として選択し、出力する要約文出力手段と
を有するテキスト要約装置。
【請求項３】
コンピュータを、単語分割手段と重要度付与手段と部分単語列生成手段とＮグラム確率付与手段と要約文確率算出手段と要約文出力手段とから構成されるテキスト要約装置として機能させるための、入力されたテキストから要約文を作成するテキスト要約プログラムであって、
前記単語分割手段が、前記テキストを単語に分割し、各単語の品詞を決定する単語分割手順と、
前記重要度付与手段が、前記各単語に当該単語の品詞に基づいて重要度を付与する重要度付与手順と、
前記部分単語列生成手段が、重要度が付与されたテキスト中の単語から任意の部分単語列を生成する部分単語列生成手順と、
前記Ｎグラム確率付与手段が、任意のＮ個の単語が連続して出現する確率であるＮグラム確率を保持するＮグラム確率テーブルを記憶した記憶手段のＮグラム確率テーブルを参照して、前記生成された部分単語列に含まれる全単語に対してＮグラム確率を付与するＮグラム確率付与手順と、
前記要約文確率算出手段が、前記部分単語列の要約文らしさを表す要約文確率を、該部分単語列に含まれる各単語のＮグラム確率と、該部分単語列に含まれる単語の重要度とから計算する要約文確率算出手順と、
前記要約文出力手段が、前記部分単語列を構成する単語または文字の数が所定の条件に合致する前記部分単語列のうち要約文確率が最大となる部分単語列を要約文として選択し、出力する要約文選択手順と
をコンピュータに実行させるためのテキスト要約プログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、テキストから要約文を作成するテキスト要約方法および装置に関する。
【０００２】
【従来の技術】
テキスト要約技術として従来から行われている代表的な方法は重要文抽出方法である。重要文抽出方法では、テキスト中の各文に対して、特定の重要な表現を含むかどうかなどを調べ、各文に重要度を付与する。その重要度が高い数文を選択し、それを要約とするものである。そのほかの方法としては、テキスト中の各文に対し、文中の不要な表現を削除することによりそれぞれの文を圧縮したものを要約とする文圧縮方法がある。
【０００３】
【発明が解決しようとする課題】
しかしながら、重要文抽出方法では、複数の文に重要な内容が存在するときであっても、その中から数文を選択して要約とするため、内容の一部が網羅されないという問題が生じる。また、文圧縮方法では、不要な語句を削除するという操作に限界があるため、単語数の少ない要約文を作成することができない。
【０００４】
本発明の目的は、テキストに重要な単語が少ないときには文としての読みやすさを優先し、重要な単語が多いときにはテキストの内容を優先するような、バランスを考慮した任意の単語数からなる要約文を作成できるテキスト要約方法、装置、およびプログラムを提供することにある。
【０００５】
【課題を解決するための手段】
本発明のテキスト要約装置は単語分割部と重要度付与部と部分単語列生成部とＮグラム確率付与部と要約文確率算出部と要約文出力部を有する。
【０００６】
単語分割部により、テキストを単語に分割し、各単語の品詞を決定する。重要度付与部により、各単語に当該単語の品詞に基づいて重要度を付与する。部分単語列生成部により、重要度が付与されたテキスト中の単語から任意の部分単語列を生成する。Ｎグラム確率付与部により、Ｎ個の単語が連続して出現する確率であるＮグラム確率を保持するＮグラム確率テーブルを記憶した記憶手段のＮグラム確率テーブルを参照して、前記生成された部分単語列に含まれる全単語に対してＮグラム確率を付与する。要約文確率算出部により、部分単語列の要約文らしさを表す要約文確率を、該部分単語列に含まれる各単語のＮグラム確率と、該部分単語列に含まれる各単語の重要度とから計算する。最後に、要約文出力部により、各部分単語列を構成する単語または文字の数が所定の条件に合致する部分単語列のうち要約文確率が最大となる部分単語列を要約文として選択し、出力する。
【０００７】
テキスト中の複数の文に含まれる重要な内容の単語を、単語間のつながりを考慮しながらつなげ合わせることによって、テキストに重要な単語が少ないときには文としての読みやすさを優先し、重要な単語が多いときにはテキストの内容を優先するような、バランスを考慮した任意の単語数からなる要約文を作成できる。
【０００８】
【発明の実施の形態】
次に、本発明の実施の形態について図面を参照して説明する。
【０００９】
図１は本発明の一実施形態のテキスト要約装置の構成図である。本実施形態のテキスト要約装置は単語分割部１と重要度付与部２と部分単語列生成部３とＮグラム確率付与部４とＮグラム確率テーブルデータベース５と要約文確率算出部６と要約文出力部７で構成されている。
【００１０】
単語分割部１はテキストをキーボード等から入力し、形態素解析によりテキスト中の各文を単語に切り分け、それぞれの単語に品詞を付与する（参考文献：特開平７−２７１７９２号公報）。重要度付与部２は、品詞付きの単語に対し、単語やその品詞に応じた重要度を決定する。部分単語列生成部３は、重要度が付与されたテキスト中の単語から部分単語列を生成する。Ｎグラム確率付与部４は、部分単語列に対し、その部分単語列に含まれる連続した全単語に対して、任意の単語列が連続して出現する確率（Ｎグラム確率）を保持するＮグラム確率テーブルデータベース５を参照してＮグラム確率を付与する。要約文確率算出部６は、部分単語列の要約文らしさを表す要約文確率を、該部分単語列のＮグラム確率と、該部分単語列に含まれる単語の重要度から算出し、部分単語列に要約文確率を付与する。要約文出力部７は、複数の部分単語列の中から部分単語列を構成する単語または文字の数が所定の条件に合致する部分単語列で、要約文確率が最も高い部分単語列を要約文として選択し、ディスプレイまたはプリンタに出力する。
【００１１】
図２は本実施形態のテキスト要約装置の処理を示すフローチャートである。まず、単語分割部１により、テキストを品詞つきの単語に分割する（ステップ１１）。次に、重要度付与部２により、分割された各単語の品詞が特定の内容を表す語（名詞、動詞、形容動詞のような自立語）、つまり内容語かどうかの判定を行う（ステップ１２）。内容語であれば、ＴＦ・ＩＤＦ法などの既存の手法によって重要度を得、得られた重要度を当該単語に付与し（ステップ１３）、内容語でなければ一定の低い重要度（より具体的に少なくともいかなる内容語の重要度よりも低い値、例えば内容語の平均重要度の１／１０００程度を用いる）を当該単語に付与する（ステップ１４）。ＴＦ・ＩＤＦ法では文書内での単語の出現頻度（文書内頻度，ＴＦ）と文書集合の中でその単語が含まれる文書の数（文書間頻度，ＤＦ）を手がかりにして、ＴＦとＤＦの逆数（ＩＤＦ）との積を重要度として計算する。この計算は予め任意の文書について行ない、自立語単語ごとに重要度と対応づけられた記憶手段に記憶したテーブルを用い、入力文中の自立語単語に対応するものを与える。その場合には複数の文書について計算対象として同様に文書ごとに自立語単語ごとの重要度および出現頻度を計算しておき、記憶手段に各々保持しておく。そこで、特定の文書について他の文書よりも出現頻度の格段に高い単語について当該特定の文書において当該他の文書よりも高くなるように重要度を与えてもよい。また、入力文を構成する文書を分析して当該文書に基づいた重要度を与えてもよい。なお、重要度付与の方法は、ＴＦ・ＩＤＦ法に限定されるものではない。以上の操作をすべての単語について行う（ステップ１５）。次に、部分単語列生成部３により、Ｌ個の単語からなる部分単語列を生成する（ステップ１７）。部分単語列の語順については限定しない。次に、Ｎグラム確率付与部４により、生成された部分単語列に対して要約文確率を求める（ステップ１９）。要約文確率は、部分単語列に含まれる単語の重要度の積と、部分単語列に含まれる連続したＮ単語のＮグラム確率の積を掛け合わせたものとなる。このとき、Ｌ−１番目までの単語までが全く同一の単語で構成され、Ｌ番目の単語だけが異なる２つの部分単語列を考えると、これらの要約文確率を別々に計算するのは非常に効率が悪い。Ｌ−１番目までの単語で構成された部分単語列の要約文確率をあらかじめ求めていれば、Ｌ個の単語からなる部分単語列の要約文確率は、Ｌ−１番目までの要約文確率に、Ｌ番目の単語の重要度と、Ｌ−Ｎ＋１番目からＬ番目までの連続したＮ個の単語のＮグラム確率を掛けることによって求めることができ、計算効率がよい。例えば、Ｎを３として、部分単語列「Ａ／Ｂ／Ｃ／Ｄ／Ｅ」の要約文確率と部分単語列「Ａ／Ｂ／Ｃ／Ｄ／Ｆ」の要約文確率を計算することを考える。これらの確率を個々に計算すると、同じ乗算をする部分がでてきて効率が悪い。そこで、予め部分単語列「Ａ／Ｂ／Ｃ／Ｄ」の要約文確率を求めておく。すると「Ａ／Ｂ／Ｃ／Ｄ／Ｅ」の要約文確率は、「Ａ／Ｂ／Ｃ／Ｄ」の要約文確率と、単語「Ｅ」の重要度と、単語列「Ｃ／Ｄ／Ｅ」のＮグラム確率とを掛け合わせることにより計算できる。「Ａ／Ｂ／Ｃ／Ｄ／Ｆ」の場合も同様にして計算でき、効率がよい。このようにして考えると、Ｌ単語からなる部分単語列の要約文確率を直接求めるのではなく、１単語からなる部分単語列から順に要約文確率を求めていくという方法をとるのがよい。この例では、最終的な要約文の単語数Ｌを５、Ｎグラム確率のＮを３とし、部分単語列を構成する単語数Ｍを１とする（ステップ１６）。Ｍを１としたのは、１単語からなる部分単語列から順に要約文確率を求めていくことによる。Ｍ単語からなる部分単語列を生成し（ステップ１７）、Ｍ−Ｎ＋１番目からＭ番目までの連続したＮ個の単語のＮグラム確率を求める（ステップ１８）。一例として、Ｌ単語からなる文からＮ個の単語を取り出し、取り出された単語で単語列を構成し、その候補としてLＰN通りの単語列候補を構成すること、そのうち入力文と語順の一致するLＣN通りを採用してもよい。Ｎグラム確率を求めるステップ１８では、Ｎグラム確率テーブルを記録したデータベース５から、上記で求められた単語列候補に対応するものを読み出す。ここで、−Ｎ＋２番目から０番目までは文頭を表す特殊な単語であるとする。この結果を用いて、要約文確率を計算する（ステップ１９）。Ｍが１の場合は、単語の重要度に、その単語が先頭に出現するＮグラム確率を掛けた値が要約文確率となり、その他の場合は、Ｍ−１番目の単語からなる部分単語列の要約文確率に、Ｍ番目の単語の重要度と、先ほどのＮグラム確率を掛け合わせた値が要約文確率となる。この要約文確率の計算を全ての部分単語列について行う（ステップ２０）。ここで、Ｍの値が指定したＬより小さいかどうかをチェックし（ステップ２１）、小さければ部分単語列を構成する単語数Ｍの値を１増やして（ステップ２２）、要約文確率を求めるという操作を繰り返す。Ｍが指定した長さＬとなった時点で要約文確率の計算は終了し、Ｌ単語からなる部分単語列のうち最も要約文確率が高いものを要約文として出力する（ステップ２３）。
【００１２】
なお、ステップ１８で、１〜Ｎ−１個の単語からなる単語列候補も文頭にＮ−１〜１個に空白が含まれるＮグラムとみなし、Ｎグラム確率テーブルから単語列候補に対応する出現確率を読み出す。一般的に、Ｍ−１個の要約文確率に対し、末尾のＮ−１個の単語とその次の単語からなるＮグラム確率とその次の単語の重要度を掛け合わせてＭ個の要約文確率を求める。
【００１３】
また、上記では文頭から文末へ処理が進む前向きの探索であるが、後向き探索でもよく、それらの組み合わせでもよい。後ろ向き探索の場合には文末の１〜Ｎ−１個の単語からなる単語列候補も文末にＮ−１〜１個に空白が含まれるＮグラムとみなし、テーブルから単語列候補に対応する出現確率を読み出す。
【００１４】
本実施形態では単語数による制限を課しているが、文字数制限を課すことも考えられる。その場合は、一例としては以下のように要約文を求めることができる。特に言及しない限り上記の単語数による制限と共通な手段を用いるので説明を割愛する。
【００１５】
ここで、ステップ１７の後で要約候補文、つまり文頭からの部分単語列までの文字数が予め指定された文字数を越えていないかどうかを確認し、文字数を越えていない候補に対して要約文確率を計算してその部分単語列を含む要約候補文を要約文確率と対応させて記憶手段に記憶しておき、単語数を１増やしてステップ１７に戻るという操作を候補がなくなるまで繰り返す。その後、保存していた要約候補文の中から、１単語あたりの要約文確率、つまり、要約文確率の単語数によるべき乗根である幾何平均値が最も高いものを要約文として選択する。幾何平均をとるのは、要約候補文中の単語数が多くなると各単語または単語列に対応する確率は一般に１未満であることにより要約文確率が低くなる。そのため、単純に要約文確率同士を比較することができなくなることによる。
【００１６】
以下では、具体例を挙げて本実施形態を説明する。生成する要約文の長さＬを５、Ｎグラム確率のＮを３とし、要約の対象とするテキストは図３で示したものとして話を進める。まず、図３のテキストを品詞つきの単語に分割する。表１に分割された単語とその品詞を示す。
【００１７】
【表１】
0003790187.tif 000002
例に挙げたテキストは９個の単語に分割された。これらの単語に対し、その単語が特定の品詞を持つ内容語であれば、ＴＦ・ＩＤＦ法などのキーワード抽出手法によって重要度を付与する。内容語でなければ、一定の低い値（ここでは０．０１とした）を付与する。この例では、品詞が名詞、動詞、形容詞、形容動詞であるものを内容語とした。重要度を付与した結果を表１に示す。次に、テキスト中の９個の単語のうち５個の単語からなる部分単語列を生成して要約文確率を求める。ここで簡単のため、生成する要約文の語順はもとのテキストの語順と同じであるとする。このように限定しても、なお図４に示したとおり、９個の単語から５個の単語を選ぶ方法は１２６通りもあり、もとのテキストの長さが大きくなると計算量が膨大となる。そこで、Ｍ単語からなる部分単語列の要約文確率を求めるステップで、Ｍ番目の各単語について最も要約文確率の高い部分単語列だけを候補として残すことにより候補を絞り込むという方法をとる。１単語からなる部分単語列から順に要約文確率を求める。１単語の場合の要約文確率は、単語の重要度に、その単語が文頭に出現するＮグラム確率を掛けた値となる。表２にＮグラム確率テーブルを示す。Ｎグラム確率を求める方法については、“北研二著「確率的言語モデル」東京大学出版会”などに詳しく記載されている。このテーブルに存在しないものについてはそのＮグラム確率を０．０１とする。
【００１８】
【表２】
0003790187.tif 000003
１単語からなる部分単語列の要約文確率をそれぞれ求めると、「昨夜」の要約文確率は、「昨夜」の重要度０．１２に、「（文頭）／（文頭）／昨夜」のＮグラム確率０．２０を掛けた０．０２４となる。同様にして、「彼女」「は」「路上」「で」の要約文確率はそれぞれ０．０３６、０．０００１、０．００５、０．０００１となる。ここまでの結果を図５に示す。括弧の中の値は部分単語列における要約文確率を表す。次に、２単語からなる部分単語列の要約文確率を求める。２番目の各単語について最も要約文確率の高い部分単語列だけを候補として残す。２番目の単語が「彼女」の場合は、図４より「昨夜／彼女」しか部分単語列は考えられないので、この部分単語列を候補として残す。要約文確率は、「昨夜」の要約文確率０．０２４に「彼女」の重要度０．２４と「（文頭）／昨夜／彼女」のＮグラム確率０．１５を掛けた８．７×１０-4となる。２番目の単語が「は」の場合は、図４より「昨夜／は」の場合と「彼女／は」の場合の２通りが考えられるので、この２つの部分単語列の要約文確率が高いほうを候補として残す。「昨夜／は」の要約文確率は３．６×１０-5、「彼女／は」は要約文確率は１．６×１０-4となり、「彼女／は」のほうが要約文確率が高くなるのでこれを候補として残す。２番目の単語が「路上」の場合は、「昨夜／路上」「彼女／路上」「は／路上」の３通りがあり、その中で要約文確率が最も高い「彼女／路上」を候補として残す。残りも同様にする。ここまでの結果を図６に示す。次に、３単語からなる部分単語列の要約文確率を求める。３番目の単語が「は」の場合は、「昨夜／彼女／は」しか部分単語列は考えられないので、この部分単語列を候補として残す。３番目の単語が「路上」の場合は、図４と図６より、「昨夜／彼女／路上」の場合と「彼女／は／路上」の場合の２通りが考えられるので、この２つの部分単語列の要約文確率が高いほうを候補として残す。３番目の単語が「で」の場合は、「昨夜／彼女／で」「彼女／は／で」「彼女／路上／で」の３通りがあり、その中で要約文確率が最も高い「昨夜／彼女／で」を候補として残す。残りも同様にする。ここまでの結果を図７に示す。４単語および５単語からなる部分単語列の要約文確率も同様にして求めると、図８のような結果が得られる。最終的に５個の部分単語列が得られるが、その中で要約文確率の最も高い文は「彼女／は／犬／に／噛まれた」であるので、この部分単語列を要約文として出力する。得られた要約文を図９に示す。
【００１９】
なお、テキスト要約装置の処理は専用のハードウェアにより実現されるもの以外に、その機能を実現するためのプログラムを、コンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行するものであってもよい。コンピュータ読み取り可能な記録媒体とは、フロッピーディスク、光磁気ディスク、ＣＤ−ＲＯＭ等の記録媒体、コンピュータシステムに内蔵されるハードディスク装置等の記憶装置を指す。さらに、コンピュータ読み取り可能な記録媒体は、インターネットを介してプログラムを送信する場合のように、短時間の間、動的にプログラムを保持するもの（伝送媒体もしくは伝送波）、その場合のサーバとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含む。
【００２０】
【発明の効果】
以上説明したように本発明によれば、単語の重要度でもとのテキストの内容を網羅すると同時に、単語列のＮグラム確率で要約文のつながりを維持しながら、テキスト中の単語をつなぎ合わせることにより、テキストの内容と文としての読みやすさをバランスよく考慮した要約文を生成することができる。また、生成する要約文の長さは任意に設定することができ、特に、従来手法では実現が難しい数単語からなる見出しのような要約を生成することができる。
【図面の簡単な説明】
【図１】本発明の一実施形態のテキスト要約装置のブロック図である。
【図２】図１のテキスト要約装置の全体の処理の流れを示すフローチャートである。
【図３】要約の対象とするテキストの例を示す図である。
【図４】部分単語列の候補を示す図である。
【図５】単語数が１の場合の部分単語列の候補とその要約文確率を示す図である。
【図６】単語数が２の場合の部分単語列の候補とその要約文確率を示す図である。
【図７】単語数が３の場合の部分単語列の候補とその要約文確率を示す図である。
【図８】単語数が５の場合の部分単語列の候補とその要約文確率を示す図である。
【図９】得られた要約文を示す図である。
【符号の説明】
１    単語分割部
２    重要度付与部
３    部分単語列生成部
４    Ｎグラム確率付与部
５    Ｎグラム確率テーブルデータベース
６    要約文確率算出部
７    要約文出力部
１１〜２３    ステップ
【図１】
0003790187.tif 000004
【図２】
0003790187.tif 000005
【図３】
0003790187.tif 000006
【図４】
0003790187.tif 000007
【図５】
0003790187.tif 000008
【図６】
0003790187.tif 000009
【図７】
0003790187.tif 000010
【図８】
0003790187.tif 000011
【図９】
0003790187.tif 000012