(57)【特許請求の範囲】
【請求項１】
入力された原文と要約文のペアを形態素解析し形態素情報を出力する形態素解析手段と、
前記形態素解析手段から出力される形態素情報に基づいて原文の単語とその要約文の単語とを対応付ける単語対応付け手段と、
前記単語対応付け手段から出力される対応付けの結果、差分となった原文と要約文のそれぞれの単語列を要約単語列として抽出する要約単語列抽出手段と、
前記要約単語列抽出手段から出力された原文中の要約単語列に対して原文の中で該単語列の前後に位置する単語列を要約条件として抽出する要約条件抽出手段と
を具備することを特徴とする要約知識自動獲得装置。
【請求項２】
前記形態素解析手段は、入力された原文とその要約文をそれぞれ形態素解析することで、原文と要約文に含まれる文字列を単語に分割し、該単語の品詞を形態素情報として付与することを特徴とする請求項１に記載の要約知識自動獲得装置。
【請求項３】
前記単語対応付け手段は、前記形態素解析手段により付与された前記形態素情報に基づいて、原文と要約文とにそれぞれ含まれる単語に対して単語間距離を計算し、該単語間距離に基づいて原文の単語と要約文の単語との間で単語対応の距離が最小となる単語対応を求め、かつ前記単語間距離は、表層文字列間の距離と品詞間の距離の和から計算することを特徴とする請求項１または２に記載の要約知識自動獲得装置。
【請求項４】
前記表層文字列間の距離は、単語内の文字列同士でＤＰマッチングを取った後、一致する文字数から計算することを特徴とする請求項３に記載の要約知識自動獲得装置。
【請求項５】
前記単語対応の距離が最小となる単語対応は、原文の単語と要約文の単語対応の組み合わせの中から、全体の単語対応の距離の和が最小となるものを求めることで得られることを特徴とする請求項３または４に記載の要約知識自動獲得装置。
【請求項６】
コンピュータによって文章の自動要約に必要な要約知識を自動的に獲得するための制御プログラムを記録した記録媒体であって、該制御プログラムはコンピュータに、
入力された原文と要約文のペアを形態素解析させて形態素情報を出力させ、
前記形態素情報に基づいて原文の単語とその要約文の単語とを対応付けさせ、
前記対応付けの結果、差分となった原文と要約文のそれぞれの単語列を要約単語列として抽出させ、
前記抽出された原文中の要約単語列に対して原文の中で該単語列の前後に位置する単語列を要約条件として抽出させることを特徴とする要約知識自動獲得用制御プログラムを記録した記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、文章の自動要約に必要な要約知識を人手を使うことなく自動的に獲得する要約知識自動獲得装置および要約知識自動獲得用制御プログラムを記録した記録媒体に関する。
【０００２】
特に、本発明は、高度な専門知識を必要とする要約知識を人手を使うことなく、入力された原文とその要約文との差となる単語列を抽出し、差が生じた単語列の前後の単語列の情報も得ることにより、原文とその要約文を入力するだけで文章要約に必要な要約知識を自動的に得ることを可能にしたものである。
【０００３】
【従来の技術】
自動要約とは、計算機を使って原文の単語列を削除したり言い換えたりすることにより、文章を自動的に縮約することである。
【０００４】
文字情報が氾濫する中で、必要な情報だけを得るための技術としてこのような自動要約は今後益々重要である。自動要約には言語理解が本来必要であろうが、計算機に取り入れることは難しい。しかし、かな漢字変換や機械翻訳などのように、言語理解に踏み込まずともある程度実現されている自然言語処理技術もある。
【０００５】
自動要約の技術でも言語理解を導入せずに、表層表現に基づいた手法が従来さまざま提案されている。例えば手がかり語に基づいて要約する手法（参考文献１：山本ほか「文章内構造を複合的に利用した論説文要約システムGREEN 」自然言語処理, vol.2, No1, pp.39-56, 1995）、さらに単語の重要度を統計的に計算し重要文を抽出する手法［（参考文献２：渡辺日出雄「新聞記事の要約のための一手法」言語処理学会第１回年次大会, pp293-296, 1995 ）、（参考文献３：J.Kupiec et al. "A Trainable Document Summarizer", In Proc. of the Fourteenth Annual International ACM SIGR Conferrence on Research and Development in IR, pp.68-73, 1995 ）、（参考文献４：K.Zechner" Fast Generation of Abstracts from General Domain Text Corpora by Extracting Relevant Sentences", In Proc. of Coling '96, Vol.2, pp.986-989, 1996 ）］等である．前者の手法は手がかり語を収集しルール適用条件を人手で作成しなければならなく、後者は要約文章としての自然さに欠けるという難点がある。
【０００６】
そこで、上記のような従来技術を用いずに、自動要約を実現するためには、
［要約知識ａ］要約単語列
原文のどの単語列をどのような単語列に変換するのか、
［要約知識ｂ］要約条件
どのような場合に要約知識ａは適用できるのか、という２つの要約知識が必要となる。
【０００７】
例を使って、この要約知識を説明する。原文「明日の会議の出席者」に対して、２番目に出現する連体助詞「の」を削除して要約文「明日の会議出席者」を作成することを考える。
【０００８】
この場合には、要約知識として
［要約知識ａ１］
『原文の連体助詞「の」は、要約文では削除する』
［要約知識ｂ１］
『連体助詞「の」の前に位置する単語が「会議」で、後に位置する単語が「出席者」である場合は「の」は削除する』が必要である。
【０００９】
［要約知識ａ１］によって原文中に存在する２つの連体助詞「の」（「明日の」と「会議の」が要約単語列となる。しかし、［要約知識ｂ１］により「明日の」の「の」は省略されないが、「会議の」の「の」は省略される。すなわち、連体助詞「の」が出現したときには必ず削除するわけではなく、その前後の語による条件が必要となる。
【００１０】
従来はこのような要約知識を人手で作成していた（参考文献５：若尾ほか：「テレビニュース番組の字幕に見られる要約の手法」（情報処理学会自然言語処理研究会、NL-122-13 、pp.83-89、1997）。一例として挙げたこの参考文献５では、ニュース原稿と字幕を比較分析して、人手で要約知識を抽出しており、この人手で抽出された要約知識を使って自動要約ができることを指摘している。
【００１１】
【発明が解決しようとする課題】
しかしながら、自動要約の対象を拡大したり、精度を向上させるためには大量の要約知識を必要とするが、要約知識は専門的であり、人手で大量に作成することは困難であるため、自動要約は小規模な実験システムにとどまっていた。
【００１２】
本発明は、上記の点に鑑みて成されたもので、その目的は、高度に専門的である要約知識を人手で作成することなく、原文とその要約文のぺアを入力するだけで、要約知識を自動的に獲得することを可能にし、これにより、自動要約の対象が拡大しても精度よく自動要約することが可能となる要約知識自動獲得装置および要約知識自動獲得用制御プログラムを記録した記録媒体を提供することにある。
【００１４】
【課題を解決するための手段】
上記目的を達成するため、請求項１の要約知識自動獲得装置の発明は、入力された原文と要約文のペアを形態素解析し形態素情報を出力する形態素解析手段と、前記形態素解析手段から出力される形態素情報に基づいて原文の単語とその要約文の単語とを対応付ける単語対応付け手段と、前記単語対応付け手段から出力される対応付けの結果、差分となった原文と要約文のそれぞれの単語列を要約単語列として抽出する要約単語列抽出手段と、前記要約単語列抽出手段から出力された原文中の要約単語列に対して原文の中で該単語列の前後に位置する単語列を要約条件として抽出する要約条件抽出手段とを具備することを特徴とする。
【００１５】
ここで、前記形態素解析手段は、入力された原文とその要約文をそれぞれ形態素解析することで、原文と要約文に含まれる文字列を単語に分割し、該単語の品詞を形態素情報として付与するとすることができる。
【００１６】
前記単語対応付け手段は、前記形態素解析手段により付与された前記形態素情報に基づいて、原文と要約文とにそれぞれ含まれる単語に対して単語間距離を計算し、該単語間距離に基づいて原文の単語と要約文の単語との間で単語対応の距離が最小となる単語対応を求め、かつ前記単語間距離は、表層文字列間の距離と品詞間の距離の和から計算することができる。
【００１８】
さらに、前記表層文字列間の距離は、単語内の文字列同士でＤＰマッチングを取った後、一致する文字数から計算するとすることができる。
【００１９】
前記単語対応の距離が最小となる単語対応は、原文の単語と要約文の単語対応の組み合わせの中から、全体の単語対応の距離の和が最小となるものを求めることで得られるとすることができる。
【００２０】
上記目的を達成するため、請求項６の要約知識自動獲得用制御プログラムを記録した記録媒体の発明は、コンピュータによって文章の自動要約に必要な要約知識を自動的に獲得するための制御プログラムを記録した記録媒体であって、該制御プログラムはコンピュータに、入力された原文と要約文のペアを形態素解析させて形態素情報を出力させ、前記形態素情報に基づいて原文の単語とその要約文の単語とを対応付けさせ、前記対応付けの結果、差分となった原文と要約文のそれぞれの単語列を要約単語列として抽出させ、前記抽出された原文中の要約単語列に対して原文の中で該単語列の前後に位置する単語列を要約条件として抽出させることを特徴とする。
【００２２】
【発明の実施の形態】
以下、図面を参照して本発明の実施形態を詳細に説明する。
【００２３】
本発明の一実施形態のシステム構成を図１に示す。図１のブロック図において、ｉ１は原文とその要約文のぺアを入力する端子であり、ｏ１は要約単語列を出力する端子、ｏ２は要約条件を出力する端子である。また、１は上記入力端子ｉ１を有する形態素解析装置、２は単語対応付け装置、３は上記出力端子ｏ1 を有する要約単語列抽出装置、および４上記出力端子ｏ２を有する要約条件抽出装置である。
【００２４】
形態素解析装置１は端子ｉ１から入力された原文とその要約文をそれぞれ形態素解析し、原文と要約文に含まれる文字列を単語に分割し、その品詞を付与する装置である。
【００２５】
単語対応付け装置２は、形態素解析装置１による上記形態素解析結果に基づいて、原文の単語と要約文の単語との間で、最適な対応を求める装置である。
【００２６】
要約単語列抽出装置３は、単語対応付け装置２で得られた上記最適な単語対応の中で、差分となった単語列を原文と要約文とから対応した形で抽出し、この抽出した単語列を要約単語列として端子ｏ１から出力する装置である。
【００２７】
要約条件抽出装置４は、要約単語列抽出装置３の抽出結果に基づいて、差分となった原文での単語列に対して、その前後に位置する単語列を原文から抽出し、この抽出した単語列を要約条件として端子ｏ２から出力する装置である。
【００２８】
図２は本発明の一実施形態における要約知識を獲得する処理手順の一例を示すフローチャートである。
【００２９】
以下、図２のフローチャートに従って、本発明に関わる要約知識自動獲得の手順を詳述する。
【００３０】
まず、入力端子ｉ１に原文とその要約文が入力されると、ステップＳ１では形態素解析装置１によって原文と要約文のぺアが形態素解析され、その単語分割と品詞が単語対応付け装置２へ出力される。
【００３１】
次のステップＳ２では、上記ステップＳ１で得られた形態素解析結果に基づいて、単語対応付け装置２は原文と要約文とにそれぞれ含まれる単語に対して単語間距離を計算する。
【００３２】
次のステップＳ３では、単語対応付け装置２は上記ステップＳ２で得られた単語間距離に基づいて、最適な単語対応を計算し、その結果得られた最適な単語対応を要約単語列抽出装置３へ出力する。
【００３３】
次のステップＳ４では、要約単語列抽出装置３は、上記ステップＳ３で得られた最適な単語対応の個々の単語に対して、差分となる単語を抽出し、連続している場合には単語列としてまとめた後、それを原文の単語列と要約文の単語列とが対応がとれた形で端子ｏ１から出力し、原文の単語列の方はさらに要約条件抽出装置４に出力する。
【００３４】
次のステップＳ５では、要約条件抽出装置４は、上記ステップＳ４で差分として得られた原文の単語列に対して、その前後に位置する単語列を抽出し、その抽出結果を端子ｏ２から出力する。
【００３５】
上記の処理の一例を、原文とその要約文が
［原文］
「明日の会議の出席者」
［要約文］
「明日の会議出席者」である場合に即して、以下に説明する。
【００３６】
入力端子ｉ１に原文と要約文が入力がされると、ステップＳ１ではそれぞれ形態素解析する。この形態素解析により、原文と要約文は単語に分割され、その品詞が付与される。すなわち、
【００３７】
【表１】
［原文の形態素解析結果］
明日／時制 の／連体助詞 会議／普通名詞 の／連体助詞 出席者／普通名詞
単語１１    単語１２      単語１３        単語１４      単語１５
［要約文の形態素解析結果］
明日／時制 の／連体助詞 会議／普通名詞 出席者／普通名詞
単語２１    単語２２      単語２３        単語２４
と得られる。ここで、単語は「表層表現／品詞」と表している。
【００３８】
ステップＳ２では、原文中の単語と要約文中の単語に対して単語間距離を計算する。この単語間距離は、例えば表層表現間距離と品詞間距離から計算することができる。
【００３９】
今、表層表現（表層文字列）をｗ、その品詞をｐとし、
【００４０】
【表２】
［原文の形態素解析結果］
ｗo1／ｐo1    ｗo2／ｐo2    …    ｗoi／ｐoi    …    ｗoI／ｐoI
単語１１        単語１２            単語１ｉ            単語１Ｉ
［要約文の形態素解析結果］
ｗs1／ｐs1    ｗs2／ｐs2    …    ｗsj／ｐsj    …    ｗsJ／ｐsJ
単語２１        単語２２            単語２ｊ            単語２Ｊ
と表す。この記号を使って、下記の定義１で単語間距離を定義する。即ち、形態素解析の結果得られた、原文中の単語をｗoi／ｐoi、要約文中の単語をｗoj／ｐojとする、単語間の距離を式（１）のように３つの場合に分けて計算する。
【００４１】
［定義１］単語間距離（単語間距離を計算する関数）
【００４２】
【数１】
0003847945.tif 000002
【００４３】
ここで、＊は省略を表す記号であり、ｗ／ｐ＝＊は対応する単語がないこと（＝省略されていること）を表す。また、条件節の関数ContWordはある単語ｗ／ｐが内容語であるかないかをその品詞から判定する関数であり、定義２で定義する。
【００４４】
［定義２］内容語判定関数（ある単語が内容語であるか否かを品詞から判定する関数）
【００４５】
【数２】
0003847945.tif 000003
【００４６】
まず、簡単な場合である式（１ｂ）、式（１ｃ）の場合の単語間距離を説明する。式（ｌｂ）は、原文の単語か要約文の単語のいずれか一方が内容語で他方が内容語でない場合である。式（ｌｃ）は、対応する単語が省略されている場合である。
【００４７】
一方、式（１ａ）は原文の単語と要約文の単語がともに内容語であるか、ともに内容語でない場合であり、０から１の値を取る。単語間の距離は、表層文字列間の距離と品詞間の距離の和（ただし、λ1 ＋λ2 ＝１）から計算する。ここで、表層文字列間の距離は定義３で定義する。即ち、表層文字列間の距離は単語内の文字列同士でＤＰ（ダイナミック・プログラミング）マッチングを取った後、一致する文字数から式（３）で計算する。
【００４８】
［定義３］表層表現間距離（文字列の類似度を計算する関数）
【００４９】
【数３】
0003847945.tif 000004
【００５０】
品詞間距離は定義４で定義する。
【００５１】
［定義４］品詞間距離（品詞間の類似度を計算する関数）
【００５２】
【数４】
0003847945.tif 000005
【００５３】
λ1 、λ2 （λ1 ＋λ2 ＝１）の値は表層表現間距離と品詞間距離の重みである。このように、品詞間の距離は品詞が一致するかしないかの２値で表した。
【００５４】
上記の定義１〜４によると、上記の［原文］が「明日の会議の出席者」で、［要約文］が「明日の会議出席者」である場合の例では、単語間距離は、
【００５５】
【表３】
ｄｉｓｔ（明日／時制、明日／時制）＝０
ｄｉｓｔ（明日／時制、の／連体助詞）＝２．０
：
ｄｉｓｔ（明日／時制、＊）＝１．５
：
等と計算される。
【００５６】
ステップＳ３では、上記単語間距離に基づいて、最適な単語対応を求める。上記定義１〜４による単語間距離を用いると、ステップＳ２で得られた単語対応の組み合わせの中から、全体の単語対応の距離の和が最小となるもの、すなわち、
【００５７】
【数５】
0003847945.tif 000006
【００５８】
を求めればよい。この際、ダイナミック・プログラミングを使うと効率的に最適な解を求めることができる。
【００５９】
上記の原文と要約文の例での最適解となる単語対応は
【００６０】
【表４】
［最適な単語対応］
明日／時制 の／連体助詞 会議／普通名詞 の／連体助詞 出席者／普通名詞
単語１１    単語１２      単語１３        単語１４      単語１５
対応  ↓      ↓                  ↓            ↓                ↓
明日／時制 の／連体助詞 会議／普通名詞      ＊        出席者／普通名詞
単語２１    単語２２      単語２３          （省略）    単語２４
と求めることができる。すなわち、原文の単語「の／連体助詞」が要約文の単語「＊」に対応することのみが差分となる。
【００６１】
ステップＳ４では、ステップＳ３で差分である単語対応「の／連体助詞」→「＊」を抽出し、端子ｏ１から出力する。
【００６２】
ステップＳ５では、差分のうち、原文中の単語列「の／連体助詞」に対して、その前後の単語列として、それぞれ一単語を「会議／普通名詞」と「出席者／普通名詞」を端子ｏ２から出力する。この例では、前後の単語列として前後の１単語のみを出力したが複数でも構わない。
【００６３】
（他の実施形態）
上述のようにして得られた局所的要約知識を使って要約文を作成する際に、単純に要約知識を適用すればよいというわけにはいかない。例えば、連体助詞「の」は省略される場合もあるし、要約文にそのまま残される場合もある。すなわち、どのような場合に局所的要約知識を適用すればよいかという、知識適用条件が必要となる。例えば、要約知識が適用される場合の前後ｎ個の文字、単語、品詞等の情報を自動収集し適用条件とすることにより、人手を使わずにその知識適用条件を抽出することが可能である。
【００６４】
また、大域的要約知識を自動獲得するためには、原文と要約文の２文目以降の文を比較する必要がある。この場合には、節や文がどのような名詞を含むか、どのような接続詞で始まるのか、どのような助詞、助動詞で終わるのかという知識を得ることが重要となる。これらの知識の自動収集は、単語の重み付け評価による重要文の抽出や修辞構造による文章構造の解析等の従来技術を利用することで実現可能である。
【００６５】
なお、本発明は、複数の機器（例えば、ホストコンピュータ、インターフェース機器、リーダ、プリンタなど）から構成されるシステムに適用しても、１つの機器からなる装置（例えば、要約専用機など）に適用してもよい。
【００６６】
また、本発明の目的は、前述した実施の形態の機能を実現するソフトウエアのプログラムコードを記録した記録媒体（記憶媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し、実行することによっても、達成されることは言うまでもない。
【００６７】
この場合、記録媒体から読み出されたプログラムコード自体が前述した実施の形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。そのプログラムコードを記録し、またテーブル等の変数データを記録する記録媒体としては、例えばフロッピディスク（ＦＤ）、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード（ＩＣメモリカード）、ＲＯＭなどを用いことができる。
【００６８】
【実施例】
更に、本発明の理解をより容易にするため、一例としてニュース文を対象にした局所的要約知識の自動獲得についての本発明の一実施例を説明する。以下では、特に原文と要約文から構成される記事コーパス（corpus：資料体、一群のデータ）から、局所的要約に必要な知識を自動獲得する手法について具体的事例を用いて詳述する。
【００６９】
（局所的要約)
日本語の文章を要約する場合には文字、単語、文節、節、文というレべルで言い換えや削除を行う。大幅に要約するには大域的に文章を見渡してから、節、文レべルの要約が必要となる。本例では、節、文レべルの要約を大域的要約と呼ぶ。一方、原文をあまり縮約しなくともよいのであれば、文字、単語、文節の局所的レべルのみの要約でよい。文字、単語、文節レべルの要約を局所的要約と呼ぶ。
【００７０】
（原文と要約文のコーパス）
要約知識を計算機によって自動獲得するためには、原文と要約文の対応がとれ、電子化されたコーパスが大量に必要となる。本例では、原文にＮＨＫ（日本放送協会）から実際に放送されたニュース原稿、要約文にＮＨＫから実際に放送された文字放送ニュースを使った。それぞれの例を図３の（ａ）、（ｂ）に示す。ニュース原稿とは、主に総合ＴＶ（ＧＴＶ）で放送されているニュースの原稿である。この原稿は記者がワープロで書いたものであり、電子的に保存されている。
【００７１】
一方、文字放送ニュースとは、ＧＴＶの電波に重畳され放送されている文字放送（テレビジョン文字多重放送）の番組である。わずかの例外を除いては文字をコードで受信できる。文字放送ニュースは１記事が１画面の中に収まるように作成されているという特徴がある。
【００７２】
ニュース原稿と文字放送ニュースのペア約ｌ、４００記事を比較したところ、文の数では、ニュース原稿が１記事当たり５〜６文であるのに対して、文字放送ニュースはほとんどが２文であった。平均的には４５％程度に縮約されていた。文字数では文字放送ニュースの１文は短く、ニュース原稿が約２０％に縮約されていた。
【００７３】
図３の例で、ニュース原稿と文字放送ニュースの本文を具体的に比較してみる。第１文に関して文字放送ニュースからニュース原稿を見ると、文字放送ニュースの単語列はニュース原稿にほとんど含まれている。逆に、ニュース原稿から見ると、対応がつかない単語列は文字放送中では省略されている。次に、第２文を見ると、文字放送ニュースの第２文はニュース原稿の第２文の一部と第４文の一部から構成されており、「各種」以外はニュース原稿中に単語が存在するのがわかる。
【００７４】
（局所的要約知識の自動獲得）
図３の例では文字放送ニュースの第１文はニュース原稿の第１文を要約したものであったが、他の例を見ても同様の場合が多かった。一般にニュース文において第１文はリード文と呼ばれ、ニュースの概要が述べられた重要な文である。局所的要約知識を自動獲得には要約として対応が取れる場合が多い第１文のペアを用いる。自動獲得は原文であるニュース原稿と、要約文である文字放送ニュースの間で単語単位にその距離を計算し、ＤＰマッチングにより最適な単語対応付けを求める。その結果一致しなかった（後述するように実際にはしきい値以下の）単語列の原文と要約文とのぺアを局所的要約知識の候補とする。頻度統計をとり、頻度が高いものを局所的要約知識とする。以下で本手法について具体的に説明する。
【００７５】
（単語間の距離）
単語への分割やその品詞決定は形態素解析プログラムを使うことにより自動的に行った。その処理内容は前述の［発明の実施形態］の項で説明したものと同様である。即ち、前述の定義１〜４の式（１）〜（４）を用いて単語間の距離を計算する。ここで、前述の式（３）において、例えば、表層文字列「自由民主」と「自民」は文字「自」と「民」が一致するので、
ｄｉｓｔ（自由民主、自民）＝１．０−２／２＝０となる。
【００７６】
今回は、表層文字列間距離も品詞間距離も単純に定義したが、詳細にすればさらによい結果が得られることが期待できる。例えば、前述の式（３）ではシソーラスを使って単語間類似度を定義したり、前述の式（４）では品詞分類ごとに細かく距離を定義することが考えられる。
【００７７】
（要約知識の自動獲得）
要約知識の自動獲得では、単語間距離に基づいて原文と要約文との間でＤＰマッチングを取り、最小となる単語対応を求める（図４の（ａ））。
【００７８】
次に、単語間距離にしきい値（今回は０．５）を設定し、単語対応を次の３つに分類する。
【００７９】
【表５】
［単語対応１］  完全一致の場合
ｄｉｓｔ（ｗoi／ｐoi、ｗsj／ｐsj）＝０のとき
［単語対応２］  類似している場合
０＜ｄｉｓｔ（ｗoi／ｐoi、ｗsj／ｐsj）≦０．５のとき
［単語対応３］  その他の場合
０．５＜ｄｉｓｔ（ｗoi／ｐoi、ｗsj／ｐsj）のとき
単語対応１は原文の単語がそのまま保存されている場合である。単語対応２は単語レべルでの言い換えになり、局所的要約知識の候補となる。単語対応３は単語レべル、文節レべルでの言い換えであり、これらもまた局所的要約知識の候補となる。ここで、文節レべルでの言い換えは、単語対応３の連続する単語を集めて単語列として生成する（図４の（ｂ））。この際、「、（コンマ）」と「＊（省略）」の対応は単語対応３ではあるが、ストップワードとした。
【００８０】
最終的な要約知識は、これら候補の頻度統計をとり、今回は単純に頻度の大きいものから選ぶことにした。
【００８１】
（実験結果）
１９９８年１月までに得られた原文と要約文のぺア約１、４００記事を対象にして、本発明の上記手法を使って要約知識の自動獲得の実験を行った。
【００８２】
この実験結果の中から上位２５個を下記の表６に示す。ただし、表層文字列が一致するが品詞が異なる語（例えば、「と／引助と」と「と／格助と」）は除いた。また、単語列間の距離とは各単語間の距離の和である。
【００８３】
表６を見ると妥当な要約知識が得られている。上位には助詞や助動詞の省略が多く現れているのがわかる。例えば、連体助詞「の」は省略され、「なりまし」は「なっ」に言い換えられている。内容語では「総理大臣」が「首相」にと縮約した語に言い換えられている。表６には現れていないが、「日本を訪問している」を「来日中の」という複数文節からの言い換えの例もあった。
【００８４】
上述のように、ニュース原稿と文字放送ニュースを比較することにより、コーパスから局所的要約知識を自動的に獲得する本発明の有効性を本実験により確認することができた。
【００８５】
【表６】
0003847945.tif 000007
【００８６】
【発明の効果】
以上説明したように、本発明によれば、入力された原文とその要約文との差となる単語列を抽出し、その差が生じた単語列の前後の単語列の情報も得るようにしたので、専門的である要約知識を人手で作成することなく、原文とその要約文のぺアを入力するだけで、自動要約で必要とする要約知識を自動的に獲得することができる。またこれにより、本発明によれば、自動要約の対象が拡大しても精度よく自動要約することが可能となる。
【図面の簡単な説明】
【図１】本発明を実施する装置の一実施形態の構成を示すブロック図である。
【図２】本発明の一実施形態における原文と要約文から自動的に要約知識を得るための処理手順を示すフローチャートである。
【図３】本発明の一実施例における原文と要約文の一例を示す図である。
【図４】本発明の一実施例における処理手順の具体的内容を示す図である。
【符号の説明】
１  形態素解析装置
２  単語対応付け装置
３  要約単語列抽出装置
４  要約条件抽出装置
【図１】
0003847945.tif 000008
【図２】
0003847945.tif 000009
【図３】
0003847945.tif 000010
【図４】
0003847945.tif 000011