(57)【要約】【課題】構造化文書からキーワードや要約文を提供することによって、ユーザが効率的に文書の概要を掴むことができる構造化文書要約装置を提供する。【解決手段】この構造化文書要約装置は、種々の文書構造を構造化情報とテキスト情報に分離して統一した形式に変換し、分離したテキスト情報に対して既存の技術でキーワードおよび重要文を抽出し、分離した構造化情報を参照してこのキーワードおよび重要文を再評価する。この再評価されたキーワードと重要文を組み合わせて構造化文書の要約を生成する。【選択図】        図１
2004334382.tif 000002
【特許請求の範囲】
【請求項１】
構造化文書を入力する入力部と、この入力された構造化文書を解析して、キーワード抽出および重要文抽出に適した、構造化情報とテキスト情報に分離する構造化文書パーサーと、前記分離されたテキスト情報のみを対象にキーワードと重要文の抽出を行うキーワード・重要文抽出部と、前記キーワードと重要文とから要約文を生成する要約出力部とを有することを特徴とする構造化文書要約装置。
【請求項２】
請求項１に記載の構造化文書要約装置において、前記構造化文書パーサーは、文書構造の異なる種類ごとに用意し、前記入力された構造化文書の種類に応じて適切な構造化文書パーサーが選択されるようにしたことを特徴とする構造化文書要約装置。
【請求項３】
請求項１または２に記載の構造化文書要約装置において、前記構造化情報を参照して前記テキスト情報からキーワードや重要文の抽出には無意味なテキストを削除するフィルタリング部を有することを特徴とする構造化文書要約装置。
【請求項４】
請求項１、２または３に記載の構造化文書要約装置において、前記キーワード・重要文抽出部は、前記抽出されたキーワードと重要文に対し、前記構造化情報を参照して再評価したキーワードと重要文を選定するようにしたことを特徴とする構造化文書要約装置。
【請求項５】
請求項１乃至４のいずれかに記載の構造化文書要約装置において、前記要約出力部は、前記抽出された重要文と、この重要文が属する構造の見出しとを要約文として出力するようにしたことを特徴とする構造化文書要約装置。
【請求項６】
請求項５に記載の構造化文書要約装置において、前記要約出力部は、前記入力した構造化文書の中で前記重要文に該当する文字列を他と区別して出力するようにしたことを特徴とする構造化文書要約装置。
【請求項７】
請求項５に記載の構造化文書要約装置において、前記見出しが存在しないときには、前記抽出された重要文との共起率が高いキーワードを選定することを特徴とする構造化文書要約装置。
【請求項８】
コンピュータに、請求項１乃至７のいずれかに記載の構造化文書要約装置の機能を実行させるためのプログラム。
【請求項９】
請求項８に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、構造化文書要約装置、プログラムおよび記録媒体に関し、特に、構造化文書からキーワードや要約文を提供することによって、ユーザが効率的に文書の概要を掴むことができる技術に関する。
【０００２】
【従来の技術】
ハードウェアの飛躍的進歩によって、コンピュータ上に蓄積される文書は飛躍的に増大している。特に、文書の全文をコンピュータ上のデータとして蓄積することが容易になり、膨大な量のテキストデータが蓄積され始めている。
特に、近年コンピュータネットワークが発達し、ＷＷＷ技術を用いて個人がホームページを通して情報発信を行うことができるようになり、誰もが情報提供者になれるようになった。
このように、膨大な量の文書データの中から、自分の望む内容の文書を素早く探し出す文書検索の問題が大きくクローズアップされてきている。
【０００３】
しかしながら、検索結果の中のどの文書が自分の望む内容の文書であるかを確かめるには、文書の全文を読まなければ分からないが、１文書の量が大きい場合や１文書の量はさほどではないが検索された文書数が多量の場合には、確めるのが困難である。
このような場合には、文書の要約文を作成するか、または文書の中の重要文を抽出して確めることになる。
【０００４】
従来、要約文を作成するときには、文書中に出現する単語の統計情報（出現頻度等）から重要語を抽出し、また、検索式中の単語も重要語と考えて、これらの重要語を含む文を抽出・合成して作成していた。
しかし、このような方法では、検索に使用した単語が要約対象の文書中の全文至るところに含まれていれば、全文が要約文として残ってしまうため、要約文を作成することができない。
【０００５】
また、特許文献１の「文書要約方法および装置と文書要約プログラムおよび該プログラムを記録した記録媒体」では、入力された文書を形態素解析し、要約種別に応じて要約の手がかりとして必要な単語集合を文書から抽出するとともに、文書を複数の意味的なまとまりに分割し、各意味的なまとまりについて単語集合に含まれる単語の出現密度の高い重要部分を算出し、この重要部分から要約率に応じて文を抽出する。
これにより、単語の出現密度を考慮した重要性に基づき精度の高い要約を要約種別に応じて生成することができる。
【０００６】
【特許文献１】
特開２００２−２５９３７１号公報
【特許文献２】
特開平１１−１８４８６５号公報
【特許文献３】
特開２００１−５２０３２号公報
【０００７】
【発明が解決しようとする課題】
一方、近年作成される文書は、ワープロ文書にしろ、ウェッブ上で公開される文書にしろ構造化された文書となっている。
例えば、ＨＴＭＬ（Ｈｙｐｅｒ  Ｔｅｘｔ  Ｍａｒｋｕｐ  Ｌａｎｇｕａｇｅ）で作成された文書は、次のようなタグによって文書構造を明示的に表している。
見出しを＜Ｈ１＞〜＜Ｈ６＞により指定、
段落を＜Ｐ＞により指定、
列挙文（データ羅列）を＜ＵＬ＞，＜ＬＩ＞により指定、
表を＜ＴＡＢＬＥ＞，＜ＴＲ＞により指定、
図を＜ＩＭＧ＞，＜ＯＢＪＥＣＴ＞により指定、図の説明を＜ＡＬＴ＞で指定。
【０００８】
また、Ｍｉｃｒｏｓｏｆｔ社のＷｏｒｄのようなワープロソフトで作成されたＲｉｃｈＴｅｘｔ形式の文書は、次のようなコントロールコードによって文書構造を明示的に表している。
見出しは、￥ｐａｒと￥ｌｅｖｅｌＮ  とフォント属性，
あるいは￥ｓｕｂｄｏｃｕｍｅｎｔにより指定、
表は、￥ｐａｒ，￥ｒｏｗ，￥ｃｅｌｌより指定、
図は、￥ｐｉｃｔにより指定。
【０００９】
一般に、要約文を作成する上で必要となる重要語や重要文は、文書の特定の場所に存在することがあるので、上記のような文書構造情報を使用することにより効果的に抽出することができる。
しかし、従来の要約文作成、例えば、上述の特許文献１の技術では、文書をプレーンテキストとして扱い、文章解析と統計情報を使って作成するだけであり、文書の作成者の意図が現れる文書構造や文字修飾（強調文字、下線、文字の大きさ、字体等）については考慮していない。
【００１０】
これに対して、特許文献２の「文書要約装置」では、ＨＴＭＬ文書からタグを削除したプレーンテキストに対して、従来の技術により重要語を抽出し、この重要語がどのタグ中に出現したかにより重要語の重要度の変化量を計算する。この変化量の計算対象となるタグとしては、タイトルや文字修飾関係のものである。次に、文に含まれる単語の重要度の総和を求めて、文の重要度とし、この文の重要度の高い文を集めて要約文としている。
【００１１】
また、特許文献３の「要約文作成方法及び装置及び要約文作成プログラムを格納した記憶媒体」では、入力された入力テキストのタイトル、本文、表を含む文章やユーザからの入力情報の構造を解析し、出現位置と単語の係り受け関係で単語の重要度を定義した重要単語定義テーブルを用いて単語の出現場所、重要度、重要語、該重要語の属性を抽出し、抽出した重要語に対し、出現場所と重要度で重み付けをして要約で用いる要約語を選択し、選択された要約語の属性に応じて生成する文のテンプレートを選択し、選択されたテンプレートに要約語を埋め込んで要約文を生成している。
これにより、有用な言葉のみで要約文を作成することができる。
【００１２】
しかし、これらの特許文献２および特許文献３の技術では、要約文を作成するときに、文書の構造化情報を使用してはいるが、作成された要約文は、原文書とは別に表示されるものであり、要約文に使われた要約語がどのような文脈で出現しているかを確かめることができない。
また、これらの技術が要約文作成の対象としている文書は、電子メールやＨＴＭＬ文書に限られているので、他の構造をもった構造化文書に対しては、その構造を処理できるようにプログラムを作り直さなければならない。
【００１３】
本発明は、上述の実情を考慮してなされたものであって、要約文を作成するときに文書の構造化情報を有効に使用し、精度の高い要約文を作成できるとともに、作成された要約文が原文書のどのような文脈中に出現しているかを確かめられる構造化文書要約装置、プログラムおよび記録媒体を提供することを目的とする。
さらに、本発明は、異なる構造を持った構造化文書を文書構造に依存しない統一した形式に変換するようにして、要約文作成を統一的に処理できる構造化文書要約装置、プログラムおよび記録媒体を提供することを目的とする。
【００１４】
【課題を解決するための手段】
上記の課題を解決するために、本発明の請求項１は、構造化文書を入力する入力部と、この入力された構造化文書を解析して、キーワード抽出および重要文抽出に適した、構造化情報とテキスト情報に分離する構造化文書パーサーと、前記分離されたテキスト情報のみを対象にキーワードと重要文の抽出を行うキーワード・重要文抽出部と、前記キーワードと重要文とから要約文を生成する要約出力部とを有することを特徴とする。
【００１５】
また、本発明の請求項２は、請求項１に記載の構造化文書要約装置において、前記構造化文書パーサーは、文書構造の異なる種類ごとに用意し、前記入力された構造化文書の種類に応じて適切な構造化文書パーサーが選択されるようにしたことを特徴とする。
【００１６】
また、本発明の請求項３は、請求項１または２に記載の構造化文書要約装置において、前記構造化情報を参照して前記テキスト情報からキーワードや重要文の抽出には無意味なテキストを削除するフィルタリング部を有することを特徴とする。
【００１７】
また、本発明の請求項４は、請求項１、２または３に記載の構造化文書要約装置において、前記キーワード・重要文抽出部は、前記抽出されたキーワードと重要文に対し、前記構造化情報を参照して再評価したキーワードと重要文を選定するようにしたことを特徴とする。
【００１８】
また、本発明の請求項５は、請求項１乃至４のいずれかに記載の構造化文書要約装置において、前記要約出力部は、前記抽出された重要文と、この重要文が属する構造の見出しとを要約文として出力するようにしたことを特徴とする。
【００１９】
また、本発明の請求項６は、請求項５に記載の構造化文書要約装置において、前記要約出力部は、前記入力した構造化文書の中で前記重要文に該当する文字列を他と区別して出力するようにしたことを特徴とする。
【００２０】
また、本発明の請求項７は、請求項５に記載の構造化文書要約装置において、前記見出しが存在しないときには、前記抽出された重要文との共起率が高いキーワードを選定することを特徴とする。
【００２１】
また、本発明の請求項８は、コンピュータに、請求項１乃至７のいずれかに記載の構造化文書要約装置の機能を実行させるためのプログラムである。
また、本発明の請求項９は、請求項８に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体である。
【００２２】
したがって、構造化文書の構造化情報を有効に使用して、精度の高い要約文を作成できる。
また、作成された要約文を原文書と一緒に表示するようにしたので、要約文が原文書のどのような文脈中に出現しているかを確かめることができる。
【００２３】
また、異なる構造を持った構造化文書を文書構造化情報とテキスト情報（プレーンテキスト）に分離して文書構造に依存しない統一した形式に変換するようにしたので、要約文を統一的に処理できるようになった。
この分離した文書構造化情報をもとに、分離されたテキスト情報からキーワードや重要文の抽出には無意味なテキストを削除することによって、キーワードや重要文の抽出精度が高くなり、より精度の高い要約文を作成できる。
【００２４】
また、構造化文書からテキスト情報を分離してあるので、キーワードや重要文の抽出には分離したテキスト情報（プレーンテキスト）を対象とする既存のキーワード抽出技術や要約文抽出技術を使うことができ、ここで求められたキーワードや重要文に対して文書構造化情報をもとに再評価して抽出精度をより高くすることができる。
【００２５】
【発明の実施の形態】
以下、図面を参照して、本発明の構造化文書要約装置の好適な実施形態について説明する。
図１は、本発明の実施形態に係る構造化文書要約装置の機能構成を示すブロック図であり、同図において、構造化文書要約装置は、構造化文書パーサー１０、フィルタリング処理部２０、言語処理部３０、キーワード・重要文抽出部４０、キーワード・重要文再評価部５０、要約出力部６０、構造化情報記憶部７０を少なくとも含んでいる。
【００２６】
（Ａ）構造化文書パーサーと構造化情報記憶部
構造化文書パーサー１０は、入力される文書構造の種類ごと（ＸＭＬ文書、ＨＴＭＬ文書、ワープロ文書、プレーンテキスト文書等）に用意し、入力された文書構造の種類により自動的に切り替わる。
文書構造の種類に対応した構造化文書パーサー１０は、入力された文書の構造化情報を解析して、文書構造、文字修飾情報およびこれらの情報を削除した抽出テキスト（プレーンテキスト）とに分け、文書の種類に依存しない統一したデータ構造をもつ構造化情報記憶部７０を生成する。
また、構造化情報記憶部７０は、フィルタリング処理部２０とキーワード・重要文再評価部５０から参照される。
以下、文書構造に関する情報および文字列の修飾情報とを含めて構造化情報という。
【００２７】
以下の説明では、入力する文書構造の種類をＨＴＭＬとしているが、これに限らず文書構造を持った文書であって、構造化情報記憶部７０のデータ構造が生成できるものであれば本発明を適用することができる。
プレーンテキストの場合は、１つの段落をもつＨＴＭＬ文書と考えれば、本発明を適用することができる。
【００２８】
構造化情報記憶部７０は、図２のようなＢｌｏｃｋＩｎｆｏデータ７１、構造化情報リスト７４、ＴｅｘｔＩｎｆｏデータ７３、文字情報リスト７５、抽出テキスト７２とからなるデータ構造を持っている。
抽出テキスト７２は、入力された文書から構造化情報を削除した、プレーンテキストからなり、メモリ空間上にリニアに格納される。また、この抽出テキスト７２の文字列は、このまま言語処理部３０、キーワード・重要文抽出部４０に渡される。
【００２９】
ＢｌｏｃｋＩｎｆｏデータ７１は、構造化タグ情報のｉｎｄｅｘ、Ｔｙｐｅへのポインタ、テキストｏｆｆｓｅｔ、テキスト長の項目で、１つの文・段落（以下、ブロックという）を管理する。
構造化タグ情報のｉｎｄｅｘは、構造化タグの文字列が登録されているタグテーブルへのインデックスである。例えば、ＨＴＭＬの場合、＜ｂｏｄｙ＞、＜ｐ＞、＜ｌｉ＞、＜ｈｒ＞、＜ｔｄ＞、＜ｈ１＞のようなタグの文字列をタグテーブルとして登録しておき、ＢｌｏｃｋＩｎｆｏデータ７１には構造化文書中に出現したタグの文字列の代わりに、タグテーブルへのインデックスを登録する。
テキストｏｆｆｓｅｔは、１つのブロックの始まりが抽出テキスト７２の何文字目から始まるかを示し、テキスト長はこのブロックの文字列の長さ（文字数）を表す。
ブロックには、例えば、ＨＴＭＬではＢｌｏｃｋ  Ｌｅｖｅｌ  Ｅｌｅｍｅｎｔに相当する見出し、本文、段落、列挙型、引用、表などの区別があり、この情報をブロック属性といい、図３のようにコード化している。
Ｔｙｐｅへのポインタは、このブロックに対するブロック属性を保持する構造化情報リスト７４へのポインタを表している。
この構造化情報リスト７４は、ブロックの中にブロックを含む、所謂ブロックのネストが可能なため、このネスト関係を線形リストで表している。
この構造化情報リスト７４への登録順序は、リストの最初が自ブロックのブロック属性、リストの２番目以降はネストの内側から外へ向って親ブロックのブロック属性を保持している。
また、ＢｌｏｃｋＩｎｆｏデータ７１に登録されるテキストｏｆｆｓｅｔの値が同じ場合には、ブロックのネストとして処理するため、外側のブロックは登録せずに、より内側のブロックのみを登録する。
したがって、構造化情報リスト７４のブロック属性値をたどることにより、あるブロックがどのようなブロックとネストしているかが分かる。
【００３０】
例えば、図４を用いてブロックに関する構造化情報の登録について説明する。図４において、文書の最外郭のブロックには、見出し１、段落１−１、段落１−２、段落１−３があり、この段落１−２はさらに見出し２、段落２−１、段落２−２、段落２−３を含んでいる。
また、このような構造化情報を削除したプレーンテキストを格納した抽出テキスト７２への各ブロックのテキストｏｆｆｓｅｔ値をそれぞれ０、オフセット１、オフセット２、オフセット３、オフセット４、オフセット５、オフセット６とする。
【００３１】
この図４の構造は、図５に示すようなＢｌｏｃｋＩｎｆｏデータ７１として構造化情報記憶部７０へ登録される。
段落１−２のテキストオフセットが見出し２のテキストオフセットと一致しており、見出し２の方が段落１−２よりネスト構造が深いので、段落１−２はＢｌｏｃｋＩｎｆｏデータ７１には登録されない。
図５にはＴｙｐｅへのポインタがすべて書き込まれていないが、見出し１や段落２−１に対応する構造化情報リストと同じようになる。
図５の構造化情報リストをみると、段落２−１の親ブロックは、「見出し属性」を持つことから、段落２−１は見出しブロックの中に含まれていることがわかる。
【００３２】
ＴｅｘｔＩｎｆｏデータ７３は、タグ情報のｉｎｄｅｘ、Ｔｙｐｅへのポインタ、テキストｏｆｆｓｅｔ、テキスト長の項目で、１つの文字列レベルの情報を管理する。
タグ情報のｉｎｄｅｘは、文字列を修飾するタグやパラメータの文字列が登録されているタグテーブル（このタグテーブルは、構造化タグのタグテーブルと一緒にしてもよい）へのインデックスである。例えば、ＨＴＭＬの場合、＜ｉ＞、＜ｂ＞、ｆｏｎｔ、ｓｉｚｅのような文字列をタグテーブルとして登録しておき、ＴｅｘｔＩｎｆｏデータ７３には構造化文書中に出現したタグの文字列の代わりに、タグテーブルへのインデックスを登録する。
テキストｏｆｆｓｅｔは、修飾された文字列の始まりが抽出テキスト７２の何文字目であるかを示し、テキスト長はこの文字列の長さ（文字数）を表す。
【００３３】
文字列の修飾には、例えば、文字サイズ（極小、小、中、大、極大）、強調、斜体、文字飾り（下線、取消し線）などの区別があり、これらはビットポジションにおいて重複のないようにコード化されている。
【００３４】
Ｔｙｐｅへのポインタは、文字列に対する文字修飾の属性値を保持する文字情報リスト７５へのポインタを表している。
この文字情報リスト７５は、文字修飾のネストが可能なため、このネスト関係を線形リストで表している。
この文字情報リスト７５への登録順序は、リストの最初が最内郭の文字修飾属性、リストの２番目以降は内郭から最外郭へ向かってネストされた文字修飾属性を保持している。
また、ＴｅｘｔＩｎｆｏデータ７３に登録されるテキストｏｆｆｓｅｔの値が同じ場合には、文字修飾のネストとして処理するため、外側の文字修飾属性は登録せずに、より内側の文字修飾属性を登録する。
【００３５】
したがって、文字情報リスト７５の文字修飾属性値をたどることにより、ある文字列がどのように重複した文字修飾属性をもっているかが分かる。
また、この１つの文字列に対してネストした文字修飾属性値の論理和を作成することによって、この文字列の文字修飾属性がビット操作で判断できる。
【００３６】
例えば、下記のようなＨＴＭＬ文書の場合は、図６に示したようなＴｅｘｔＩｎｆｏデータ７３と文字情報リスト７５が生成される。図６で構造化タグ情報のインデックスが空白なのは、構造化タグがない場合である。
【００３７】
＜ｂｏｄｙ＞
＜Ｉ＞Ｈｅ＜／Ｉ＞  ｍｅｔ  ＜Ｂ＞ａ  ｐｒｅｔｔｙ＜／Ｂ＞  ｇｉｒｌ．
＜／ｂｏｄｙ＞
【００３８】
また、ＴｅｘｔＩｎｆｏデータ７３に登録されるテキストｏｆｆｓｅｔの値が同じ場合、例えば、下記のようなＨＴＭＬ文書の場合には、図７に示したようなＴｅｘｔＩｎｆｏデータ７３と文字情報リスト７５が生成される。このように、外側の文字修飾属性＜Ｂ＞は登録せずに、より内側の文字修飾属性＜Ｉ＞を登録する。
【００３９】
＜Ｂ＞＜Ｉ＞Ａ  ｂｉｇ  ｄｏｇ＜／Ｉ＞＜Ｂ＞  ｒｕｎ  ａｆｔｅｒ  ｍｅ．
【００４０】
このようにして構造化情報記憶部７０に登録されたＢｌｏｃｋＩｎｆｏデータ７１および構造化情報リスト７４は、フィルタリング処理部２０、キーワード・重要文再評価部５０で使用される。
例えば、キーワード・重要文再評価部５０の場合には、見出し文の重要度を上げたり、単なるデータの羅列の場合は、重要度を下げるという操作を行うときにこの構造化情報を利用する。
また、ＴｅｘｔＩｎｆｏデータ７３および文字情報リスト７５は、キーワードの再評価時に使用される。
入力された文書構造の種類がプレーンテキストの場合には、上述のＢｌｏｃｋＩｎｆｏデータ７１およびＴｅｘｔＩｎｆｏデータ７３は作成されず、抽出テキスト７２だけが作成される。
【００４１】
上述のように、種々の構造化された文書がもつ文書構造化情報を文書構造の種類に依存しない統一的な形式に変換しておくことによって、要約文の処理が文書構造に依存せずに処理できる。
また、将来、新たな仕様の構造化文書が規定したとしても、その文書構造に対する構造化文書パーサーを用意するだけで、構造化文書の要約文を作成することができる。
【００４２】
（Ｂ）テキストのフィルタリング
Ｗｅｂ上でいろいろなＷｅｂページを閲覧すると、不要と思われる情報が本文の周りに散乱している。
構造化文書パーサー１０は、構造化文書を解析するときに、タグが持つ制御情報の大部分を削除してしまっている。しかし、ＨＥＡＤ、ＴＩＴＬＥ、リンク情報、スクリプト言語によるプログラムなどはこの時点でも残っている。
【００４３】
したがって、このように不要なものを削除するために、構造化文書の種類や文書内容ごとに不要情報テーブルを設けておき、フィルタリング処理部２０でこの不要情報テーブルを参照して、キーワードや重要文の抽出に不要と思われるテキストを除去して、構造化情報記憶部７０を更新する。
但し、リンク情報等が重要な意味を持つ場合があるので、必ずしも削除してよいとは限らない。これらの情報を削除するか否かは、構造化文書をとりまくｓｅｍａｎｔｉｃ情報に基づき決定し、不要情報テーブルを作成する。
【００４４】
フィルタリング処理部２０における不要な情報の判定は、不要情報テーブルに登録されているブロック属性と同じものが構造化情報記憶部７０のＢｌｏｃｋＩｎｆｏデータ７１および構造化情報リスト７４中にあるかを調べることによって行う。
不要情報テーブルに登録されているブロック属性と同じものが見つかったときには、ＢｌｏｃｋＩｎｆｏデータ７１からそのエントリを削除し、そのブロックに対応する抽出テキストを削除して、構造化情報記憶部７０を更新する。このとき、削除対象となったブロック中にあったＴｅｘｔＩｎｆｏデータ７３のエントリも削除する。
【００４５】
上述したように、構造化文書パーサー１０では削除できなかった、キーワードや重要文の抽出に不要なテキストを削除することができるので、キーワードや重要文の抽出精度がより高くなる。
【００４６】
（Ｃ）言語処理
言語処理部３０およびキーワード・重要文抽出部４０は、プレーンテキストを対象とした解析であるから、既存の技術で実現する。
言語処理部３０は、既存の形態素解析、句合成、構文解析技術により実現するものであって、構造化情報記憶部７０の抽出テキストに対して、形態素に分割し、個々の形態素に品詞を割り当て、形態素同志の接続規則に基づいて形態素を合成し、句レベル（名詞句、動詞句、副詞句、接続詞句．．．等）にまとめ上げる。この結果に対して、句文法に基づき、句レベルでの構文解析を行い、句間の修飾関係、主語、目的語を決定する。
【００４７】
（Ｄ）キーワード・重要文抽出
キーワード・重要文抽出部４０は、既存の技術、例えば、特開平９−３４９０５号公報に記載の方法によって、言語処理部３０で求められた句から名詞句を取り出し、その名詞句の出現頻度に基づく重みと名詞句に対する修飾度に基づく重みをもとに点数付けを行ってキーワードを抽出する。
次に、文内のキーワード間の重複度に基づき文間の関連度を評価し、他の文群との関連度の強さと関連の有無に基づいて文の重要度を求めて重要文を抽出する。
【００４８】
（Ｅ）キーワード・重要文の再評価
キーワード・重要文再評価部５０は、キーワード・重要文抽出部４０で求めた重要文に含まれるキーワードの重要度をこのキーワードの文字列にどのような文字修飾を施しているかを判断して再評価する。
このキーワードの文字列に文字修飾が施されているかは、構造化情報記憶部７０のＴｅｘｔＩｎｆｏデータのテキストｏｆｆｓｅｔとテキスト長を参照することによって判断できる。
次に、その文字列がどのような文字修飾属性を持っているのかは、文字情報リストのリンクにある属性値を辿ることによって判定することができる。
【００４９】
キーワードの重要度の再評価は、例えば、文字修飾の種類によって評価点を次のように変更する。
（１）強調文字ならば、評価点数を１０％上げる。
（２）文字サイズの大小により、評価点数を５％上げ下げする。
（３）文字修飾の種類に応じて、評価点数を５％上げ下げする。
【００５０】
次に、キーワード・重要文再評価部５０は、再評価したキーワードの重要度によって、重要文の重要度を再計算するとともに、この重要文がどのようなブロックに属しているかによって、重要文の重要度を再評価する。
この重要文がどのブロックに属しているかは、構造化情報記憶部７０のＢｌｏｃｋＩｎｆｏデータのテキストｏｆｆｓｅｔとテキスト長を参照することによって判断できる。次に、そのブロックがどのようなブロック属性を持っているのかは、構造化情報リストのリンクにあるブロック属性値を辿ることによって判定することができる。
【００５１】
再評価したキーワードによる重要文の重要度を再計算した後、さらに、重要文の重要度の再評価点を、例えば、ブロック属性の種類によって次のように変更する。
（１）見出しならば、評価点数を２０％上げる。
（２）列挙文ならば、評価点数は２０％下げる。
（３）図、表内の文ならば、評価点数は２５％下げる。
【００５２】
上述したように、プレーンテキストに対して、既存の技術で求められたキーワードや重要文に対して、文書構造化情報を利用して再評価することができるので、キーワードや重要文の抽出精度をより高くすることができる。
【００５３】
（Ｆ）要約文の生成と出力
要約出力部６０は、再評価された重要文の重要度の高いものから重要文を、文書サイズと抽出割合（例えば、文書サイズに対する要約文サイズの割合を指定しておく）と抽出単位（例えば、文字数、単語数または文数等）に応じて決定された要約文のサイズ以内に限定して選択し、その選択した重要文とこの重要文の属するブロックの見出しブロックとを組として文書の要約文とする。
この要約文を出力するときには、表示されたもとの構造化文書の中で要約文に選択した重要文および見出しに該当する文字列を他と区別して、例えば、色を変えて出力する（図１０参照）。
これにより、要約文がもとの文書のどのような文脈中に出現しているかを確かめることができる。
【００５４】
また、要約文をもとの構造化文書の表示とは別に出力するときには、（見出し、重要文）を１つの組として、先に述べた要約文のサイズに応じて、複数組を生成し、文書の要約文とする。
このとき、見出し（ブロック属性が見出しのもの）が存在しない場合、キーワードを組み合わせて見出しの代わりとする。見出しの代わりになるキーワードは、組になる重要文との共起率が高いものをキーワード・重要文抽出部４０で求めたキーワード集合から選択する。
重要文と共起率が高いキーワードとは、重要文に含まれるキーワード集合の中で、重要文中での出現頻度が高いものである。
【００５５】
これにより、抽出したキーワードや重要文を別個に扱うのではなく、組み合わせて要約文とすることで、より原文書の内容を的確に表現できるようになる。
【００５６】
（Ｇ）構造化文書要約装置の処理手順
次に、本発明の構造化文書要約装置をＷｅｂブラウザに組み込んだ場合（例えば、プラグインとして構造化文書要約装置を組み込む）の要約文処理手順を図８のフローチャートを用いて説明する。
先ず、ユーザはＷｅｂブラウザを使って構造化文書を読み込ませる（ステップＳ１）。
例えば、Ｗｅｂブラウザで読み込んだ構造化文書は、図９のように表示される。同図において、「重要文ボタン」は、表示された構造化文書から重要文を抽出して、要約文として表示させるのに使う。また、「キーワードボタン」は、表示された構造化文書から抽出した重要なキーワードを表示させるのに使う。
【００５７】
次に、ユーザが要約文を表示させるために「重要文ボタン」をクリックすると、読み込まれた構造化文書を解析するために、文書構造の種類に応じた構造化文書パーサー１０が起動して、読み込まれた構造化文書を構造化情報とプレーンテキストに分離し、この分離結果を図２に示したようなデータ構造に格納して構造化情報記憶部７０へ記憶する（ステップＳ２）。
【００５８】
例えば、読み込まれた文書の文書構造を判断して、文書がＨＴＭＬ文書であれば、ＨＴＭＬパーサー、文書がＳＧＭＬ文書であればＳＧＭＬパーサー、文書がワープロ文書であればワープロ文書パーサーがそれぞれ自動的に起動される。
図９に表示された文書の場合には、見出しの文字列がボールドで本文のフォントよりサイズが大きいことから、最も単純な構造化テキストの例になっている。この構造化情報記憶部７０に格納されたデータは、文書構造の種類に関係なく、統一されたデータ構造に出力される。
【００５９】
構造化情報記憶部７０に格納されたデータのうち、抽出されたプレーンテキストに対してフィルタリングする（ステップＳ３）。
構造化情報記憶部７０に格納されたデータの抽出されたプレーンテキストには、構造化文書に埋め込まれた制御情報がすでに取り除かれているので、ここでのフィルタリングとは、プレーンテキストから構造化情報（図２のＢｌｏｃｋＩｎｆｏデータ）に基づき、キーワードや重要文の抽出に意味のないテキストを削除することを意味している。
例えば、このフィルタリングは、ＨＴＭＬ文書であれば、リンク情報等を削除することである。
【００６０】
次に、フィルタリング処理されたプレーンテキストを入力して、形態素解析、句合成、構文解析等の基本的言語処理を施す（ステップＳ４）。
この合成された句（主に名詞句）を対象にして、特開平９−３４９０５号公報に基づいた方法でキーワードおよびそのキーワードに基づいた重要文を抽出する（ステップＳ５）。
【００６１】
得られたキーワードについて、キーワードの文字列に施された文字修飾に基づいて、キーワードの重要度を再評価し、この再評価されたキーワードに基づいて重要文の重要度を再計算するとともに、重要文が属するブロック属性（構造化情報）に基づき重要文の再評価を行う（ステップＳ６）。
【００６２】
再評価された重要文の重要度の高いものから重要文を、文書サイズと抽出割合（例えば、文書サイズに対する要約文サイズの割合を指定しておく）と抽出単位（例えば、文字数、単語数または文数等）に応じて決定された要約文のサイズ以内に限定して選択し、その選択した重要文および関連する見出しを組として文書の要約文とし、読み込んだ構造化文書の中で要約文に該当する文字列を他と区別して、例えば、色を変えてＷｅｂブラウザ上に表示する（ステップＳ７）
図９に表示された構造化文書の場合には、図１０に示すように要約文の選択された重要文をハイライティングして表示している。
【００６３】
また、要約文をもとの構造化文書の表示とは別のウインドウに表示するときには、（見出し、重要文）を１つの組として、要約文のサイズに応じて、複数組を生成し、文書の要約文として表示する。
このとき、見出し（ブロック属性が見出しのもの）が存在しない場合、キーワードを組み合わせて見出しの代わりとする。見出しの代わりになるキーワードは、組になる重要文に含まれるキーワード集合の中で、この重要文中での出現頻度が高いキーワードを選択する。
【００６４】
（Ｈ）プログラムおよび記録媒体
本発明は、上述した実施形態のみに限定されたものではない。上述した実施形態の構造化文書要約装置を構成する各機能をそれぞれプログラム化し、予めＣＤ−ＲＯＭ等の記録媒体に書き込んでおき、コンピュータに搭載したＣＤ−ＲＯＭドライブのような媒体駆動装置にこのＣＤ−ＲＯＭ等を装着して、これらのプログラムをコンピュータのメモリあるいは記憶装置に格納し、それを実行することによって、本発明の目的が達成されることは言うまでもない。
この場合、記録媒体から読み出されたプログラム自体が上述した実施形態の機能を実現することになり、そのプログラムおよびそのプログラムを記録した記録媒体も本発明を構成することになる。
【００６５】
なお、プログラムを格納する記録媒体としては半導体媒体（例えば、ＲＯＭ、不揮発性メモリ等）、光媒体（例えば、ＤＶＤ、ＭＯ、ＭＤ、ＣＤ等）、磁気媒体（例えば、磁気テープ、フレキシブルディスク等）等のいずれであってもよい。
【００６６】
また、ロードしたプログラムを実行することにより上述した実施形態の機能が実現されるだけでなく、そのプログラムの指示に基づき、オペレーティングシステムあるいは他のアプリケーションプログラム等と共同して処理することによって上述した実施形態の機能が実現される場合も含まれる。
【００６７】
また、市場にプログラムを流通させる場合には、プログラムを格納した可搬型の記録媒体を流通させたり、インターネット等の通信網を介して接続されたサーバコンピュータの記憶装置にプログラムを格納しておき、通信網を通じて他のコンピュータにそのプログラムを転送することによっても流通させることができる。この場合、このサーバコンピュータの記憶装置も本発明の記録媒体に含まれる。
【００６８】
この場合、コンピュータでは、可搬型の記録媒体上のプログラム、または転送されてくるプログラムを、コンピュータに接続した記憶装置にインストールし、そのインストールされたプログラムを実行することによって上述した実施形態の機能が実現される。
【００６９】
尚、本発明は上述した実施形態に限定されることなく、本発明の要旨を逸脱しない範囲内で各種の変形、修正が可能であるのは勿論である。
【００７０】
【発明の効果】
以上説明したように本発明によると、構造化文書の構造化情報を有効に使用して、精度の高い要約文を作成できる。
また、作成された要約文を原文書と一緒に表示するようにしたので、要約文が原文書のどのような文脈中に出現しているかを確かめることができる。
【００７１】
また、異なる構造を持った構造化文書を文書構造化情報とテキスト情報（プレーンテキスト）に分離して文書構造に依存しない統一した形式に変換するようにしたので、要約文を統一的に処理できるようになった。
この分離した文書構造化情報をもとに、さらに分離されたテキスト情報からキーワードや重要文の抽出には無意味なテキストを削除することによって、キーワードや重要文の抽出精度が高くなり、より精度の高い要約文を作成できる。
【００７２】
また、構造化文書からテキスト情報を分離してあるので、キーワードや重要文の抽出には分離したテキスト情報（プレーンテキスト）を対象とする既存のキーワード抽出技術や要約文抽出技術を使うことができ、ここで求められたキーワードや重要文に対して文書構造化情報をもとに再評価して抽出精度をより高くすることができる。
【図面の簡単な説明】
【図１】本発明の実施形態に係る構造化文書要約装置の機能構成を示すブロック図である。
【図２】構造化情報記憶部のデータ構造を説明するための図である。
【図３】ブロック属性値の例である。
【図４】ネスト構造を持ったブロックを含む構造化文書の例である。
【図５】図４の構造化文書のブロック構造を図２のデータ構造に格納した場合の例である。
【図６】文字修飾を施された文字列に対する文字列修飾属性を図２のデータ構造に格納した場合の例である。
【図７】文字修飾を施された文字列に対する文字列修飾属性を図２のデータ構造に格納した場合の例である。
【図８】本発明の構造化文書要約装置をＷｅｂブラウザに組み込んだ場合の要約文処理手順を示すフローチャートである。
【図９】構造化文書をＷｅｂブラウザで表示した例である。
【図１０】図９にあげた文書に対して、要約文を抽出し、もとの構造化文書一緒に要約文も表示した例である。
【符号の説明】
１０…構造化文書パーサー、２０…フィルタリング処理部、３０…言語処理部、４０…キーワード・重要文抽出部、５０…キーワード・重要文再評価部、６０…要約出力部、７０…構造化情報記憶部、７１…ＢｌｏｃｋＩｎｆｏデータ、７２…抽出テキスト、７３…ＴｅｘｔＩｎｆｏデータ、７４…構造化情報リスト、７５…文字情報リスト。
【図１】
2004334382.tif 000003
【図２】
2004334382.tif 000004
【図３】
2004334382.tif 000005
【図４】
2004334382.tif 000006
【図５】
2004334382.tif 000007
【図６】
2004334382.tif 000008
【図７】
2004334382.tif 000009
【図８】
2004334382.tif 000010
【図９】
2004334382.tif 000011
【図１０】
2004334382.tif 000012