(57)【要約】【課題】検索クエリに対応した文書ファイルの要点部分を的確に抜粋文として抽出する。【解決手段】ネットワークシステムＳは、データベース１０と、このデータベース１０に対して所定の検索アルゴリズムを用いて検索処理を行う検索エンジン２０と、ユーザが利用する端末装置３０と、文書検索用の文書インデックスの作成処理を行うデータ処理装置４０とを含む。データ処理装置４０は、一の文書ファイルの文書データを複数の文書ブロックに区分し、各文書ブロック中において注目単語を含む単位文章の近接性やキーワードの含有数などを評価し、抜粋文の抽出に最も相応しい文書ブロックを重要文書ブロックとして特定し、この重要文書ブロックの中からキーワードを含む文章を抜粋文として抽出する。【選択図】図１
2011103075.tif 000002
【特許請求の範囲】
【請求項１】
所定のクエリを与えてデータベース中の文書ファイルの検索処理が行われ、その検索結果として、前記クエリに合致する文書ファイルに含まれる文章の一部を抜粋文として抽出して表示させる場合における前記抜粋文の抽出方法であって、
前記文書ファイル中の文書データに含まれる単語群の中から一の注目単語を定めるステップと、
一の文書ファイルの文書データを、所定の文字群を含む単位文章の複数に区画されたものと扱い、一連の文章中において前記注目単語が含まれる単位文章が複数個含まれる領域を、前記文書データ中において文章ブロックとして定義するステップと、
前記文章ブロックの各々において、前記一連の文章中における前記単位文章の出現間隔を評価し、前記出現間隔の短さを指標として重要文章ブロックを特定するステップと、
前記重要文章ブロックの中から、前記注目単語を含む文章を前記抜粋文として抽出するステップと、
を含むことを特徴とする抜粋文抽出方法。
【請求項２】
前記文章ブロックとして定義するステップは、
複数の前記単位文章の中で、前記文書データにおいて前記注目単語が第１番目に出現する第１単位文章と、前記注目単語が第２番目に出現する第２単位文章と、前記注目単語が第３番目に出現する第３単位文章とが特定され、前記第１単位文章から前記第３単位文章までの文章領域が第１文章ブロックとして定義され、
前記注目単語が前記文書データにおいて第４番目に出現する第４単位文章が特定され、前記第２単位文章から前記第４単位文章までの文章領域が第２文章ブロックとして定義されるステップを含むことを特徴とする請求項１に記載の抜粋文抽出方法。
【請求項３】
前記単位文章が、文章の１行であって、
前記単位文章の出現間隔が、行間の長さで評価されることを特徴とする請求項１又は２に記載の抜粋文抽出方法。
【請求項４】
前記重要文章ブロックを特定するステップにおいて、
さらに前記注目単語の出現頻度が評価対象とされ、前記出現頻度の多さを指標として前記重要文章ブロックが特定されることを特徴とする請求項１〜３のいずれかに記載の抜粋文抽出方法。
【請求項５】
前記重要文章ブロックを特定するステップにおいて、
さらに名詞単語の出現頻度が評価対象とされ、前記注目単語を含む前記単位文章における名詞単語の出現頻度の多さを指標として前記重要文章ブロックが特定されることを特徴とする請求項４に記載の抜粋文抽出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、データベース中の文書ファイルの検索処理が行われる場合に、その検索処理でヒットした文書ファイルに含まれる文章の一部を抜粋文として抽出し、検索結果として表示させる抜粋文抽出方法に関する。
【背景技術】
【０００２】
ワールドワイドなインターネット上や社内ネットワークのようなローカルネット上において、データベース中からユーザが望む文書ファイルを検索可能とした検索システムが汎用されている。このような検索システムにおいては、例えばキーワード検索が実行された場合のヒット文書のリストを端末機の表示画面に表示させるに際して、通常、各文書の抜粋文が併せて表示される。
【０００３】
Ｙａｈｏｏ（登録商標）やＧｏｏｇｌｅ（登録商標）などのポータルサイトを用いたインターネット検索では、文書ファイルの作成者が記述したＨＴＭＬ要約タグが存在する場合には、当該要約タグに係る文書が抜粋文として表示される。一方、上記ＨＴＭＬ要約タグが存在しない場合、或いは社内ローカルのポータルサイト等で要約タグの指定自体が不可である場合には、所定のルールに従って文書ファイル中の文書データの一部が抽出され、これを抜粋文として表示させている（例えば特許文献１参照）。この抽出ルールとしては、文書データ中で検索キーワードが最初（或いは中間、若しくは最終）に登場する行を特定し、その特定行を中心とした前後数行を抽出する方法や、検索キーワードが存在する行を特定することなく、単純にその文書データの先頭から数行を抽出する方法などが一般的である。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−１７６６８５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上記抜粋文は、検索処理を行ったユーザが、自己の検索ニーズにマッチした文書を捜す際の手掛かりとなる。しかしながら、上掲のような機械的な抜粋文抽出方法では、検索キーワードに関わりが深い記述部分を抜粋文として抽出できる可能性は高くない。例えば、検索キーワードが最初に出現する行の前後部分の記述が当該文書のエッセンス部分とは限らず、その行よりも後の部分に主要部が存在している場合も多々ある。この場合、ユーザが望むコンテンツを含む文書がヒットしながら、ユーザがこれを見逃してしまうことが生じ得る。
【０００６】
本発明の目的は、データベースに対する文書検索処理において、検索クエリに対応した文書ファイルの要点部分を的確に抜粋文として抽出することができる抜粋文抽出方法を提供することにある。
【課題を解決するための手段】
【０００７】
上記目的を達成する本発明の一の局面に係る抜粋文抽出方法は、所定のクエリを与えてデータベース中の文書ファイルの検索処理が行われ、その検索結果として、前記クエリに合致する文書ファイルに含まれる文章の一部を抜粋文として抽出して表示させる場合における前記抜粋文の抽出方法であって、前記文書ファイル中の文書データに含まれる単語群の中から一の注目単語を定めるステップと、一の文書ファイルの文書データを、所定の文字群を含む単位文章の複数に区画されたものと扱い、一連の文章中において前記注目単語が含まれる単位文章が複数個含まれる領域を、前記文書データ中において文章ブロックとして定義するステップと、前記文章ブロックの各々において、前記一連の文章中における前記単位文章の出現間隔を評価し、前記出現間隔の短さを指標として重要文章ブロックを特定するステップと、前記重要文章ブロックの中から、前記注目単語を含む文章を前記抜粋文として抽出するステップと、を含むことを特徴とする（請求項１）。
【０００８】
この構成によれば、例えば検索キーワードに対応する単語が上記注目単語として定められ、この注目単語を含む単位文書が特定され、さらに当該単位文書が複数個含まれる文書データ中の領域が、一つの文書ブロックとして特定される。そして、文書ブロックの各々において、注目単語を含む単位文書の出現間隔が評価され、出現間隔の短いものが重要文書ブロックとして特定される。これは、文書データ中において注目単語が集中的に出現している記述部分を特定することに繋がり、そのような記述部分は注目単語に関連した詳細な論述等が存在すると推定され、抜粋文としての適正を有する可能性が高いからである。このような重要文書ブロックから、注目単語を含む文章が抜粋文として抽出されるので、精度良く抜粋文を抽出することができる。
【０００９】
上記構成において、前記文章ブロックとして定義するステップは、複数の前記単位文章の中で、前記文書データにおいて前記注目単語が第１番目に出現する第１単位文章と、前記注目単語が第２番目に出現する第２単位文章と、前記注目単語が第３番目に出現する第３単位文章とが特定され、前記第１単位文章から前記第３単位文章までの文章領域が第１文章ブロックとして定義され、前記注目単語が前記文書データにおいて第４番目に出現する第４単位文章が特定され、前記第２単位文章から前記第４単位文章までの文章領域が第２文章ブロックとして定義されるステップを含むことが望ましい（請求項２）。
【００１０】
この構成によれば、３つの単位文章を１セットとして文章ブロック（第１文書ブロック）が特定され、起点となる単位文章が一つシフトした形で次の文章ブロック（第２文書ブロック）が特定されるようになる。一つの文書ブロック内に３つの単位文章が含まれるので単位文章の出現間隔が評価し易くなり、また、起点となる単位文章が一つずつシフトされながら次々に文書ブロックが定義されてゆくので、処理を簡素化することができる。
【００１１】
上記構成において、前記単位文章が、文章の１行であって、前記単位文章の出現間隔が、行間の長さで評価されることが望ましい（請求項３）。この構成によれば、行間を示すタグ等を利用して、単位文書の区画を容易に行うことができる。
【００１２】
また、前記重要文章ブロックを特定するステップにおいて、さらに前記注目単語の出現頻度が評価対象とされ、前記出現頻度の多さを指標として前記重要文章ブロックが特定されることが望ましい（請求項４）。この構成によれば、重要文章ブロックの特定要件として、前記注目単語の出現頻度も評価されるので、より一層、精度良く抜粋文を抽出することが可能となる。
【００１３】
上記構成において、前記重要文章ブロックを特定するステップにおいて、さらに名詞単語の出現頻度が評価対象とされ、前記注目単語を含む前記単位文章における名詞単語の出現頻度の多さを指標として前記重要文章ブロックが特定されることが望ましい（請求項５）。一般に、形容詞、副詞、動詞等に相当する単語よりも、名詞単語の方が情報を伝達し易いと言うことができる。従って、重要文章ブロックの特定要件として名詞単語の出現頻度の多さを指標とすることで、抜粋文の抽出精度をより向上させることができる。
【発明の効果】
【００１４】
本発明によれば、データベースに対する文書検索処理において、検索クエリに対応した文書ファイルの要点部分を的確に抜粋文として抽出することができる。従って、ユーザが、検索ヒットリストから必要な情報を的確に得ることができる検索システムの提供に貢献することができる。
【図面の簡単な説明】
【００１５】
【図１】本発明に係る抜粋文抽出方法が適用されるネットワークシステムのハードウェア構成を概略的に示す構成図である。
【図２】本発明の実施形態に係る検索システムの概要を示す模式的フローチャートである。
【図３】検索結果の表示画面の一例を示す図である。
【図４】抜粋文抽出の比較例を示す模式図である。
【図５】検索システムの構成を示す機能ブロック図である。
【図６】検索インデックスの作成を説明するための模式図である。
【図７】抜粋文抽出のプロセスを示す説明図である。
【図８】抜粋文抽出のプロセスを示す説明図である。
【図９】抜粋文抽出のプロセスを示す説明図である。
【図１０】文書インデックスの一例を示す表形式の図である。
【図１１】文書検索処理を示すフローチャートである。
【図１２】抜粋文抽出処理を示すフローチャートである。
【発明を実施するための形態】
【００１６】
以下、図面に基づいて本発明の実施形態につき詳細に説明する。図１は、本発明の抜粋文抽出方法が適用されるネットワークシステムＳのハードウェア構成を概略的に示す構成図である。このネットワークシステムＳは、通信ネットワーク上において利用可能なデータベース１０と、このデータベース１０に対して所定の検索アルゴリズムを用いて検索処理を行う検索エンジン２０と、ユーザが利用する端末装置３０と、主に文書検索用の文書インデックスの作成処理を行うデータ処理装置４０とが、インターネットＩＮ又はローカルネットＬＮを介してデータ通信可能に接続されてなる。
【００１７】
データベース１０は、検索対象となる多数の文書ファイルが大量に記憶されているデータベースである。データベース１０がインターネットＩＮに接続されるものである場合、このデータベース１０は各々ドメイン名を持つ多数のウエブサイトの集合となる。このようなデータベース１０としては、例えばＹａｈｏｏ（登録商標）やＧｏｏｇｌｅ（登録商標）などのポータルサイトを通してアクセス可能なデータベースを例示することができる。また、データベース１０が企業等の内部で構築されているローカルネットＬＮに接続されるものである場合、このデータベース１０は当該企業内の共用文書ファイルを保管するデータベースとなる。
【００１８】
検索エンジン２０は、所定のパラメータを有する検索アルゴリズムが搭載され、データベース１０に対し、与えられたクエリに対応する文書ファイルの検索処理を行う。すなわち検索エンジン２０は、クエリを文書解析して検索インデックスを作成すると共に、データベース１０に記憶されている検索対象の文書ファイル毎にキーワードや属性（メタデータ）を抽出して作成された検索用の文書インデックスを読み出す。さらに検索エンジン２０は、前記検索アルゴリズムを用いて、前記文書インデックスと前記検索インデックスとの照合処理を行い、合致度合いの高い（クエリに適合する）文書ファイルを抽出する。
【００１９】
端末装置３０は、多数のユーザに各々保有されるパーソナルコンピュータや携帯電話機、携帯情報端末機等の通信端末機３１、３２、３３、３４・・・である。端末装置３０は、インターネットＩＮ又はローカルネットＬＮを介して検索エンジン２０及びデータベース１０にアクセス可能とされている。例えば端末機３１は、検索処理条件となるキーワードや文章（クエリ）を入力するためのキーボード３１１と、検索画面、ヒット文書のリスト、文書のコンテンツ等を表示するディスプレイ３１２と、ディスプレイ３１２上の表示画面に対してコマンド（文書の選択指示や選択終了指示等）を入力するためのマウス３１３を備えている。
【００２０】
各ユーザは、各自の通信端末機３１、３２、３３、３４・・・のキーボード３１１を介して、検索エンジン２０にクエリを与え、そのクエリでの検索処理によりヒットした文書ファイルのリストを取得する。さらにユーザは、前記リストの中から希望する文書ファイルを選択し、その文書ファイルの内容を自身のディスプレイ３１２で表示させることができる。
【００２１】
データ処理装置４０は、データベース１０に記憶されている検索対象の文書ファイル毎に文書解析処理を行ってキーワードや属性を抽出し、検索用の文書インデックスを作成する。さらに、本実施形態の検索処理では、前記クエリに合致する文書ファイルに含まれる文章の一部を抜粋文として抽出し、この抜粋文もディスプレイ３１２にて表示させるが、この抜粋文として適切な記述部分を文書インデックスの単語（注目単語）に関連付けて抽出する処理を行う。このデータ処理装置４０の具体的構成については、後記で詳述する。
【００２２】
図２は、ネットワークシステムＳにより実行される文書ファイル検索処理の概要を示す模式的なフローチャートである。検索エンジン２０は、検索元側の処理として、端末装置３０からクエリが与えられると、このクエリ文書に対して例えば形態素解析等を含む文書解析処理を行う（ステップＳ１）。次いで、上記の文書解析処理で得られた単語をベースにして検索インデックスが作成される（ステップＳ２）。この検索インデックスは、主に質問事象に関連深いキーワード群からなる。そして、当該検索インデックスを用いて、大量のデータを含むデータベース１０に対して文書の検索処理を行う（ステップＳ３）。
【００２３】
また、検索先側の処理として、データ処理装置４０は、メタデータの抽出のための文書解析（ステップＳ０１）、及び文書インデックスの作成（ステップＳ０２）を定期的に行う。ステップＳ３の検索処理で得られた結果は、前記クエリを入力したユーザの端末装置３０に、検索アルゴリズムでの合致度合いに応じた順位付けをしてリスト出力（ランキング表示）される（ステップＳ４）。
【００２４】
図３は、上記のステップＳ４において、ディスプレイ３１２に表示される検索結果表示画面の一例を示す図である。ここでは、「関西電力」というキーワードでインターネット検索が為された場合であって、ヒットした文書ファイルについて、当該文書ファイルの作成者が記述したＨＴＭＬ要約タグが存在する場合を例示している。図３に示すように、ヒット文書のタイトルの下欄には、当該文書のコンテンツ概要を示す抜粋文（要約文）が表示されている。この抜粋文は、上記のＨＴＭＬ要約タグが表示されたものである。
【００２５】
一方、インターネット上の文書ファイルにおいて上記のようなＨＴＭＬ要約タグが存在しない場合、或いは社内ローカルのポータルサイト等で要約タグの指定が不可である場合には、所定のルールに従って文書ファイル中の文書データの一部が抽出され、これが抜粋文として表示される。ユーザは、この抜粋文を参照することでヒットした文書ファイルのコンテンツの概要を知見することができ、いちいち各文書ファイルを開いて内容を確認する手間を省くことができる。それゆえ、抜粋文の内容がクエリに沿ったものであることが重要となる。もし精度の悪い抜粋文であるならば、ユーザが望む記述を含む文書ファイルでありながら、ユーザが当該文書ファイルをスルーしてしまう可能性がある。
【００２６】
図４は、要約タグが存在しない文書ファイルについての、従来の一般的な抜粋文抽出のルールを模式的に示す図である。ここでは、端末装置３０から検索キーワード「Ａ」が検索エンジン２０に与えられ、検索処理の結果としてキーワード「Ａ」を含むヒット文書が抽出された例を示している。この抽出ルールは、ヒット文書の文書データ中において検索キーワード「Ａ」が最初に登場する行Ｌ１を特定し、その特定行Ｌ１を中心とした前後数行を抜粋文Ｄ１として抽出するものである。
【００２７】
しかしながら、キーワード「Ａ」が最初に登場する行Ｌ１の近辺に、当該ヒット文書におけるキーワード「Ａ」の要部が記述されているとは限らない。図４では、符号Ｄ２で示す領域にキーワード「Ａ」が頻出し、キーワード「Ａ」に関して詳細な記述がなされている部分が存在する例を示している。本来、抜粋文として相応しいのは領域Ｄ２の記述部分である可能性が高いが、上記の抽出ルールではこのような領域Ｄ２を抜粋文として抽出することができない不具合がある。
【００２８】
そこで本実施形態では、抜粋文として相応しい文章を次の（１）、（２）のように定義し、そのような文章が抜粋されるような処理を行うようにしている。
（１）文章間（話題）に連続性がある。
（２）そのキーワードについて多く話されている。
上記（１）の点を機械的に判定する要素としては、キーワードを含む記述文章が近接していることが挙げられる。また、上記（２）の点については、そのキーワードを多く含んでいることが挙げられる。
【００２９】
このような定義にマッチする抜粋文を抽出するために、大略的に本実施形態では、一の文書ファイルの文書データを複数の文書ブロックに区分し、各文書ブロック中において上述のキーワード（注目単語）を含む単位文章の近接性やキーワードの含有数などを評価する。そして、上記の定義に最もマッチする文書ブロックを重要文書ブロックとして特定し、この重要文書ブロックの中からキーワードを含む文章を抜粋文として抽出する。本実施形態において、このような処理はデータ処理装置４０により実行されるものであり、その詳細な処理は次述のネットワークシステムＳの機能構成の説明において行う。
【００３０】
以下、図５〜図１２に基づいて、本実施形態に係る抜粋文抽出方法について詳述する。図５は、本実施形態に係るネットワークシステムＳの機能構成を示す機能ブロック図である。データベース１０は、各種の文書ファイルが記憶された複数の文書サーバ１１、１２、１３・・・（Ｗｅｂサーバ又は社内ローカルサーバ）を含む。検索エンジン２０は、文書インデックス記憶部２１、検索インデックス作成部２２、検索処理部２３及びランキング表示処理部２４を機能的に備えている。端末装置３０は、クエリ入力部３０１、表示部３０２及び操作部３０３を備えている。データ処理装置４０は、文書抽出部４１、文書解析部４２、重み算出部４３、記憶部４４及び抜粋文抽出部４５を備えている。
【００３１】
文書インデックス記憶部２１は、データベース１０に含まれる文書ファイルを検索させるためのインデックス（文書インデックス）を記憶する。文書インデックスは、所定の作成タイミング（例えば１日１回）にデータ処理装置４０により作成され、記憶内容が更新される。
【００３２】
検索インデックス作成部２２は、端末装置３０から与えられたクエリ（キーワードや質問文書）を文書解析し、検索インデックスを作成する処理を行う。例えば、クエリが質問文書である場合は、その文書内において自立する単語として抽出すると共に、これら単語の出現頻度等を参照して重み付けする等して、検索インデックスを作成する。図６は、検索インデックステーブルの一例を示す模式図である。ここでは、クエリから自立単語Ａ、Ｂ、Ｃ・・・が抽出され、各単語Ａ、Ｂ、Ｃ・・・に対して所定の算出式で導出された重み値（Ｓｉ）が付与されている例を示している。
【００３３】
検索処理部２３は、検索アルゴリズムを用いて、データベース１０に対して文書ファイルの検索処理を行う。具体的には、前記検索インデックスと前記文書インデックスとを照合し、検索インデックス（クエリ）に対する類似度が高い文書ファイルを抽出する。ここで、この検索処理には、予め設定された検索アルゴリズムが用いられる。この検索アルゴリズムとしては、例えばベクトル空間モデル（コサイン尺度）、Ｄｉｃｓ係数、Ｊａｃｃａｒｄ係数、Ｔスコア、相互情報量、Ｓｉｍｐｕｓｏｎ係数などから選ばれる。これらの検索アルゴリズムは各々計算式を有し、その計算式において種々のパラメータが設定される。
【００３４】
ランキング表示処理部２４は、検索処理部２３による検索処理でヒットした複数の文書ファイルを、クエリに対する類似度（合致度合い）が高い順に順位付けしたリストを作成する。このリストは、端末装置３０によりブラウジングが可能であり、実際は検索処理の完了後に表示部３０２で表示される。この表示の際、各文書ファイルのタイトルに付随して、上述の抜粋文が表示される。
【００３５】
端末装置３０のクエリ入力部３０１は、ユーザから検索処理のためのキーワード等のクエリの入力を受け付ける部位であって、例えば図１に示すキーボード３１１である。
【００３６】
表示部３０２は、例えば図１に示すディスプレイ３１２であって、検索エンジン２０のブラウジング画面（クエリ入力画面）、ヒット文書ファイルのリスト並びにその抜粋文、及び前記リストから選択された文書ファイルの内容等を表示する。
【００３７】
操作部３０３は、例えば図１に示すマウス３１３であって、表示部３０２に表示された画像上の選択部、リンク部、タスクバー等に対して操作指示を与える。ユーザは、表示部３０２に表示されたヒット文書ファイルのリストのいずれかを選択しその内容を表示させる選択指示、及び、その表示を停止させる選択終了指示を、この操作部３０３を介して与える。
【００３８】
データ処理装置４０は、データベース１０に含まれる文書ファイルを検索させるための文書インデックスを作成する。データ処理装置４０の文書抽出部４１は、文書インデックス作成処理のトリガとして、所定の周期毎に、文書データベース１０から複数の文書ファイルを抽出する処理を行う。
【００３９】
文書解析部４２は、文書抽出部４１により抽出された各文書ファイルが含む文書データに対して、正規化処理、文書構造解析処理、同義語処理などの文書解析処理を行い、文書データを単語単位に分割する。正規化処理は、文書構造解析を正常に行い得るようにするために、解析対象文書から解析に不要な文字、記号等を削除すると共に、全角・半角文字の統一等を行う処理である。文書構造解析処理は、正規化処理後の分類対象文書に対しそれぞれ、形態素解析を実施して文書を単語単位に分割する処理、構文解析処理を実施して単語間の係り受け（名詞と動詞との関係付け等）を特定する処理などである。同義語処理は、同義語及び表記の揺れを吸収するシソーラス（同義語辞書）を活用して、表現が異なる用語を単一の単語と扱うようにする処理である。かかる文書解析処理により、自立する単語（キーワード）が導出される。文書インデックスの素地となる基礎インデックス（重みが未だ与えられていないインデックス）は、ここで導出された単語で作成される。
【００４０】
重み算出部４３は、前記基礎インデックスに列記された単語について、所定の条件で重み付けを付与して、文書インデックスを完成させる。この重み付け設定処理において汎用されているのは、単語の出現頻度であり、文書データ中において出現頻度が多い単語には高い重みが設定される。
【００４１】
記憶部４４は、文書解析部４２が作成する基礎インデックスや、重み算出部４３が算出した重みデータを一時的に記憶する他、後述の抜粋文抽出部４５における各種の作業データ等を一次的に記憶する作業領域として用いられるメモリである。重みの算出式や行間距離の算出式等も、この記憶部４４に格納される。
【００４２】
抜粋文抽出部４５は、文書インデックスとして抽出された単語毎に、文書データ内から当該単語を含む抜粋文を抽出する処理を行う。この抜粋文は、当該単語が検索キーワードとして用いられた場合に、その単語を含む文書の要旨として表示される文章である。通常、一つの文書ファイルの文書データに対して複数の文書インデックス用の単語が抽出されるが、これらの単語の各々に対応付けて抜粋文が抽出される。抜粋文抽出部４５は、機能的に、注目単語設定部４５１、ブロック分割部４５２、行間距離算出部４５３、ブロック選択部４５４及び抜粋行選択部４５５を備えている。
【００４３】
注目単語設定部４５１は、文書ファイル毎に、文書解析部４２が抽出した基礎インデックスの単語群の中から、一の単語を順次抽出する。具体的には注目単語設定部４５１は、解析対象となる文書ファイルにナンバリングを施すと共に、各文書ファイルの単語にもナンバリングを施し、順次、抜粋文抽出を行う単語として設定する処理を行う。
【００４４】
ブロック分割部４５２は、一の文書ファイルの文書データを、所定の文字群を含む単位文章の複数に区画されたものと扱い、一連の文章中において前記注目単語が含まれる単位文章が複数個含まれる領域を、前記文書データ中において文章ブロックとして定義する処理を行う。ここに、単位文章として好ましく扱えるのは文章の１行である。この場合、行間を示すタグ等を利用して、単位文章の区画を容易に行うことができる。或いは、所定の文字数単位（例えば５０文字単位）、若しくはビット数単位で単位文章を定めるようにしても良い。また、一の文章ブロックに対して、注目単語が含まれる単位文章は複数個であれば良いが、好ましい単位文章の含有数は３個である。ブロック分割部４５２は、このような文章ブロックを、一の文書ファイルの文書データ中に複数設定する。
【００４５】
図７、図８に基づき、ブロック分割部４５２の処理の好ましい具体例を説明する。図７に示すように、いま、一の文書ファイルの文書データＸにおいて、注目単語設定部４５１において単語“Ａ”が注目単語として設定されているものとする。文書データＸに含まれる一連の文章中において、単語Ａは、１行目〜１６行目（複数の単位文章）の中で、２行目、８行目、９行目、及び１４行目に出現しているものとする。
【００４６】
この場合、ブロック分割部４５２は、図８に示すように、先ず単語Ａが第１番目に出現する第１単位文章（ここでは２行目の文章）と、これに続いて第２番目に出現する第２単位文章（８行目の文章）と、第３番目に出現する第３単位文章（９行目の文章）とを特定し、前記第１単位文章から前記第３単位文章までの文章領域を第１文章ブロックＢ１として定義する。つまり、３つの単語Ａを含む単位文章を１セットとして１番目の文章ブロックを特定する。
【００４７】
次に、ブロック分割部４５２は、単語Ａが第２番目に出現する第２単位文章（８行目の文章）を起点として、これに続いて第３番目に出現する第３単位文章（９行目の文章）と、第４番目に出現する第４単位文章（１１行目の文章）とを特定し、前記第２単位文章から前記第４単位文章までの文章領域を第２文章ブロックＢ２として定義する。つまり、起点となる単位文章を一つ下行側へシフトした形で２番目の文章ブロックを特定する。同様にして、ブロック分割部４５２は、単語Ａが第３番目に出現する第３単位文章（９行目の文章）を起点として、これに続いて第４番目に出現する第４単位文章（１１行目の文章）と、第５番目に出現する第５単位文章（１４行目の文章）とを特定し、前記第３単位文章から前記第５単位文章までの文章領域を第３文章ブロックＢ３として定義する。以下、文書データＸが続く限りにおいて、同様な文章ブロックの設定処理が行われる。これにより、領域を異にし、単語Ａを含む単位文章を３つずつ含む複数の文章ブロックが、文書データＸに対して定義されることとなる。この手法によれば、起点となる単位文章が一つずつシフトされながら次々に文書ブロックが定義されてゆくので、ブロック分割部４５２の処理を簡素化することができる。
【００４８】
行間距離算出部４５３は、各文章ブロックＢ１、Ｂ２、Ｂ３・・・において、単語Ａが出現する単位文章間の行間距離Ｓｎに基づいて、行間の短さ（単位文章の出現間隔の短さ）を評価するための指標値を導出する。この指標値としては、行間距離総乗の逆数と、ベクトルサイズの逆数とを例示することができる。
【００４９】
図９（Ａ）には、図８に例示した第１文章ブロックＢ１が示されている。この第１文章ブロックＢ１の場合、行間距離Ｓｎとしては、第１単位文章（２行目の文章）と第２単位文章（８行目の文章）との間の行間距離Ｓ１と、第２単位文章と第３単位文章（９行目の文章）との間の行間距離Ｓ２とが存在する。ここに、Ｓ１＝６（行）、Ｓ２＝１（行）である。これらＳ１、Ｓ２の数値を用いて、行間距離総乗逆数（Ｆ）は、次の（１）式で求めることができる。この（１）式の値が大きいほど、行間の総合距離が短いと評価することができる。
【００５０】
【数１】
2011103075.tif 000003
【００５１】
ベクトルサイズ逆数（Ｊ）を用いる方法は、行間距離Ｓｎを各文章ブロックのベクトル要素を見なす方法である。図９（Ａ）の事例では、第１文章ブロックＢ１は、図９（Ｂ）に示すように、Ｓ１及びＳ２の二次元ベクトルで表される。Ｓ１＝６（行）、Ｓ２＝１（行）であるので、そのベクトルｂ＝（６，１）である。このベクトルサイズの逆数（Ｊ）は、
Ｊ＝１／ベクトルｂ＝１／√（６２＋１２）＝０．１６４４
となるが、この値が大きいほど、行間の総合距離が短いと評価することができる。例えば、第２文章ブロックＢ２の場合、Ｓ１＝１（行）、Ｓ２＝２（行）であるので、そのベクトルサイズの逆数（Ｊ）は、
Ｊ＝１／ベクトルｂ＝１／√（１２＋２２）＝０．４４７２
と大きな値となり、第２文章ブロックＢ２の方が第１文章ブロックＢ１よりも行間の総合距離が短いと評価される。このベクトルサイズ逆数（Ｊ）は、次の（２）式で一般的に求めることができる。
【００５２】
【数２】
2011103075.tif 000004
【００５３】
以上は、単語Ａが出現する単位文章間の行間の総合的な短さを評価する指標である。これに加えて、行間距離算出部４５３は、極端に行間距離Ｓｎが長い文章を含む文章ブロックを排除するための指標値も導出する。この指標値としては、行間距離Ｓｎの標準偏差に着目した行間標準偏差逆数（Ｇ）を例示することができる。この行間標準偏差逆数（Ｇ）は、次の（３）式で求めることができる。例えば、第１文章ブロックＢ１のようにＳ１＝６（行）、Ｓ２＝１（行）とバラツキが大きい場合には標準偏差は大きくなるので、その逆数を取る行間標準偏差逆数（Ｇ）の値は小さくなる。
【００５４】
【数３】
2011103075.tif 000005
【００５５】
ブロック選択部４５４は、上記のベクトルサイズ逆数（Ｊ）又は行間距離総乗逆数（Ｆ）と、行間標準偏差逆数（Ｇ）とに加え、付加的な判定指標値を参照して、複数の文章ブロックの中から最も抜粋文として相応しい文章を含む重要文章ブロックを選択する処理を行う。上記の付加的な判定指標値としては、例えば文章ブロック内における注目単語の出現頻度を示す注目単語密度（Ｈ）と、文章ブロック内における名詞単語の出現頻度を示す名詞密度（Ｋ）とを例示することができる。
【００５６】
注目単語密度（Ｈ）は、一つの文章ブロック内の全単語数（文書解析部４２で抽出された当該文書ブロック内の単語数）をＨ１、一つの文章ブロック内に出現する注目単語の数をＨ２とするとき、
Ｈ＝Ｈ２／Ｈ１    ・・・（４）
で求めることができる。注目単語密度（Ｈ）は、注目単語の出現頻度が高い程、高い値となる。一般に、注目単語の出現頻度が高い程、その注目単語に関して詳細な記述が為されているということができ、抜粋文としての適性が高いと評価できる。例えばベクトルサイズ逆数（Ｊ）が同値を示す文書ブロックが並存するとき等に、この注目単語密度（Ｈ）の値が大きい方（１行内に複数の注目単語が出現している方）が、重要文章ブロックと判定されることとなる。
【００５７】
名詞密度（Ｋ）は、一つの文章ブロック内の全単語数をＫ１、一つの文章ブロック内に出現する名詞単語の数をＫ２とするとき、
Ｋ＝Ｋ２／Ｋ１    ・・・（５）
で求めることができる。一般に、形容詞、副詞、動詞等に相当する単語よりも、名詞単語の方が情報を伝達し易いと言うことができる。つまり、名詞単語が多く登場する文章を含む文章ブロックであるほど情報量が多く、抜粋文としての適性が高いと評価できる。従って、重要文章ブロックの特定要件として名詞単語の出現頻度は、一つの指標となり得る。
【００５８】
ブロック選択部４５４は、上記（１）、（３）、（４）及び（５）式を乗算する下記（６）式にて、ブロック重要度Ｌを算出する。
Ｌ＝行間距離総乗逆数（Ｆ）×行間標準偏差逆数（Ｇ）×注目単語密度（Ｈ）×名詞密度（Ｋ）    ・・・（６）
若しくは、上記（２）、（３）、（４）及び（５）式を乗算する下記（７）式にて、ブロック重要度Ｌを算出する。
ベクトルサイズ逆数（Ｊ）×行間標準偏差逆数（Ｇ）×注目単語密度（Ｈ）×名詞密度（Ｋ）    ・・・（７）
さらにブロック選択部４５４は、各々の文書ブロックについてのブロック重要度Ｌを算出したら、その中からＬの値が最も高い文書ブロックを、重要文書ブロックとして特定する。
【００５９】
抜粋行選択部４５５は、ブロック選択部４５４で特定された重要文書ブロックの文章中から、注目単語を含む適宜な文章を、その注目単語が検索キーワードとして用いられた際に表示する抜粋文として抽出する処理を行う。この抽出は、例えば結果として重要文書ブロックの文章の全文であっても良いし、重要文書ブロックの文章中における注目単語を含む行のみを抜粋するものであっても良い。抽出された抜粋文は、文書ファイルの文書インデックス用単語（注目単語）に関連付けて記憶部４４に格納され、最終的には文書インデックステーブルに組み入れられて検索エンジン２０の文書インデックス記憶部２１に格納される。
【００６０】
図１０は、文書インデックステーブルの一例を示す表形式の図である。文書ファイルの別を表す文書番号毎に、検索インデックスの単語が抽出されており（ここでは単語Ａ、単語Ｂを例示）、これらの単語毎に重み（Ｄｉ）が付与されている。さらに、単語Ａについて、抜粋文とその文章が属する行番号が対応付けられている。記載は省略しているが、他の単語、他の文書ファイルについても同様である。従って、例えば単語Ａが検索キーワードとして与えられ、図１０に示す文書番号１００２の文書がヒットした場合には、その文書データにおける０００２行、０００８行及び０００９行の文書が、文書番号１００２の抜粋文として表示されることとなる。
【００６１】
なお、文書ファイルによっては、上記の手順で抜粋文を抽出できない場合が生じる。例えば、一つの文書データ中に注目単語を含む単位文章が１つ、又は２つしか登場しない場合等である。抜粋行選択部４５５は、単位文章が１つしか存在しない場合は、例えばその単位文章及びその前後単位文章を抜粋文として抽出する。また、単位文章が２つしか存在しない場合、行間距離Ｓｎとして抽出できるデータはＳ１のみとなるが、この場合は例えばＳ２を予め定めた固定値を代入するようにし、上記の算出が適用できるようにすることが望ましい。
【００６２】
次に、本実施形態に係るネットワークシステムＳにおける検索動作を、図１１に示すフローチャートに基づいて説明する。端末装置３０から文書ファイル検索のためのクエリが入力されると（ステップＳ１）、このクエリはインターネットＩＮ又はローカルネットＬＮを介して検索エンジン２０で受信される（ステップＳ２）。そして、検索インデックス作成部は、与えられたクエリを文書解析して単語を抽出すると共に、所定の算術式で重み値（Ｓｉ）を求めて、図６に例示したような検索インデックスを作成する（ステップＳ３）。
【００６３】
続いて、検索処理部２３に備えられている検索アルゴリズムにより、ステップＳ３で作成された検索インデックスと、文書インデックス記憶部２１に予め格納されている文書インデックスとを用いて、各文書ファイルのクエリに対する合致度が計算される（ステップＳ４）。そして、合致度が高い文書ファイルが特定される（ステップＳ５）。さらに検索処理部２３は、文書インデックス中におけるクエリに最も関連深い単語である最関連単語を特定する（ステップＳ６）。この最関連単語は、検索インデックスの各単語の重み値（Ｓｉ）と、文書インデックスの各単語の重み値（Ｄｉ）（図１０参照）とを乗算し、その乗算値Ｓｉ×Ｄｉが最も高い値となる単語が選ばれる。
【００６４】
そして、最関連単語に対応付けて記憶されている抜粋文が抽出される（ステップＳ７）。例えば図６、図１０の例を用いるならば、単語Ａについての乗算値Ｓｉ×Ｄｉが文書番号１００２の文書ファイルにおいて最も高い値である場合、当該文書ファイルの抜粋文として、単語Ａについての抜粋文が選ばれる。
【００６５】
その後、ランキング表示処理部２４により、検索処理でヒットした複数の文書ファイルを、クエリに対する合致度合いが高い順に順位付けしたリストが作成される（ステップＳ８）。このリストには、文書ファイルのタイトルと、上記ステップＳ７で抽出された抜粋文とが含まれる。そして、この検索結果リストは、検索エンジン２０から、クエリが入力された端末装置３０へ送信される（ステップＳ９）。
【００６６】
続いて、データ処理装置４０による抜粋文抽出処理について、図１２に示すフローチャートに基づいて説明する。抜粋文抽出部４５は、処理対象とする文書ファイル群の各々に付与されているナンバリングに対応するカウンタｐを“０”に設定した上で（ステップＳ１１）、ｐ＝ｐ＋１にカウンタを進める（ステップＳ１２）。そして、ｐ番目の文書ファイル（初回は、１番のナンバーが付与されている文書ファイル）が抽出される（ステップＳ１３）。
【００６７】
続いて、注目単語設定部４５１により注目単語が設定される。ｐ番目の文書ファイルに対して抽出されている文書インデックス用の単語群の各々に付与されているナンバリングに対応するカウンタｑを“０”に設定した上で（ステップＳ１４）、ｑ＝ｑ＋１にカウンタを進める（ステップＳ１５）。これにより、ｑ番目の単語が注目単語として抽出され、この注目単語についてブロック分割部４５２により、文書データを複数の文章ブロックに分割する処理が実行される（ステップＳ１６／図７、図８参照）。
【００６８】
次に、上記文章ブロックの各々に付与されているナンバリングに対応するカウンタｉが“０”に設定された上で（ステップＳ１７）、ｉ＝ｉ＋１にカウンタが進められる（ステップＳ１８）。そして、ｉ番目の文章ブロックについて、行間距離算出部４５３により行間距離総乗の逆数又はベクトルサイズの逆数、及び行間標準偏差逆数が算出され、またブロック選択部４５４により注目単語密度及び名詞密度が計算され、上記の（６）式又は（７）式によりｉ番目の文章ブロックの重要度Ｌが求められる（ステップＳ１９）。この重要度Ｌの値は、記憶部４４に一時的に記憶される（ステップＳ２０）。
【００６９】
その後、重要度Ｌを求める文章ブロックが最終であるか否かが確認され（ステップＳ２１）、最終でない場合は（ステップＳ２１でＮＯ）、ステップＳ１８に戻って次の文章ブロックの重要度Ｌを求める処理が繰り返される。一方、最終でない場合は（ステップＳ２１でＹＥＳ）、ブロック選択部４５４は、重要度Ｌが最も高い重要文章ブロックを選択し、抜粋行選択部４５５がその重要文章ブロックから抜粋文（行）を特定する（ステップＳ２２）。この抜粋文は、文書インデックス記憶部２１に格納される。
【００７０】
続いて、単語群のカウンタｑが最終であるか否かが確認され（ステップＳ２３）、最終でない場合は（ステップＳ２３でＮＯ）、ステップＳ１５に戻って次の注目単語について、文書ブロックの分割処理及び文章ブロックの重要度Ｌを求める処理が繰り返される。一方、カウンタｑが最終である場合（ステップＳ２３でＹＥＳ）、文書ファイルのカウンタｐが最終であるか否かが確認される（ステップＳ２４）。カウンタｐが最終でない場合は（ステップＳ２４でＮＯ）、ステップＳ１２に戻って次の文書ファイルについて同じ処理が繰り返される。一方、カウンタｐが最終である場合（ステップＳ２４でＹＥＳ）、処理を終える。
【００７１】
以上説明した本実施形態に係るネットワークシステムＳによれば、データベース１０に対する文書ファイルの検索処理において、検索クエリに対応した文書ファイルの要点部分を的確に抜粋文として抽出することができる。従って、ユーザが、検索ヒットリストから必要な情報を的確に得ることができる検索システムを提供することができる。
【符号の説明】
【００７２】
Ｓ  ネットワークシステムＳ
１０  データベース
２０  検索エンジン
２１  文書インデックス記憶部
２２  検索インデックス作成部
２３  検索処理部
２４  ランキング表示処理部
３０  端末装置
４０  データ処理装置
４５  抜粋文抽出部
４５１  注目単語設定部
４５２  ブロック分割部
４５３  行間距離算出部
４５４  ブロック選択部
４５５  抜粋行選択部
【図１】
2011103075.tif 000006
【図２】
2011103075.tif 000007
【図３】
2011103075.tif 000008
【図４】
2011103075.tif 000009
【図５】
2011103075.tif 000010
【図６】
2011103075.tif 000011
【図７】
2011103075.tif 000012
【図８】
2011103075.tif 000013
【図９】
2011103075.tif 000014
【図１０】
2011103075.tif 000015
【図１１】
2011103075.tif 000016
【図１２】
2011103075.tif 000017