(57)【要約】【課題】  検索質問と適合する文書だけでなく、検索質問に適合した文書に関連する情報をも検索して利用者に提示する。【解決手段】  固有表現抽出部１２は、文書データベース１１に格納されている文書中のテキストから固有表現を抽出して固有表現データベース１３に格納する。適合文書検索部１４は、入力された検索質問に適合する情報を文書データベース１１中から検索して適合文書リストとして出力する。関連度計算部１５は、この適合文書リストに含まれる文書に出現する固有表現およびその固有表現の出現する文書番号を固有表現データベース１３から入力し、各固有表現と適合文書群との関連度をそれぞれ計算し、各固有表現のうち、算出された前記関連度が一定値以上の固有表現を関連固有表現リストとして出力する。検索受付部１６は、入力された検索質問に対する適合文書リストと関連固有表現リストを利用者端末に提示する。【選択図】図１
2005050135.tif 000002
【特許請求の範囲】
【請求項１】
入力された検索質問に適合する情報を、文書データベースに格納されている文書集合の中から検索する情報検索方法であって、
前記文書データベースに格納されている文書集合から文書を１つずつ入力し、入力された文書中のテキストから、固有の名前を有する対象であるエンティティを参照する表現である固有表現を抽出し、抽出された固有表現と該固有表現が抽出された文書の文書番号の組みを固有表現データベースに格納する処理を、前記文書データベースに格納されている文書に対して順次行う固有表現抽出ステップと、
前記文書データベースの中から、入力された検索質問と適合する情報を検索して、適合文書リストとして出力する適合文書検索ステップと、
前記適合文書リストに含まれる文書に出現する固有表現および該固有表現の出現する文書番号を前記固有表現データベースから入力し、前記各固有表現と適合文書群との関連度をそれぞれ計算し、前記各固有表現のうち、算出された前記関連度が一定値以上の固有表現を関連固有表現リストとして出力する関連度計算ステップとからなる情報検索方法。
【請求項２】
前記関連度計算ステップでは、前記検索質問との間の適合度が高い文書中における出現頻度が高く、前記検索質問との間の適合度が低い文書における出現頻度が低い固有表現ほど関連度が高くなるような計算式を用いて関連度の計算を行う請求項１記載の情報検索方法。
【請求項３】
前記関連固有表現リストにおける固有表現どうしの関係を表示したグラフを利用者端末に対して提示するステップをさらに有する請求項１または２記載の情報検索方法。
【請求項４】
入力された検索質問に適合する情報を、格納されている文書の中から検索する情報検索システムであって、
検索対象となる文書の集合を、文書ごとに固有の文書番号を割り当てて格納する文書データベースと、
前記文書データベースに格納されている文書集合から文書を１つずつ入力し、入力された文書中のテキストから、固有の名前を有する対象であるエンティティを参照する表現である固有表現を抽出する固有表現抽出部と、
前記固有表現抽出部により抽出された固有表現と、該固有表現が抽出された文書の文書番号の組みを格納する固有表現データベースと、
入力された検索質問と前記文書データベース中の文書との適合度を計算することにより、前記文書データベースの中から、入力された前記検索質問と適合する文書を検索して、適合文書リストとして出力する適合文書検索部と、
前記適合文書検索部から入力された適合文書リストに含まれる文書に出現する固有表現および該固有表現の出現する文書番号を前記固有表現データベースから入力し、前記各固有表現と適合文書群との関連度をそれぞれ計算し、前記各固有表現のうち、算出された前記関連度が一定値以上の固有表現を関連固有表現リストとして出力する関連度計算部と、
利用者端末から検索質問を受け取ると、受け取った該検索質問を前記適合文書検索部に出力し、前記適合文書検索部からの適合文書リストおよび前記関連度計算部からの関連固有表現リストを前記利用者端末に提示する検索受付部と、を備えている情報検索システム。
【請求項５】
前記関連度計算部は、前記検索質問との間の適合度が高い文書中における出現頻度が高く、前記検索質問との間の適合度が低い文書における出現頻度が低い固有表現ほど関連度が高くなるような計算式を用いて関連度の計算を行う請求項４記載の情報検索システム。
【請求項６】
前記検索受付部は、前記関連固有表現リストを前記利用者端末に提示する際に、固有表現どうしの関係を表示したグラフとして前記利用者端末に提示する請求項４または５記載の情報検索システム。
【請求項７】
入力された検索質問に適合する情報を、文書データベースに格納されている文書集合の中から検索する情報検索方法をコンピュータに実行させるためのプログラムであって、
前記文書データベースに格納されている文書集合から文書を１つずつ入力し、入力された文書中のテキストから、固有の名前を有する対象であるエンティティを参照する表現である固有表現を抽出し、抽出された固有表現と該固有表現が抽出された文書の文書番号の組みを固有表現データベースに格納する処理を、前記文書データベースに格納されている文書に対して順次行う固有表現抽出処理と、
前記文書データベースの中から、入力された検索質問と適合する文書を検索して、適合文書リストとして出力する適合文書検索処理と、
前記適合文書リストに含まれる文書に出現する固有表現および該固有表現の出現する文書番号を前記固有表現データベースから入力し、前記各固有表現と適合文書群との関連度をそれぞれ計算し、前記各固有表現のうち、算出された前記関連度が一定値以上の固有表現を関連固有表現リストとして出力する関連度計算処理とをコンピュータに実行させるためのプログラム。
【請求項８】
前記関連度計算処理では、前記検索質問との間の適合度が高い文書中における出現頻度が高く、前記検索質問との間の適合度が低い文書における出現頻度が低い固有表現ほど関連度が高くなるような計算式を用いて関連度の計算を行う請求項７記載のプログラム。
【請求項９】
前記関連固有表現リストにおける固有表現どうしの関係を表示したグラフを利用者端末に対して提示する処理をさらにコンピュータに実行させる請求項７または８記載のプログラム。
【請求項１０】
請求項７から９のいずれかに記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、利用者によって与えられた検索質問に適合する情報を、大量の情報の中から検索する情報検索システムおよび検索方法に関する。
【背景技術】
【０００２】
利用者によって与えられた検索質問に適合する情報を検索するための情報検索システムが広く利用されている。一般的な情報検索システムは、検索対象となる文書集合の中から、利用者が目的とする情報を含む文書を効率よく閲覧できるようにするための様々な機能を提供している。
【０００３】
例えば、多くの情報検索システムは、単に検索キーワードを含む文書を列挙するだけではなく、文書と検索質問の適合度を計算し、適合度の高い順に提示するというランキング検索を行うことができる機能を備えている（例えば、非特許文献１参照。）。このようなランキング検索を行うことができる機能を備えた情報検索システムによれば、適合度の計算が適切であれば、利用者は適合度上位の文書のみを閲覧することで目的とする情報を得ることができる。
【０００４】
また、一部の情報検索システムでは、内容的に類似する文書同士をまとめるクラスタリングや、与えられた分類基準に従って文書を自動的に分類する自動分類を行うことができる機能を備えている。これらの機能も大量の文書から、目的とする情報を含む文書を効率よく探すことを支援するための機能といえる。
【０００５】
しかし、従来のいずれの情報検索システムにおいても、文書集合のみを情報源として想定していた。そのため、例えば情報検索システムが検索質問と適合する文書を正確に検索できたとしても、利用者は検索された文書を１つ１つ閲覧して初めて情報が得られることには変わりがなかった。その意味で、従来の情報検索システムは、文書検索システムに過ぎなかったとも言うことができる。
【非特許文献１】徳永健伸、“情報検索と言語処理”、東京大学出版会、ISBN4-13-065405-5, 1999
【発明の開示】
【発明が解決しようとする課題】
【０００６】
上述した従来の情報検索システムでは、検索質問と適合する文書のみしか検索することができないため、利用者は検索された文書を閲覧しないと情報を得ることができないという問題点があった。
【０００７】
本発明の目的は、検索質問と適合する文書だけでなく、検索質問に適合した文書に関連する情報をも検索して利用者に提示することのできる情報検索方法およびシステムを提供することである。
【課題を解決するための手段】
【０００８】
上記目的を達成するために、本発明の情報検索方法は、入力された検索質問に適合する情報を、文書データベースに格納されている文書集合の中から検索する情報検索方法であって、
前記文書データベースに格納されている文書集合から文書を１つずつ入力し、入力された文書中のテキストから、固有の名前を有する対象であるエンティティを参照する表現である固有表現を抽出し、抽出された固有表現と該固有表現が抽出された文書の文書番号の組みを固有表現データベースに格納する処理を、前記文書データベースに格納されている文書に対して順次行う固有表現抽出ステップと、
前記文書データベースの中から、入力された検索質問と適合する文書を検索して、適合文書リストとして出力する適合文書検索ステップと、
前記適合文書リストに含まれる文書に出現する固有表現および該固有表現の出現する文書番号を前記固有表現データベースから入力し、前記各固有表現と適合文書群との関連度をそれぞれ計算し、前記各固有表現のうち、算出された前記関連度が一定値以上の固有表現を関連固有表現リストとして出力する関連度計算ステップとからなる。
【０００９】
本発明によれば、利用者端末から入力された検索質問に対して、検索質問に適合する文書集合である適合文書リストだけでなく、この適合文書リストとの間の関連度の高い固有表現のリストである関連固有表現リストを得ることができるため、利用者は検索された文書を閲覧しなくても欲しい情報を得ることができる。
【００１０】
また、前記関連度計算ステップでは、前記検索質問との間の適合度が高い文書中における出現頻度が高く、前記検索質問との間の適合度が低い文書における出現頻度が低い固有表現ほど関連度が高くなるような計算式を用いて関連度の計算を行うようにしてもよい。
【００１１】
さらに、前記関連度計算ステップでは、前記関連固有表現リストを出力する際に、固有表現どうしの関係を表示したグラフを出力するようにしてもよい。
【発明の効果】
【００１２】
以上説明したように、本発明によれば、利用者は、検索質問に適合する文書集合である適合文書リストだけでなく、この適合文書リストとの間の関連度の高い固有表現のリストである関連固有表現リストを得ることができるという効果を得ることができる。
【発明を実施するための最良の形態】
【００１３】
次に、本発明の実施の形態について図面を参照して詳細に説明する。
【００１４】
図１は本発明の一実施形態の情報検索システムの構成を示すブロック図である。
【００１５】
本実施形態の情報検索システムは、図１に示されるように、文書データベース１１と、固有表現抽出部１２と、固有表現データベース１３と、適合文書検索部１４と、関連度計算部１５と、検索受付部１６とから構成されている。
【００１６】
本実施形態の情報検索システムは、例えば、１つの装置として実装することもできるし、利用者端末との間でネットワーク接続を行うか、またはコンソールを備えるようにして、利用者との間で直接入出力するようにしてもよい。また、本実施形態の情報検索システムは、ＷＷＷの検索エンジンとして利用可能である。
【００１７】
文書データベース１１は、検索対象となる文書の集合を格納するデータベースである。文書データベース１１では、文書ごとに固有の文書番号が割り当てられて、文書が管理されている。
【００１８】
固有表現抽出部１２は、図２に示すように、文書データベース１１に格納されている文書集合から文書を１つずつ入力し（ステップ２１）、文書中のテキストから特定の種類のエンティティ毎に固有表現を抽出する固有表現抽出処理を行う（ステップ２２）。
【００１９】
ここで、人物、組織、書籍、映画、楽曲等、固有の名前を持った対象のことをエンティティと呼び、人名や書籍名等の、特定のエンティティを参照する表現のことを固有表現と呼ぶ。
【００２０】
そして、固有表現抽出部１２は、抽出された固有表現と、その固有表現が抽出された文書の文書番号の関係を固有表現データベース１３に格納する（ステップ２３）。そして、固有表現抽出部１２は、この固有表現を抽出する処理を文書データベース１１中の全文書について行う（ステップ２４）。
【００２１】
固有表現の抽出方法としては、エンティティの種類別に定義されたテンプレートをテキストと照合する方法が一般的である（例えば、下記の参考文献１、２参照。）。
【００２２】
参考文献１：西野文人、落合亮、“新聞記事からの人物・企業情報の抽出”、情報処理学会研究報告、NL127-17,pp.125-132,1998
参考文献２：関根聡、“テキストからの情報抽出”、情報処理学会研究報告、Vol.40、pp.370-373,1999
例えば、エンティティが人名の場合には、「＜姓＞＜名＞」「＜姓＞氏」「＜姓＞さん」といったテンプレートとテキストを照合することで人名を抽出する。
【００２３】
固有表現データベース１３は、図３に示すように、固有表現と、その固有表現が出現する文書の文書番号との関係を格納したデータベースであり、文書番号から固有表現を検索することも、固有表現から文書番号を検索することもできる。
【００２４】
適合文書検索部１４は、図４に示すように、先ず従来の一般的な情報検索システムと同様に、検索質問を入力し（ステップ４１）、文書データベース１１中の文書と検索質問の適合度を計算し、検索質問と適合する文書を検索し（ステップ４２）、検索された適合文書のリストを検索結果として検索受付部１６に返す適合文書検索処理を行う（ステップ４３）。また、適合文書検索部１４は、検索された適合文書リストを関連度計算部１５に渡す（ステップ４４）。
【００２５】
関連度計算部１５は、図５に示すように、まず適合文書検索部１４から適合文書リストを入力し（ステップ５１）、入手した適合文書リストに含まれる文書番号を手がかりに固有表現データベース１３を検索し、適合文書に出現する全ての固有表現を列挙する（ステップ５２）。続いて、関連度計算部１５は、固有表現が出現する文書の文書番号を、固有表現データベース１３によって検索し、その検索結果を適合文書リストと比較することにより、固有表現と適合文書リストの関連度を計算し（ステップ５３）、関連度が一定値以上の固有表現を検索受付部１６に関連固有表現リストとして渡す関連度計算処理を行う（ステップ５４）。
【００２６】
関連度の計算には、適合度が高い文書中に多く出現し、検索質問と無関係な文書にはあまり出現しないような固有表現ほど、高い関連度を持つような計算式を用いる。
【００２７】
例えば、最も単純な方法の１つとして、適合度が上位ｋ個の文書のうち、それぞれの固有表現が出現する文書の数を関連度とする方法がある。ここで、ｋは定数である。
【００２８】
あるいは、より高度な方法として、下記の式のように計算される対数尤度比ｇを関連度として用いることもできる。
【００２９】
【数１】
2005050135.tif 000003
【００３０】
ここでＮは、検索対象となる文書集合のサイズ（文書の総数）であり、ａ、ｂ、ｃ、ｄは、検索結果文書の集合Ｄと、ある固有表現が出現する全ての文書の集合Ｋの重なりを示す下記のような表の要素である。
【００３１】
【表１】
2005050135.tif 000004
【００３２】
つまり、ａ、ｂ、ｃ、ｄは下記のような関係から簡単に計算することができる。
【００３３】
【数２】
2005050135.tif 000005
【００３４】
文書に固有表現が出現することと、文書が適合文書になることに強い関連があれば、対数尤度比の値は大きくなる。
【００３５】
検索受付部１６は、図６に示すように、利用者端末から検索質問を受け取ると（ステップ６１）、受け取った検索質問を適合文書検索部１４に渡し（ステップ６２）、適合文書検索部１４から適合文書リストを受け取る（ステップ６３）。また、検索受付部１６は、関連度計算部１５から関連度の高い固有表現のリストを受け取る（ステップ６４）。検索受付部１６は、最後に適合文書リストと、関連度の高い固有表現リストを利用者端末に提示する（ステップ６５）。尚、検索受付部１６は、適合文書リストと関連固有表現リストを利用者端末に提示する際、固有表現と、固有表現どうしの関係を利用者端末に表示可能なグラフとして出力するようにしてもよい。
【００３６】
例えば、エンティティが人物だった場合、その人物間のネットワークを無向グラフとして可視化する。すなわち、人名をグラフのノードとして表示し、共起関係にある人名間にエッジを表示する。
【００３７】
ここで、共起関係とは、２つ以上の固有表現が、同一の文書に現れる頻度が高い関係をいい、この頻度を共起の頻度という。人名が一度共起しただけでは、それらの人物間につながりがあるとは限らないが、共起の回数が多ければ、その人物間に強いつながりがある可能性が高い。そのため、２つのエンティティの共起関係の強さを共起度として表す。
【００３８】
ただし、共起する人物間をすべてエッジとして表示すると、グラフの密度が高くなり、ネットワークの構造を読み取ることが難しくなることが多いため、表示するエッジを選択する必要がある。もっとも単純な方法は、あるしきい値より高い共起度を有するエッジだけを表示するようにする方法である。しかし、この方法では、一部の集団にのみエッジが集中し、それ以外の人物はすべて孤立したノードになることが多い。これは、複数のコミュニティを同時に表示する際に特に問題となる。そこで、それぞれのノードごとに共起度の高い相手ノードを最大２つ選び、その２つのノード間のエッジを表示するようにすれば良い。このようにしても、他の多くの人物と強いつながりを持っている人物のノードには多くのエッジが集まり、中心的な人物でありことを示すことができる。
【００３９】
例えば、図７に示すように、「情報検索システム」、「自然言語処理」という２つのトピックでそれぞれ５名ずつキーパーソンを発見した場合、そのつながりを無向化グラフにより可視化した例を図８に示す。
【００４０】
それぞれの人物がどちらのトピックにより検索されたのかはノードの斜線の有無により示される。また、共起度の大きいエッジは太い線で表示されている。
【００４１】
このように、２つのトピックで発見された人々を同時に表示することで、両方のトピックで関連した人物の存在を明らかにすることができる。こうした人物は、２つのコミュニティの間をつなぐ重要な人物である可能性が高いと考えられる。
【００４２】
以上説明したように、本実施形態の情報検索システムによれば、検索質問に対して適合度の高い文書群に出現する固有表現のうちの関連度の高いものを関連固有表現リストとして利用者に提示することができる。これにより、情報検索システムの利用者は文書集合以外の情報を得る機会が与えられる。例えば、通常のウェブサーチエンジンは、ウェブページのみを検索結果として表示するが、これに加えて関連する書籍が表示されれば、利用者はその書籍を購入するなどして、詳細かつ信頼のおける情報を入手することができる。このとき、ウェブサーチエンジンの提供者は、書籍の販売を仲介することで対価を得ることができる。
【００４３】
また、利用者は、実世界に関する背景知識を元に、提示された関連固有表現リストを解釈することで、１つ１つの文書を閲覧するだけではわからないような、文書集合全体の傾向を知ることができる。例えば、「オリンピック」というキーワードで新聞記事を検索した際に、関連する人物としてマラソンの選手や、サッカーの選手が多く発見されたとすれば、オリンピックの報道において、マラソンやサッカーが中心的なテーマであったことが想像できる。すなわち、本実施形態によれば、文書検索の利便性を高めるという効果を得ることができる。
【００４４】
さらに、本実施形態は、文書検索を行う一般的な情報検索システムを拡張するものであり、通常の文書検索と同様に、任意の語句の組み合わせを検索質問として用いることができる。そのため、一般的な名詞に限らず、固有名詞や形容詞を検索質問に用いてもよい。例えば、人名を検索して、その人名に関連する人名を発見すれば、ある人物を中心とした人物関係を推定することができる。また、大量のＷｅｂページを検索することができるＷｅｂサーチエンジンに本発明を適用した場合、「かっこいい」、「天才的」といった検索質問でも検索を行い、関連する人物を発見することで、著名人のイメージ調査等を行うこともできる。
【００４５】
また、図には示されていないが、本実施形態の情報検索システムは、上記で説明した情報検索方法を実行するためのプログラムを記録した記録媒体を備えている。この記録媒体は磁気ディスク、半導体メモリまたはその他の記録媒体であってもよい。このプログラムは、記録媒体から情報検索システムに読み込まれ、情報検索システムの動作を制御する。具体的には、情報検索システム内のＣＰＵがこのプログラムの制御により情報検索システムのハードウェア資源に特定の処理を行うように指示することにより上記の処理が実現される。
【図面の簡単な説明】
【００４６】
【図１】本発明の一実施形態の情報検索システムの構成を示すブロック図である。
【図２】図１中の固有表現抽出部１２における処理を示すフローチャートである。
【図３】図１中の固有表現データベース１３の一例を示す図である。
【図４】図１中の適合文書検索部１４における処理を示すフローチャートである。
【図５】図１中の関連度計算部１５における処理を示すフローチャートである。
【図６】図１中の検索受付部１６における処理を示すフローチャートである。
【図７】「情報検索システム」、「自然言語処理」という２つのトピックでそれぞれ５名ずつキーパーソンを発見した場合の例を示す図である。
【図８】無向化グラフによる可視化の例を示す図である。
【符号の説明】
【００４７】
１１    文書データベース
１２    固有表現抽出部
１３    固有表現データベース
１４    適合文書検索部
１５    関連度計算部
１６    検索受付部
２１〜２４    ステップ
４１〜４４    ステップ
５１〜５４    ステップ
６１〜６５    ステップ
【図１】
2005050135.tif 000006
【図２】
2005050135.tif 000007
【図３】
2005050135.tif 000008
【図４】
2005050135.tif 000009
【図５】
2005050135.tif 000010
【図６】
2005050135.tif 000011
【図７】
2005050135.tif 000012
【図８】
2005050135.tif 000013