(57)【特許請求の範囲】
【請求項１】
複数の文書を保持する文書データベースから、入力したキーワードに関連する関連語を選出する関連語選出装置において、
各文書について、前記キーワード中の単語が出現する数及び各単語の重みをもとに前記キーワードに対する適合度を計算し、前記複数の文書中の、所定の規則に基づいて重複しているとみなされる複数の重複文書から、前記適合度の最も高い文書を適合文書として抽出する適合文書抽出部と、
前記適合文書抽出部により抽出された各適合文書から前記キーワードに関連する関連語を抽出する関連語抽出部と、
を備えたことを特徴とする関連語選出装置。
【請求項２】
請求項１に記載の関連語選出装置において、
前記適合文書抽出部は、前記複数の文書のうち、単語数が同じ文書を前記重複文書とすることを特徴とする関連語選出装置。
【請求項３】
請求項１に記載の関連語選出装置において、
前記重複文書削除部は、前記複数の文書のうち、前記キーワード中の各単語の出現頻度が同じ文書を前記重複文書とすることを特徴とする関連語選出装置。
【請求項４】
請求項１に記載の関連語選出装置において、
前記適合文書抽出部は、前記複数の文書のうち、キーワード中の各単語の出現位置および出現間隔が同じ文書を前記重複文書とすることを特徴とする関連語選出装置。
【請求項５】
複数の文書を保持する文書データベースから、入力したキーワードに関連する関連語を選出する関連語選出装置において、
各文書について、前記キーワード中の単語が出現する数及び各単語の重みをもとに前記キーワードに対する適合度を計算し、前記適合度が同一の文書のうちの一つを適合文書として抽出する適合文書抽出部と、
前記適合文書抽出部により抽出された前記適合文書から前記キーワードに関連する関連語を抽出する関連語抽出部と、
を備えたことを特徴とする関連語選出装置。
【請求項６】
請求項１乃至５の何れか一項に記載の関連語選出装置において、
前記関連語抽出部で抽出された前記関連語を前記キーワードに付加して新しいキーワードを生成するキーワード生成部を有し、
前記適合文書抽出部は、前記キーワード生成部によって生成された新しいキーワード中の単語に基づく新たな適合文書を抽出し、
前記関連語抽出部は、前記新たな適合文書から関連語を抽出することを特徴とする関連語選出装置。
【請求項７】
請求項１乃至６の何れか一項に記載の関連語選出装置において、
前記関連語抽出部は、すでに関連語として選出された単語と同じ適合文書中に低頻度に出現する単語であって、前記選出された単語よりも関連度が低い単語は関連語として登録しないようにしたことを特徴とする関連語選出装置。
【請求項８】
複数の文書を保持する文書データベースから、入力したキーワードに関連する関連語を選出する関連語選出方法において、
適合文書抽出部が、各文書について、前記キーワード中の単語が出現する数及び各単語の重みをもとに前記キーワードに対する適合度を計算し、前記複数の文書中の、所定の規則に基づいて重複しているとみなされる複数の重複文書から、前記適合度の最も高い文書を適合文書として抽出するステップと、
関連語抽出部、前記適合文書抽出部により抽出された各適合文書から前記キーワードに関連する関連語を抽出するステップと、
から構成されることを特徴とする関連語選出方法。
【請求項９】
複数の文書を保持する文書データベースから、入力したキーワードに関連する関連語を選出する関連語選出方法において、
適合文書抽出部が、各文書について、前記キーワード中の単語が出現する数及び各単語の重みをもとに前記キーワードに対する適合度を計算し、前記適合度が同一の文書のうちの一つを適合文書として抽出するステップと、
関連語抽出部が、前記適合文書抽出部により抽出された各適合文書から前記キーワードに関連する関連語を抽出するステップと、
から構成されることを特徴とする関連語選出方法。
【請求項１０】
請求項８又は９に記載の関連語選出方法において、
キーワード生成部が、前記関連語抽出部で抽出された前記関連語を前記キーワードに付加して新しいキーワードを生成するステップと、
前記適合文書抽出部が、前記キーワード生成部によって生成された新しいキーワード中の単語に基づく新たな適合文書を抽出するステップと、
前記関連語抽出部が、前記新たな適合文書から関連語を抽出するステップと、
を有することを特徴とする関連語選出方法。
【請求項１１】
請求項８乃至１０の何れか一項に記載の関連語選出方法をコンピュータに実現させるためのプログラムを記録したことを特徴とするコンピュータ読み取り可能な記録媒体。
【請求項１２】
複数の文書を保持する文書データベースから入力したキーワードに適合する文書を検索する文書検索装置において、
各文書について、前記キーワード中の単語が出現する数及び各単語の重みをもとに前記キーワードに対する適合度を計算し、前記複数の文書中の、所定の規則に基づいて重複しているとみなされる複数の重複文書から、前記適合度の最も高い文書を適合文書として抽出する適合文書抽出部と、
前記適合文書抽出部により抽出された各適合文書から前記キーワードに関連する関連語を抽出する関連語抽出部と、
前記関連語抽出部で抽出された前記関連語を前記キーワードに付加して新しいキーワードを生成するキーワード生成部と、を備え、
前記適合文書抽出部は、前記キーワード生成部によって生成された新しいキーワード中の単語を含む新たな適合文書を抽出し、前記関連語抽出部は、前記新たな適合文書から関連語を抽出することを特徴とする文書検索装置。
【請求項１３】
複数の文書を保持する文書データベースから入力したキーワードに適合する文書を検索する文書検索装置において、
各文書について、前記キーワード中の単語が出現する数及び各単語の重みをもとに前記キーワードに対する適合度を計算し、前記適合度が同一の文書のうちの一つを適合文書として抽出する適合文書抽出部と、
前記適合文書抽出部により抽出された前記適合文書から前記キーワードに関連する関連語を抽出する関連語抽出部と、
前記関連語抽出部で抽出された前記関連語を前記キーワードに付加して新しいキーワードを生成するキーワード生成部と、を備え、
前記適合文書抽出部は、前記キーワード生成部によって生成された新しいキーワード中の単語を含む新たな適合文書を抽出し、前記関連語抽出部は、前記新たな適合文書から関連語を抽出することを特徴とする文書検索装置。
【請求項１４】
複数の文書を保持する文書データベースから入力したキーワードに適合する文書を検索する文書検索方法において、
適合文書抽出部が、各文書について、前記キーワード中の単語が出現する数及び各単語の重みをもとに前記キーワードに対する適合度を計算し、前記複数の文書中の重複文書から、前記適合度の最も高い文書を抽出するステップと、
関連語抽出部が、前記適合文書抽出部により抽出された各適合文書から前記キーワードに関連する関連語を抽出するステップと、
キーワード生成部が、前記関連語抽出部で抽出された前記関連語を前記キーワードに付加して新しいキーワードを生成するステップと、
前記適合文書抽出部が、前記キーワード生成部によって生成された新しいキーワード中の単語に基づく新たな適合文書を抽出するステップと、
前記関連語抽出部が、前記新たな適合文書から関連語を抽出するステップと、
から構成されることを特徴とする文書検索方法。
【請求項１５】
複数の文書を保持する文書データベースから入力したキーワードに適合する文書を検索する文書検索方法において、
適合文書抽出部が、各文書について、前記キーワード中の単語が出現する数及び各単語の重みをもとに前記キーワードに対する適合度を計算し、前記適合度が同一の文書のうちの一つを適合文書として抽出するステップと、
関連語抽出部が、前記適合文書抽出部により抽出された前記適合文書から前記キーワードに関連する関連語を抽出するステップと、
キーワード生成部が、前記関連語抽出部で抽出された前記関連語を前記キーワードに付加して新しいキーワードを生成するステップと、
前記適合文書抽出部が、前記キーワード生成部によって生成された新しいキーワード中の単語を含む新たな適合文書を抽出するステップと、
前記関連語抽出部が、前記新たな適合文書から関連語を抽出するステップと、
から構成されることを特徴とする文書検索方法。
【請求項１６】
請求項１４又は１５に記載の文書検索方法をコンピュータに実現させるためのプログラムを記録したことを特徴とするコンピュータ読取可能な記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、関連語選出装置、その方法および記録媒体並びに文書検索装置、その方法および記録媒体に関し、より詳細には、文書データベースから与えられたキーワードに適合する文書を検索し、その適合文書中からキーワードに関連のある関連語を選出する技術並びに与えられたキーワードの関連語を付加して再検索するための技術に関する。
【０００２】
【従来の技術】
一般に、文書の特徴をあらわすものにキーワードがある。また、その文書に対して別の面から特徴をあらわすためにシソーラスのような関連語をもつ方法もある。
また、この関連語の応用面として、文書を多数集積している文書データベースからユーザの必要とする文書を探しだすときに、ユーザが入力したキーワードを用いて一旦検索した後、そのキーワードに適合した文書中に出現する単語の中から入力したキーワードに関連した単語を選出し、はじめに入力したキーワードに追加し、再度、検索することで、よりユーザの求めるものに近いものを得る方法が知られている。
たとえば、キーワードの関連語を選出する方法として、適合文書中の各単語について、適合文書の中での出現状況などの統計情報を利用して、キーワードとの関連度を算出し、その値の大きい上位何単語かを選出する方法が提案されている（文献１：Robertson, S.E. "On term selection for query expansion" Journal of Documentation 46, Dec 1990,p359-364）。
【０００３】
次に、この従来の関連語の抽出方法についてより詳細に説明する。
まず、ユーザから入力されたキーワード中の各単語に対して単語の重要度に応じた重みを付与する。この単語の重みの計算式には、たとえば、確率モデルにもとづく Robertson の計算式（式１）が知られている（文献２：Robertson, S.E. and Walker, S. "On relevance weights with little relevance information," SIGIR 97, ACM Press, pp.16-24）。この文献２の技術においては、キーワード中の各単語の重みは、検索対象文書全体の中での各単語の出現状況 Wp、Wq に応じて付与される。
W（重み） ＝ Wp  Wq      ………  （式１）
ここで  Wp ＝ k4 + log(N / (N - n))
Wq ＝ log(n / (N - n))
N: 検索対象総文書数
n: 単語の出現する文書数
k4: 調整パラメータ
次に、キーワード中の各単語の重みをもとに、各文書の文書適合度を計算する。この文書適合度の計算式は、たとえば、文献２の計算式（式２）で求まる。
F（適合度） ＝ Σ(W × tf /(k1 + tf))   ………  （式２）
ここで  W ：（式１）で計算された重み
tf: 文書あたりの単語の出現数
k1: 調整パラメータ
各文書の文書適合度を求め、適合度の高い順に各文書を順序づけ、上位何件かを適合文書とみなし、下位何件かを非適合文書とみなす。
適合文書の選出後、適合文書中の不要語（たとえば、冠詞の a など）を除いたすべての単語について、適合文書および非適合文書での出現状況、すなわちフィードバック情報を反映させて、それぞれの単語の重みを再計算する。
適合文書選出後の重みは、たとえば、文献２の計算式（式３）を用いて、検索対象文書全体での出現状況 Wp、Wq （上記の（式１）のコメント参照）と適合文書／非適合文書の中での出現状況 WrとWs を比率 CpとCq で足し合わせて付与される。
W'（重み）＝(Cp・Wp+(1-Cp)・Wr)-(Cq・Wq+(1-Cq)・Ws) ……（式３）
ここで  Wr = log((r + 0.5) / (R - r + 0.5))
Ws = log((s + 0.5) / (S - s + 0.5))
Cp ＝ k5 / (k5 + √R)
Cq ＝ k6 / (k6 + √S)
R: 適合文書数
r: 適合文書集合の中で単語の出現する文書数
S: 非適合文書数
s: 非適合文書集合の中で単語の出現する文書数
k5, k6: 調整パラメータ
さらに、この重みとフィードバック情報から適合文書中の不要語を除いた各単語について、キーワードとの関連度を求める。
【０００４】
関連度の算出方法としては、たとえば、Boughanem の計算式（式４）がある(文献３：Walker, S. et al., "Okapi at TREC-6:Automated ad hoc, VLC, routing, filtering and QSDR," The Sixth Test REtrieval Conference (TREC-6), 1996, NIST)。
関連度 ＝ (r / R - α・s / S) × W'  ………  （式４）
ここで  α: 調整パラメータ
このようにして、適合文書中の各単語について、キーワードとの関連度を求めて、関連度の高いものから順にキーワード関連語として選出する。
文書検索装置に利用するときには、入力したキーワードにこの関連語を追加して新しいキーワードを作成し、この新しいキーワードを用いて、再度、適合文書を選出する。
【０００５】
【発明が解決しようとする課題】
上記のような関連語を抽出するためには、検索対象の文書の内容が異なるものとしてデータベースを検索するのが通例であった。
しかし、たとえば、インターネット上で公開されている文書というのは、複数のサーバー（ミラーサイト）上で同一の文書を公開することもめずらしくない。
これらは、同一文書であっても、文書の識別子であるインターネットのアドレスは異なっているので、データベースから見れば、別文書とみなされてしまう。
また、もともと同一文書だった複数の文書（以下、重複文書と呼ぶ）に、個別に、異なったタイミングで小さな修正が加えられた結果、厳密には同じでないものの、ほぼ同一といえる複数の文書（以下、準重複文書と呼ぶ）がデータベース上に混在することになる場合もある。
従って、このような文書データベースには、重複文書や準重複文書の複数の文書が存在する可能性があり、従来の技術で提案されてきたキーワードの関連語選出方法では、次のような問題が出てくることになった。
キーワードと単語の関連度は、適合文書中でその単語が出現する文書数等をもとに計算されるため、当然、重複文書および準重複文書中の単語は、出現文書数が多くなり、その結果、キーワード関連度が高いとみなされてしまうことになる。
適切な関連語を得るには、中身の異なる複数の文書から広く共通に出現する単語を選出するのが望ましく、中身の似通ったいくつかの文書に出現しているからといって高い関連度を付与してしまうと、汎用性のとぼしい偏った単語が選ばれてしまうおそれがある。
本発明は、上述の問題を解決するためのものであり、文書データベースの中から与えられたキーワードの関連語を偏ることなく選出し、検索に寄与できる関連語選出装置、その方法および記録媒体を提供することを目的とする。
また、このような関連語を用いてユーザの所望する的確な文書を検索することができる文書検索装置、その方法および記録媒体を提供することを目的とする。
【０００６】
【課題を解決するための手段】
上記の課題を解決するために、請求項１記載の発明は、複数の文書を保持する文書データベースから、入力したキーワードに関連する関連語を選出する関連語選出装置において、各文書について、前記キーワード中の単語が出現する数及び各単語の重みをもとに前記キーワードに対する適合度を計算し、前記複数の文書中の、所定の規則に基づいて重複しているとみなされる複数の重複文書から、前記適合度の最も高い文書を適合文書として抽出する適合文書抽出部と、前記適合文書抽出部により抽出された各適合文書から前記キーワードに関連する関連語を抽出する関連語抽出部と、を備えたことを特徴とする。
また請求項２に記載の発明は、請求項１に記載の関連語選出装置において、前記適合文書抽出部は、前記複数の文書のうち、単語数が同じ文書を前記重複文書とすることを特徴とする。
また、請求項３に記載の発明は、請求項１に記載の関連語選出装置において、前記重複文書削除部は、前記複数の文書のうち、前記キーワード中の各単語の出現頻度が同じ文書を前記重複文書とすることを特徴とする。
また、請求項４に記載の発明は、請求項１に記載の関連語選出装置において、前記適合文書抽出部は、前記複数の文書のうち、キーワード中の各単語の出現位置および出現間隔が同じ文書を前記重複文書とすることを特徴とする。
また、請求項５に記載の発明は、複数の文書を保持する文書データベースから、入力したキーワードに関連する関連語を選出する関連語選出装置において、各文書について、前記キーワード中の単語が出現する数及び各単語の重みをもとに前記キーワードに対する適合度を計算し、前記適合度が同一の文書のうちの一つを適合文書として抽出する適合文書抽出部と、前記適合文書抽出部により抽出された前記適合文書から前記キーワードに関連する関連語を抽出する関連語抽出部と、を備えたことを特徴とする。
また、請求項６に記載の発明は、請求項１乃至５の何れか一項に記載の関連語選出装置において、前記関連語抽出部で抽出された前記関連語を前記キーワードに付加して新しいキーワードを生成するキーワード生成部を有し、前記適合文書抽出部は、前記キーワード生成部によって生成された新しいキーワード中の単語に基づく新たな適合文書を抽出し、前記関連語抽出部は、前記新たな適合文書から関連語を抽出することを特徴とする。
また、請求項７に記載の発明は、請求項１乃至６の何れか一項に記載の関連語選出装置において、前記関連語抽出部は、すでに関連語として選出された単語と同じ適合文書中に低頻度に出現する単語であって、前記選出された単語よりも関連度が低い単語は関連語として登録しないようにしたことを特徴とする。
また、請求項８に記載の発明は、複数の文書を保持する文書データベースから、入力したキーワードに関連する関連語を選出する関連語選出方法において、適合文書抽出部が、各文書について、前記キーワード中の単語が出現する数及び各単語の重みをもとに前記キーワードに対する適合度を計算し、前記複数の文書中の、所定の規則に基づいて重複しているとみなされる複数の重複文書から、前記適合度の最も高い文書を適合文書として抽出するステップと、関連語抽出部、前記適合文書抽出部により抽出された各適合文書から前記キーワードに関連する関連語を抽出するステップと、から構成されることを特徴とする。
また、請求項９に記載の発明は、複数の文書を保持する文書データベースから、入力したキーワードに関連する関連語を選出する関連語選出方法において、適合文書抽出部が、各文書について、前記キーワード中の単語が出現する数及び各単語の重みをもとに前記キーワードに対する適合度を計算し、前記適合度が同一の文書のうちの一つを適合文書として抽出するステップと、関連語抽出部が、前記適合文書抽出部により抽出された前記適合文書から前記キーワードに関連する関連語を抽出するステップと、から構成されることを特徴とする。
【０００７】
また、請求項１０に記載の発明は、請求項８又は９に記載の関連語選出方法において、キーワード生成部が、前記関連語抽出部で抽出された前記関連語を前記キーワードに付加して新しいキーワードを生成するステップと、前記適合文書抽出部が、前記キーワード生成部によって生成された新しいキーワード中の単語に基づく新たな適合文書を抽出するステップと、前記関連語抽出部が、前記新たな適合文書から関連語を抽出するステップと、を有することを特徴とする。
また、請求項１１に記載の発明は、請求項８乃至１０の何れか一項に記載の関連語選出方法をコンピュータに実現させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体を特徴とする。
また、請求項１２に記載の発明は、複数の文書を保持する文書データベースから入力したキーワードに適合する文書を検索する文書検索装置において、各文書について、前記キーワード中の単語が出現する数及び各単語の重みをもとに前記キーワードに対する適合度を計算し、前記複数の文書中の、所定の規則に基づいて重複しているとみなされる複数の重複文書から、前記適合度の最も高い文書を適合文書として抽出する適合文書抽出部と、前記適合文書抽出部により抽出された各適合文書から前記キーワードに関連する関連語を抽出する関連語抽出部と、前記関連語抽出部で抽出された前記関連語を前記キーワードに付加して新しいキーワードを生成するキーワード生成部と、を備え、前記適合文書抽出部は、前記キーワード生成部によって生成された新しいキーワード中の単語を含む新たな適合文書を抽出し、前記関連語抽出部は、前記新たな適合文書から関連語を抽出することを特徴とする。
また、請求項１３に記載の発明は、複数の文書を保持する文書データベースから入力したキーワードに適合する文書を検索する文書検索装置において、各文書について、前記キーワード中の単語が出現する数及び各単語の重みをもとに前記キーワードに対する適合度を計算し、前記適合度が同一の文書のうちの一つを適合文書として抽出する適合文書抽出部と、前記適合文書抽出部により抽出された前記適合文書から前記キーワードに関連する関連語を抽出する関連語抽出部と、前記関連語抽出部で抽出された前記関連語を前記キーワードに付加して新しいキーワードを生成するキーワード生成部と、を備え、前記適合文書抽出部は、前記キーワード生成部によって生成された新しいキーワード中の単語を含む新たな適合文書を抽出し、前記関連語抽出部は、前記新たな適合文書から関連語を抽出することを特徴とする。
また、請求項１４に記載の発明は、複数の文書を保持する文書データベースから入力したキーワードに適合する文書を検索する文書検索方法において、適合文書抽出部が、各文書について、前記キーワード中の単語が出現する数及び各単語の重みをもとに前記キーワードに対する適合度を計算し、前記複数の文書中の重複文書から、前記適合度の最も高い文書を抽出するステップと、関連語抽出部が、前記適合文書抽出部により抽出された各適合文書から前記キーワードに関連する関連語を抽出するステップと、キーワード生成部が、前記関連語抽出部で抽出された前記関連語を前記キーワードに付加して新しいキーワードを生成するステップと、前記適合文書抽出部が、前記キーワード生成部によって生成された新しいキーワード中の単語に基づく新たな適合文書を抽出するステップと、前記関連語抽出部が、前記新たな適合文書から関連語を抽出するステップと、
から構成されることを特徴とする。
また、請求項１５に記載の発明は、複数の文書を保持する文書データベースから入力したキーワードに適合する文書を検索する文書検索方法において、適合文書抽出部が、各文書について、前記キーワード中の単語が出現する数及び各単語の重みをもとに前記キーワードに対する適合度を計算し、前記適合度が同一の文書のうちの一つを適合文書として抽出するステップと、関連語抽出部が、前記適合文書抽出部により抽出された前記適合文書から前記キーワードに関連する関連語を抽出するステップと、キーワード生成部が、前記関連語抽出部で抽出された前記関連語を前記キーワードに付加して新しいキーワードを生成するステップと、前記適合文書抽出部が、前記キーワード生成部によって生成された新しいキーワード中の単語を含む新たな適合文書を抽出するステップと、前記関連語抽出部が、前記新たな適合文書から関連語を抽出するステップと、から構成されることを特徴とする。
また、請求項１６に記載の発明は、請求項１４又は１５に記載の文書検索方法をコンピュータに実現させるためのプログラムを記録したコンピュータ読取可能な記録媒体を特徴とする。
【０００８】
また、本発明の請求項１０の文書検索装置は、複数の文書を保持する文書データベースから入力したキーワードに適合する文書を検索する文書検索装置において、前記キーワードによって前記文書データベースから検索された適合度の高い文書のうち文書内容が同一か、またはほぼ同一の文書を削除し、削除されずに残った文書から適合度の高い文書を抽出する適合文書抽出部と、前記適合文書抽出部で抽出された適合文書から前記キーワードに関連する関連語を抽出する関連語抽出部と、前記関連語抽出部で抽出された関連語を前記キーワードに付加して新しいキーワードを生成するキーワード生成部とを備え、前記適合文書抽出部は、再度、前記キーワード生成部で生成した新しいキーワードによって検索し、ユーザの所望する的確な文書を得るようにしたことを特徴とする。
また、本発明の請求項１１の文書検索方法は、複数の文書を保持する文書データベースから入力したキーワードに適合する文書を検索する文書検索方法において、前記キーワードによって前記文書データベースから検索された文書のうち文書内容が同一か、またはほぼ同一の文書を削除し、その削除されずに残った文書から適合度の高い文書を抽出し、この抽出された文書から前記キーワードと関連のある関連語を抽出し、この関連語を前記キーワードに付加して新しいキーワードを生成し、この新しいキーワードを用いて、再度、前記文書データベースを検索することによってユーザの所望する文書を検索することを特徴とする。
また、本発明の請求項１２の記録媒体は、コンピュータを、複数の文書を保持する文書データベースから入力したキーワードに適合する文書を検索する文書検索装置として機能させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体であって、前記キーワードによって前記文書データベースから検索された適合度の高い文書のうち文書内容が同一か、またはほぼ同一の文書を削除し、削除されずに残った文書から適合度の高い文書を抽出する適合文書抽出部と、前記適合文書抽出部で抽出された適合文書から前記キーワードに関連する関連語を抽出する関連語抽出部と、前記関連語抽出部で抽出された関連語を前記キーワードに付加して新しいキーワードを生成するキーワード生成部とを備え、前記適合文書抽出部は、再度、前記キーワード生成部で生成した新しいキーワードによって検索し、ユーザの所望する的確な文書を得る機能を実現するための文書検索プログラムを記録した。
【０００９】
【発明の実施の形態】
以下に、図面を用いて本発明の実施の形態の構成および動作を詳細に述べる。
（１）第１の実施の形態の構成
図１は、本発明に係る関連語選出装置の第１の実施の形態の機能ブロック図である。
第１の実施の形態の関連語選出装置は、キーワード入力部１１０、適合文書抽出部１２０、関連語抽出部１３０、キーワード生成部１４０、出力部１５０、文書データベース１６０より構成される。
キーワード入力部１１０は、ユーザがキーボード等により、文書データベース１６０中にある文書の特徴をあらわすキーワードとなる文字列を入力する。
適合文書抽出部１２０は、キーワード入力部１１０から渡されたキーワードに対して、文書データベース１６０を検索し、適合する文書と適合しない文書とを選定する。このとき、適合度の高い検索対象文書のうち文書内容が同一の文書（重複文書）か、またはほぼ同一の文書（準重複文書）（ここでは、これら重複文書と準重複文書をまとめて重複文書と呼ぶことにする）を一つだけ残して他の重複文書を削除する。この削除作業は、予め決められた適合文書数になるまで繰り返す。これにより適合度の高い文書には重複が少なくなる。
関連語抽出部１３０は、適合文書抽出部１２０で抽出された適合文書の中から取り出された単語と入力されたキーワードとの間で計算される関連度に応じて関連語を抽出し、キーワード生成部１４０へ渡す。
キーワード生成部１４０は、関連語抽出部１３０から渡された関連語をもとのキーワードに追加して新しいキーワードを生成する。この新しいキーワードは、さらにもとのキーワードと関連のある関連語を抽出するために適合文書抽出部１２０へ渡すようにしてもよいし、そのまま出力部１５０からユーザに提示させてもよい。
出力部１５０は、関連語抽出部１３０で抽出された関連語およびその元となったキーワードとをプリンタ、表示装置、記憶装置等へ出力するか、または、ネットワークを介して他のコンピュータ装置へ送信する。
文書データベース１６０は、検索対象となる文書を保持する文書情報と、その文書中に含まれている各単語の単語統計情報から構成される（図２参照）。
たとえば、文書情報には、各文書に対して次のような情報が保持される。
文書識別子（ＩＤ）、文書名、書誌事項（作成者、作成日、発行所等）、
文書実体へのポインタ等
また、単語統計情報には、単語ごとに次のような統計情報を保持する。
単語の表記、この単語の文書データベース全体での出現頻度、単語出現情報等ここで単語出現情報としては、単語が出現する文書ごとに次の情報を保持する。
この単語が出現する文書の文書識別子、この文書に出現する単語出現頻度、この文書にこの単語が出現する出現位置の一覧等
【００１０】
（２）第１の実施の形態の動作
次に、このように構成された第１の実施の形態の関連語選出装置の動作について、図３のフローチャートに基いて説明する。
まず、キーボード等の入力装置からキーワードの文字列を入力する（ステップＳ１００）。
これにより、キーワード入力部１１０を構成する。
このキーワードは、たとえば、英語や日本語の単語や単語の組み合わせで構成し、必要に応じて単語の組み合わせは、単単語へ分解する。
この入力されたキーワード中のそれぞれの単語について、文書データベース１６０の単語統計情報を参照し、たとえば、上記（式１）を用いて単語の重要度に応じた重みを計算する（ステップＳ１１０）。
次に、検索対象である文書データベース１６０中のそれぞれの文書に対して、次の情報を計算し、文書一覧表を作成する（ステップＳ１２０）。
【００１１】
（Ａ）文書ごとに適合度の計算
文書データベース１６０の単語統計情報とステップＳ１１０で計算されたキーワードの単語の重みとを参照し、その文書にキーワード中の単語がどのくらい含まれているかを示す適合度を、たとえば、上記（式２）を用いて計算する。
（Ｂ）文書ごとに含まれる単語数
文書データベース１６０の単語統計情報から文書に含まれる単語数を計算する。
この単語統計情報で、同じ文書識別子をもつ単語の出現頻度を総計することによって計算できる。
この文書一覧表を文書の適合度を第１キー、文書に含まれる単語数を第２キーとして、降順に各文書を順序づける（ステップＳ１３０）。
この順序付けられた文書一覧表で、同じ単語数の文書があった場合、そのうちの適合度のもっとも高い文書のみを残して、残りの同じ単語数の文書を削除する。この操作を適合度の高いほうから所定の数（たとえば、１０文書数程度）になるまで繰り返す。ここで選定されたものが適合文書として抽出される。
これは、中身の異なる二つの文書が同じ単語数となることは、極めてまれであることから、単語数が同じ文書は、中身も同じ可能性が高いと本発明ではみなしている。
さらに、文書一覧表の下位から所定の件数（たとえば、５００件程度）の文書を非適合文書とみなす。この非適合文書に対しても適合文書と同じように重複文書を削除する（ステップＳ１４０）。
この適合文書か非適合文書かは、順序づけられた文書の一覧表（適合度、文書名や書誌事項等の一覧）をユーザに提示し、ユーザに指示させて決定するようにしてもよい。
【００１２】
ステップＳ１１０からステップ１４０までにより、適合文書抽出部１２０を構成する。
ステップＳ１４０で求めた適合文書中の単語を入力キーワードの関連語の候補となる関連語単語表として作成する。これは文書データベース１６０の単語統計情報に保持された適合文書に含まれる単語を取り出して作成される。このとき、予め用意された不要語表を参照して、これに登録されている単語は関連語単語表へは登録しない。
さらに、この関連語単語表に登録された単語ごとに、適合文書および非適合文書での出現状況を文書データベース１６０の単語統計情報から取り出し、たとえば、（式３）および（式４）を使って、キーワードとの関連度を計算する。
この関連度の高いものから順に所定の数（たとえば、１０単語程度）だけ選択し、これをキーワード関連語として抽出する（ステップＳ１５０）。
ステップＳ１５０により関連語抽出部１３０を構成する。
ステップS１５０で抽出したキーワード関連語を入力されたときの元のキーワードへ追加し、新しいキーワードを作成する（ステップＳ１６０）。
これにより、キーワード生成部１４０を構成する。
さらに、関連語を抽出するかをユーザに指定させ（ステップS１７０）、抽出を行うという指示の時には、この新しいキーワードを用いてステップＳ１１０から繰り返す。抽出を終了するときには、ステップS１８０へ進む。
なお、この関連語の抽出は、繰り返さずともよいし、所定の回数これを繰り返すようにしてもよいし、また、ユーザに適合文書を検索するたびに出力して繰り返すように構成してもよい。
ステップＳ１６０で生成された新しいキーワードを表示装置、プリンタや記憶装置等の出力装置へ出力することによってユーザに提示される（ステップＳ１８０）。これにより、出力部１５０を構成する。
また、出力は、適合文書をネットワークで接続された他のコンピュータ装置へ送信するようにしてもよい。
関連語選出装置を第１の実施の形態のような構成にすることによって、中身の異なる複数の文書から広く共通に出現する単語をキーワードの関連語として選出することができるようになり、ユーザの所望する的確な文書を検索することに寄与できる。
【００１３】
＜第１の実施の形態の変形例（１）＞
第１の実施の形態の変形例の関連語選出装置について説明する。
本変形例の構成は、図１に示される第１の実施の形態の構成と同じである。
しかし、適合文書抽出部１２０の動作が次の点で第１の実施の形態とは相違している。
第１の実施の形態では、重複文書と見なす基準として、文書に含まれている単語の数に注目したが、本変形例では、適合度が同じ文書の場合に重複文書または準重複文書と見なしている。
この場合、図３のフローチャートのステップＳ１２０の文書一覧表を作成するときに、ステップＳ１３０では適合度だけで降順に順序づける。
その上で、ステップＳ１４０では、文書一覧表で同じ適合度を持つ文書のうちのひとつのみを残し、他の同じ適合度をもつ文書を削除する。
これは、中身の異なる二つの文書が同じ適合度となることは、極めてまれであることから、適合度が同じ文書は、中身も同じ可能性が高いとみなしている。
関連語選出装置を本変形例のような構成にすることによって、中身の異なる複数の文書から広く共通に出現する単語をキーワードの関連語として選出することができるようになり、ユーザの所望する的確な文書を検索することに寄与できる。
【００１４】
＜第１の実施の形態の変形例（２）＞
第１の実施の形態の別の変形例の関連語選出装置について説明する。
本変形例の構成は、図１に示される第１の実施の形態の構成と同じである。
しかし、適合文書抽出部１２０の動作が次の点で第１の実施の形態とは相違している。
第１の実施の形態では、重複文書と見なす基準として、文書に含まれている単語の数に注目したが、本変形例では、キーワード中の各単語の出現頻度が同じ文書の場合に重複文書または準重複文書と見なしている。
この場合、図３のフローチャートのステップＳ１２０の文書一覧表を作成するときに、各文書中に出現するキーワード中の各単語の出現頻度を計算する。
ステップＳ１３０では、適合度とこのキーワード中の各単語の出現頻度とをキーとして降順に順序づける。
その上で、ステップＳ１４０では、文書一覧表でキーワード中の各単語の出現頻度が同じ文書のうちの適合度のもっとも高い文書のうちのひとつのみを残し、各単語の出現頻度が同じ他の文書を削除する。
たとえば、キーワードが「情報検索」であった場合に、文書１は、「情報」が２回、「検索」が1回出現し、適合度が0.87である。さらに、文書２は、「情報」が２回、「検索」が1回出現し、適合度が0.85である。
このような場合には、文書一覧表から文書２を削除し、文書１のみを残すようにする。
これは、中身の異なる二つの文書にキーワード中の各単語が同じ頻度で出現することは、極めてまれであることから、キーワード中の各単語の出現頻度が同じ文書は、中身も同じ可能性が高いとみなしている。
関連語選出装置を本変形例のような構成にすることによって、中身の異なる複数の文書から広く共通に出現する単語をキーワードの関連語として選出することができるようになり、ユーザの所望する的確な文書を検索することに寄与できる。
【００１５】
＜第１の実施の形態の変形例（３）＞
第１の実施の形態の更に別の変形例の関連語選出装置について説明する。
本変形例の構成は、図１に示される第１の実施の形態の構成と同じである。
しかし、適合文書抽出部１２０の動作が次の点で第１の実施の形態とは相違している。
第１の実施の形態では、重複文書と見なす基準として、文書に含まれている単語の数に注目したが、本変形例では、キーワード中の各単語の出現位置および出現間隔が同じ文書の場合に重複文書または準重複文書と見なしている。
この場合、図３のフローチャートのステップＳ１２０の文書一覧表を作成するときに、各文書中に出現するキーワード中の各単語の出現位置（文書の前・後から何語目に）および出現間隔（何語離れて）を抽出する。
ステップＳ１３０では、適合度とこのキーワード中の各単語の出現位置および出現間隔とをキーとして降順に順序づける。
ステップＳ１４０では、文書一覧表でキーワード中の各単語の出現位置および出現間隔が同じ文書のうちの適合度のもっとも高い文書のうちのひとつのみを残し、他の文書を削除する。
【００１６】
たとえば、キーワードが「情報検索」であった場合に、文書１は、10語目と20語目に「情報」が、11語目に「検索」が出現し、適合度が0.87である。
さらに、文書２は、10語目と20語目に「情報」が、11語目に「検索」が出現し適合度が0.85である。
このような場合には、文書一覧表から文書２を削除し、文書１のみを残すようにする。
これは、中身の異なる二つの文書にキーワード中の各単語が同じ出現位置および出現間隔で出現することは、極めてまれであることから、キーワード中の各単語が同じ出現位置および出現間隔が同じ文書は、中身も同じ可能性が高いとみなしている。
本変形例の関連語選出装置をこのような構成にすることによって、中身の異なる複数の文書から広く共通に出現する単語をキーワードの関連語として選出することができるようになり、ユーザの所望する的確な文書を検索することに寄与できる。
なお、本発明の関連語選出装置は、適合文書抽出部１２０として、上記した第１の実施の形態、変形例（１）、（２）または（３）を単独に使用して構成するだけでなく、適宜、組合せた構成をとってもよい。たとえば、最初の重複文書の削除で残った文書に対して、他の方法を適用してさらに重複文書を削除するように構成してもよい。
【００１７】
＜第１の実施の形態の変形例（４）＞
第１の実施の形態の更に別の変形例の関連語選出装置について説明する。
本変形例の構成は、図１に示される第１の実施の形態の構成と同じである。
しかし、関連語抽出部１３０の動作が次の点で上述した第１の実施の形態および変形例（１）〜（３）とは相違している。
第１の実施の形態の関連語抽出部１３０では、単にキーワードと関連度の高い単語を関連語と見なしている。しかし、本変形例では、関連語として一旦、抽出されたもののうち低頻度語を削除してから、関連度の高い関連語を残すようにしている点が相違している。
この低頻度語の削除は、適合文書中に出現する各単語に対してキーワードとの関連度を算出し、適合文書での出現頻度が低く、すでに関連語として選出した単語と同じ文書群に出現する、より関連度の低い単語を関連語として採用しないようにする。
たとえば、キーワード「情報検索」に対して、適合文書抽出部１２０で適合文書として１０文書を選出し、それらの文書から関連語として文書２と文書７に出現しており、関連度が0.68である単語「Okapi」が選出されているとする。
この場合、関連語の候補の単語「BM25」が、文書２と文書７に出現しており関連度が0.62であったときには、単語「BM25」を関連語とはせず、単語「Okapi」のみを関連語として残すようにする。
一般に、適合文書中で単語の出現頻度が高く、検索対象文書全体でその単語の出現頻度が低いほど、単語とキーワードとの関連度は高くなることは、（式３）および（式４）から導出することができる。
逆に、適合文書中で出現頻度が低く、関連度が高い単語は、検索対象文書全体での出現頻度が低いと考えられる。このような検索対象文書全体での出現頻度が低い単語（低頻度語）同士が同じ文書に同時に出現することは、極めてまれであり、複数の低頻度語がともに出現する文書群は、たがいに中身が非常に近い可能性が高いと判断する。
従って、適合文書中で出現頻度が低く、すでに関連語として選出した単語と同じ文書群に出現する、より関連度の低い単語は、関連語として採用しないことで、中身がほぼ同一である可能性の高い文書にある単語を省いて、より関連度の高いキーワード関連語を選択することができるようになる。
【００１８】
本変形例の場合、図３のフローチャートのステップＳ１６０のキーワードの関連語を抽出して新しいキーワードを生成するときに、次のような手順で低頻度の単語を削除して関連語を抽出する。
先ず、適合文書中に出現する単語を抽出し、たとえば、（式３）および（式４）を用いて、これらの単語に対してキーワードとの関連度を算出する。また、これらの単語の適合文書中での出現頻度と、この単語がどの文書に出現するかも抽出する。
この出現頻度が所定の数より低い単語に対して、すでに関連語として選出した単語と同じ文書群にも出現する場合、単語とその関連語の関連度を比較し、単語の方の関連度が低いときは、関連語として採用しない。
この操作によって、残された単語をキーワードの関連語として採用し、新しいキーワードを生成する。
本変形例の関連語選出装置をこのような構成にすることによって、中身の異なる複数の文書からより関連度の強い単語をキーワードの関連語として選出することができるようになり、ユーザの所望する的確な文書を検索することに寄与できる。
【００１９】
＜第２の実施の形態＞
（１）第２の実施の形態の構成
図４は、本発明に係る文書検索装置の実施の形態の機能構成例を示すブロック図である。
この実施の形態の文書検索装置は、キーワード入力部１１０、適合文書抽出部１２０、関連語抽出部１３０、キーワード生成部１４０、文書出力部１７０、文書データベース１６０より構成される。
第１の実施の形態の関連語選出装置と同様の機能をもつブロックには同じ符号を付けてあり、以下では、相違点についてのみ説明する。
適合文書抽出部１２０では、キーワード入力部１１０またはキーワード生成部１４０から受け取るキーワードに対して、文書データベース１６０を検索し、適合度を計算した時点（図３のステップＳ１２０に相当）で、文書出力部を介して、ユーザに検索結果を出力し、その当否を判断させる。
ここでユーザが否とした場合、キーワードを再入力するかまたは関連語を選出して、キーワードに付加し、再度、検索のやり直しをさせるようにする。
関連語を抽出するように指示された場合、適合文書抽出部１２０は、重複文書を削除する（図３のステップＳ１３０からＳ１５０までに相当）。この削除法には、上記した第１の実施の形態（変形例（１）〜（３）も含まれる）が使われる。
キーワード生成部１４０では、生成された関連語を付加した新しいキーワードを生成し、この新キーワードを適合文書抽出部１２０へ直接渡すようにする。
文書出力部１７０は、適合文書抽出部１２０で検索された適合度の高い文書の一覧（たとえば、適合度、文書名、書誌事項等による一覧表）をプリンタ、表示装置またはフ記憶装置等の出力装置へ出力したり、または、ネットワークを介して他のコンピュータへ送信することによって、ユーザへキーワードに適合する文書の一覧を提供できる。
文書検索装置を第２の実施の形態のような構成にすることによって、中身の異なる複数の文書からより関連度の強い単語をキーワードの関連語として選出することができるようになり、ユーザの所望する的確な文書を検索することができる。
【００２０】
＜コンピュータによる実施の形態＞
さらに、本発明は上記の実施の形態のみに限定されたものではない。たとえば、図１または図４に示した関連語選出装置や文書検索装置は、図５のようなハードウェア構成を持つコンピュータ装置２００によっても実現が可能である。
すなわち、コンピュータ装置２００は、キーボード、マウス、タッチパネル、スキャナ等により構成され、情報の入力に使用される入力装置１と、種々の出力情報や入力装置１からの入力された情報などを表示出力させる表示装置２と、種々のプログラムを動作させるＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ；中央処理ユニット）３と、プログラム自身を保持し、またそのプログラムがＣＰＵ３によって実行されるときに一時的に作成される情報等を保持するメモリ４と、本発明の関連語選出装置や文書検索装置の文書データベース１６０およびプログラムやプログラム実行時の一時的な情報等を保持する記憶装置５と、プログラムやデータ等を記憶した記録媒体を装着してそれらを読み込み、メモリ４または記憶装置５へ格納するのに用いられる媒体駆動装置６と、ネットワーク９へ接続するためのインタフェースであるネットワーク接続装置７とから構成され、それらはバス８で接続されている。
また、ネットワーク９は、コンピュータ装置２００と他のコンピュータ装置２００とを結合するための伝送路であって、一般には、ケーブルで実現され、通信プロトコルにはＴＣＰ／ＩＰが使われる。但し、伝送路としてはケーブルだけではなく、それらの間の通信プロトコルが一致するものであれば無線、有線および放送波のいずれでもよく、たとえば、ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、インターネット、アナログ電話網、デジタル電話網（ＩＳＤＮ：Ｉｎｔｅｇｒａｌ  Ｓｅｒｖｉｃｅ  Ｄｉｇｉｔａｌ  Ｎｅｔｗｏｒｋ）、ＰＨＳ（パーソナルハンディシステム）、携帯電話網、衛星通信網などを用いることができる。
このようなコンピュータ装置２００の構成において、図１または図４に示した関連語選出装置や文書検索装置を構成する各機能をそれぞれプログラム化し、予めＣＤ−ＲＯＭ等の記録媒体に書き込んでおき、このＣＤ−ＲＯＭを各サイトのＣＤ−ＲＯＭドライブのような媒体駆動装置６を搭載したコンピュータ装置に装着して、これらのプログラムをそれぞれのコンピュータ装置のメモリ４あるいは記憶装置５に格納し、それを実行することによって、上記の実施の形態と同様な機能を実現することができる。
【００２１】
なお、記録媒体としては半導体媒体（たとえば、ＲＯＭ、ＩＣメモリカード等）、光媒体（たとえば、ＤＶＤ、ＭＯ、ＭＤ、ＣＤ−Ｒ等）、磁気媒体（たとえば、磁気テープ、フレキシブルディスク等）のいずれであってもよい。
また、コンピュータ装置２００のメモリ４へロードしたプログラムを実行することにより上記した実施の形態の機能が実現されるだけでなく、そのプログラムの指示に基づき、オペレーティングシステム等が実際の処理の一部または全部を行い、その処理によって上記した実施の形態の機能が実現される場合も含まれる。
また、上記した実施の形態を実現するプログラムがＲＯＭ等のような半導体の記録媒体である場合には、媒体駆動装置６からではなく、直接、メモリ４へロードして実行される。
【００２２】
＜本発明のネットワーク環境での運用＞
図６は、本発明を有線または無線の通信ネットワークに接続して運用する形態の構成を示している。
たとえば、関連語選出プログラムや文書検索プログラムを保持するサーバー３００と複数のユーザが利用する端末３１０とをネットワーク９で接続する。
この場合、サーバー３００およびユーザの端末３１０は、図５に示した汎用のコンピュータ装置２００で構成される。
ユーザは、端末３１０からサーバー３００に対してログインしたり、文書検索のためのキーワードを入力し、サーバー３００の文書検索プログラムへ検索の実行を依頼する。サーバー３００の文書検索プログラムは指定されたキーワードに適合した検索結果を要求もとの端末３１０へ戻す。ユーザの端末３１０は、この検索結果を出力する。
このようにすることで、常に最新の文書検索プログラムを使えるという利点がある。
ユーザは、関連語選出プログラムに対しても文書検索プログラム同様にして実行することにより、キーワードに関連した関連語を得ることができる。
また、図６のようにサーバー３００と端末３１０とを有線または無線の通信ネットワークで接続した場合、サーバー３００の磁気ディスク等の記憶装置に本発明の機能を実現する関連語選出プログラムや文書検索プログラムを格納しておき、端末３１０に対してダウンロード等の形式で頒布することも可能である。
さらに、本発明の機能を実現する関連語選出プログラムや文書検索プログラムを媒体や放送波による配布で提供するようにしてもよい。
【００２３】
【発明の効果】
以上説明したように、本発明によれば、キーワード関連語選出の際に、適合文書中に中身が同一あるいは、ほぼ同一である文書が複数含まれていても、それによって関連語が偏ることなく、検索に寄与できる適切な関連語を選ぶことができる。
これによって、ユーザの所望する的確な文書を検索することができる。
【図面の簡単な説明】
【図１】第１の実施の形態の関連語選出装置の構成を示すブロック図である。
【図２】文書データベースのデータ構造を説明するための図である。
【図３】第１の実施の形態の関連語選出装置の処理の流れを説明するためのフローチャートである。
【図４】第２の実施の形態の文書検索装置の構成を示すブロック図である。
【図５】本発明をコンピュータで実現するときのハードウェアの構成を示す図である。
【図６】本発明をネットワーク環境で運用する場合を説明するための図である。
【符号の説明】
１１０  ……  キーワード入力部
１２０  ……  適合文書抽出部
１３０  ……  関連語抽出部
１４０  ……  キーワード生成部
１５０  ……  出力部
１６０  ……  文書データベース
１７０  ……  文書出力部
２００  ……  コンピュータ装置
３００  ……  サーバー
３１０  ……  端末
１  ……  入力装置
２  ……  表示装置
３  ……  ＣＰＵ
４  ……  メモリ
５  ……  記憶装置
６  ……  媒体駆動装置
７  ……  ネットワーク接続装置
８  ……  バス
９  ……  ネットワーク
【図１】
0004154118.tif 000002
【図２】
0004154118.tif 000003
【図３】
0004154118.tif 000004
【図４】
0004154118.tif 000005
【図５】
0004154118.tif 000006
【図６】
0004154118.tif 000007