(57)【要約】【課題】文書インデックスの更新を効率的に行うことができるようにする。【解決手段】データ処理装置３０は、所定の更新タイミングにおいて、単語重み値の再計算処理を行う。この際、全文書数Ｎの増減率Ｎｐが所定の閾値を上回るか否かを判定し（ステップＳ１１）、増減率Ｎｐが閾値を上回る場合、抽出されている単語の全てについて、単語重み値を一括して再計算する（ステップＳ１２）。これに対し、増減率Ｎｐが閾値を下回る場合（ステップＳ１１でＮＯ）、単語重み値の一括再計算は実行されない。この場合、個々の単語ごとに、単語重み値の再計算が必要であるか否かが判定される（ステップＳ１３）。ある単語について文書頻度ｄｆの増減率が所定の閾値を上回る場合は、その単語重み値の再計算が実行される。一方、文書頻度ｄｆの増減率が所定の閾値を下回る場合、その単語重み値の再計算は実行されない（ステップＳ１４）。【選択図】図４
2011227590.tif 000002
【特許請求の範囲】
【請求項１】
複数のユーザに共用され、複数の文書ファイルを蓄積する文書データベースと、
前記文書データベースの共用のため前記ユーザに利用される端末機であって、前記文書データベースに蓄積された文書ファイルの検索及び閲覧が可能であると共に、前記文書データベースへの文書ファイルの登録及び削除が可能な端末機と、
前記ユーザが前記文書データベースに対して文書ファイルの検索処理を実行する際に用いられる文書インデックスであって、前記文書ファイルに記述されている文書から抽出された単語と、前記単語について所定の計算処理を実行して求められた重み値とを含む文書インデックスを作成するインデックス作成手段と、
第１時刻と、該第１時刻よりも後の第２時刻とを設定し、前記第１時刻において前記文書データベースに登録されている文書ファイル数と、前記第２時刻において前記文書データベースに登録されている文書ファイル数とから、文書ファイルの登録数に関する第１増減率を求める第１増減率算出手段と、
前記インデックス作成手段により抽出されている各単語について、当該単語が出現する文書ファイル数に基づいた文書頻度を求める手段であって、各単語の前記第１時刻における第１文書頻度と、前記第２時刻における第２文書頻度とから、前記各単語の文書頻度に関する第２増減率を求める第２増減率算出手段と、
前記第１増減率が所定の第１閾値を上回るか否か、及び前記第２増減率が所定の第２閾値を上回るか否かを判定する判定手段と、
前記インデックス作成手段による前記単語の重み値の設定のための演算処理を制御する制御手段と、を備え、
前記制御手段は、前記第１増減率が前記第１閾値を下回る場合において、前記第２増減率が前記第２閾値を上回る単語について、前記インデックス作成手段に前記重み値の再計算処理を実行させることを特徴とする文書検索システム。
【請求項２】
前記制御手段は、前記第１増減率が前記第１閾値を上回る場合に、前記インデックス作成手段により抽出されている全ての単語について、前記インデックス作成手段に前記重み値の再計算処理を実行させることを特徴とする請求項１に記載の文書検索システム。
【請求項３】
前記文書インデックスの単語及び重み値を記憶する記憶手段をさらに備え、
前記制御手段は、前記記憶手段の更新を行う機能を具備し、前記第２増減率が前記第２閾値を上回る単語についての重み値を、前記再計算処理で求められた重み値に書き換える一方で、前記第２増減率が前記第２閾値を下回る単語についての重み値は維持することを特徴とする請求項１に記載の文書検索システム。
【請求項４】
前記第２増減率算出手段は、特定の単語についての前記文書頻度を、前記文書データベースに登録されている文書ファイルの全数と、全ての文書ファイルを通して特定の単語が出現する頻度とを確率変数とし、離散確率分布を用いて推定値として求めることを特徴とする請求項１〜３のいずれかに記載の文書検索システム。
【請求項５】
前記離散確率分布として、二項分布が用いられることを特徴とする請求項４に記載の文書検索システム。
【請求項６】
前記離散確率分布として、ポアソン分布が用いられることを特徴とする請求項４に記載の文書検索システム。
【請求項７】
前記離散確率分布として、二項分布及びポアソン分布のいずれかを選択的に用いることが可能とされ、
前記第２増減率算出手段は、前記文書データベースに登録されている文書ファイルの全数が所定数よりも多く、且つ、１の文書ファイルについて抽出されている文書インデックスの単語群の中から１の単語を任意に選択したときに、当該１の単語が全ての文書ファイルの文書インデックスの単語群の中の特定の単語である確率が所定の値よりも低い場合に、前記離散確率分布として前記ポアソン分布を選択することを特徴とする請求項４に記載の文書検索システム。
【請求項８】
所定の第１時刻までに、文書データベースに対する複数の文書ファイルの登録を受け付けるステップと、
前記第１時刻の時点において前記文書データベースに登録されている第１文書ファイル数と、少なくとも１の文書ファイルに記述されている文書から抽出された１の単語が出現する文書ファイル数に基づいた第１文書頻度とから、当該１の単語の文書重み値を求めるステップと、
前記第１時刻の後、所定の第２時刻までに、文書データベースに対する追加の文書ファイルの登録を受け付けるステップと、
前記第１文書ファイル数と、前記第２時刻において前記文書データベースに登録されている第２文書ファイル数とから、文書ファイルの登録数に関する第１増減率を求めるステップと、
前記１の単語における前記第１文書頻度と、前記第２時刻における第２文書頻度とから、前記１の単語の文書頻度に関する第２増減率を求めるステップと、
前記第１増減率が所定の第１閾値を下回る場合において、前記第２増減率が所定の第２閾値を上回る場合に、前記１の単語について、前記文書重み値を再度求める処理を実行するステップと、
を含むことを特徴とするインデックス作成方法。
【請求項９】
前記第２増減率は、前記文書頻度を、前記文書データベースに登録されている文書ファイルの全数と、全ての文書ファイルを通して特定の単語が出現する頻度とを確率変数とし、離散確率分布を用いて推定値として求めることを特徴とする請求項８に記載のインデックス作成方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の文書ファイルを蓄積するデータベースに対する文書検索システムに関し、特に文書インデックスの更新処理に特徴を有する文書検索システム及びインデックス作成方法に関する。
【背景技術】
【０００２】
例えばインターネットのようなワールドワイドな通信ネットワーク若しくは企業内の社内ネットワークのようなローカル通信ネットワーク上において、多数の文書ファイルを蓄積する文書データベースに対して端末機からクエリを入力して検索処理を実行させ、所望の文書ファイルを抽出することを可能とする検索システムが汎用されている。このような検索システムにおいては、端末機から入力されたクエリを解析して作成される検索インデックスと、蓄積された文書ファイルの各々について予め作成された文書インデックスとを、所定の検索アルゴリズムを用いて照合させて、類似度の高い文書ファイルをヒット文書として抽出する手法が取られている。
【０００３】
上記文書インデックスは、通常は単語で構成される、そして、検索精度を上げるため、特定の単語について重み付けを高くし、そのような特定の単語を含む文書ファイルが優先的に抽出されるように工夫されている。この重み付け付与方法の一つとして、文書ファイル中において出現頻度が高い単語について、高い重み付けを付与するという手法がある。また、他の文書ファイルからリンク（ブックマーク）されている数が多いほど重要度が高い文書ファイルとみなし、そのような文書ファイルに含まれている単語の全てについて高い重み付けを付与するという、いわゆるページランク方式（特許文献１参照）も知られている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】ＵＳＰ６，２８５，９９９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、通信ネットワーク上の文書データベースには日々文書ファイルが追加又は削除され、若しくは文書ファイルの文書記述内容の更新等が実行され、文書データベースに含まれる文書ファイルの内容はダイナミックに変化してゆくのが一般的である。このため、精度の高い検索を維持するには、文書ファイルの日々の追加更新等に応じて、文書インデックスの更新を行う必要がある。
【０００６】
しかしながら、文書データベースが大量の文書ファイルを蓄積する大規模なデータベースである場合、上記文書インデックスの更新には長い時間を要することがある。これは、文書インデックスにおいて各単語に設定されている重み値が、単語単位且つ文書単位で複雑な重み計算式で求められているため、文書ファイル数に増減があると、単語の出現頻度の算出等を含む文書インデックスの再作成処理に膨大な時間を要することが主な要因である。文書インデックスの更新がタイムリーに行われない場合、追加された文書ファイルが検索から漏れてしまう結果となり、ユーザに対する検索サービスが低下することとなる。
【０００７】
本発明は、上記の問題に鑑みて為されたものであって、文書インデックスの更新を効率的に行うことができる文書検索システム及びインデックス作成方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成する本発明の一の局面に係る文書検索システムは、複数のユーザに共用され、複数の文書ファイルを蓄積する文書データベースと、前記文書データベースの共用のため前記ユーザに利用される端末機であって、前記文書データベースに蓄積された文書ファイルの検索及び閲覧が可能であると共に、前記文書データベースへの文書ファイルの登録及び削除が可能な端末機と、前記ユーザが前記文書データベースに対して文書ファイルの検索処理を実行する際に用いられる文書インデックスであって、前記文書ファイルに記述されている文書から抽出された単語と、前記単語について所定の計算処理を実行して求められた重み値とを含む文書インデックスを作成するインデックス作成手段と、第１時刻と、該第１時刻よりも後の第２時刻とを設定し、前記第１時刻において前記文書データベースに登録されている文書ファイル数と、前記第２時刻において前記文書データベースに登録されている文書ファイル数とから、文書ファイルの登録数に関する第１増減率を求める第１増減率算出手段と、前記インデックス作成手段により抽出されている各単語について、当該単語が出現する文書ファイル数に基づいた文書頻度を求める手段であって、各単語の前記第１時刻における第１文書頻度と、前記第２時刻における第２文書頻度とから、前記各単語の文書頻度に関する第２増減率を求める第２増減率算出手段と、前記第１増減率が所定の第１閾値を上回るか否か、及び前記第２増減率が所定の第２閾値を上回るか否かを判定する判定手段と、前記インデックス作成手段による前記単語の重み値の設定のための演算処理を制御する制御手段と、を備え、前記制御手段は、前記第１増減率が前記第１閾値を下回る場合において、前記第２増減率が前記第２閾値を上回る単語について、前記インデックス作成手段に前記重み値の再計算処理を実行させることを特徴とする（請求項１）。
【０００９】
この構成によれば、文書ファイルの登録数に関し前記第１時刻の時点と前記第２時刻の時点との比較において、前記第１増減率が前記第１閾値を下回る場合において、前記第２増減率が前記第２閾値を上回る単語についてのみ、重み値の再計算処理が実行される。従って、文書ファイルの登録数が僅かに増加したに過ぎないにも拘わらず、全ての単語について重み値の再計算処理が実行されてしまうことを抑止できる一方で、前記文書頻度が大きく変化（前記第２閾値を超過）した単語については重み値の再計算処理が実行されるので、検索精度を適正なものとすることができる。
【００１０】
上記構成において、前記制御手段は、前記第１増減率が前記第１閾値を上回る場合に、前記インデックス作成手段により抽出されている全ての単語について、前記インデックス作成手段に前記重み値の再計算処理を実行させることが望ましい（請求項２）。
【００１１】
文書ファイルの登録数が前記第１時刻の時点と前記第２時刻に時点との比較において相当数増加（前記第１閾値を超過）したような場合、個々の単語の文書頻度の変化度合いを考慮するまでもなく、全単語についての重み値の再計算処理を実行した方が効率的で、検索精度を高めることができる。上記構成は、このような考えに基づくものである。
【００１２】
上記構成において、前記文書インデックスの単語及び重み値を記憶する記憶手段をさらに備え、前記制御手段は、前記記憶手段の更新を行う機能を具備し、前記第２増減率が前記第２閾値を上回る単語についての重み値を、前記再計算処理で求められた重み値に書き換える一方で、前記第２増減率が前記第２閾値を下回る単語についての重み値は維持することが望ましい（請求項３）。
【００１３】
この構成によれば、重み値の再計算処理が実行された単語と、再計算処理が実行されなかった単語とにつき、文書インデックスの管理を適正に行わせることができる。
【００１４】
上記構成において、前記第２増減率算出手段は、特定の単語についての前記文書頻度を、前記文書データベースに登録されている文書ファイルの全数と、全ての文書ファイルを通して特定の単語が出現する頻度とを確率変数とし、離散確率分布を用いて推定値として求めることが望ましい（請求項４）。
【００１５】
この構成によれば、前記文書頻度を実際にカウントして実績値として求めるのではなく、文書ファイルの全数と単語出現頻度とを確率変数とし、離散確率分布を用いて推定値として求めるので、文書頻度を少ない計算量で算出することができる。
【００１６】
この場合、前記離散確率分布として、二項分布を用いることができる（請求項５）。この構成によれば、文書ファイルの全数や単語の出現頻度に拘わらず、文書頻度の一応の推定値を導出することができる。
【００１７】
また、前記離散確率分布として、ポアソン分布を用いることができる（請求項６）。この構成によれば、二項分布を用いる場合に比べて、より少ない計算量で文書頻度を算出することが可能となる。
【００１８】
また、前記離散確率分布として、二項分布及びポアソン分布のいずれかを選択的に用いることが可能とされ、前記第２増減率算出手段は、前記文書データベースに登録されている文書ファイルの全数が所定数よりも多く、且つ、１の文書ファイルについて抽出されている文書インデックスの単語群の中から１の単語を任意に選択したときに、当該１の単語が全ての文書ファイルの文書インデックスの単語群の中の特定の単語である確率が所定の値よりも低い場合に、前記離散確率分布として前記ポアソン分布を選択することが望ましい（請求項７）。
【００１９】
この構成によれば、文書データベース中の文書ファイルの登録数、前記確率に鑑みて、文書頻度を算出する推定式が、二項分布及びポアソン分布のいずれかから選択される。従って、実情に即した適正な推定式で文書頻度が求められるようになる。
【００２０】
本発明の他の局面に係るインデックス作成方法は、所定の第１時刻までに、文書データベースに対する複数の文書ファイルの登録を受け付けるステップと、前記第１時刻の時点において前記文書データベースに登録されている第１文書ファイル数と、少なくとも１の文書ファイルに記述されている文書から抽出された１の単語が出現する文書ファイル数に基づいた第１文書頻度とから、当該１の単語の文書重み値を求めるステップと、前記第１時刻の後、所定の第２時刻までに、文書データベースに対する追加の文書ファイルの登録を受け付けるステップと、前記第１文書ファイル数と、前記第２時刻において前記文書データベースに登録されている第２文書ファイル数とから、文書ファイルの登録数に関する第１増減率を求めるステップと、前記１の単語における前記第１文書頻度と、前記第２時刻における第２文書頻度とから、前記１の単語の文書頻度に関する第２増減率を求めるステップと、前記第１増減率が所定の第１閾値を下回る場合において、前記第２増減率が所定の第２閾値を上回る場合に、前記１の単語について、前記文書重み値を再度求める処理を実行するステップと、を含むことを特徴とする（請求項８）。
【００２１】
この場合、前記第２増減率は、前記文書頻度を、前記文書データベースに登録されている文書ファイルの全数と、全ての文書ファイルを通して特定の単語が出現する頻度とを確率変数とし、離散確率分布を用いて推定値として求めることが望ましい（請求項９）。
【発明の効果】
【００２２】
本発明によれば、例えばインターネットのようなワールドワイドな通信ネットワーク若しくは企業内の社内ネットワークのような通信システムにおいて、文書インデックスの更新を効率的且つ適正に行わせることができる。従って、通信システムを用いた各種の処理業務の効率化を図ることが可能となる。
【図面の簡単な説明】
【００２３】
【図１】本発明の文書検索システムが適用されたネットワークシステムのハードウェア構成を概略的に示す構成図である。
【図２】本発明の文書検索方法の概要を示す模式的なフローチャートである。
【図３】単語の重み付けの手法を説明するための模式図である。
【図４】単語重み値の再計算処理の概略的なフローチャートである。
【図５】データ処理装置の機能構成を示す機能ブロック図である。
【図６】単語重み値の再計算判定の一例を示す模式図である。
【図７】文書頻度の補正の一例を示す表形式の図である。
【図８】単語重み値の再計算処理のフローチャートである。
【図９】単語重み値の再計算処理のフローチャートである。
【発明を実施するための形態】
【００２４】
以下、図面に基づいて本発明の実施形態につき詳細に説明する。図１は、本発明の文書検索システムが適用されたネットワークシステムＳのハードウェア構成を概略的に示す構成図である。このネットワークシステムＳは、例えば企業等における社内ネットワークのようなローカルな通信ネットワークシステム（勿論、インターネットのようなワールドワイドな通信ネットワークでもよい）であって、このような通信ネットワーク上において利用可能な文書データベース（ＤＢ）１０と、文書インデックスデータベース（ＤＢ）１１（記憶手段）と、検索エンジン２０と、データ処理装置３０と、ユーザ（文書ファイルの閲覧、登録及び削除、検索者）が利用する端末装置４０（端末機）とが、ローカルネットＬＮを介してデータ通信可能に接続されてなる。
【００２５】
文書データベース１０（複数の文書ファイルを蓄積する文書データベース）は、各種の社内文書ファイルが蓄積されるデータベースであり、社内共有文書、社内書式文書、社内規則文書、会議議事録、各種報告書、各種資料、統計データ、作業日誌、安全作業票、事故処理票、仕様書等の各種の文書ファイルが記憶されている。これらの文書ファイルを、ユーザＩＤを具備するユーザは、端末装置４０（端末機４１、４２、４３、４４、４５、・・・）からアクセスして検索、閲覧することができる。さらに、端末装置４０を通して、新たな文書ファイルを文書データベース１０に登録することができる。
【００２６】
文書インデックスデータベース１１は、文書データベース１０に対して文書ファイルの検索処理を実行する際に用いられる文書インデックスを記憶する。文書インデックスは、文書ファイル単位で、各文書ファイルの文書データから抽出された単語と、各単語に与えられる単語重み値及び各文書ファイル単位で与えられる文書重み値とからなる。これら重み値は、検索精度を向上させるために設定されるものであって、例えば単語重み値は、周知の手法に従い、例えばその単語の出現頻度他に基づき設定される。
【００２７】
ところで、文書データベース１０には端末装置４０から日々文書ファイルが追加又は削除され、若しくは文書ファイルの文書記述内容の更新等が実行される。このため、文書データベース１０に含まれる文書ファイルの内容は変化してゆく。ここで、単語重み値は、文書ファイルに記述されている単語の出現頻度に依拠するため、例えば大量の新規文書ファイルが文書データベース１０に登録された場合、分母となる文書ファイルの総数が大きく変動することになるので、単語によってはその重み値が大きく変化することがある。従って、精度の高い検索を維持するために、文書インデックスデータベース１１に記憶されている文書インデックスは、新規登録の文書ファイル分の追加更新は勿論のこと、既存の単語に付与されている重み値についても、文書ファイルの追加状況に応じて再計算を行い適時書き換え更新される。本実施形態では、この単語重み値の再計算を実行するか否かの判定手法に特徴を有するが、この点については後記で詳述する。
【００２８】
検索エンジン２０は、所定のパラメータを有する検索アルゴリズムが搭載され、文書データベース１０に対し、文書インデックスデータベース１１に記憶されている文書インデックスを利用して、端末装置４０から与えられた検索条件に対応する文書ファイルの検索処理を行う。また、検索エンジン２０は、ユーザが端末装置４０から入力する検索条件をベースとして、検索インデックスを作成する。さらに検索エンジン２０は、前記検索アルゴリズムを用いて、前記文書インデックスと前記検索インデックスとの照合処理を行い、合致度合いの高い文書ファイルを文書データベース１０から抽出する。
【００２９】
データ処理装置３０は、文書データベース１０に記憶されている文書ファイル毎にキーワードや属性（メタデータ）を抽出して、文書インデックスを構成する単語リストを作成する。また、データ処理装置３０は、各々の文書ファイルについて抽出された単語に対する重み値を算出する処理を行う。さらに、データ処理装置３０は、一旦設定された単語重み値の全てを一括して再計算するか否か、並びに、一括再計算が行われない場合に、個々の単語について重み値の再計算を行うか否かの判定処理を行う。
【００３０】
端末装置４０は、社員等の多数のユーザに保有されるパーソナルコンピュータや携帯電話機、携帯情報端末機等の通信端末機４１、４２、４３、４４、４５・・・である。端末装置４は、ローカルネットＬＮを介して文書データベース１０にアクセス可能とされている。各ユーザは、各自の通信端末機４１〜４５を介して、自身が作成した文書ファイルを文書データベース１０に新たに投稿（登録）する、若しくは既存文書を更新して記憶させる、或いは文書ファイルを文書データベース１０から削除する、検索エンジン２０に検索クエリを与えて検索処理を実行させる、または、検索エンジン２０を介して文書データベース１０中の文書ファイルにアクセスして閲覧することが可能である。
【００３１】
図２は、ネットワークシステムＳの、文書データベース１０に対する文書検索処理の概要を示す模式的なフローチャートである。検索エンジン２０は、端末装置４０から与えられた検索条件（キーワードや質問文書）について、形態素解析等を含む文書解析処理を行う（ステップＳ１）。次いで検索エンジン２０は、上記の文書解析処理で得られた単語をベースにして検索インデックスを作成する（ステップＳ２）。そして、当該検索インデックスを用いて、大量の文書データを含む文書データベース１０に対して文書の検索処理を行う（ステップＳ３）。
【００３２】
一方、文書データベース１０の側においても、データ処理装置３０による定期的な処理で、メタデータの抽出のための文書解析（ステップＳ０１）、及び文書インデックスの作成（ステップＳ０２）が行われている。検索元のステップＳ３における検索処理では、前記検索インデックスと検索先の文書インデックスとを使用し、所定の検索アルゴリズムを適用して検索条件に対して類似度が高い文書ファイルを文書データベース１０から抽出する。ステップＳ３の検索処理で得られた結果は、検索条件を入力したユーザの端末装置４に出力される（ステップＳ４）。
【００３３】
続いて、文書インデックスにおいて、単語に対する重み付けの手法について、図３に基づき説明する。現在汎用されている重み付け方法の一つとして、ｉｄｆ（inverse document frequency）法と呼ばれる方法がある。概略的にｉｄｆは、文書データベース１０に登録されている文書ファイルの総数（全文書数）をＮ、その記述の中に特定の単語を含む文書ファイルの数（文書頻度）をｄｆとするとき、次の（１）式にて、単語毎に求められる。
ｉｄｆ＝Ｎ／ｄｆ    ・・・（１）
【００３４】
このｉｄｆ法の考え方は、多くの文書に出現する単語は、個々の文書の特徴を表現しない一般的な単語（例えば「私」など）であると見なして低い重み値が付与され、一方で、少数の文書にしか出現しない単語は、個々の文書の特徴を表現する可能性が高い希少価値のある単語であると扱い、高い重み値が付与されるというものである。
【００３５】
この考え方を、図３に示す例に基づいて説明する。前提として、文書データベース１０に、「文書１」、「文書２」及び「文書３」の３つの文書が登録されているものとする。これらは、３つの文書ファイルにそれぞれ記述されている文書に相当する。そして、「文書１」には３個の「単語ａ」が、「文書２」には１個ずつの「単語ａ」及び「単語ｂ」が、「文書ｃ」には１個ずつの「単語ａ」、「単語ｂ」及び「単語ｃ」が各々含まれているものとする。
【００３６】
この場合、「文書１」〜「文書３」の３つが文書データベース１０に登録されている前提であるので、全文書数Ｎ＝３である。また、文書頻度ｄｆは、「単語ａ」については、「文書１」〜「文書３」の全てに出現しているのでｄｆ＝３となる。さらに、「単語ｂ」については、「文書２」及び「文書３」の２つに出現しているのでｄｆ＝２、「単語ｃ」については、「文書３」のみに出現しているのでｄｆ＝１となる。これらの値を上記（１）式に代入すると、「文書１」、「文書２」及び「文書３」のｉｄｆ値は各々、「１」、「１．５」、「３」となる。このように、出現する文書数が少ない「単語ｃ」についてはｉｄｆ値が高い値となり、逆に、出現する文書数が多い「単語ａ」についてはｉｄｆ値が低い値となる。なお、実際のｉｄｆ値（単語重み値）は、基本思想は上記の通りであるけれども、相当複雑な算術式にて求められる。
【００３７】
ｉｄｆ法で単語重みを求める手法を採用している場合に問題となるのが、文書データベース１０に新たな文書ファイルが追加されたときである。ｉｄｆ法では全文書数Ｎを算術に用いるので、文書データベース１０に新たな文書ファイルが１つ追加登録された場合でも、個々の単語のｉｄｆ値は変化することになる。従って、厳密に単語重み値を管理するならば、文書ファイルの追加が生じる度に、単語重み値を再計算して文書インデックスを更新しなければならない。
【００３８】
しかしながら、このような再計算は容易ではない。すなわち、通常文書データベース１０には極めて多くの文書ファイルが登録されており、また文書インデックスを構成する単語も大量に存在する。さらに、実際の単語重みの計算式としては、模式的に示した上記（１）式のように簡略なものではなく、複雑な算術式が適用される。このため、単語重みの再計算には膨大な計算量が必要となり、汎用のコンピュータ装置で計算処理を行う場合にあっては、多大な処理時間を要することになる。例えば、単語重み値の再計算処理に１週間を要する場合、その１週間については、追加文書ファイルの検索漏れが生じてしまうこととなり、検索サービスの品質が低下する不具合が生じる。
【００３９】
この問題を解決可能な手法は、後述する本実施形態以外にも、いくつか存在する。例えば、単語重みの実際の計算式におけるパラメータ等を減らし、再計算を行う手法である。しかし、この手法に依れば、重み値の正確さが低下し、検索精度の低下を招来することとなる。また、文書データベース１０に登録する文書ファイルの数を制限する手法も考えられる。しかし、この手法は本末転倒であり、文書データベース１０の拡張性を犠牲にし、ユーザにとっての有用性が減殺される。さらに、処理速度の速い高速コンピュータ装置を用いる、若しくは多数台の汎用コンピュータ装置を並列運用することで、高速処理を実現する手法が挙げられる。この手法に依れば、単語重み値の正確さを担保しつつ再計算処理時間を短縮できるものの、インフラ設定のためのコストが膨大となる不都合がある。従って、いずれの手法も、現実的な手法と言うことはできない。
【００４０】
本実施形態の文書検索システムは、上記のような不具合を可及的に抑制できる手法を提供するものである。本実施形態では、次の（Ａ）及び（Ｂ）の２つの判定に基づいて、単語重み値の再計算を実行するか否かを決定することで、再計算処理の効率化を図ることを企図している。
【００４１】
（Ａ）全文書数Ｎの増減率（第１増減率）が所定の閾値（第１閾値）を上回るか否か
全文書数Ｎの増減率Ｎｐは、第１時刻（例えば昨日の０時）と、該第１時刻よりも後の第２時刻（例えば今日の０時）とを設定し、前記第１時刻において文書データベース１０に登録されている文書ファイルの総数Ｎ１と、前記第２時刻において文書データベース１０に登録されている文書ファイルの総数Ｎ２とから、次の（２）式で求められる。
全文書数の増減率Ｎｐ＝｜Ｎ２−Ｎ１｜／Ｎ１  ・・・（２）
【００４２】
（Ｂ）文書頻度ｄｆの増減率（第２増減率）が所定の閾値（第２閾値）を上回るか否か
文書インデックスとして抽出されている単語毎の文書頻度ｄｆの増減率ｄｆｐは、各単語の前記第１時刻における第１文書頻度ｄｆ１と、前記第２時刻における第２文書頻度ｄｆ２とから、次の（３）式で求められる。
文書頻度の増減率ｄｆｐ＝｜ｄｆ２−ｄｆ１｜／ｄｆ１  ・・・（３）
【００４３】
図４は、本実施形態における単語重み値の再計算処理を概略的に示すフローチャートである。ここでの処理は、上記の第２時刻の時点以降に行われる処理である。まず、上記（Ａ）の、全文書数Ｎの増減率が所定の閾値を上回るか否かが判定される（ステップＳ１１）。本実施形態では、前記閾値（第１閾値）が１０％に設定されている例を示している。文書インデックスの更新基準時が毎日の０時に設定されている場合、今日の０時時点で文書データベース１０に登録されている文書ファイルの総数Ｎ２と、昨日の０時時点で文書データベース１０に登録されている文書ファイルの総数Ｎ１とを、上記（２）式に適用して全文書数の増減率Ｎｐが求められる。そして、この増減率Ｎｐが閾値の１０％を上回っているか否かが判定される。
【００４４】
増減率Ｎｐが閾値の１０％を上回る場合（ステップＳ１１でＹＥＳ）、文書インデックスとして抽出されている単語の全てについて、単語重み値が一括して再計算される（ステップＳ１２）。これは、文書ファイルの登録数が昨日と今日との比較において１０％以上も増加したような場合、全単語についてｉｄｆ値が大きく変化している可能性が高く、このようなケースでは、検索精度を維持するために、全単語についての重み値の再計算処理を実行すべきと考えられるからである。
【００４５】
一方、増減率Ｎｐが閾値の１０％を下回る場合（ステップＳ１１でＮＯ）、単語重み値の一括再計算は実行されない。この場合、個々の単語ごとに、単語重み値の再計算が必要であるか否かが判定される（ステップＳ１３）。これは、たとえ全文書数Ｎの増減率Ｎｐが閾値の１０％未満の場合であっても、ｉｄｆ値が大きく変化する単語が有り得るからである。例えば、昨日の時点で、全文書数Ｎ＝１０００であり、特定の単語ｘの文書頻度ｄｆ＝１００であった場合を想定する。そして、昨日から今日までの間に、新規に追加された文書ファイルが８０文書あったとする。この場合、全文書数Ｎ＝１０８０であり、増減率Ｎｐは閾値を下回る８％である。
【００４６】
しかしながら、追加された８０文書の全てに単語ｘが含まれているときには、文書頻度ｄｆは１８０に増加する。かかるケースでは、単語ｘのｉｄｆ値を上記（１）に基づき計算すると、昨日はｉｄｆ＝１０であったものが、今日はｉｄｆ≒６にまで減少することになる。他方で、例えば追加された８０文書の中で、単語ｘを含む文書が８文書であった場合は、単語ｘのｉｄｆ値は昨日と今日とで全く変動しない。これら両極の例より判ることは、文書頻度ｄｆの増減率によって、単語重み値の再計算が必要な単語と、再計算をあえて行うまでもない単語とが混在するということである。
【００４７】
そこで本実施形態では、上記（Ｂ）の、文書頻度ｄｆの増減率が所定の閾値を上回るか否かに基づき、単語重み値の再計算を実行する単語と、実行しない単語とを区別するものである。すなわち、ある単語について文書頻度ｄｆの増減率が所定の閾値を上回る場合（ステップＳ１３でＹＥＳ）、その単語重み値の再計算が実行される（ステップＳ１２）。これに対し、文書頻度ｄｆの増減率が所定の閾値を下回る場合（ステップＳ１３でＮＯ）、その単語重み値の再計算が実行されないフラグが与えられる（ステップＳ１４）。
【００４８】
このように、単語重み値の再計算を行うか否かを個別に判定することで、無用な再計算を省くことができる一方で、検索精度に影響を与える可能性が高い単語については単語重み値の再計算が実行されるので、文書インデックスの適切さを担保することができる。なお、上記ステップＳ１３の再計算判定処理は高速で行うことが望ましい。このため、本実施形態では、各単語の文書頻度ｄｆの値を実績値として求めるのではなく、推定値として求めるようにし、高速処理を実現可能としている。この点については後記で説明する。
【００４９】
続いて、データ処理装置３０の機能構成の詳細について、図５に基づいて説明する。データ処理装置３０は、例えば各種の演算処理を実行可能なＣＰＵ（中央演算処理装置）を備えた大型のコンピュータ装置である。前記ＣＰＵは、所定のデータ処理を行うべくプログラミングされたソフトウェアが実行されることで、図３に示す機能部を具備するように動作する。データ処理装置３０は、文書インデックス作成部３１（インデックス作成手段）、文書増減率算出部３２（第１増減率算出手段）、頻度増減率算出部３３（第２増減率算出手段）、判定部３４（判定手段）及び制御部３５（制御手段）を備えている。
【００５０】
文書インデックス作成部３１は、文書ファイルに記述されている文書から抽出された単語、これに対する単語重み値、並びに文書ファイル単位の文書重みを用いて、データベース１０に対して文書ファイルの検索処理を実行する際に用いられる文書インデックスを作成する。この文書インデックスは、文書インデックスデータベース１１（記憶手段）に格納される。図５では、各文書ファイルの単語毎に与えられている単語重み値のマトリクスを示している。あるユーザが検索エンジン２０に検索クエリを送信すると、検索エンジン２０は、文書インデックスデータベース１１から文書インデックスを読み出して文書ファイルの検索処理を実行する。
【００５１】
文書インデックス作成部３１は、機能的に、単語抽出部３１１、単語重み作成部３１２及び文書重み作成部３１３を備えている。単語抽出部３１１は、文書データベース１０から文書ファイルを抽出すると共に、各文書ファイルから単語を抽出する。具体的には単語抽出部３１１は、抽出された各文書ファイルが含む文書データに対して、正規化処理、文書構造解析処理、同義語処理などの文書解析処理を行い、文書データを単語単位に分割する。これにより、自立する単語（キーワード）が導出される。
【００５２】
単語重み作成部３１２は、単語抽出部３１１が抽出した各単語について、それぞれの重み値を算出する。例えば単語重み作成部３１２は、上記（１）式で示したｉｄｆ法に基づいた所定の算術式を用いて、各文書ファイルの単語毎に重み値を算出する。
【００５３】
文書重み作成部３１３は、文書データベース１０に格納されている文書ファイル単位で付与される文書重みを導出する。文書重みは、例えばユーザの文書ファイル閲覧履歴を示すデータを参照し、頻繁に閲覧されている文書に高い重み値を付与する手法を採用することができる。
【００５４】
文書増減率算出部３２は、先に説明した全文書数Ｎの増減率Ｎｐを、上記の（２）式に基づいて算出する処理を行う。文書増減率算出部３２は、文書データベース１０にアクセスして文書登録履歴データを参照し、前回の算出基準時において登録されていた文書ファイルＤ１（文書１、２、３・・・）の数と、今回の算出基準時までに新たに登録されていた追加文書ファイルＤ２（追加文書１、２、３・・・）の数とから、増減率Ｎｐを算出する。
【００５５】
頻度増減率算出部３３は、先に説明した文書頻度ｄｆの増減率ｄｆｐを算出する処理を行う。ここで、増減率ｄｆｐは、実際に文書頻度ｄｆを求めて上記の（３）式に従って実績値として算出されるのではなく、処理を高速化するために、全文書数Ｎと、全ての文書ファイルを通して特定の単語が出現する頻度（単語出現頻度）とを確率変数とし、離散確率分布を用いて導出される推定文書頻度を用いて求められる。離散確率分布としては、例えば二項分布を用いることができる。
【００５６】
図６に示す例に基づいて、文書頻度の増減率ｄｆｐを、二項分布を用いて推定的に算出する方法を説明する。図６に示すように、例えば昨日の時点（前回の算出基準時／第１時刻）における全文書数Ｎが９５０（第１文書頻度）であり、特定の「単語ａ」の出現頻度Ｆが１０００であったとする。ここに、出現頻度Ｆ＝１０００ということは、９５０個存在する文書ファイルの記述の中に、「単語ａ」が合計で１０００回出現していることを意味する。そして、今日の時点（今回の算出基準時／第２時刻）では全文書数Ｎが１０００であり、特定の「単語ａ」の出現頻度Ｆが２０００に増加したものとする。なお、頻度増減率算出部３３は、上記の出現頻度Ｆを、単語抽出部３１１による単語抽出結果から取得する。さらに、昨日の時点における「単語ａ」の文書頻度ｄｆが既知であり、それがｄｆ＝８００であったとする。
【００５７】
このような条件が与えられている場合において、頻度増減率算出部３３は、今日の時点における、１つの文書ファイル当たりに出現する単語数の平均である平均単語頻度ｔを次の（４）式に基づき算出する。
平均単語頻度ｔ＝全単語数／全文書数Ｎ    ・・・（４）
例えば、単語抽出部３１１により抽出されている単語の総数が３０万語であるならば、上掲の例の場合、Ｎ＝１０００であるので、ｔ＝３００となる。
【００５８】
さらに頻度増減率算出部３３は、１つの文書ファイルに含まれる「単語ａ」の平均頻度ｆを次の（５）式に基づき算出する。
平均頻度ｆ＝出現頻度Ｆ／全文書数Ｎ    ・・・（５）
ここでは、Ｆ＝２０００、Ｎ＝１０００であるので、ｆ＝２．０である。
【００５９】
二項分布によれば、１つの文書ファイル中の記述中に「単語ａ」がｋ回出現する確率Ｐ(k)は、次の（６）式で表すことができる。
【００６０】
【数１】
2011227590.tif 000003
【００６１】
また、１つの文書ファイル中の記述中に「単語ａ」が出現しない確率Ｐ(0)は、次の（７）式で表すことができる。
【００６２】
【数２】
2011227590.tif 000004
【００６３】
さらに、１つの文書ファイル中の記述中に「単語ａ」が１回でも出現する確率Ｐ(m)は、次の（８）式で表すことができる。
【００６４】
【数３】
2011227590.tif 000005
【００６５】
以上より、文書頻度ｄｆの推定値を次の（９）式で求めることができる。
【００６６】
【数４】
2011227590.tif 000006
【００６７】
以上が、離散確率分布として二項分布を用いた場合の推定文書頻度ｄｆを求める算術手法である。ここで、一定の条件を満たす場合には、二項分布に代えて、離散確率分布としてポアソン分布を用いることができる。その条件としては、
１）文書データベース１０に登録されている全文書数Ｎの数が非常に多い、
２）１の文書ファイルについて抽出されている文書インデックスの単語群の中から１の単語を任意に選択したときに、当該１の単語が全ての文書ファイルの文書インデックスの単語群の中の特定の単語である確率Ｐが非常に低い、
３）全文書数Ｎ×確率Ｐの値が１〜１０の範囲に収束する、
ことを例示することができる。
【００６８】
ポアソン分布を用いる場合における推定文書頻度ｄｆの算術手法は次の通りである。１つの文書ファイル中の記述中に「単語ａ」がｋ回出現する確率Ｐ(k)は、次の（１０）式で表すことができる。
【００６９】
【数５】
2011227590.tif 000007
【００７０】
また、１つの文書ファイル中の記述中に「単語ａ」が出現しない確率Ｐ(0)は、次の（１１）式で表すことができる。
【００７１】
【数６】
2011227590.tif 000008
【００７２】
以上より、文書頻度ｄｆの推定値を、ポアソン分布による近似値として、次の（１２）式で求めることができる。算出された推定文書頻度ｄｆは、二項分布を用いた（９）式による算出結果とほぼ同じである。
【００７３】
【数７】
2011227590.tif 000009
【００７４】
以上のようなポアソン分布を用いる方法によれば、二項分布を用いる方法に比べて、平均単語頻度ｔを計算しなくて済む分だけ計算負荷を削減することができ、より一層の高速処理が可能となる。従って、頻度増減率算出部３３において、離散確率分布として、二項分布及びポアソン分布のいずれかを選択的に用いることが可能としておき、上記１）〜３）の要件を満たすか否かを判定した上で、算術手法としてポアソン分布又は二項分布のいずれを用いるかを選択させるように構成することが望ましい。
【００７５】
ところで、頻度増減率算出部３３は、文書頻度ｄｆの増減率ｄｆｐを、二項分布若しくはポアソン分布を用いて推定的に算出するので、場合によっては誤差が累積し、推定値と実績値とが大きく乖離してしまう可能性がある。そこで、定期的に補正日を定め、その補正日に頻度増減率算出部３３は、各単語の文書頻度ｄｆの実績値を取得する。そして、この実績値を用いて誤差値が特定され、文書頻度ｄｆの推定値の補正処理が行われる。
【００７６】
図７は、上記の補正処理の一例を示す表形式の図である。ここでは、一日一回、文書インデックスの更新が実行され、３０日に一回、補正日が設定されている例を示している。第１日目において、各単語について、文書頻度ｄｆを実際にカウントして実績値（ａ）＝１００が取得されると共に、文書頻度ｄｆの推定値（ｂ）＝９０も離散確率分布を用いて求められる。そして、実績値（ａ）と推定値（ｂ）とから、両者の誤差（ｃ）が求められる。ここでは、誤差（ｃ）＝−１０％の場合を例示している。この第１日目の文書頻度ｄｆとしては、推定値（ｂ）ではなく、実績値（ａ）が用いられ、文書頻度ｄｆの増減率ｄｆｐが算出される。
【００７７】
第２日目以降は、実績値（ａ）は求められず、推定値（ｂ）のみが求められると共に、上記の誤差（ｃ）を用いて推定値（ｂ）の補正値（ｄ）が求められる。補正値（ｄ）は、次の（１３）式により求められる。
補正値（ｄ）＝推定値（ｂ）−（推定値（ｂ）×誤差（ｃ））  ・・・（１３）
図７の例では、誤差（ｃ）＝−１０％であるので、推定値（ｂ）が１０％だけ割増された補正値が導出されることになる。以降、第３０日目までは、誤差（ｃ）＝−１０％の値を適用して補正値（ｄ）が求められ、かかる補正値（ｄ）を適用して文書頻度ｄｆの増減率ｄｆｐが算出される。
【００７８】
その後、次の補正日である第３１日目が到来すると、頻度増減率算出部３３は、文書頻度ｄｆの推定値（ｂ）を求めるだけでなく、各単語の文書頻度ｄｆの実績値（ａ）も取得する。ここでは、実績値（ａ）＝２００、推定値（ｂ）＝２２０であるので、誤差（ｃ）＝＋１０％である。この第３１日目の文書頻度ｄｆとしては、上記の実績値（ａ）が用いられ、文書頻度ｄｆの増減率ｄｆｐが算出される。そして、第３２日目以降は、誤差（ｃ）＝＋１０％の値を適用して（１３）式に基づき補正値（ｄ）が求められ、かかる補正値（ｄ）を適用して文書頻度ｄｆの増減率ｄｆｐが算出される。
【００７９】
図５に戻って、判定部３４は、文書増減率算出部３２が算出した全文書数Ｎの増減率Ｎｐ（以下、第１増減率Ｎｐ）が所定の閾値（以下、第１閾値）を上回るか否か、及び頻度増減率算出部３３が算出した文書頻度ｄｆの増減率ｄｆｐ（以下、第２増減率ｄｆｐ）が所定の閾値（以下、第２閾値）を上回るか否かを判定する。本実施形態では、第１増減率Ｎｐの第１閾値は、上述の通り１０％に設定されている。第２増減率ｄｆｐの第２閾値も、例えば１０％に設定することができる。
【００８０】
制御部３５は、文書インデックス作成部３１による単語の重み値の設定のための演算処理、重み値の更新処理を行う。制御部３５は、先ず判定部３４の第１閾値についての判定結果を参照する。第１増減率Ｎｐが第１閾値１０％を上回る場合、制御部３５は、文書インデックス作成部３１に、抽出されている単語の全てについて、単語重み値を一括して再計算させる。そして、制御部３５は、文書インデックスデータベース１１の既存の文書重み値を、再計算処理で求められた単語重み値に更新する。
【００８１】
一方、第１増減率Ｎｐが第１閾値１０％を下回る場合、単語ごとに判定部３４の第２閾値についての判定結果が参照される。この場合、制御部３５は、第２増減率ｄｆｐが第２閾値１０％を上回る単語については、文書インデックス作成部３１に単語重み値の再計算処理を実行させる。そして、当該単語についての文書インデックスデータベース１１の既存の文書重み値が、再計算処理で求められた単語重み値に更新される。これに対し、第２増減率ｄｆｐが第２閾値１０％を下回る単語については、単語重み値の再計算処理を実行させない。従って、文書インデックスデータベース１１の既存の文書重み値が維持されるものである。
【００８２】
続いて、以上説明した本実施形態に係るネットワークシステムＳ（データ処理装置３０）による単語重み値の再計算処理を、図８、図９に示すフローチャートに基づいて説明する。単語重み値の再計算処理は、データ処理装置３０により、所定の文書インデックス更新タイミングにバッチ処理で実行される。
【００８３】
制御部３５は、文書インデックス更新タイミングであるか否かを確認する（ステップＳ２１）。更新タイミングでない場合（ステップＳ２１でＮＯ）、制御部３５は待機する。更新タイミングが到来した場合（ステップＳ２１でＹＥＳ）、制御部３５は文書増減率算出部３２に、全文書数の増減率Ｎｐを算出させる。文書増減率算出部３２は、前回の更新タイミング時における全文書数Ｎ１と、今回の更新タイミング時の全文書数Ｎ２とを取得し、上記の（２）式に基づいて第１増減率Ｎｐを算出する（ステップＳ２２）。
【００８４】
続いて、判定部３４により、第１増減率Ｎｐが第１閾値（１０％）と同じ又は超過しているか否かが判定される（ステップＳ２３）。第１増減率Ｎｐが１０％以下である場合（ステップＳ２３でＮＯ）、頻度増減率算出部３３による単語毎の文書頻度ｄｆの算出処理に移行する。まず、頻度増減率算出部３３は、今般の文書インデックス更新タイミングが、予め定められた推定文書頻度ｄｆの補正日（図７参照）に該当するか否かを判定する（ステップＳ２４）。
【００８５】
補正日に該当する場合（ステップＳ２４でＹＥＳ）、頻度増減率算出部３３は、単語カウンタｉ＝１に設定し（ステップＳ２５）、文書インデックスとして抽出されている単語に付与されているナンバリングにおける１番目の単語の、今般の更新タイミングにおける文書頻度ｄｆの実績値を取得する（ステップＳ２６）。そして、頻度増減率算出部３３は、前回に特定された（推定）文書頻度ｄｆと、今回の実績文書頻度ｄｆとを用いて、単語ｉについての第２増減率ｄｆｐを算出する（ステップＳ２７）。
【００８６】
次いで、判定部３４により、第２増減率ｄｆｐが第２閾値（１０％）と同じ又は超過しているか否かが判定される（ステップＳ２８）。第２増減率ｄｆｐが１０％と同じ又は上回っていると判定された場合（ステップＳ２８でＹＥＳ）、制御部３５は、文書インデックス作成部３１に当該単語ｉについての単語重み値を再計算させる（ステップＳ２９）。そして、制御部３５は、文書インデックスデータベース１１に記録されている単語ｉの単語重み値を、算出された単語重み値に更新する（ステップＳ３０）。なお、第２増減率ｄｆｐが１０％を下回っている場合（ステップＳ２８でＮＯ）は、これらステップＳ２９、Ｓ３０はスキップされる。
【００８７】
その後、頻度増減率算出部３３は、今回取得された実績文書頻度ｄｆ及び全文書数Ｎ２を用いて、上掲の（４）式〜（９）式を適用して二項分布法により、若しくは、上掲の（１０）式〜（１２）式を適用してポアソン分布法により、推定文書頻度ｄｆを算出する（ステップＳ３１）。そして、頻度増減率算出部３３は、実績文書頻度ｄｆ及び推定文書頻度ｄｆと両者の誤差とから、上記の（１３）式に基づき補正値を導出し、これを図略のメモリに記憶させる（ステップＳ３２）。
【００８８】
しかる後、頻度増減率算出部３３は、単語ｉがナンバリングの最終の単語であるか否かを確認する（ステップＳ３３）。単語ｉ＝最終ではない場合（ステップＳ３３でＮＯ）、頻度増減率算出部３３は、単語カウンタｉを１つインクリメントし（ステップＳ３４）、ステップＳ２６に戻って、次の単語ｉについて同様の処理を行う。一方、単語ｉ＝最終である場合（ステップＳ３３でＹＥＳ）、処理を終える。
【００８９】
これに対し、ステップＳ２３において、判定部３４により第１増減率Ｎｐが１０％以下であると判定された場合（ステップＳ２３でＮＯ）、制御部３５は、文書インデックス作成部３１に全ての単語についての単語重み値を一括して再計算させる（ステップＳ３５）。そして、制御部３５は、文書インデックスデータベース１１に記録されている全ての単語の単語重み値を、算出された単語重み値に更新し（ステップＳ３６）、処理を終える。
【００９０】
また、ステップＳ２４において、補正日に該当しない場合（ステップＳ２４でＮＯ）は、頻度増減率算出部３３は、図９に示すフローを実行する。すなわち、単語カウンタｉ＝１に設定し（ステップＳ４１）、その単語ｉの推定文書頻度ｄｆを二項分布法若しくはポアソン分布法により算出する（ステップＳ４２）。そして、直前の補正日において導出された補正値を用いて、推定文書頻度ｄｆが補正される（ステップＳ４３／例えば図７の第２日目参照）。その後、頻度増減率算出部３３は、前回に特定された（推定）文書頻度ｄｆと、今回の実績文書頻度ｄｆとを用いて、単語ｉについての第２増減率ｄｆｐを算出する（ステップＳ４４）。
【００９１】
次いで、判定部３４により、第２増減率ｄｆｐが第２閾値（１０％）と同じ又は超過しているか否かが判定される（ステップＳ４５）。第２増減率ｄｆｐが１０％と同じ又は上回っていると判定された場合（ステップＳ４５でＹＥＳ）、制御部３５は、文書インデックス作成部３１に当該単語ｉについての単語重み値を再計算させる（ステップＳ４６）。そして、制御部３５は、文書インデックスデータベース１１に記録されている単語ｉの単語重み値を、算出された単語重み値に更新する（ステップＳ４７）。なお、第２増減率ｄｆｐが１０％を下回っている場合（ステップＳ４５でＮＯ）は、これらステップＳ４６、Ｓ４７はスキップされる。
【００９２】
しかる後、頻度増減率算出部３３は、単語ｉがナンバリングの最終の単語であるか否かを確認する（ステップＳ４８）。単語ｉ＝最終ではない場合（ステップＳ４８でＮＯ）、頻度増減率算出部３３は、単語カウンタｉを１つインクリメントし（ステップＳ４９）、ステップＳ４２に戻って、次の単語ｉについて同様の処理を行う。一方、単語ｉ＝最終である場合（ステップＳ４８でＹＥＳ）、処理を終える。
【００９３】
以上説明した本実施形態に係るネットワークシステムＳによれば、文書ファイルの全文書数Ｎに関し、前回の文書インデックス更新タイミングの時点と今回の更新タイミングの時点との比較において、第１増減率Ｎｐが第１閾値を下回る場合において、第２増減率ｄｆｐが第２閾値を上回る単語についてのみ、単語重み値の再計算処理が実行される。従って、文書データベース１０内において文書ファイルの登録数が僅かに増加したに過ぎないにも拘わらず、全ての単語について重み値の再計算処理が実行されてしまうことを抑止できる。
【００９４】
さらに、各単語の文書頻度ｄｆは、実績値ではなく、全文書数Ｎと、全ての文書ファイルを通して特定の単語が出現する頻度である単語出現頻度Ｆとを確率変数とし、離散確率分布を用いて推定値として求めるので、計算量を軽減できる。従って、文書インデックスの更新を効率的且つ適正に行わせることができる。
【符号の説明】
【００９５】
Ｓ  ネットワークシステム
１０  文書データベース
１１  文書インデックスデータベース（記憶手段）
２０  検索エンジン
３０  データ処理装置
３１  文書インデックス作成部（インデックス作成手段）
３１１  単語抽出部
３１２  単語重み作成部
３１３  文書重み作成部
３２  文書増減率算出部（第１増減率算出手段）
３３  頻度増減率算出部（第２増減率算出手段）
３４  判定部（判定手段）
３５  制御部（制御手段）
４０  端末装置
【図１】
2011227590.tif 000010
【図２】
2011227590.tif 000011
【図３】
2011227590.tif 000012
【図４】
2011227590.tif 000013
【図５】
2011227590.tif 000014
【図６】
2011227590.tif 000015
【図７】
2011227590.tif 000016
【図８】
2011227590.tif 000017
【図９】
2011227590.tif 000018