(57)【特許請求の範囲】
【請求項１】
データベースにおいてドキュメントの事項及び／又はクラスを検出及び追跡するための方法であって、前記ドキュメントの事項及び／又はクラスが前記データベースに追加され、前記ドキュメントは、時間パラメータおよび少なくとも１つのキーワードに関連するアトリビュートデータを含み、該方法は、
前記ドキュメントに含まれる前記時間パラメータを含む前記アトリビュートデータを用いて前記ドキュメントのベクトルを得るステップと、
前記キーワードを重み付けすると共に特定の日付を中心とした時間経過に関して重み付けし、前記ベクトルを用いて同時に前記ドキュメントの事項及び／又はクラスの検出及び追跡を、前記時間パラメータの重みが前記キーワードの重み付けの合計よりも小さい条件として行うステップとを含む方法。
【請求項２】
前記検出及び追跡ステップは、さらに時間ウインドウを与えるステップを含み、前記検出及び追跡ステップは、前記時間ウインドウを用いて実行される、請求項１に記載の方法。
【請求項３】
前記時間ウインドウは、特定の日付に対するデルタ関数、又は対称的なガウシアン関数、又はステップ関数、又はディスプレイウインドウ上でユーザによりインタラクティブに構成される、請求項２に記載の方法。
【請求項４】
前記各ドキュメントの前記キーワードの数が前記データベース内で略一定であり、同じ時間ウインドウがすべての前記ドキュメントに適用される場合には、前記時間ウインドウが前記ベクトルの次元減少を実行する前に規格化される、請求項２に記載の方法。
【請求項５】
複数の異なった時間ウインドウが与えられ、前記各ドキュメントにおける前記キーワードの数が変動する場合には、前記キーワードと前記時間パラメータとの間の相対的重みを前記ドキュメント間で略一定とする、請求項２に記載の方法。
【請求項６】
ドキュメントの事項及び／又はクラスが追加されるデータベースを含むコンピュータシステムであって、前記ドキュメントは、時間パラメータおよび少なくとも１つのキーワードに関連するアトリビュートデータを含み、かつ、前記ドキュメントの前記事項及び／又はクラスの検出及び追跡を行うコンピュータシステムであって、該コンピュータシステムは、
前記ドキュメントに含まれる前記時間パラメータを含むアトリビュートデータからドキュメントの前記ベクトルを与える手段と、
前記キーワードを重み付けすると共に特定の日付を中心とした時間経過に関して重み付けし、前記ベクトルを用いて同時に前記ドキュメントの事項及び／又はクラスの検出及び追跡を、前記時間パラメータの重みが前記キーワードの重み付けの合計よりも小さい条件として行う手段とを含むシステム。
【請求項７】
前記検出及び追跡を行う手段は、さらに時間ウインドウを与える手段を含み、前記検出及び追跡を行う手段は、前記時間ウインドウを用いる、請求項６に記載のコンピュータシステム。
【請求項８】
前記時間ウインドウは、特定の日付に対するデルタ関数、又は対称的なガウシアン関数、又はステップ関数から選択されるか、又はディスプレイウインドウ上でユーザによりインタラクティブに構成される、請求項７に記載のコンピュータシステム。
【請求項９】
前記各ドキュメントの前記キーワードの数が前記データベース内で略一定であり、同じ時間ウインドウがすべての前記ドキュメントに適用される場合には、前記時間ウインドウが前記ベクトルの次元減少を実行する前に規格化される、請求項７に記載のコンピュータシステム。
【請求項１０】
複数の異なった時間ウインドウが与えられ、前記各ドキュメントにおける前記キーワードの数が変動する場合には、前記キーワードと前記時間パラメータとの間の相対的重みを前記ドキュメント間で略一定とする、請求項７に記載のコンピュータシステム。
【請求項１１】
前記コンピュータシステムは、サーバコンピュータと少なくとも１つのクライアントコンピュータを含み、検出及び追跡は、前記サーバと通信し前記検出及び追跡の結果を受取る前記少なくとも１つのクライアントコンピュータから要求される、請求項６に記載のコンピュータシステム。
【請求項１２】
時間パラメータおよび少なくとも１つのキーワードに関連するアトリビュートデータを含むドキュメントの事項及び／又はクラスが追加されるデータベースにおけるドキュメントの事項及び／又はクラスの検出及び追跡を行うための方法をコンピュータに対して実行させるコンピュータ実行可能なソースコードが記録された記録媒体であって、該方法は、
前記ドキュメントに含まれる前記時間パラメータを含むアトリビュートデータを用いて前記ドキュメントのベクトルを与えるステップと、
前記キーワードを重み付けすると共に特定の日付を中心とした時間経過に関して重み付けし、前記ベクトルを用いて同時に前記ドキュメントの事項及び／又はクラスの検出及び追跡を、前記時間パラメータの重みが前記キーワードの重み付けの合計よりも小さい条件として行うステップとをコンピュータに対して実行させる記録媒体。
【請求項１３】
前記検出及び追跡ステップは、さらに時間ウインドウを与えるステップを含み、前記検出及び追跡ステップは、前記時間ウインドウを用いて実行される、請求項１２に記載の記録媒体。
【請求項１４】
前記時間ウインドウは、特定の日付に対するデルタ関数、又は対称的なガウシアン関数、又はステップ関数から選択されるか、又はディスプレイウインドウ上でユーザによりインタラクティブに構成される、請求項１３に記載の記録媒体。
【請求項１５】
前記各ドキュメントの前記キーワードの数が前記データベース内で略一定であり、同じ時間ウインドウがすべての前記ドキュメントに適用される場合には、前記時間ウインドウは、前記ベクトルの次元減少を実行する前に規格化される、請求項１３に記載の記録媒体。
【請求項１６】
複数の異なった時間ウインドウが与えられ、前記各ドキュメントにおける前記キーワードの数が変動する場合には、前記キーワードと前記時間パラメータとの間の相対的重みを前記ドキュメント間で略一定とする、請求項１３に記載の記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、大きなデータベースにおけるドキュメントの事項及び／又はクラスの追跡及び追跡に関し、より詳細には、時間、日付、年、又はこれらのいかなる組み合わせからなる時間パラメータを同時に考慮することにより、きわめて大きなデータベースにおけるドキュメントの新規な事項及び／又は新規なクラスの検出及び事後追跡を行うための方法、システム、及び記録媒体に関する。
【０００２】
【従来技術】
現在のデータベースシステムは、ますます膨大な量のニュースデータ、顧客情報、在庫データ等のデータを取り扱うようになっている。このようなデータベースのユーザは、所望する情報を迅速、かつ効果的に充分な精度を持って検索することが困難である。したがって、大きなデータベースから新しいトピックス及び／又は事項を適時に、精度よく、かつ安価に検出ことは、例えば、在庫管理、先物及びオプション取引、多くのリポータを世界中に駐在させることなく、迅速にリポータに指示を行うニュース代理店、インターネットに基づくビジネス、又は競合者についての主要で新しい情報を知ることが必要な他の迅速な活動において成功を収めるといった、多くのタイプのビジネスにおいてきわめて価値ある情報を与えることになる。
【０００３】
従来では、データベースの検索を行おうとする者は多くの場合、検索をモニタする別の要員を雇用する必要があり、種々のデータベースにおける新規な事項の検出及び事後追跡は、高価で、労力を要し、時間がかかる作業とされている。
【０００４】
近年における検索エンジンとして用いられる検出及び事後追跡方法は、ほぼ、データベース中のデータをクラスタ化するため、データに対してベクトルモデルを適用している。これらの従来の方法では、概ねデータベース中のデータに対応するベクトルｑ（ｋｗｄ１，  ｋｗｄ２，  ｋｗｄ３，．．．．．．ｋｗｄＮ）を形成する。このベクトルｑは、データに含まれるｋｗｄ１，  ｋｗｄ２，．．．．．．，  ｋｗｄ３といったアトリビュートの数に等しい次元を有している。共通して用いられるアトリビュートは、単一のキーワード、フレーズ、人名、地名といったキーワードである。通常では、数学的にベクトルｑを形成させるために、バイナリモデルが用いられる。バイナリモデルにおいては、データがｋｗｄ１を含まなければｋｗｄ１を０に置換し、データがｋｗｄ１を含んでいればｋｗｄ１が１へと置換される。ある場合には、重み付けファクタがバイナリモデルと組合わされて、検索の精度が向上されている。このような重み付けファクタとしては、例えば、データにおけるキーワードの出現回数を挙げることができる。
【０００５】
データベースにおけるこのようなベクトルモデルにおいては、従来ではデータベース内でのデータのクラスタ化がまずキーワードに基づいて行われる。クラスタ化の手法においては、主にベクトルｑの内積が用いられており、データベース内のデータにそれぞれ対応する各ベクトルが、内積が所定の範囲となるいくつかのクラスタへと分類される。その後、このクラスタは、さらにデータに付された日付／時間スタンプを用いて新規な事項の検出及び事後追跡のため、さらにクラスタ化が行われる。この従来の検索方法は、新規な事項の検出及び追跡のため上述したように２段階のクラスタ化プロセスを用いており、このため検索手法は労力を要しかつ高コストな作業となる。
【０００６】
したがって、これまで新規な事項及び／クラスの検出及び新規な事項の事後追跡を安価に、かつ自動的に行うことを可能とする新規な方法を用いたシステムを提供することが必要とされている。
【０００７】
（先行技術の開示）
Ｓ．Ｗｅｉｓｓ等、「テキスト検索性能の最大化」、ＩＥＥＥ，  Ｉｎｔｅｒｉｇｅｎｔ  Ｓｙｓｔｅｍｓ，７／８月、１９９９年、第１３０７−１３１３頁、ＩＢＭ、Ｔ．  Ｊ．  Ｗａｔｓｏｎ  Ｌａｂｏｒａｔｏｒｙ、においては、決定木及び交互サンプリングアルゴリズムを組み合わせて用いる、新規な事項の検出及び追跡のための方法が開示されている。Ｗｅｉｓｓ等により開示されたこの方法は、新規な事項の検出及び追跡のための方法を提供するものではあるが、辞書をコンパイルするためのサンプル・ドキュメント・トレーニングセットを必要とするという不都合がある。
【０００８】
「トピック検出及び追跡の先駆的研究ファイナルレポート」、Ｐｒｏｃ．  ＤＡＲＰＡ  Ｂｒｏａｄｃａｓｔ  Ｎｅｗｓ  Ｔｒａｎｓｃｒｉｐｔｉｏｎ  ａｎｄ  Ｕｎｄｅｒｓｔａｎｄｉｎｇ  Ｗｏｒｋｓｈｏｐ，  １９９８年２月、Ｍｏｒｇａｎ  Ｋａｕｆｍａｎｎ  Ｓａｎ  Ｆｒａｎｓｉｓｃｏ，  第１９４−２１８頁、１９９８年、Ｊ．  Ａｌｌｅｎ等、マサチューセッツ大学、Ａｒｍｅｓｔ、ＣＭＵ、「Ｄｒａｇｏｎ  Ｓｙｓｔｅｍｓ」においては、確率的アプローチ（ヒドン・マルコフ・モデル）が、記事内の単語及びセンテンスに基づいてドキュメントをクラスタ化するために用いられている。この「Ｄｒａｇｏｎ  Ｓｙｓｔｅｍ」はまた、システムを開始させるためにトレーシングセットを必要とするという、不都合を有している。Ｕｍａｓｓ（マサチューセッツ大学）は、コンテントベースのＬＣＡ（ｌｏｃａｌ  ｃｏｎｔｅｎｔ  ａｎａｌｙｓｙｓ）法を用いているが、この方法は、きわめて遅く検索速度が許容できないほどに遅くなってしまう。ＣＭＵシステムは、オーディオニュース及びビデオデータといったマルチメディアデータの検索を行うことを目的としており、この方法は、確率的な方法に基づくものである。
【０００９】
「Ｉｎｔｅｌｌｉｇｅｎｔ  Ｉｎｆｏｒｍａｔｉｏｎ  Ｒｅｔｒｉｅｖａｌ」、ＩＥＥＥ  Ｉｎｔｅｌｌｉｇｅｎｔ  Ｓｙｓｔｅｍｓ，  ７／８月、１９９９年、第３０〜３１頁、Ｙ．  Ｙｏｕｎｇ等においては、グループ平均クラスタリングと、別々にタイムスタンプ−重みファクタとを適用する方法が開示されている。この重みファクタはまた、Ｗ．  Ｆｒａｋｅｓ「Ｃｌｕｓｔｅｒｉｎｇ  ａｌｇｏｒｉｔｈｍ」、４１９−４４２頁、及びＲ．  Ｂａｅｚａ−Ｙａｔｅｓ（監修者）の「Ｉｎｆｏｒｍａｔｉｏｎ  Ｒｅｔｒｉｅｖａｌ：  ｄａｔａ  ｓｔｒｕｃｔｕｒｅｓ  ａｎｄ  ａｌｇｏｒｉｔｈｍｓ」、Ｐｒｅｎｔｉｃｅ−Ｈａｌｌ，  Ｅｎｇｌｅｗｏｏｄ  Ｃｌｉｆｆｓ，  ＮＪ，  １９９２年及びＥ．  Ｒａｓｍｕｓｓｅｎ，「Ｒｅｃｅｎｔ  ｔｒｅｎｄｓ  ｉｎ  ｈｉｅｒａｒｃｈｉｃ  ｃｌｕｓｔｅｒｉｎｇ：  ａ  ｃｒｉｔｉｃａｌ  ｒｅｖｉｅｗ」、Ｉｎｆｏｒｍａｔｉｏｎ  Ｐｒｏｃｅｓｓｉｎｇ  ａｎｄ  Ｍａｎａｇｅｍｅｎｔ、  第２４巻、第５号、第５７７−５９７頁、１９８８年に開示されている。
【００１０】
「ＣＭＵ  Ｉｎｆｏｍｅｉｄａ−ＫＮＮ−ｂａｓｅｄ  Ｔｏｐｉｃ  Ｄｅｔｅｃｔｉｏｎ」：
ｈｔｔｐ：／／ｗｗｗ．ｉｎｆｏｍｅｄｉａ．ｃｓ．ｃｕｍ．／ＨＤＷＢｅｒｋ／ｔｓｌｄ００１．ｈｔｍにおいては、予めラベルが付けられたトピックスを含むトレーニングインデックスが提供されている。
この詳細は、以下の通りである。
１９９５年から１９９６年までに放送されたニュースストーリ４５０００における、
１０回以上出現した異なったニューストピックス３１７８について、
トレーニングインデックス内の関連したトップ１０のストーリを検索し、
関連するストーリに対するルックアップトピックスを得、
ストーリの関連性（トップ５を選択する）によりトピックスを再度重み付けし、５トピックスについて、リコールが０．４９１であり、関連性が０．４８２であることが報告されている。
【００１１】
「ＮＩＳＴ  Ｔｏｐｉｃ  Ｄｅｔｅｃｔｉｏｎ  ａｎｄ  Ｔｒａｃｋｉｎｇ  Ｅｖａｌｕａｔｉｏｎ  Ｐｒｏｊｅｃｔ」：
ｈｔｔｐ：／／ｗｗｗ．ｉｔｌ．ｎｉｓｔ．ｇｏｖ．ｉａｕｉ／８９４．０１／ｐｒｏｃ／ｄａｒｐａ９８／ｉｎｄｅｘ．ｈｔｍにおいては、米国国家標準技術局（Ｎａｔｉｏｎａｌ  Ｉｎｓｔｉｔｕｔｅ  ｏｆ  Ｓｔａｎｄａｒｄ  ａｎｄ  Ｔｅｃｈｎｏｌｏｇｙ）  （ＮＩＳＴ）は、１９９７Ｘｇに実施された結果を示した表１に示すリストを開示している。
【００１２】
【表１】
0003562572.tif 000002
＊Ｍｉｓｓは、ミスレートを示し、％ｆ／ａは、擬アラームレートであり、％Ｒｅｃａｌｌは、リコールレートであり、％Ｐｒｅｃは、精度である。
【００１３】
「ＤＡＲＰＡ  Ｂｒｏａｄｃａｓｔ  Ｎｅｗｓ  Ｗｏｒｋｓｈｏｐ」：
ｈｔｔｐ：／／ｗｗｗ．ｉｔｌ．ｎｉｓｔ．ｇｏｖ．／ｉａｕｉ／８９４．０１／ｄａｒｐａ９９／ｉｎｄｅｘ．ｈｔｍにおいては、事項追跡及び検出を行うために受理された米国機関による多くのレポートが開示されている（ＴＤＴ２：  Ｔｏｐｉｃ  Ｄｅｔｅｃｔｉｏｎ  ａｎｄ  ｔｒａｃｋｉｎｇ  １９９８）。
【００１４】
【発明が解決しようとする課題】
本発明は、データベースにおけるドキュメントの新規な事項及び／又は新規なクラスの検出及び事後追跡を行うための新規な方法を提供することを目的とする。
【００１５】
本発明の他の目的は、データベースにおけるドキュメントの新規な事項及び／又は新規なクラスの検出及び事後追跡を行うための新規なシステムを提供することを目的とする。
【００１６】
さらに本発明の他の目的は、データベースにおけるドキュメントの新規な事項及び／又はクラスの検出及び事後追跡のための新規なプログラムを実行するためのソースコードを含む記録媒体を提供することを目的とする。
【課題を解決するための手段】
【００１７】
本発明は、本質的に日付及び時間といった時間スタンプパラメータを取り込むことで、きわめて大きなデータベース内のドキュメントの新規な事項及び／又はクラスの検出及び追跡を行うための新規な方法を用いるものである。
本発明の請求項１の発明によれば、データベースにおいてドキュメントの事項及び／又はクラスを検出及び追跡するための方法であって、前記ドキュメントの事項及び／又はクラスが前記データベースに追加され、前記ドキュメントは、時間パラメータに関連したアトリビュートデータを含み、該方法は、前記ドキュメントに含まれる前記時間パラメータを含む前記アトリビュートデータを用いて前記ドキュメントのベクトルを得るステップと、前記ベクトルを用いて同時に前記ドキュメントの事項及び／又はクラスの検出及び追跡を行うステップとを含む方法が提供される。
【００１８】
前記アトリビュートデータは、少なくとも１つのキーワードを含み、前記キーワードが重み付けされる。また、前記検出及び追跡ステップは、さらに時間ウインドウを与えるステップを含み、前記検出及び追跡ステップは、前記時間ウインドウを用いて実行される。前記時間ウインドウは、特定の日付に対するデルタ関数、又は対称的なガウシアン関数、又はステップ関数、又はディスプレイウインドウ上でユーザによりインタラクティブに構成される。
【００１９】
前記時間パラメータはさらに、特定の日付を中心とした時間経過に関して重み付けされており、前記時間パラメータの重みは、前記キーワードの重みの合計よりも小さくされている。前記各ドキュメントの前記キーワードの数が前記データベース内で略一定であり、同じ時間ウインドウがすべての前記ドキュメントに適用される場合には、前記時間ウインドウが前記ベクトルの次元減少を実行する前に規格化される。複数の異なった時間ウインドウが与えられ、前記各ドキュメントにおける前記キーワードの数が変動する場合には、前記キーワードと前記時間パラメータとの間の相対的重みを前記ドキュメント間で略一定とする。
【００２０】
本発明の請求項８の発明によれば、ドキュメントの事項及び／又はクラスが追加されるデータベースを含むコンピュータシステムであって、前記ドキュメントは、時間パラメータに関連するアトリビュートデータを含み、かつ、前記ドキュメントの前記事項及び／又はクラスの検出及び追跡が行われ、該コンピュータシステムは、前記ドキュメントに含まれる前記時間パラメータを含むアトリビュートデータからドキュメントの前記ベクトルを与える手段と、前記ベクトルを用いて同時に前記ドキュメントの事項及び／又はクラスの検出及び追跡を行う手段とを含むシステムが提供される。
【００２１】
前記アトリビュートデータは、少なくとも１つのキーワードを含み、前記キーワードが重み付けされる。前記検出及び追跡を行う手段は、さらに時間ウインドウを与える手段を含み、前記検出及び追跡を行う手段は、前記時間ウインドウを用いる。前記時間ウインドウは、特定の日付に対するデルタ関数、又は対称的なガウシアン関数、又はステップ関数から選択されるか、又はディスプレイウインドウ上でユーザによりインタラクティブに構成される。前記時間パラメータはさらに、特定の日付を中心とした時間経過に関して重み付けされており、前記時間パラメータの重みは、前記キーワードの重みの合計よりも小さくされている。
【００２２】
前記各ドキュメントの前記キーワードの数が前記データベース内で略一定であり、同じ時間ウインドウがすべての前記ドキュメントに適用される場合には、前記時間ウインドウが前記ベクトルの次元減少を実行する前に規格化される。複数の異なった時間ウインドウが与えられ、前記各ドキュメントにおける前記キーワードの数が変動する場合には、前記キーワードと前記時間パラメータとの間の相対的重みを前記ドキュメント間で略一定とする。前記コンピュータシステムは、サーバコンピュータと少なくとも１つのクライアントコンピュータを含み、検出及び追跡は、前記サーバと通信し前記検出及び追跡の結果を受取る前記少なくとも１つのクライアントコンピュータから要求される。
【００２３】
本発明の請求項１６の発明によれば、時間パラメータに関連するアトリビュートデータを含むドキュメントの事項及び／又はクラスが追加されるデータベースにおけるドキュメントの事項及び／又はクラスの検出及び追跡を行うための方法を実行するソースコードが記録された記録媒体であって、該方法は、前記ドキュメントに含まれる前記時間パラメータを含むアトリビュートデータを用いて前記ドキュメントのベクトルを与えるステップと、前記ベクトルを用いて前記ドキュメントの事項及び／又はクラスの検出及び追跡を行うステップとを含む記録媒体が提供される。
【００２４】
前記アトリビュートデータは、少なくとも１つのキーワードを含み、前記キーワードが重み付けされる。前記検出及び追跡ステップは、さらに時間ウインドウを与えるステップを含み、前記検出及び追跡ステップは、前記時間ウインドウを用いて実行される。前記時間ウインドウは、特定の日付に対するデルタ関数、又は対称的なガウシアン関数、又はステップ関数から選択されるか、又はディスプレイウインドウ上でユーザによりインタラクティブに構成される。前記時間パラメータはさらに、特定の日付を中心とした時間経過に関して重み付けされており、前記時間パラメータの重みは、前記キーワードの重みの合計よりも小さくされている。
【００２５】
前記各ドキュメントの前記キーワードの数が前記データベース内で略一定であり、同じ時間ウインドウがすべての前記ドキュメントに適用される場合には、前記時間ウインドウは、前記ベクトルの次元減少を実行する前に規格化される。複数の異なった時間ウインドウが与えられ、前記各ドキュメントにおける前記キーワードの数が変動する場合には、前記キーワードと前記時間パラメータとの間の相対的重みを前記ドキュメント間で略一定とする。
【００２６】
【発明の実施の形態】
本発明の方法は、データベース、より好ましくは、きわめて大きなデータベース内のドキュメントの新規な事項及び／又は新規なクラスを検出すると共に、その事後追跡を行うために用いることができる。新規なデータ及び／又はドキュメントは、データベースへと毎日、毎週、毎月、毎年といった適切な時間間隔で加えられる。本発明は、本質的にこのようなデータベースにおけるドキュメントの新規な事項及び／又はクラスの検出及び事後追跡に有効に用いられる。本発明の方法は、ドキュメントのベクトル空間モデルに基づくものであり、時間パラメータ、すなわち日付／時間スタンプを、時間的なアトリビュート（又は複数のアトリビュート）がキーワードアトリビュートであるかのようにアルゴリズムにおいて処理を行い、ドキュメントのクラスタ化を行い、例えば“ｌａｔｅｎｔ  ｓｅｍａｎｔｉｃ  ｉｎｄｅｘｉｎｇ”といった統計的方法において生じることがあるドキュメント−アトリビュートマトリックスにおけるノイズを低減させるものである。
【００２７】
（新規な事項／クラスの検出及び追跡）
用語の定義：
（１）時間パラメータ：用語「時間パラメータ」とは、ドキュメントに含まれ、時間、日付、年、又はこれらのいかなる組み合わせからなる、時間に関連する情報を含むパラメータすなわち、アトリビュートを意味する。
（２）日付／時間スタンプ：用語「日付／時間」スタンプとは、時間パラメータから得られ、後述する結合マトリックスの要素を構成する値をいう。
（３）ドキュメントマトリックス（ベクトル）：用語「ドキュメントマトリックス（ベクトル）」とは、例えば、ドキュメントに含まれるキーワード、キーフレーズ、名前等のアトリビュートから形成されるマトリックス又はベクトルを意味する。
（４）結合マトリックス（ベクトル）：用語「結合マトリックス（ベクトル）」とは、ドキュメントに対応する日付／時間スタンプをドキュメントマトリックスに加えることより形成されたマトリックス又はベクトルを意味する。
（５）時間ウインドウ：用語「時間ウインドウ」とは、新規事項及び／又はクラスの検出及び新規な事項の事後追跡を行う場合に、日付／時間スタンプに対して重み付けをするためのウインドウを意味する。
【００２８】
１．結合マトリックス
ドキュメントマトリックスへと時間的なアトリビュートを含ませるための本発明の手順を示す態様のフローチャートを図１に示す。図１に示すように、この手順は、ステップ１０１へと進んで、所定のフォーマットにあるドキュメントからベクトルモデルを用いてドキュメントマトリックスを形成する。このベクトルの要素の詳細については後述する。本発明に用いるドキュメントには実質的な制限はなく、いかなるフォーマットのドキュメント、例えばテキストデータ、画像データ、オーディオ又はビジュアルデータは、所定の書式で同種のキーワード及び時間パラメータが配置できる限り用いることができる。
【００２９】
図１を参照すると本発明の手順は、ステップ１０２へと進んで、日付／時間スタンプが時間、日付、月年を時間パラメータとして含むドキュメントから得られる。この手順は、さらにステップ１０３へと進んで予め得られていたドキュメントマトリックスへと、日付／時間スタンプを付加して結合マトリックスを形成する。この付加ステップは、当業界において知られているいかなる方法によっても行うことができる。
【００３０】
図１を参照すると、この手順はさらにステップ１０４へと進んで、結合マトリックスの固有値分解及び次元減少を行って、ステップ１０５のＤｏｃ／ｋｗｄクエリー、新規な事項の検知、及び追跡といった検索を実行させることができるようにする。
【００３１】
図２には、上述した時間パラメータをドキュメントマトリックスに結合させるための手順の別の態様を示す。図２に示した手順は、ステップ２０１へと進んでまずドキュメントマトリックスを形成する。ついで、この手順は、ステップ１０２において固有値分解と次元減少とを実行する。その後、この手順はステップ２０３へと進んで時間、日付、月、年といった時間パラメータから日付／時間スタンプを決定する。
【００３２】
ついでこの手順は、ステップ２０４へと進んで日付／時間スタンプをドキュメントマトリックスへと加え、ステップ２０５のＤｏｃ／ｋｗｄクエリー、新規な事項の検出、追跡に用いられる結合マトリックスを形成する。
【００３３】
図１及び図２に示したように、本発明において用いられる結合マトリックスは、検索ステップ１０５，２０５の前であれば、当業者には容易に理解できるように、システム環境、プログラミングの便宜いかなる時点でも形成できる。
【００３４】
図３は、ドキュメントマトリックスを例示した図である。このマトリックスは、ドキュメント１（ｄｏｃ１）〜ドキュメントｎ（ｄｏｃｎ）で構成される行を含んでおり、各ドキュメントは、特定のドキュメントに含まれるキーワード（ｋｗｄ１．．．．．．ｋｗｄｎ）から得られる要素を含んでいる。ドキュメントの数及びキーワードの数は、本発明においては制限はなく、ドキュメント及びデータベースのサイズに依存する。図３に示されるように、ドキュメントマトリックスの要素は、数字１により示されているが、別の正の実数は、後述するように重みファクタを用いてドキュメントマトリックスを形成する場合に用いることもできる。
【００３５】
図４は、日付／時間スタンプに適用されると共に日付／時間スタンプに重み付けをする典型的な時間ウインドウを示す。図４に示す時間ウインドウは、Ｔ０において最大高さＷを有している。ここで、Ｔ０は、特定ドキュメントの特定日付／時間に対応し、高さは、重みファクタに対応する。このタイプのウインドウは、特定ポイントＴ０を中心としてＴ０からの時間間隔につれて減少するウエイテトファクタを用いて新規な事項及び／又はクラスの検出を行うために用いることができる。本発明において用いることができる別の時間ウインドウとしては、検索の目的に応じてデルタ関数、ステップ関数等を挙げることができるが、この時間ウインドウについては、後にさらに説明を行う。
【００３６】
図５は、図１及び図２のステップ１０４，２０２の固有値分解及び次元減少において得られるマトリックスＵ、Σ、ＶＴの構成を示す。マトリックスのマークを付けた領域の要素は、固有値分解及び次元減少の手法によりドキュメントのマトリックスの次元を減少させるために０に設定されている。この固有値分解及び次元減少については、当業界においてよく知られた方法により行うことができる。
【００３７】
図６においては、ドキュメントマトリックスに日付／時間スタンプを加えて得られた結合マトリックスの態様を示す。この結合マトリックスは、ドキュメントマトリックスに本来含まれていた要素の後ろに日付／時間スタンプとして用いられる要素を含んでいる。これらの要素は、図６に示されるように数字１で与えられているが、しかしながら重みファクタを結合マトリックスの形成に用いる場合には、別の正の実数が要素として存在していてもよい。このような付加ステップはまた、当業界においてよく知られたいかなる方法により行うことができる。
【００３８】
図７は、ドキュメントマトリックスを形成するための実際の手順を示す。図７（ａ）においては、ドキュメントは、ＳＧＭＬといったフォーマットで書かれているものと仮定されている。本発明の方法は、ドキュメントに基づいて検出及び追跡を実行させるためのキーワードを発生させ、その後ドキュメントのフォーマットを、例えば図７（ｂ）に示すように、本発明の方法により好ましく用いられるような別のフォーマットへと変換する。ドキュメントのフォーマットについては特にＳＧＭＬに限定されるものではなく、別のフォーマットでも本発明においては用いることができる。
【００３９】
ついでアトリビュート発生手順について説明する。個々では例えば、アトリビュートは、キーワードとする。キーワード発生は、以下のようにして行う。
（１）キャピタル文字の単語を抽出すること、
（２）順番付け、
（３）使用回数の数を計数する、
（４）ｎ＞Ｍａｘ又はｎ＜Ｍｉｎの場合にはその単語を削除する、というものである。Ｍａｘは、キーワードあたり予め定められた最大の出現回数であり、Ｍｉｎは、キーワードあたり予め定められた最小の出現回数である。（４）に示したプロセスは、精度を向上させるために多くの場合有効である。上述した手順を実行する順序には実質的な制限はなく、上述した手順の順序は、用いるシステム条件、プログラミングの便宜等を考慮して決定することができる。上述した手法は、キーワード発生の実施例の１つであり、本発明においては多くの別の手順を用いることも可能である。
【００４０】
キーワード発生及びＳＧＭＬフォーマットの変換の後、ドキュメントマトリックスが上述したようにして形成され、これを図８（ａ）に示す。ドキュメントベクトル／マトリックスを形成するための疑似コードの１例としては、重みファクタ及び／又は関数を用いない場合については、以下に示すものを挙げることができる。
【００４１】
ＲＥＭ：  Ｎｏ  Ｗｅｉｇｈｔｉｎｇ  ｆａｃｔｏｒ  ａｎｄ／ｏｒ  ｆｕｎｃｔｉｏｎ
Ｉｆ  ｋｗｄ  （ｊ）  ａｐｐｅａｒｓ  ｉｎ  ｄｏｃ  （ｉ）
Ｔｈｅｎ                      Ｍ  （ｉ，  ｊ）＝１
Ｏｔｈｅｒｗｉｓｅ            Ｍ（ｉ，  ｊ）＝  ０
同様の手法は、時間パラメータについても適用でき、この場合には下記の疑似コードを用いることができる。
Ｉｆ  ｄａｔｅ／ｔｉｍｅ  ｓｔａｍｐ  ｅｑｕａｌ  ｔｏ  ａ  ｓｐｅｃｉｆｉｃ  ｔｉｍｅ／ｄａｔｅ／ｙｅａｒ  ｉｎ  ｄｏｃ  （ｉ）
Ｔｈｅｎ                                Ｗ  （ｉ）＝１
Ｏｔｈｅｒｗｉｓｅ                      Ｗ  （ｉ）＝０
図８（ｂ）は、キーワードと、日付／時間スタンプとを同時に含む結合マトリックスにおけるベクトルの詳細を例示した図である。
【００４２】
本発明においては、重みファクタ及び／又は重み関数を、結合マトリックスを形成する際にキーワードと時間パラメータの双方について用いることができる。キーワードＷＫに対するこのウエイテトファクタ、及び／又は重み関数は、ドキュメント中での当該キーワードの出現回数、ドキュメント中におけるキーワードの位置、当該キーワードがキャピタルで記載されているか否かを挙げることができるが、これらに限定されるものではない。時間パラメータについての重みファクタ、及び／又は重み関数ＷＴは、日付／時間スタンプを得るため、キーワードの場合と同様に適用することができる。本発明の検出及び追跡が可能である限り、各キーワードについてそれぞれ重みファクタＷＫを用いることができ、多数のＷＫと共に重みファクタＷＴを用いることができる。しかしながら、新規な事項及び／又はクラスの検出及び新規な事項の事後追跡を行う目的においては、時間／日付依存のトピックスに良好に関連させることができるように、重みファクタＷＫの総和に対するＷＴの割合が小さくなるようにすることが必要である。いくつかの異なった時間ウインドウを、各ドキュメント間でキーワードの数が大きく変動しない場合に、キーワードと時間パラメータとの間の重みが相対的に変化しないようにして用いることも可能である。
【００４３】
２．ドキュメントの順位付け
本発明によれば、重みファクタにより、キーワードと、日付／時間スタンプの双方に関連してドキュメントを順位付けするいくつかの手順を可能とすることができ、まずキーワードのみから形成されるドキュメントマトリックスをクラスタ化する従来のデータベース検索エンジンに対して、新規な事項及び／又はクラスの検出及び追跡における利用性を向上させることが可能となる。本発明は、例えば、ヒットした新規な事項及び／又はクラスのうちのトップから１０番目の事項をピックアップするといった結果を与えることを可能とするが、本発明の方法では時間的なアトリビュートを同時に含んだ結合マトリックスを用いるので、検索、すなわち新規な事項及び／又はクラスの検出と追跡の精度を向上させることができる。
【００４４】
図９は、新規な事項及び／又はクラスの検出及び追跡の典型的な結果を示す概略図である。図９においては、時間的なアトリビュートを考慮しない、すなわち単なるキーワード検索に対応する検索クエリーに対して、最も高い信頼度を有するドキュメントｄｏｃ１及びｄｏｃ４が、最も長いラインで示されており、これらよりも低い信頼度を有するドキュメントｄｏｃ３及びｄｏｃ２がより短いラインで示されている。
【００４５】
図１０及び図１１は、検索クエリーが日付／時間スタンプを用いる場合の検索結果を示した図である。図１０と、図１１とでは、日付／時間スタンプに対する重みファクタが異なっている。図１０は、図９に示したと同一のドキュメントの間において、日付／時間スタンプについての重みファクタを高く設定したクエリーを用いた検索結果を示した概略図である。
【００４６】
図１０に示されるように、ドキュメントｄｏｃ１は、クエリーに対して依然として最も高い信頼度を有しているが、ドキュメントｄｏｃ２は、用いた重みファクタのため、２番目に高い信頼度を有することとなって、ドキュメントｄｏｃ２の相対的な順位が、ドキュメントｄｏｃ３，ｄｏｃ４よりも高くなっている。ドキュメントｄｏｃ３は、用いた重みファクタのために最も低い信頼度となっており、ｄｏｃ３の順位は、図１０に示した態様においては低下しているのが示される。
【００４７】
これとは別に、図１１は、日付／時間スタンプについての重みファクタが中程度である、異なったクエリーを用いた場合の検索結果を示した概略図である。ドキュメントｄｏｃ１は、依然としてキーワード及び日付／時間スタンプに対しては最も高い信頼度を有しているので、ドキュメントｄｏｃ１は、最も左側の位置を占めている。しかしながら、ドキュメントｄｏｃ３の順位は、日付／時間スタンプにして中程度の重みが適用されるため、図１０に示した順位よりも高くなっている。ドキュメントｄｏｃ３は、ドキュメントｄｏｃ２よりも図９に示したようにキーワードに対しては良好な信頼度を有し、また検索クエリーは、中程度の重みファクタが適用されるので、図１１に示すようにドキュメントｄｏｃ３の順位は、ドキュメントｄｏｃ２，ｄｏｃ４よりも高くなっている。ドキュメントｄｏｃ４は、クエリーに含まれるキーワードに対して図９に示したようにドキュメントｄｏｃ３よりも良好にマッチングするが、ドキュメントｄｏｃ４は、日付／時間スタンプに対して相対的に低い関連性しか有していないのでドキュメントｄｏｃ４は、ドキュメントｄｏｃ３よりも低く順位付けされることになる。上述したように、本発明は、データベースにおける新規な事項／クラスの検出及び新規な事項／クラスの事後追跡について著しい改良をもたらすものである。
【００４８】
本発明の方法はまた、通常の検索エンジンのように検索結果からトップ１０の事項をピックアップすることも可能である。しかしながら、日付／時間スタンプとして結合マトリックスに時間パラメータを含ませることにより、新規な事項及び／又はクラスをピックアップする種々の方法が可能となる。図１２は、特定の日付／時間スタンプに対する相対的関連性についてドキュメントを順位付けする変更例を示した図である。図１２においては、ドキュメント“参照ｄｏｃ；  ｒｅｆｅｒｅｎｃｅ  ｄｏｃ”は、クエリーに含まれる日付／時間スタンプを含んでいる。“参照ｄｏｃ：ｒｅｆｅｒｅｎｃｅ  ｄｏｃ”に対して最も関連性を有するドキュメントを、例えば“隣接ｄｏｃ：ｃｌｓｔ．  ｄｏｃ”により示す。別のドキュメントは、ｄｏｃ  ｎ及びｄｏｃ  ｍとして示されている。これらのドキュメントは、日付／時間スタンプを含むか、又は含まないクエリーによりデータベースから検索することができる。
【００４９】
図１２（ａ）は、ドキュメントのピックアップを参照ｄｏｃと最後にピックアップされるドキュメントの間の信頼度の差が所定の差αとなるまで行う方法を示している。この値αは、所定の値に固定することもできるし、また検索者の目的及び必要性に応じていかなる値にでも選択することができる。
【００５０】
図１２（ｂ）及び図１２（ｃ）は、検索結果からドキュメントをピックアップするための別の方法を示した図である。図１２（ｂ）においては、信頼度−ドキュメント曲線における変曲点がまず決定され、変曲点よりも順位が高いデータがピックアップされる。この手順を実行するためには、当業界において知られたいかなるアルゴリズム及び手法でも用いることができる。図１２（ｃ）には、このための方法の別の態様が示されている。図１２（ｃ）に示された方法は、まず信頼度−ドキュメント曲線における互いに隣接した３つのドキュメントから得られる２つの傾きの差に対するしきい値を決定する。データのピックアップは、下記式を満足させるポイントまでで停止される。
【００５１】
【数１】
0003562572.tif 000003
εの値には、実質的な制限はなく、所定の数のドキュメントをピックアップすることができるように最適化することができる。
【００５２】
図１２（ｄ）は、ドキュメントの間の相対的関連性に基づいてドキュメント相互を分類するための方法が示されている。この方法においては、ドキュメントは、ドキュメントの第１のブロックと、第２のブロックと、第３のブロックとを、例えば互いに隣接するドキュメントの間において急激に信頼度が減少することによりグループ化を行う。上述した変曲点と、図１２（ｂ）、図１２（ｃ）で説明したスロープの違いとを用いる方法も、ドキュメントを分類するために有効であり、これらの手順は、ドキュメント間の相対的関連性を評価するために用いることができる。
【００５３】
新規な事項の検出のための実際の手順
Ａ．データベースにおけるドキュメントの数学的（ベクトル空間）モデルの形成各ドキュメント、例えばデータベース内の電子的テキストのドキュメント及び／又はウエッブページのニュース記事は、著者、発信源の名前、電子的テキストドキュメントのキーワードといった、ドキュメントに含まれるアトリビュートを用いたベクトルにより表現される。ベクトル表現を形成する場合には、アトリビュートに適切な重みを与えるのを保証するため、よく知られたリファイメント技術をドキュメントに対して適用することができる。このようなリファイメント技術としては、下記のものを挙げることができる。
（１）単語の単数形、複数形を連携させること、
（２）文字の属性を取り除くこと（キャピタル／小文字の場合）、
（３）出現回数に応じて重み付けすること、
（４）３回以下、又は１００回以上といったように少なすぎたり、多すぎる出現回数の単語を削除すること、等である。
【００５４】
Ｂ．各ドキュメントの時間的なアトリビュートに対応する日付／時間スタンプを含む結合マトリックスを構築／形成すること
日付／時間スタンプは、その後ドキュメントマトリックスへと付加されて、上述した方法により結合マトリックスが形成され、検索者においてキーワードを日付／時間スタンプと同時に取扱うことができるようにされる。日付／時間スタンプのドキュメントマトリックスへの付加の詳細については上述した通りに行われる。
【００５５】
Ｃ．ドキュメント間の距離を用いる“新規な事項”の定義
新規な事項の検出のためには、まず２つの対応するドキュメントベクトルによって規定される角度のｃｏｓといった関数を用いて、これら２つのドキュメントの間の距離を定義する。この距離は、従来のいかなる手法にしたがって得られる、ドキュメントベクトルの内積とすることができるが、結合ベクトルが日付／時間スタンプに関連した情報を含んでいるので、同一のキーワードを含むドキュメントの間を評価することが同時に可能となる。
【００５６】
ここで、キーワードアトリビュートのみを比較した場合に、２つのドキュメントが同一のキーワードを含むものとする。このようなドキュメントの距離は、従来では、２つのドキュメントが同一のキーワードを有しているためにゼロとなり、このため新規な事項を検出するためには別のクラスタ化が必要とされる。本発明の方法によれば、同一のキーワードを含むこのような２つのドキュメントの距離は、結合ベクトルに日付／時間スタンプを同時に含ませていることから、ゼロではない値とすることができる。これら２つの結合ベクトルの間の距離は、典型的には以下のように分類できる。
−フォローアップ記事−
２つのドキュメントが期間“ｄｔ”内に記録されている場合には、より新しい日付／時間スタンプを含んだドキュメントはより早い別のドキュメントに対する“フォローアップ記事”である。
−新規な事項−
２つのドキュメントが“ｄｔ”よりも大きな時間な間隔で隔てられて記録された場合、より最近のタイムスタンプを有するドキュメントは、“新規な事項”であるとするのが妥当である。
【００５７】
“ｄｔ”の実際の値は、トピックスの種々の種類、ユーザによる検索の目的、必要性等を考慮して最適化することができる。日付／時間スタンプを中心として、“ｄｔ”の期間中にスムースに１から０へと変化する時間ウインドウといった関数を用いて、直接“フォローアップ記事”を、例えば結合ベクトルと時間ウインドウとの間で内積を計算させることによって指定することが可能である。
【００５８】
Ｄ．時間ウインドウ
本発明の時間ウインドウのいくつかのタイプを図１３に示す。図１３においては、縦軸は、重みファクタを示し、横軸が新規な事項についての特定の日を中心とした時間経過を示している。本発明において用いられるこの時間ウインドウとしては、対称的なガウシアン関数、デルタ関数、ステップ関数、ヘビサイドステップ関数を挙げることができる。この時間ウインドウとしてはまた、ユーザによりインタラクティブに入力される時間ウインドウを挙げることができる。時間ウインドウは、新規な事項及び／又はクラスの検出及びデータベースにおける新規な事項に対する事後追跡の双方に用いることができる。
【００５９】
図１３（ａ）は、デルタ関数で表された時間ウインドウを示す。この時間ウインドウは、特定の日付／時間に発生した事項を決定するために有効である。
【００６０】
図１３（ｂ）は、対称的なガウシアン関数とされた時間ウインドウを示す。この時間ウインドウは、新規な事項の日付において最も高い重みファクタを有していて、その重みは、特定の日からの距離にしたがって徐々に減少して行く。このタイプの時間ウインドウは、例えば、所定の新規な事項の日付／時間が幾分か不明確であるか、又はユーザが特定の日付近辺のトピックスを知ることを希望する場合及び／又はフォローアップ記事の追跡を行う場合にも有効である。ガウシアン関数は、本発明においては規格化せずに用いることも、規格化して用いることもできるが、ガウシアン関数は、規格化された形態で用いられることが好ましい。本発明においては、複数のガウシアン関数の形態の時間ウインドウを用いて、週ベース、月ベース、年ベースにおける追跡を同時に行うことも可能である。
【００６１】
図１３（ｃ）は、特定の時間及び／又は日付以前にはゼロの重みファクタとされ、その特定の時間及び／又は日付の後の事項について一定の重みファクタとなるステップ関数の時間ウインドウを示す。この時間ウインドウは、特定の事項、すなわち特定の時間及び／又は日付の後に発生したトピックスの追跡を行うために有効である。また、特定の時間及び／又は日付の後にゼロとなり、この特定の日付の前には一定の重みファクタとなる時間ウインドウ、すなわち“ヘビサイドステップ関数”も、例えば検索者が、その事項が最初に当該特定日及び／又は特定時間に発生したことを確認する場合に用いることができる。
【００６２】
図１３（ｄ）は、コンピュータシステムを介してユーザによりインタラクティブに入力される時間ウインドウを示す。図１３（ｄ）に示されるこの時間ウインドウは、ユーザにより変更することができ、所望する事項を検出又は追跡することを可能とする。このような時間ウインドウの変更は、当業界においてよく知られている、キーボード、スタイラス、マウス、又はある種のポインティングデバイス等、いかなる方法によってもインタラクティブに行うことができる。
【００６３】
上述した時間ウインドウは、本発明においては検出及び追跡の目的応じて、いかなる組み合わせでも用いることができる。各ドキュメントについてキーワードの数がデータベース内において相対的に一定である場合であって、同一の時間ウインドウがすべてのドキュメントに用いられる場合には、この時間ウインドウは、ベクトルの次元減少を行う前に規格化しておくことができる。
【００６４】
データベースにおける事項についての事後追跡の実際の手順
ドキュメントベクトル及び結合ベクトルの構成については前述したパラグラフＡ及びＢにおいてすでに説明したので、このセクションにおいては詳細な説明は行わず、追跡における本質的な手順について説明を行う。
【００６５】
Ｃ．時間ウインドウを含む２つのドキュメント間の“距離”の算出
２つのドキュメントの間の距離は、上述したようにこれら対応する２つの結合ベクトルの間の角度のｃｏｓとして定義される。ついで、日付／時間スタンプを中心とした“ウインドウ”をそれぞれの結合ベクトルに対して適用して、同一のキーワードを含み、近い時点、又は同時、又は時間には離れて記録されているが同一のトピックスに対応するドキュメントを決定する。
Ｄ．  “同一の事項のカバーするドキュメント”の概念の定義
２つのドキュメントは、対応するドキュメントベクトルの間の距離がきわめて小さな場合に“同一の事項をカバーする”ものと定義される。“小さい”とは、信頼度曲線の順位における定量的な用語及び／又は変化、すなわち１つのドキュメントがデータベースへと、クエリーベクトルが入力された場合の順位−信頼度曲線の傾斜等として定義できる。
Ｅ．  事項の年次的追跡
例えば、週単位、月単位、年単位で事項の年次的追跡を行うために、“年次的ウインドウ”を関心のある特定日の時点を中心として、日付／時間スタンプを中心とする時間ウインドウと同様に用いることもできる。上述した定期的ウインドウは、時間ウインドウのように追跡において適用することができるが、この時間ウインドウの間隔は各年毎に設定される必要がある。
【００６６】
Ｆ．  特定の日付け以前（又は特定の日付け以後）に発生した事項の追跡
特定の日付け以前に発生した事項のみを追跡するためには、特定の日付の前には値１を取り、特定の日付の後にゼロの値となるヘビサイドの“ステップ関数”が有効である。正確な日付がいくらか不明確である場合や、ニュースレポートが受理され投函されるまでの時間的遅延を考慮することが必要な場合には、また１からゼロまでより緩やかに変化する“ソフト曲線”を用いることも可能である。ソフト曲線の変化度には、実質的な制限はなく、関連する特定の事項に応じて選択することが可能である。特定の日付の後に発生した事項の事後追跡を行う場合には、その日付以前はゼロであり、その日付以後に１となるステップ関数を時間ウインドウとして用いることができる。双方のステップ関数は、当然のことながら日付の不確定さを考慮して上述した変更加えることが可能である。
【００６７】
Ｇ．データにおけるノイズの低減
データにおけるノイズを低減させ、多様性及び同義語を考慮するために、適切なクラスタ化アルゴリズムを用いて、データベース内の特定ドキュメントの他のドキュメントに対する相関的ランキング付け及び％関連性を決定することができる。このようなアルゴリズムとしては、ラテント・セマンテック・インデキシング（ｌａｔｅｎｔ  ｓｅｍａｎｔｉｃ  ｉｎｄｅｘｉｎｇ）を挙げることができ、同一の事項についての２つのドキュメントが互いに関連するものとして同定されるという不都合があるものの、例えばＭ．  Ｂｅｒｒｙ，  Ｓ．  Ｄｕｍａｉｓ，  Ｇ．Ｏ’  Ｂｒｉｅｎ，  「インテリジェント・インフォメーション・リトリーバルのための線形代数の利用（Ｕｓｉｎｇ  ｌｉｎｅａｒ  ａｌｇｅｂｒａ  ｆｏｒ  ｉｎｔｅｌｌｉｇｅｎｔ  ｉｎｆｏｒｍａｔｉｏｎ  ｒｅｔｒｉｅｖａｌ）」、ＳＩＡＭ  Ｒｅｖｉｅｗ，  第３７巻、第４号、第５７３−５９５頁、１９９５年１２月、及びＳ．  Ｄｅｅｒｗｅｓｔｅｒ等、「ラテント・セマンテック・アナリシスによるインデキシング（Ｉｎｄｅｘｉｎｇ  ｂｙ  ｌａｔｅｎｔ  ｓｅｍａｎｔｅｃ  ａｎａｌｙｓｉｓ）」、Ｊｏｕｒｎａｌ  ｏｆ  ｔｈｅ  Ａｍｅｒｉｃａｎ  Ｓｃｉｅｔｙ  ｆｏｒ  Ｉｎｆｏｒｍａｔｉｏｎ  Ｓｃｉｅｎｃｅ、第４１巻、第６号、３９１−４０７頁、１９９０年を参照することができるが、本発明はこれらに限定されるものではない。しかしながら、関心のあるデータベースにおいてトピックスについての充分なドキュメントがある場合には、このような誤差は本発明の方法においてリカバーすることが可能となる。
【００６８】
コンピュータシステム
図１４には、本発明のコンピュータシステムの代表的な態様を示す。本発明のコンピュータシステムとしては、スタンドアローンのコンピュータシステム、及び／又はいかなる従来のプロトコルを通してＬＡＮ／ＷＡＮにより通信されるクライアントサーバシステム、又はインターネットインフラベースを通して通信が行われるコンピュータシステムを挙げることができる。図１４においては、本発明において有効な代表的なコンピュータシステムを、クライアント−サーバシステムをもって示してある。
【００６９】
図１４に示されるコンピュータシステムは、少なくとも１つのクライアントコンピュータと、サーバホストコンピュータとを含んでいる。クライアントコンピュータと、サーバホストコンピュータとは、ＴＣＰ／ＩＰといった通信プロトコルを通して通信されている。しかしながら、本発明においてはいかなる別の通信プロトコルであっても用いることができる。図１４に示されるように、クライアントコンピュータは、サーバホストコンピュータのＲＭＩレジストリへとリクエスト１を送信して、サーバホストコンピュータの記憶手段内に記憶されたドキュメントの新規な事項／クラスの検索を実行させる。
【００７０】
サーバホストコンピュータは、クライアントコンピュータからの要求に基づいてデータベースの検出及び／又は追跡を実行する。検出及び／又は追跡の結果は、その後サーバホストコンピュータから、サーバスタッブを通してクライアントコンピュータによりダウンロードされ、クライアントコンピュータのユーザにより用いられることになる。図１４においては、サーバホストコンピュータは、ウエッブサーバとして説明されているが、これに限定されるものではなく、コンピュータシステムが上述した機能を提供することができる限り、いかなる別のタイプのサーバホストであっても本発明においては用いることができる。
【００７１】
図１５は、コンピュータシステムの別の態様を示した図である。図１５においては、クライアントコンピュータは、新規な事項及び／又はクラスの検出及び追跡のためのリクエスト３を、ＴＣＰ／ＩＰで通信が行われるネットワークを通してサービスエージェントへと送信する。当然のことながら、ＴＣＰ／ＩＰ以外のプロトコルであっても本発明においては用いることが可能である。このサーバホストコンピュータには、本発明の方法を実行させるためのプログラムが搭載されていて、クライアントからのリクエストを受信すると検出及び追跡を開始する。図１５においては、検索結果は、サービスエージェントによりダウンロードされ、その後ウエッブサーバのサービススタッブを通してクライアントコンピュータへと通信される。
【００７２】
図１６は、本発明のコンピュータシステムのさらに別の態様を示した図である。図１６に示す態様においては、クライアントコンピュータは、独立してＴＣＰ／ＩＰによるネットワークを介して、遠隔的なサービスエージェントのそれぞれに対して通信を行う。遠隔的なサービスエージェントは、それぞれ検出及び追跡のためのリクエスト５を、クライアントからの各リクエストをアクセスさせるため組込まれたインタフェイスを介して、例えばロイター等のデータ・プロバイダに設置されたサーバホストコンピュータへと送信する。データ・プロバイダのサーバコンピュータは、メモリ手段内にネーティブコード及びデータを記憶しており、クライアントからのリクエスト５を受信すると、新規なデータ及び／又はクラスの検出及び／又は追跡のためのプログラムをスタートさせる。検索結果が得られると、この結果はそれぞれの遠隔的なサービスエージェントへと返信され、さらにもともとリクエスト５を発したクライアントそれぞれへと通信される。上述したように、図１４〜図１６に示した態様は、ネットワーク化されたコンピュータシステムをもって説明が行われている。当然ながら、本発明はきわめて大きなデータベースを含むスタンドアローンのコンピュータシステムにおいても有効である。
【００７３】
図１７〜図２１には、本発明の手順を実行させる態様が、本発明の手順をコンピュータシステムが実行する場合のＧＵＩ表示を用いて示されている。しかしながら、本発明においてはこれらに制限されることはなく、別の種々の好適なＧＵＩを用いることが可能である。図１７に例示するＧＵＩは、ドキュメントナンバーにより検索するためのＧＵＩであり、検索のための方法を選択するためのフィールド“Ｍｅｔｈｏｄ  ｕｓｅｄ  ｆｏｒ  ｓｅａｒｃｈｉｎｇ”と、クエリータイプを選択するためのフィールド“Ｑｕｅｒｙ  ｔｙｐｅ”と、リトリーブされるドキュメントの数を入力するためのフィールド“Ｎｕｍｂｅｒ  ｏｆ  ｄｏｃｕｍｅｎｔｓ  ｔｏ  ｂｅ  ｒｅｔｒｉｅｖｅｄ  ｂｙ  ｑｕｅｒｙ”と、クエリータイプを入力するためのフィールド“Ｑｕｅｒｙ  ｂｙ  ｄｏｃｕｍｅｎｔ”とが設けられている。ユーザは、上述した情報を対応するフィールドに入力することで、検索条件を初期化する。
【００７４】
図１８には、キーワード検索を行うための例示的なＧＵＩを示す。図１８に示された例示ＧＵＩにおいては、ユーザは、“ｑｕｅｒｙ  ｔｙｐｅ”のフィールドから“ｂｙａ  ｌｉｓｔ  ｏｆ  ｋｅｙｗｏｒｄ”を選択し、ユーザは、フィールドからキーワードを選択することができるようにされている。キーワードは、所定のキーワードから選択することができ、及び／又は特定の目的のためにユーザが入力することができる。図１９は、キーワードリストのフィールドに、キーワードを入力するための態様を示す。図１９に示す態様においては、キーワードを入力するためのフィールドが開かれ、所望するキーワードを所定のフォーマットでその内部に入力することができるようにされている。
【００７５】
図２０には、検索結果を表示するための典型的なＧＵＩを示す。検索に用いたクエリータイプ、キーワードは、結果を表示するためのフィールド上に開かれたフィールドに表示されている。検索結果は、その順位付け、検出及び／追跡された事項のタイトル及びその日付と共に表示されている。これらの結果は、適切なフォーマットでプリンタ手段からハードコピーが行われる。
【００７６】
本発明の方法を含んだ検索エンジンのユーザは、図示した態様においては例えば、セレクションバーといった選択手段をキーボード、スタイラス、マウス、又は別のポインティングデバイスを動かして、重み付け及び日付／時間スタンプに対して、ユーザの所望する時間ウインドウをインタラクティブに入力することができるようにされている。
【００７７】
図２１は、時間ウインドウを変更するためのＧＵＩの態様を示した図であり、時間ウインドウの幅、時間、日付、又は年といった特定の時間パラメータがＧＵＩ上に表示されているのが示されている。システムのユーザは、図２１に示されているように、特定の時間ウインドウをインタラクティブに入力して、より精度高く、信頼度のある検索結果を、時間ウインドウについて数値的に示される表示の指示により得ることが可能となる。
【００７８】
以下に、本発明を実施例をもってさらに説明するが、これらの実施例は、本発明を制限するものではない。
【００７９】
【実施例】
＜サンプルデータベース＞
本発明を、ロイター−２１５８ニュースデータベースから抽出したサンプルデータベースを用いてテストした。１つのデータベースを８３の記事から構成し、別のデータベースを２０，０００以上の記事からそれぞれ構成した。
【００８０】
より大きなロイターのデータベースからの８３記事からなるデータベースについて、本発明の有効性を検討した。これらの記事は、新規な事項、それに続いたフォローアップ記事、別の新規な事項の記事、及び関連性のない“ノイズ”、すなわち主要な課題に対して全く関連性のない記事から選択した。これらを以下に示す。
−ｐｌａｎｅ（エアバス（商標）、ボーイング（商標）、ダグラス（商標））
−ｐｌａｎｅ  ｃｒａｓｈ  ａｎｄ  ｔａｋｅｏｖｅｒ（飛行機事故及び乗取り）
−ｅａｒｔｈｑｕａｋｅ（地震、ニュージーランド、日本）
−ｃｏｍｐｕｔｅｒｓ（コンピュータ、ａｔｔ，  ｉｂｍ，  ａｐｐｌｅ）
−ｇｕｌｆ  ｗａｒ（湾岸戦争）
−Ｂｒｉｔｉｓｈ  ｅｌｅｃｔｉｏｎｓ（イギリスの選挙）
−ｎｏｉｓｅ（ノイズ）
である。
サンプルデータベース（８３記事）を表ＩＩに示す。
【００８１】
【表２】
0003562572.tif 000004
0003562572.tif 000005
0003562572.tif 000006
【００８２】
＜キーワード＞
キーワードリストを、単語中にキャピタル文字（ｕｐｐｅｒｃａｓｅ）をいずれかの部分に含む単語を探して発生させた。本発明者等は、最も簡単なキーワードセットで充分な結果を与えることができることを見出したが、さらに良好なキーワードのセットを選択すればさらに良好な結果を得ることができる。出現頻度が多すぎる単語や出現頻度が少なすぎる単語については、キーワードリストからはずして、検索の精度を保証するようにした。その後、約１５０単語を含むキーワードリストを、単語の先頭及び／又は中間においてキャピタル文字が存在するか否かにかかわらず、キャピタル文字を含むキーワードを考慮して構成した。このため、キャピタル文字は必ずしも単語中の第１番目の文字とされてはいない。
【００８３】
＜新規な事項の検出＞
（実施例１）
新規な事項の検出の結果を、表２における右側の２つの列に示す。右側から２番目の列は、本発明のアルゴリズムによる判定を表示しており、用語“ＮＥＷ”は、アルゴリズムにより新規であると判定された記事を示し、用語“ＯＬＤ”は、トピックスが古いとアルゴリズムにより判定された記事を示す。最も右側の列における用語“ＯＫ”は、この判定が正しいことを示し、反対に“ＯＫ”以外の用語は、判定が不正確であったことを意味する。表２に示すように、このアルゴリズムにより行われた判定は、ドキュメントＮｏ．２，６，７９を除きほぼ正確である。しかしながら、ノイズデータが加えられていることを考慮すれば充分な精度で決定が実行されているものといえる。
【００８４】
＜追跡実験の結果＞
新規事項の事後追跡を行う場合には、新規な事項であるドキュメントｄ  （ｎｅｗ）の後に与えられたすべてのドキュメントｄ  （ｉ）の関連性を、その“隣接性”の点から試験した。ｄ  （ｉ）がユーザによって指定されるしきい値εよりも高い関連性を有している場合には、ドキュメントｄ  （ｉ）は、ｄ  （ｎｅｗ）に対するフォローアップドキュメントであるとした。ｄ  （ｉ）がεよりも低い関連性を有する場合には、ｄ  （ｉ）は、ｄ  （ｎｅｗ）に対するフォローアップドキュメントでないものとした。
【００８５】
すべてのドキュメントのｄ  （ｎｅｗ）に対する関連性を直接試験した後、ｄ  （ｎｅｗ）に対してεよりも大きな関連性を有するドキュメントについてｄ＿ｒｅｌｅｖａｎｔ  （ｉ）のセットを決定した。すべてのドキュメントについて、各ｄ＿ｒｅｌｅｖａｎｔ  （ｉ）に対して高く関連するｄ＿ｒｅｌｅｖａｎｔ２  （ｊ）を、追跡実験においては考慮した。ドキュメントｄ＿ｒｅｌｅｖａｎｔ  ２（ｊ）についての各関連性の積が、関連性しきい値ε×η（η：アテニュエーションファクタ）よりも高ければ、ｄ＿ｒｅｌｅｖａｎｔ  （ｊ）をまた、ｄ  （ｎｅｗ）に対するフォローアップドキュメントとして考慮した。この手順について、図２２に示す。
【００８６】
図２２に示されているドキュメントｄ＿ｒｅｌｅｖａｎｔ３  （ｋ）、ｄ＿ｒｅｌｅｖａｎｔ４  （ｌ）等の順次的な階層について、順次的な階層がｄ  （ｎｅｗ）についてのフォローアップドキュメントであるか否かをチェックするために検討した。各階層について、付加的なアテニュエーションファクタηを、しきい値に乗じた。図２２において破線で連結されたドキュメントについては、この実施例においては関連性を有しないものと判断した。説明する実施例では、アテニュエーションファクタηは、各階層について同じくした。本発明の方法を用いる検索エンジンのユーザは、これとは別に、ユーザの所望する各階層に対応するアテニュエーションファクタ、すなわち、第１の階層についてη１、第２の階層についてη２等を入力することも可能である。
【００８７】
（実施例２）
新規な事項の検出とそれらの事後追跡を容易にするために、時間ウインドウを各ドキュメントベクトルの日付の日付／時間スタンプを中心として適切な位置に設定した。
【００８８】
この実施例においては、ε（しきい値）及びη（アテニュエーション）をそれぞれ０．３及び０．９とした。
クエリー：４  １９８７０３０１“ｓｔｒｏｎｇ  ｅａｒｔｈｑｕａｋｅ  ｈｉｔｓ  Ｎｅｗ  Ｚｅａｌａｎｄ”
（強い地震がニュージーランドで発生）
この結果を表３に示す。
【００８９】
【表３】
0003562572.tif 000007
【００９０】
（実施例３）
この実施例においては、実施例２と同一の手法を採用したが、ε（しきい値）及びη（アテニュエーション）をそれぞれ０．３及び０．４４とした。このため、フォローアップ記事の依存性は実施例２よりも低下している。
クエリー：  ０  １９８７０２２６  “ｉｒａｎ  ａｎｎｏｕｎｃｅｓ  ｅｎｄ  ｏｆ  ｍａｊｏｒ
ｏｆｆｅｎｓｉｖｅ  ｉｎ  ｇｕｌｆ  ｗａｒ”
（イランは湾岸戦争における主要な攻撃を終了したと発表）
この結果を表４に示す。
【００９１】
【表４】
0003562572.tif 000008
【００９２】
（実施例４）
この実施例では、実施例２と同一の手法を用いたが、ε（しきい値）及びη（アテニュエーション）をそれぞれ０．３及び０．７とした。このため、フォローアップ記事の依存性は実施例２と実施例３の中間となっている。
クエリー  ４０  １９８７０３２５  “ｍｃｄｏｎｎｅｌ  ｄｏｕｇｌａｓ  ｇｅｔｓ  ３０６  ｍｌｎ  ｄｌｒ”
（マクダネルダグラスが３億６百万ドルを取得）
この結果を表５に示す。
【００９３】
【表５】
0003562572.tif 000009
【００９４】
（実施例５）
２０，０００以上のドキュメントを含むロイター−２１５７８データベースを完全に用いて、“新規”な事項のリストを、ユーザが特定したしきい値εに関してｄ  （ｉ）よりも１０日前に発生したいかなるドキュメントと関連性のないｄ  （ｉ）について検索を行って作成した。この追跡実験の結果を表６及び表７に示す。表６は、期待された回答であり、表７は、追跡実験によって得られた結果である。表６及び表７に示されるように、本発明により得られた結果は、期待された記事をピックアップできており、上述した大きなデータベースにおいても本発明が有効であることを示すものである。
【００９５】
【表６】
0003562572.tif 000010
【００９６】
【表７】
0003562572.tif 000011
【００９７】
上述した実施例によれば、新規な事項の検出及びその追跡において良好な結果が得られていることが示される。したがって、本発明はデータベースにおける検出及び追跡に対する新規で有効な方法を提供することが可能である。
【００９８】
これまで本発明を、特定の態様に関連して説明を行ってきたが、当業者によれば、本発明の範囲内において種々の除外、変更及び別の態様が可能であることは理解されるであろう。
【００９９】
本発明は、検出及び追跡のための方法に関連して詳細な説明を行ってきたが、本発明はまた、上述した方法を実行するためのシステム、方法自体、本発明の方法を実行するためのプログラムが記録された記録媒体を含むものである。
【図面の簡単な説明】
【図１】ドキュメントマトリックスに対して時間的アトリビュートを含ませるための代表的な手順を示したフローチャート。
【図２】ドキュメントマトリックスに時間的アトリビュートを含ませるための別の手順を示したフローチャート。
【図３】ドキュメントマトリックスを例示した図。
【図４】対称的ガウシアン関数の時間ウインドウを示した図。
【図５】マトリックスＵ、Σ、ＶＴ及び次元が減少したマトリックスＵｋ、Σｋ、ＶｋＴを示した図。
【図６】代表的な結合マトリックスを示した図。
【図７】ドキュメントマトリックスを形成するための代表的な手順を示した図。
【図８】ドキュメントマトリックス（ａ）と、結合マトリックス（ｂ）とを示した図。
【図９】検出及び追跡の結果を示した概略図。
【図１０】検出及び追跡の結果を示した概略図。
【図１１】検出及び追跡の結果を示した概略図。
【図１２】トピックスを関連性に応じて分類するための種々の方法を示した図。
【図１３】時間ウインドウのいくつかのタイプを示した図。
【図１４】本発明の方法を含む代表的なコンピュータシステムを示した図。
【図１５】本発明の方法を含む代表的なコンピュータシステムを示した図。
【図１６】本発明の方法を含む代表的なコンピュータシステムを示した図。
【図１７】コンピュータシステムにおいて用いられる典型的なＧＵＩを示した図。
【図１８】コンピュータシステムにおいて用いられる典型的なＧＵＩを示した図。
【図１９】コンピュータシステムにおいて用いられる典型的なＧＵＩを示した図。
【図２０】コンピュータシステムにおいて用いられる典型的なＧＵＩを示した図。
【図２１】コンピュータシステムにおいて用いられる典型的なＧＵＩを示した図。
【図２２】ドキュメント間の相対的関連性を考慮するための手順を示した図。
【符号の説明】
１，３，５…リクエスト
【図１】
0003562572.tif 000012
【図２】
0003562572.tif 000013
【図３】
0003562572.tif 000014
【図４】
0003562572.tif 000015
【図５】
0003562572.tif 000016
【図６】
0003562572.tif 000017
【図７】
0003562572.tif 000018
【図８】
0003562572.tif 000019
【図９】
0003562572.tif 000020
【図１０】
0003562572.tif 000021
【図１１】
0003562572.tif 000022
【図１２】
0003562572.tif 000023
【図１３】
0003562572.tif 000024
【図１４】
0003562572.tif 000025
【図１５】
0003562572.tif 000026
【図１６】
0003562572.tif 000027
【図１７】
0003562572.tif 000028
【図１８】
0003562572.tif 000029
【図１９】
0003562572.tif 000030
【図２０】
0003562572.tif 000031
【図２１】
0003562572.tif 000032
【図２２】
0003562572.tif 000033