(57)【特許請求の範囲】
【請求項１】
情報クラスタリングのためのコンピュータを含むシステムであって、前記コンピュータは、
ドキュメントを、ドキュメント間でゆるやかに相関する表現および用語に関連したクラスタに分類するため、時間間隔またはドキュメント数単位のチャンクをドキュメントに割り当てて前記ドキュメントをドキュメント格納部に蓄積するデータ蓄積部と、
前記ドキュメントに存在するキーワードに依存し、数値からなる疎なドキュメント−キーワード行列を生成するためのベクトル空間生成部と、
前記ドキュメント−キーワード行列の前記キーワードの次元を削減し、次元削減で残されたキーワードを特異値の大きさに応じて降順に列ベクトルとして配列して次元削減行列を生成する次元削減部であって、前記次元削減行列が、同一行内に特異値が当該ドキュメント内における特異値の大きさが同一の順位を有するキーワードと、当該キーワードに対応付けられる特異値とを対応付けた主要コンポーネントを与える前記次元削減部と、
前記主要コンポーネントを取得し、当該主要コンポーネントを、第１検索クエリ・ベクトルとして処理対象である複数の前記ドキュメントの中から、前記主要コンポーネントに最も関連度のある主要ドキュメントを検索し、続いて、検索された前記主要ドキュメントを第２検索クエリ・ベクトルとして使用して、前記次元削減行列を検索することによってクラスタを決定するためのドキュメントを検索し、前記第２検索クエリ・ベクトルによって検索されたドキュメントの前記第２検索クエリに関連性の高い複数のドキュメントを抽出してキーワードの重み付けの値の平均値のベクトルとして前記クラスタを定義するための重心ベクトルを生成する重心ベクトル決定部と、
前記重心ベクトルを、前記重心ベクトルの前記キーワード、重み付けの値、および前記チャンクの識別値とともにリストとして格納するための項目格納部と
を含み、前記重心ベクトル決定部は、各前記次元削減行列の前記チャンク毎にクラスタ生成を実行する、システム。
【請求項２】
前記次元削減部は、各前記次元削減行列を、前記チャンク毎に次元削減を実行することによって生成する、請求項１に記載のシステム。
【請求項３】
前記システムは、前記チャンク毎に前記ドキュメントの項目の推移を、前記チャンク毎の前記重心ベクトルを検索し、前記重心ベクトルが含むキーワードの重み付けの値を分析することにより、情報トラッキングするための項目分析部をさらに含む、請求項１に記載のシステム。
【請求項４】
情報クラスタリングのためのコンピュータ実行可能な方法であって、前記方法は、コンピュータが、
ドキュメントを、ドキュメント間でゆるやかに相関する表現および用語に関連したクラスタに分類するため、時間間隔またはドキュメント数単位のチャンクをドキュメントに割り当てて前記ドキュメントをドキュメント格納部に蓄積するステップと、
前記ドキュメントに存在するキーワードに依存し、数値からなる疎なドキュメント−キーワード行列を生成するステップと、
前記ドキュメント−キーワード行列の前記キーワードの次元を削減し、次元削減で残されたキーワードを特異値の大きさに応じて降順に列ベクトルとして配列した次元削減行列を生成するステップであって、前記次元削減行列が、同一行内に特異値が当該ドキュメント内における特異値の大きさが同一の順位を有するキーワードと、当該キーワードに対応付けられる特異値とを対応付けた主要コンポーネントを与えるステップと、
前記主要コンポーネントを取得し、当該主要コンポーネントを、第１検索クエリ・ベクトルとして処理対象である複数の前記ドキュメントの中から、前記主要コンポーネントに最も関連度のある主要ドキュメントを検索し、続いて、検索された前記主要ドキュメントを第２検索クエリ・ベクトルとして使用して、前記次元削減行列を検索することによってクラスタを決定するためのドキュメントを検索し、前記第２検索クエリ・ベクトルによって検索されたドキュメントの前記第２検索クエリに関連性の高い複数のドキュメントを抽出してキーワードの重み付けの値の平均値のベクトルとして前記クラスタを定義するための重心ベクトルを生成するステップと、
前記重心ベクトルを、前記重心ベクトルの前記キーワード、重み付けの値、および前記チャンクの識別値とともにリストとして格納するステップと
を含み、前記重心ベクトルを生成するステップは、各前記次元削減行列の前記チャンク毎にクラスタ生成を実行する、方法。
【請求項５】
各前記次元削減行列の前記チャンク毎に次元削減を実行するステップをさらに含む、請求項４に記載の方法。
【請求項６】
前記ドキュメントの前記チャンクに応じた項目の推移を、前記チャンク毎の前記重心ベクトルを検索して前記重心ベクトルを構成するキーワードの重み付けの値を分析することにより、情報トラッキングするステップをさらに含む、請求項４に記載の方法。
【請求項７】
情報トラッキングのためのコンピュータを含むシステムであって、前記システムは、
ドキュメントを、ドキュメント間でゆるやかに相関する表現および用語に関連したクラスタに分類するため、時間間隔またはドキュメント数単位のチャンクをドキュメントに割り当てて前記ドキュメントをドキュメント格納部に蓄積するデータ蓄積部と、
前記ドキュメントに存在するキーワードに依存し、数値からなる疎なドキュメント−キーワード行列を生成するためのベクトル空間生成部と、
前記ドキュメント−キーワード行列の前記キーワードの次元を削減し、次元削減で残されたキーワードを特異値の大きさに応じて降順に列ベクトルとして配列した次元削減行列を生成する次元削減部であって、前記次元削減行列が、同一行内に特異値が当該ドキュメント内における特異値の大きさが同一の順位を有するキーワードと、当該キーワードに対応付けられる特異値とを対応付けた主要コンポーネントを与える前記次元削減部と、
前記主要コンポーネントを取得し、当該主要コンポーネントを、第１検索クエリ・ベクトルとして処理対象である複数の前記ドキュメントの中から、前記主要コンポーネントに最も関連度のある主要ドキュメントを検索し、続いて、検索された前記主要ドキュメントを第２検索クエリ・ベクトルとして使用して、前記次元削減行列を検索することによってクラスタを決定するためのドキュメントを検索し、前記第２検索クエリ・ベクトルによって検索されたドキュメントの前記第２検索クエリに関連性の高い複数のドキュメントを抽出してキーワードの重み付けの値の平均値のベクトルとして前記クラスタを定義するための重心ベクトルを生成する重心ベクトル決定部と、
前記重心ベクトルを、前記重心ベクトルの前記キーワード、重み付けの値、および前記チャンクの識別値とともにリストとして格納するための項目格納部と、
前記チャンク毎に前記ドキュメントの項目の推移を、前記チャンク毎の前記重心ベクトルを検索して前記重心ベクトルを構成するキーワードの重み付けの値を分析することにより、情報トラッキングするための項目分析部と
を含み、前記重心ベクトル決定部は、各前記次元削減行列の前記チャンク毎にクラスタ生成を実行する、システム。
【請求項８】
情報トラッキングのためのコンピュータ実行可能な方法であって、前記方法は、コンピュータが、
ドキュメントを、ドキュメント間でゆるやかに相関する表現および用語に関連したクラスタに分類するため、時間間隔またはドキュメント数単位のチャンクをドキュメントに割り当てて前記ドキュメントをドキュメント格納部に蓄積するステップと、
前記ドキュメントに存在するキーワードに依存し、数値からなる疎なドキュメント−キーワード行列を生成するステップと、
前記ドキュメント−キーワード行列の前記キーワードの次元を削減し、次元削減で残されたキーワードを特異値の大きさに応じて降順に列ベクトルとして配列した次元削減行列を生成するステップであって、前記次元削減行列が、同一行内に特異値が当該ドキュメント内における特異値の大きさが同一の順位を有するキーワードと、当該キーワードに対応付けられる特異値とを対応付けた主要コンポーネントを与えるステップと、
前記主要コンポーネントを取得し、当該主要コンポーネントを、第１の検索クエリ・ベクトルとして処理対象である複数の前記ドキュメントの中から、前記主要コンポーネントに最も関連度のある主要ドキュメントを検索し、続いて、検索された前記主要ドキュメントを第２検索クエリ・ベクトルとして使用して、前記次元削減行列を検索することによってクラスタを決定するためのドキュメントを検索し、前記第２検索クエリ・ベクトルによって検索されたドキュメントの前記第２検索クエリに関連性の高いドキュメントを抽出してキーワードの重み付けの値の平均値のベクトルとして前記クラスタを定義するための重心ベクトルを生成するステップと、
前記重心ベクトルを、前記重心ベクトルの前記キーワード、重み付けの値、および前記チャンクの識別値とともにリストとして格納するステップと、
前記チャンク毎に前記ドキュメントの項目の推移を、前記チャンク毎の前記重心ベクトルを検索して前記重心ベクトルを構成するキーワードの重み付けの値を分析することにより、情報トラッキングするステップと
を含み、前記重心ベクトルを生成するステップは、各前記次元削減行列の前記チャンク毎にクラスタ生成を実行する、方法
【請求項９】
請求項４から６のいずれか１項に記載の方法をコンピュータが実行するコンピュータ実行可能なプログラム。
【請求項１０】
請求項８に記載の方法をコンピュータが実行するコンピュータ実行可能なプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、互いにゆるやかに相関する種々の表現および用語を含む情報源からの情報トラッキングに関し、より詳細には、互いにゆるやかに相関する種々の表現および用語を含む不均質な情報源からの情報トラッキングのためのシステム、方法およびプログラムに関する。
【背景技術】
【０００２】
データベースの情報検索は、近年、様々な分野で一般に利用されている。このような情報検索技術は、ツリーモデルやベクトル空間モデルなど種々のアルゴリズムを用いて実装することができる。種々の方法の中でも、ベクトル空間モデルは、大規模データベースからの情報検索、情報クラスタリング（情報分類）や情報トラッキング（情報追跡）に対して用いられてきている。
【０００３】
従来、ベクトル空間モデルに依存する情報検索は、通常、厳密に規定されたキーワードおよびドキュメント−キーワードベクトルを生成するための標準フォーマットを伴うドキュメントに対して適用されている。同一の内容または意味を指す異なる複数のキーワードを含むドキュメントに対しては、クラスタ形成に失敗する傾向がある。商用データベースや高性能データベースにおいては、ドキュメントがデータベースに蓄積される際に、適切な規則を用いてキーワードを厳密に決定または選択することができる。しかしながら、チャット、メール、特定の記事に対するフリーポスティングやオンライン・ディスカッションフローを蓄積するデータベースには、意味的、同義的、または多義的なキーワードを使用しながらも、同一記事、トピックス、または項目を示唆するドキュメントまたは情報から構成されがちである。
【０００４】
上述した情報においては、複数のキーワードは、同一項目に関連していながらも相違するので、典型的なクラスタ検索アルゴリズムではクラスタ形成に失敗することが多い。また、上述したような、自由、かつ管理されていないドキュメント群での情報トラッキングでは、時間推移に応じてドキュメントの焦点とされたトピックスや項目を特定する際にも同様の困難性に直面する。
【０００５】
加えて、典型的なベクトル空間モデル・アルゴリズムでは、膨大なＣＰＵ時間やメモリ・リソースなどのハードウェア資源が消費され、時には、次元削減の計算に長時間のＣＰＵ時間が消費される。にもかかわらず、ベクトル空間モデルを基礎としたクラスタ形成では、クラスタ生成のための余分なアルゴリズムが必要とされる。加えて、このようなクラスタ形成では、時間経過に応じて変化し、推移する項目に対しては、充分な妥当性が得られない可能性がある。
【０００６】
不均質な情報源から発生したドキュメントを時間推移に応じて蓄積するデータベースにおいても、ドキュメントが時間に依存して蓄積されるに従い、ドキュメントの中心的な項目や問題を情報検索、検索またはトラッキングすることは、有用であり、かつ必要とされている。上述した情報検索アルゴリズムは、ドキュメントに含まれる項目について、蓄積の時間経過に応じたある種の予測を与えることができる。例えば、このような分析は、株価予測、製品トレンド予測、市場調査、学術研究および特許公報の動向調査、蓄積されたドキュメントおよび集団間を伝達するテキストによって、次段階で中心となるであろう項目を予測するためにも有用である。しかしながら、特にこれらの用途に限定されるものではなく、本発明は、時間経過に応じてゆるやかに相関するドキュメントが蓄積されるような利用分野に対し、広く適用することができる。
【０００７】
本発明の基礎技術をサポートするベクトル空間モデルの詳細なアルゴリズムおよびこれらの特定の実装については、以下の特許文献および非特許文献に総説されている。
【特許文献１】特開２００１−３１２５０５号公報
【特許文献２】特開２００２−０２４２６８号公報
【特許文献３】特開２００３−０３０２２２号公報
【特許文献４】特開２００３−１４１１６０号公報
【非特許文献１】MeiKobayashi, Masaki Aono and Michael E. Houle, Mining overlapping major and minorclusters in massive databases, Invited Talk, Industry Day, Special TechnologiesWorkshop #6, organized by Noel Barton, International Conference on Industrialand Applied Mathematics （ICIAM）, Sydney, Australia, 2003.
【非特許文献２】MeiKobayashi and Masaki Aono, Vector space models for search and cluster mining,in Michael Berry （ed.）, Survey of Text Mining: Clustering, Classification, andRetrieval, Springer, New  York, USA, 2003,pp. 101−122.
【発明の開示】
【発明が解決しようとする課題】
【０００８】
上述したように、当該技術分野において、ゆるやかに関連するキーワードを含むドキュメント群において、高い妥当性でクラスタ判定を可能とするシステム、方法およびコンピュータ実行可能プログラムが望まれていた。また、膨大なＣＰＵ時間やメモリ・リソースなどのハードウェア・リソースを消費することなく、このクラスタの計算を可能とし、続いて、商業サーバやハイエンド・マシンなどのハイパフォーマンス・コンピュータにおいて本方法およびプログラムを実装した場合に、効率的かつ実時間程度に高速に項目のトラッキングを計算することを可能とするシステム、そのための方法およびコンピュータ実行可能プログラムを提供することが当該技術分野において望まれていた。
【０００９】
すなわち、本発明の目的は、相互的にゆるやかに相関する種々の表現および用語を含む不均質な情報源から情報検索するためのシステム、方法およびコンピュータ実行可能プログラムを提供することにある。
【００１０】
本発明の他の目的は、データ蓄積の時間経過に応じてデータベースに蓄積されたドキュメントのクラスタにおける中心的な項目をトラッキングするためのシステム、方法およびコンピュータ実行可能プログラムを提供することにある。
【００１１】
本発明のさらに他の目的は、時間推移に応じて、特定のドキュメントのクラスタから得られるキーワード・セットとしての中心的な項目を、有効かつ適切にトラッキングするためのシステム、方法およびコンピュータ実行可能プログラムを提供することにある。
【課題を解決するための手段】
【００１２】
上記課題を解決するために、本発明では、データベースに蓄積されたドキュメントのベクトル空間モデルを用いる。データベースに蓄積されたドキュメントには、複数のドキュメントを含むタイムスライスまたはチャンクが与えられる。このタイムスライスまたはチャンクは、所定の時間間隔毎または所定の蓄積ドキュメント数毎とすることができ、これによりベクトル空間モデルを生成する。
【００１３】
生成されたベクトル空間モデルは、特異値分解を含む次元削減処理が施され、続いて、次元削減されてドキュメント−キーワード行列の主要コンポーネントが得られる。主要コンポーネントは、次元削減行列のドキュメントにわたる行から形成され、特異値分解の結果に対応した順序とされたキーワードを集約する。このため、上述したように形成された主要コンポーネントは、タイムスライス間またはチャンク間のクラスタリングまたはトラッキングを行う場合に、優れた価値をもたらすことになる。
【００１４】
さらにその後、主要コンポーネントのキーワード・セットは、ドキュメント−キーワード行列および次元削減行列の少なくとも一方に対する第１検索クエリ・ベクトルとして用いられる。第１検索クエリ・ベクトルの射影によって、関連ドキュメント、すなわち主要コンポーネントに対する主要ドキュメントが検索される。主要ドキュメントのキーワードは再び、ドキュメント−キーワード行列および次元削減行列の少なくとも一方に対する第２検索クエリ・ベクトルとして用いられ、クラスタの候補となるドキュメントを検索させる。本発明では、特異的な距離を有するドキュメントを、主要ドキュメントとして参照する。また、第１検索クエリ・ベクトルから得られる高いランクの他の主要ドキュメントについても、第２検索クエリ・ベクトルとして用いることができる。
【００１５】
クラスタに含まれるキーワードおよび重み付けは、適切な平均化を施した後に、主要なクラスタの重心ベクトルを規定する。重心は、単純な計算による平均化アルゴリズムまたは移動平均などの他の既知の平均方法を適用し、特定のキーワードおよびコア・ドキュメントに出現するキーワードの重み付けすることにより決定することができる。
【００１６】
各タイムスライスまたは各チャンクの重心ベクトルは、時間経過に伴うクラスタの重心の時間依存推移を得るために計算される。
【００１７】
さらに他の実施形態では、連続するタイムスライスまたはチャンクと同様に、サブチャンクとして参照されるベクトル空間モデルを生成することができる。サブチャンクのドキュメントは、２つの連続するタイムスライスまたはチャンクと重なり合っている。サブチャンクを生成する場合、蓄積されたドキュメント群内で主要項目が急激に変化する場合であっても、追跡またはトラッキングすることが保証できる。
【００１８】
本発明によれば、ゆるやかに関連するドキュメントの情報トラッキングについて、以下に示すように改善することができる：
（１）高速なベクトル空間モデリング、続く主要コンポーネント分析を利用する次元削減を可能とするために、タイム・スタンプに基づいて扱い可能なサイズの重なり合うスライスにデータを縮小する；
（２）主要コンポーネントを検索クエリとして、主要クラスタのドキュメントを特定して、効果的かつ迅速にクラスタの検索を成し遂げる；
（３）ステップ２で検索したドキュメントを用いて、クラスタ内のコア・ドキュメントを見出す。複数のコア・ドキュメントの平均は、クラスタ重心を近似する。重心ベクトルにおけるキーワード重み付けは、クラスタ内のドキュメントにおいて扱われている主要なトピックスを記述する；
（４）重心ベクトルの修正を行うこともできる。この修正は、第１近似値としてクラスタのコア・ドキュメントの平均を採用し、その後、検索されるドキュメント・セットが安定化するか、所定の回数またはシステム終了するまでの間、新規なドキュメント・セットから重心ベクトルに対する改良値を算出させることによっておこなうことができる。
【００１９】
以下、図面に記載した特定の実施形態を参照して、本発明の詳細を説明する。
【発明を実施するための最良の形態】
【００２０】
セクションＩ：コンピュータ・システム
図１を参照して、システム１００の概略機能ブロックを説明する。システム１００は、中央演算ユニット（ＣＰＵ）と、キャッシュやＲＡＭやＲＯＭといったメモリと、ハードディスク・ドライブと、ハードウェア・モジュール間を相互接続するバス・ラインとを含む既存のコンピュータ・アーキテクチャによって構成することができる。システム１００は、ＷＩＮＤＯＷＳ（登録商標）、ＵＮＩＸ（登録商標）またはＬＩＮＵＸ（登録商標）など、周知のオペレーティング・システムによって動作され、Ｃ、Ｃ＋＋、ＪＡＶＡ（登録商標）ＲＵＢＹ、ＰＥＲＬなどのオブジェクト指向プログラミング言語、またはレガシープログラミング言語によって記述されたアプリケーション・プログラムを実行することができる。
【００２１】
システム１００は、データ蓄積部（ＤＡＰ）１０２と、ベクトル空間生成部（ＶＳＧＰ）１０４と、次元削減部（ＤＲＰ）１０６とを含んで構成される。ＤＡＰ１０２は、メーラ、チャット・アプリケーション、特定のサーバに実装されたアクセスログ分析ソフトウェアなど種々のアプリケーション・モジュールによって構成することができ、照会されたドキュメントを検索するためにＤＢ２（登録商標）、ＯＲＡＣＬＥ（登録商標）やＭｙＳＱＬ（登録商標）などのデータベース・ソフトウェアによってサポートされてもよい。
【００２２】
ＤＡＰ１０２は、インターネット、ＬＡＮ（ローカル・エリア・ネットワーク）またはＷＡＮ（ワイド・エリア・ネットワーク）などのネットワーク１２２からの情報を蓄積する。このような情報としては、メール、チャット・メッセージまたはログデータなどのテキスト・ドキュメント、適切なテキストデータを含むマルチメディア・ドキュメント、音声データを含むことができる。この蓄積される情報に音声データが含まれる場合、ベクトル空間モデルを生成するために、ＶＩＡ  ＶＯＩＣＥ（登録商標）のような適切なソフトウェアによって音声データをテキストデータに変換させることができる。
【００２３】
データ蓄積部１０２に蓄積される情報は、一般に、その情報に含まれるキーワードがゆるやかに相関し、健康、お金、食事、環境、ゲームや植物などの中心となる項目に関連しているという性質を有している。この情報は、特定の制約を受けずに生成され、そして、同一項目は、ゆるやかな関連性を有しながらも異なる複数のキーワードによって記述、または表現される可能性がある。
【００２４】
ＤＡＰ１０２は、時間経過に応じて情報をドキュメント格納部１１２に蓄積し、情報に対してタイムスライスまたはチャンクを規定する。本実施形態では、いかなる規則によっても、タイムスライスまたはチャンクを生成することができ、所定の時間スパン毎に生成させることができる。あるいは、所定の情報数毎にタイムスライスまたはチャンクを生成させることもできる。
【００２５】
ＶＳＧＰ１０４は、標準的な教科書（R.K. Belew, ”Finding Out About”, Cambridge Univ. Press, Cambridge, UK, 2001）に詳説されるキーワード抽出および語幹抽出のための標準的な手順によって構成することができる。ＶＳＧＰ１０４は、ＩＢＭ研究所によって開発された、キーワードを抽出し、共通のストップワードを消去し、品詞にタグ付け（ＰＯＳタグ）を行うパーサを含んで実装される。パーサについての詳細は、例えば（Mary S. Neff, Roy J. Byrd and Branimir K. Boguraev, The Talent system: TEXTRACT architecture and data model, Natural Language Engineering, Volume 10, 2004, pp. 307−326）を参照することができる。ＶＳＧＰ１０４は、一語品詞（名詞、動詞、形容詞）を取扱うように実装することができるが、特に限定されるものではなく、その他の規則や実装による実施形態とすることもできる。好適な実施形態では、ＶＳＧＰ１０４において、標準型のＴＦ−ＩＤＦ（term frequency inter document frequency）重み付け、およびその後の正規化（Christopher D. Manning and Hinrich Schuetze, Foundations of Statistical Natural Language Processing, MIT Press, Cambridge, Mass. USA, 1999）を実装することができる。
【００２６】
ＤＲＰ１０６は、特異値分解アルゴリズムを用いて、ドキュメント−キーワード行列の次元削減を実行し、ドキュメント−キーワード行列の次元削減行列を生成する。好適な実施形態では、マサチューセッツ工科大学からのLanczosアルゴリズムを基礎とした数値計算パッケージ（MIT: Doug Rohde, SVDLIBC, version 1.34: http://www.tedlab.mit.edu:16080/~dr/SVDLIBC/）の特異値分解アルゴリズムをドキュメント−キーワード行列の部分特異値分解を計算するために用いる。
【００２７】
結果として取得された次元削減行列は、ハードディスクなどの特定の格納部に格納される。次元削減行列は、それから、特定のタイムスライスまたはチャンクの重心ベクトルを決定するために、重心ベクトル（キーワード・セット）決定部（ＣＶＤＰ）１０８での情報検索に掛けられる。重心ベクトルの決定については、より詳細に後述する。結果として取得された各タイムスライスまたはチャンクおよびサブチャンクの重心ベクトルは、ドキュメントに関連する項目の時間推移をトラッキングするため、項目格納部１１４に格納される。項目分析部１１０は、キーボード１１８またはマウス１２０からの指令に応じて、各タイムスライスまたはチャンク毎の重心ベクトルを検索し、重心ベクトルの分析を行う。項目分析部１１０による分析の結果は、表示画面上に結果を表示させるために、表示装置１１６に伝送される。
【００２８】
セクションＩＩ：クラスタ発見およびトラッキングのアルゴリズム
図２を参照して、処理方法の好適な実施形態を説明する。本処理方法は、ステップＳ２００から開始し、ステップＳ２０１で、情報のタイムスライスまたはチャンクを決定する。ステップＳ２０２では、ベクトル空間モデルおよび次元削減アルゴリズムを使用して、タイムスライスまたはチャンクにおけるクラスタ判定を実行し、重心ベクトルを決定する。次元削減アルゴリズムの適用が好ましい理由としては、ドキュメント−キーワードベクトルが疎な要素を有しているので、マイナー・キーワードの排除は、計算効率を向上させるためである。ここで、重心ベクトルとは、タイムスライスまたはチャンク内のドキュメントにおいて規定された特定のクラスタについてのキーワード−重み付けベクトルを参照する。
【００２９】
ステップＳ２０３では、項目分析部１１０によるトラッキングのために、決定された重心ベクトルを項目格納部１１４に格納する。ステップＳ２０４では、項目格納部１１４から重心ベクトルを検索し、分析の結果を表示装置１１６に表示する。ステップＳ２０５では、処理しなければならない新規のタイムスライスまたはチャンクがあるか否かの判断を行う。新規のタイムスライスまたはチャンクがまだ残っている場合（ｙｅｓ）には、処理をステップＳ２０１へ分岐させて、処理すべきタイムスライスまたはチャンクがなくなるまで、つまり、ドキュメント格納部１１２のタイムスライスまたはチャンクの最後まで、ステップＳ２０２からステップＳ２０５の処理プロセスを繰り返させる。処理すべきタイムスライスまたはチャンクが無いと判定された場合（ｎｏ）には、ステップＳ２０６で処理を終了させる。
【００３０】
図３を参照して、重心ベクトル生成の実施形態の詳細を説明する。図３に示した処理は、ステップＳ３００から開始され、ステップＳ３０１で、現在のタイムスライスまたはチャンク内の所定数のドキュメント数をドキュメント格納部１１２から検索する。ステップＳ３０２では、ＶＳＧＰ１０４によって検索されたドキュメントからベクトル空間モデルが生成され、続いてセクションＩで説明したように、ＤＲＰ１０６により次元削減が実行される。
【００３１】
ステップＳ３０３では、次元削減行列の主要コンポーネントを判定する。ここで主要コンポーネントという用語は、次元削減行列における同一行に記録されたキーワードとして参照し、次元削減行列から主要ドキュメントを検索する際に使用する。タイムスライスまたはチャンクの好ましい実施形態、および本実施形態で規定される主要コンポーネントについては、より詳細に後述する。
【００３２】
ステップＳ３０４では、主要ドキュメントを次元削減行列への第２検索クエリとして用いて、クラスタを判定する：この処理ステップは、次元削減行列の行の主要コンポーネントを含む最も確からしいドキュメントを判定するために、また、主要ドキュメントに関連するクラスタを判定するために必須な処理である。簡単に言えば、クラスタ判定は、ドキュメント−キーワードベクトルの主要ドキュメントからの距離に依存し、クラスタは、特定用途およびドキュメントの特性を考慮して適切な規則またはアルゴリズムによって規定される。
【００３３】
多数のクラスタリング・アルゴリズムが、ランダム化アルゴリズムを採用して、クラスタに対する初期シードとしてのドキュメントを選択するのに対し（例えば、Ｋ−Ｍｅａｎｓアルゴリズムおよび多数提案されたその亜種）、本発明のアルゴリズムの実施形態は、より系統的かつ直接的なアプローチを採用し、当該アプローチでは、主要コンポーネントを検索クエリとして用いる。実際に本発明のシステムは、慣例的な方法よりも好適に類似ドキュメントの探索することができる。最大となる主要コンポーネントがデータベースについての最も多く含まれる情報の方向を与えるという、主要コンポーネント分析の本来的な特性のため、検索されたドキュメントは、主要なトピックスを指し示していることが期待される。また次に大きな主要コンポーネントに対応するベクトルは、データベースに関する２番目に多い情報の方向を示し、それ以後に続く主要コンポーネントについても同様である。
【００３４】
クラスタリング処理のひとつの好適な実施形態では、検索されたドキュメントを、最大の関連度を有するものから最小の関連度を有するものまで並び替える。第１近似のために用いる処理と類似する方法により、重心への改良値を計算する。クラスタについて近似の改良値の決定処理は、
（１）近似のために用いられるドキュメント・セットが固定化する（例えば、変化しなくなる、または設定された閾値を超えるドキュメントの割合が変動しなくなる）；または
（２）２つの連続するイタレーション間で、その値（更新される近似値）が変化しない、または変化しても非常に小さな値εで変化する；
までの間、数回反復を継続させる。
【００３５】
本処理方法では、ステップＳ３０５で、重心ベクトルを決定する。重心ベクトルは、平均的なドキュメント・ベクトルよりも密（非ゼロのエントリを有する）となる傾向がある。そして、結果の品質を損なわずにクラスタ判定の計算速度を高速化するために、より好ましい実施形態では：
第２検索クエリから上位３０の高ランク・ドキュメントのみを使用する；３０ドキュメント・ベクトルのコンポーネントについての平均（component−wise average）を計算する；すべてのワードのうち所定の閾値（例えば５％）以下のキーワードの重み付けをゼロにする：ワードを、最高値の重み付けから最低値の重み付けを有するものに並べ替える：各ワードについて、その重み付けを時間の関数でプロットし、第２検索クエリからのドキュメント・ランキングの傾きが３０ドキュメントとなる前に急激に変化する場合には、この変化以前のドキュメントのみをコンポーネント平均の計算のため使用する。
【００３６】
さらに、ステップＳ３０６では、重心ベクトルまたは異なる主要ドキュメントについての複数の重心ベクトルを、タイムスライスまたはチャンクの識別値とともに項目格納部１１４へ格納する。本方法では、さらにステップＳ３０７で、データベース内のすべてのドキュメント、つまりタイムスライスまたはチャンクに対して処理が行われたか否かの判定を行う。ステップＳ３０７の判定で、タイムスライスまたはチャンクがまだ残っていると判定される場合（ｎｏ）には、処理をステップＳ３０１に分岐させ、上記処理を繰り返させる。残っているタイムスライスまたはチャンクがない場合（ｙｅｓ）には、処理をステップＳ３０８へ進め、処理の実行を終了させる。
【００３７】
図３に示した実施形態は、ドキュメントをすでに蓄積し、同時に、ドキュメントに対してタイムスライスまたはチャンクを規定するようにドキュメントがタイムスタンプを含んでいる静的なデータベースに対して適用することができる。図４に示した実施形態では、ベクトル空間モデルの生成から項目格納部への格納するまでの処理と平行して、ドキュメントを蓄積する。図４に示した処理は、デーモン・プロセスまたはサービス・プロセスとして実装することができ、システムのシャットダウンやシステム終了によって完了させることができる。図４に示した方法は、ステップＳ４００で開始される。ステップＳ４０１では、ＶＳＧＰ１０４によって、ドキュメント・データベース内のドキュメントが次のタイムスライスまたはチャンクを規定できる程度に充分に蓄積されたか否かが判定される。ＶＳＧＰ１０４が、例えば、ＤＡＰ１０２からのプロセス間通信を通じて、新規なタイムスライスまたはチャンクの準備ができたと判定した場合、ＶＳＧＰ１０４は、処理するためのタイムスライスまたはチャンクに対する新規ベクトル空間モデルを生成する。そして処理は、ステップＳ４０２からステップＳ４０７までのステップを進め、図３に示した制御と同様の処理を実行する。図４に示した実施形態では、ステップＳ４０１において、新規タイムスライスまたはチャンクの準備が完了した旨の肯定的なアクノレッジメントをＶＳＧＰ１０４が受信するまで、ＤＡＰ１０２からのアクノレッジメントを定期的にモニタする。ステップＳ４０２からステップＳ４０７の処理は、図３に示した処理とほぼ同一の処理であるため、より詳細な説明については、ここでは省略する。
【００３８】
セクションＩＩＩ：情報処理の詳細な説明
図５は、本発明で導入されるタイムスライスまたはチャンクのデータ構造を示す。ドキュメント・データベースに格納されるドキュメントは、ＤＡＰ１０２によって受領されるタイムスタンプとともに記録され、タイムスライスまたはチャンクが規定される。他の実施形態では、タイムスタンプなしにドキュメントを格納し、所定数のドキュメントが蓄積される毎に、ドキュメント数が所定数に達した時のタイムスタンプとともにタイムスライスまたはチャンクを規定することができる。しかしながら、本発明では、特にこれに限定されるものではなく、その他、如何なるタイムスライスまたはチャンクの作成方法を採用することができる。
【００３９】
図５においては、ドキュメント群はチャンクに分割され、各チャンク５００−１〜５００−３は、同一数のドキュメントを含んでいる。図５に示した実施形態では、それぞれのチャンクに対する時間間隔は相違する可能性がある。これは、ＤＡＰ１０２によって情報が蓄積されている場合に好ましい実施形態である。チャンクに含まれるドキュメント数は、チャンク間で同一または相違させることができる：しかしながら、次元削減の統計的な信頼性を保証するために、チャンクが同一数ｍのドキュメントを含むようにすることができる。所定ドキュメント数を用いる場合の実施形態では、最後のチャンク５００−３には、ドキュメント・データベース内の総ドキュメント数に依存して、他のチャンクよりも少ない、または多いドキュメントを含ませることができる。
【００４０】
好適な実施形態では、さらに、サブチャンク５００−４、５００−５、５００−６を規定する。サブチャンク５００−４、５００−５および５００−６は、連続するチャンク５００−１、５００−２、５００−３のトラッキングを補助させるために用いられ、５００−１および５００−２といった隣接するチャンク内の両方のドキュメントを有するように規定される。隣接するチャンク間で特定のキーワードが消失した場合であっても、サブチャンクを使用して、隣接するチャンクのトラッキングを可能とすることができる。データベースにおいて連続して規定される前方チャンクと後方チャンクとの半分づつのドキュメントを共有するように、サブチャンクを形成することができる。
【００４１】
本発明の好適な実施形態では、次元削減は、小さなサイズのドキュメント−キーワード空間において実行され、ドキュメント格納部１１２の項目の推移を追跡することを可能としながらも、次元の呪い（curse of dimension）を引起こさずに、迅速かつ効率的に次元削減を実行する。
【００４２】
項目のトラッキングを対象とすると、サブチャンクとして参照される重なり合うタイムスライスまたはチャンクを使用することによって、簡単なトラッキング方法を提供することができる。ここで、Ｗ１を第１チャンク（または一時ウィンドウ）とし、Ｗ２を第２チャンク、Ｗiを第i番目のチャンク（または一時ウィンドウ）とする（ここで、ｉは正の整数を表す）。検索されるトピックスについて、ウィンドウＷ１およびＷ２内の関連するドキュメントは、重み付けは異なるにせよ、依然として主題となる項目として維持されている。ドキュメントは、投稿や蓄積の順序に従って番号付けされているので、図５に示されるように、Ｗ２内の類似するドキュメントを検索するためのシード（つまり、クエリ）として用いられるドキュメントをチェックすればよい。トピックスが継続してドキュメントについての活発な項目であった場合には、Ｗ２の後半期間に投稿されたドキュメント・セットの検索は、空ではないセットが抽出される。
【００４３】
Ｗ１からＷ２への項目の微小な変化を追跡するために、項目に関するＷ２内のドキュメント・セットを、シード・ベクトルの移動平均を計算することにより、重心ベクトルの近似値を計算するために使用する。本実施形態のベクトル平均は、重心ベクトルの推移を記述することができる。より高度な用途では、上記重心を、検索クエリ・ベクトルとしての重心ベクトルの第１近似値として設定し、関連ドキュメントのセットを検索させ、また重心近似値の改良値を計算させることができる。タイムスライスまたはチャンクＷｉからＷｉ＋１までの特定の項目に関するドキュメント・セットを追跡するために、また重心の近似値を追跡するために、残されたタイムスライスまたはチャンクに対しても類似の手順を適用することができる。
【００４４】
図６は、（ａ）ドキュメント−キーワードベクトルの実施形態および（ｂ）ドキュメント−キーワードベクトル間の距離の定義の実施形態を示す。図６を参照すると、ドキュメント内のキーワードがキーワード毎にカウントされて、ドキュメント−キーワードベクトル６０２として示される、重み付け−キーワードの整数値が与えられる。次のステップでは、ドキュメント−キーワードベクトル６０２に対してＴｆ−ｉｄ処理が施され、ドキュメント−キーワードベクトル６０４として示されるように、上述したアルゴリズムが用いられて各キーワードの重み付けが変更され、次に、ドキュメント−キーワードベクトル６０６として示されるように、変更された重み付けがベクトルのノルムが１となるように正規化される。
【００４５】
次に、ドキュメント−キーワードベクトルＸとＹとの距離は、図６（ｂ）に示すように、ドキュメント−キーワードベクトルＸとＹの内積として定義される：ここで｜Ｘ｜は、ベクトルＸのノルムであり、｜Ｙ｜は、ベクトルＹのノルムであり、これらのベクトルは、｜Ｘ｜＝｜Ｙ｜＝１となるように正規化されている。Θは、ベクトル間の角度を表し、ｘｉとｙｉは、それぞれ各ベクトルＸおよびＹの要素であり、i=1からｎまでのｎ要素からなる。
【００４６】
図７は、次元削減行列７００の主要コンポーネントの判定処理を示す。図７（ａ）は、次元削減行列７００の典型的な実施形態を示し、図７（ｂ）は、主要コンポーネントの典型的な実施形態を示す。次元削減行列７００は、一連のドキュメントについて、図６（ａ）に示すドキュメント−キーワードベクトルを列として構成するドキュメント−キーワード行列から計算される。ドキュメント−キーワードベクトル内の典型的なキーワード数は、数千以上とすることができる。キーワードの次元は、上述の方法を経て特異値分解により５００キーワード程度まで削減され、本実施形態の次元削減行列７００が得られる。
【００４７】
主要コンポーネントは、次元削減行列７００の行として定義され、主要コンポーネントは、図７（ａ）の次元削減を経て残されたキーワードの順序に応じて、第１主要コンポーネント、第２主要コンポーネント・・・第ｎ主要コンポーネントとして識別される。次元削減を経た後のキーワードの順序は、ドキュメント−キーワード行列におけるもとの順序と同一の配列とすることができるが、より好ましい実施形態では、代わりに、キーワードを特異値に応じて降順により再配列させることができる。特異値に応じてキーワードの順序を配列させた場合には、主要コンポーネントは、直ちにドキュメントにおける主要なキーワードを指し示し、ドキュメント内の主要な項目に対する良い関連性を与える。
【００４８】
図７（ｂ）を参照すると、第１主要コンポーネント７０２は、トップ・キーワードを一行に含み構成され、第２主要コンポーネント７０４が第二行目のコンポーネントを、第ｎ主要コンポーネント７０６がｎ行目のコンポーネントを含み構成される。本発明では、各主要コンポーネントを、最も関連度のあるドキュメント（また他の高ランクのドキュメント）を判定するための第１検索クエリとして使用することができる。以下、この高い関連度を有するドキュメントを主要ドキュメントとして参照する。
【００４９】
図８は、主要コンポーネントの詳細を示す。図８（ａ）に示された実施形態は、第２主要コンポーネント７０４に対応するものであり、ドキュメントのチャンクに対応する8,000のキーワード要素を含み構成されている。図８（ｂ）は、第２主要コンポーネントに含まれる「energy」、「solar」などのキーワード７０８を例示する。各キーワードに対する数値は、対応するキーワードについて正規化された重み付けである。主要コンポーネントは、主要コンポーネントに対して最も関連度のあるドキュメントを判定するための第１検索クエリとして用いられる。本実施形態では、クエリ処理は、主要コンポーネントと次元削減行列との距離の計算と、主要ドキュメント（または他の高ランクのドキュメント）の抽出とを含んでいる。他の実施形態では、検索クエリを元のドキュメント−キーワード行列に対しても適用することもできる。
【００５０】
図９は、第１検索クエリによる結果を示す。リスト９００として示すように、関連度を有するドキュメントがドキュメント群から抽出され、コンピュータシステムの適切なメモリ領域に一時的に格納される。リスト９００は、図８に示す検索クエリによって抽出された複数のドキュメントを含み構成され、フィールド９０２にエントリされている主要コンポーネントとの距離に対して、降順にドキュメントを格納している。第１検索クエリは、チャンクに含まれるドキュメントにわたって選択された主要コンポーネントなので、フィールド９０２に入力された距離は、このステップにおいては相対的に小さな値となる。リスト９００は、さらにフィールド９０４を含み、このフィールドには、ドキュメント番号のようなドキュメント識別値が記録される。ドキュメントがデータベースに格納された場合に、このドキュメント番号を付与するようにすることができ、または、特定の実装アーキテクチャに依存して、他の識別値を付与するようにすることもできる。リスト９００は、またフィールド９０６を含み、フィールド９０６には、ドキュメントの索引のためのドキュメント・タイトルが登録される。
【００５１】
図９に示した特定の実施形態によれば、第２検索クエリ・ベクトルは、最も関連度を有するドキュメント９０８（ドキュメント［＃ＩＤ：２１４１］に対応する）としている。第２検索クエリは、再び次元削減行列へ射影され、クラスタおよびクラスタ重心が決定される。第２検索クエリが次元削減行列に射影された場合、第２検索クエリ・ベクトルがクラスタ内の重要なキーワードを含んでいるため、関連するドキュメントとの距離がより大きな値となる。
【００５２】
図１０は、検索クエリの結果の実施形態を示す。図１０（ａ）は、チャンク全体にわたる結果を示し、図１０（ｂ）は、第２検索クエリ（これは主要コンポーネントのキーワード）に対して高い関連度を有する側の部分の結果の詳細を示す。図１０に示すように、縦軸で距離から得られる関連度を表し、横軸でドキュメント番号を表す。図１０（ａ）に示すように、ゼロで示される検索クエリのドキュメントから、8,000で示される最後のドキュメントまで、関連度が急速に減少する。この急速な減少により、クラスタ・サイズを示すことができる。図１０（ｂ）は、長方形１０００によって示された部分の関連度の減少挙動の拡大図を示す。関連度の減少の拡大図から、関連度が階段状に減少していることが示され、関連度での水平スライスに対応させて、クラスタの境界を示すことができる。
【００５３】
すなわち、これらの水平スライスで示された関連度のレベルによってクラスタを規定することができる。低いスライスのレベルを採用する場合には、より関連度の小さなドキュメントがクラスタに組入れられることとなり、高いスライスのレベルが採用される場合には、少数のドキュメントを含むクラスタとなる。そして、いくつかのクラスタ判定の基準があり、説明している実施形態では、いくつかの手法を採用することができる。クラスタの識別処理およびクラスタの近似処理を自動化するために、第１の方法では、図１０に示したグラフと類似するように、左から右へ最も関連度の高いものから少ないものへ整列させたグラフを用意する。
【００５４】
その後、関連するドキュメント内のキーワードおよび重み付けの平均を、クラスタの重心ベクトルの近似値を計算するために使用する。図１０に示した実施形態においては、例えば３０ドキュメントをクラスタとして考慮することができる。しかしながら、これに特に限定されるものではなく、本発明では、特定の用途および関連度の変化の特性に依存して、他の規則を採用することもできる。例えば、ドキュメント−関連度のプロットの傾きが３０ドキュメント前に急激に変化した場合（図１０（ｂ）に示したように）、最初の急激なスロープの変化前のドキュメントのみをクラスタ判定および重心ベクトルの計算に用いることができる。さらに他の実施形態では、単に例えば図１０（ｂ）で０．３といった関連度のレベルによって、または高い関連度のものからの所定ドキュメント数によって、決定することもできる。
【００５５】
図１１は、（次元削減された）ドキュメント−キーワード空間１１００内のクラスタおよび重心ベクトルの要素の概略図を示す。クラスタ１１０２−１１０６は、図１０に示した手順に従って、図１１（ａ）において異なる主要ドキュメントに対して、それぞれ規定される。ここで、クラスタ１１０６の●で示された重心ベクトル１１０８の要素１１１０を、これらの重み付けとともに図１１（ｂ）に示す。クラスタは、各主要ドキュメント毎、各タイムスライスまたはチャンク毎に判定され、つまり重心ベクトルは、図１２に示すリスト１２００のように各チャンク毎に格納することができる。図１２に示した実施形態には、第２主要ドキュメントに対応するクラスタの重心ベクトルが示されている。しかしながら、他の実施形態では、各クラスタについて、より多くの対応する重心ベクトルを含むことができる。リスト１２００は、ＣＶＳ形式やカンマ−スペース、またはコンピュータシステムの他アプリケーション形式のような適切なフォーマットで、項目分析部１１０における分析のために、項目格納部１１４のようなメモリ領域に格納される。


【００５６】
ＧＵＩ（グラフィカル・ユーザ・インタフェース）および結果のプロット表示のための手段としては、商業的に利用可能か種々のデータベース・アプリケーションや表計算アプリケーションを採用することができ、ここでは特に詳細を説明しない。
【００５７】
以上説明した実施形態の種々のバリエーションが考えられる。このようなバリエーションは、特に限定されるものではないが、例えば以下に示すようなものがある。
（１）チャンクのサイズ（例えば、より小さなものや、より大きなものや、不定サイズのもの）
（２）チャンクの重なりを拡大したもの（５０％よりも多くまたは少なくしたもの、不定サイズの重なりを有するもの）
（３）チャンク化するための代替基準（例えば、投稿期間の一時ウィンドウや発送元の国によるもの）
【００５８】
セクションＩＶ：実験
（ＩＶ−１）コンピュータにおける実装
クロック数１．５ＧＨｚのＰＥＮＴＩＵＭ（登録商標）Ｍプロセッサと１ＧＢのＲＡＭを備えるＴｈｉｎｋＰａｄ（登録商標）Ｔ４０を用いて、本発明のプログラムを実装するコンピュータ・システムを実装した。このコンピュータ・システムのオペレーティング・システムは、ＷＩＮＤＯＷＳ（登録商標）ＸＰとした。上記プログラムは、ＪＡＶＡ（登録商標）によって記述した。上記実装において、全ドキュメントに対する計算は、３０分間以内に完了した。
【００５９】
（ＩＶ−２）データベースの準備
２００６年ＩＢＭイノベーションＪＡＭ（Ｉ−Ｊａｍ）の第１フェーズにおいて、本発明のテキストデータを取扱ったクラスタおよび項目フローの特定およびトラッキング方法を検証するためのデータベースを生成した。データには、７８時間（２００６年７月２４日ＡＭ７：００（ＥＳＴ）から２００６年７月２７日ＡＭ１１：００（ＥＳＴ））にわたって、全世界の5,3000以上の参加者による37,037のポスティング（メール）が含まれていた。各ドキュメントは、ＩＢＭ研究所の社員またはその家族または６７の選択された外部機関によって入力された、自由な意見を表したものである。２００から３００の投稿された意見が英語以外の言語によるものであった。本分析においては、英語以外の言語によるポスティングの内容については省略した。
【００６０】
参加者は、以下に示す４つのカテゴリ：
１．Going Place（移動をもっと便利に）−旅行、交通、レクリエーション、エンターテインメントの変革；
２．Finance & Commerce（ファイナンスと商取引）−世界のビジネスと商取引の性質の変化；
３．Staying Healthy（健康・安全の維持）−健康のための科学とビジネス；
４．A Better Planet（よりよい地球）−経済と環境の優先順位のバランス；
についてポスティングを投稿するように要請された。
【００６１】
ポスティングのタイムスタンプに従って、ドキュメントを古いものから新しいものの順に格納した。データ・セットを、8,000の連続するドキュメント・ポスティングのタイムスライスにチャンクした。本実装においては、各タイムスライスが前方タイムスライスと4,000の重なり合うドキュメントを有するように、サブチャンクを規定した（従って4,000ドキュメントが連続するタイムスライスにおいて重なり合う）。
【００６２】
サンプル・データベースのベクトル空間モデルを構築するために、Ｉ−Ｊａｍのデータ・セットの各8,000ドキュメントを、標準的な教科書（例えば、Belew （op.cit.））に詳述されるキーワード抽出および語幹抽出の標準的な手順、より具体的には、ＩＢＭ研究所において開発されたTalent（Neff et al. （op. cit.））によってタイムスライスとしてチャンクした。なお、Talentは、キーワード抽出、共通のストップワードを消去し、品詞にタグ付け（ＰＯＳタグ）を行うパーサである。キーワードについては、一語品詞（名詞、動詞および形容詞）のみを考慮した。キーワード・セットについては、抽出されたキーワードがZipfian分布に従うことを確認した。次に、キーワードセットから、希少なキーワードおよび過剰頻度のキーワードを省略した。本実装においては、下限カットオフ点を１０ドキュメント以下（下限として）とし、（上限については）Zipfian両対数曲線の形状に依存して５−７％以上のドキュメントをカットオフを行った。標準型のｔｆｉｄｆ（Term frequency inter document frequency）重み付け、続く正規化（Manning and Schuetze (op.cit.））を適用した。ベクトル空間モデリングからの典型的な結果では、8,000ドキュメントを含むタイムスライスからの3,136キーワードが抽出され、１％−２％の密度を有する8,000×3,136のドキュメント−属性行列が得られた。
【００６３】
結果を検証するために、２つのトライアル・セットを選択した。ひとつは、「食事と健康」についての記事を扱うドキュメント・セットであり、他方は、「お金とセキュリティ」の記事を扱うドキュメント・セットである。第２タイムスライスでトピックスがどのように推移したかを追跡するために、第１タイムスライスまたはチャンクと第２タイムスライスまたはチャンクとの間で重なり合うドキュメントを使用した。最後のタイムスライスまたはチャンクを除いて、それぞれ8,000ドキュメントを含む１０のタイムスライスまたはチャンクに分割した。
【００６４】
Ｉ−Ｊａｍデータの１０タイムスライスから、重心ベクトルにある１２の顕著な項目（キーワード）：第１トライアル・セットの「junk」、「vegetable」、「cancer」、「diet」、「eat」、「calorie」、「healthy」、「cook」、「exercise」、「fat」、「nutritional」および「price」と、第２トライアル・セットの比較的高い重み付けの４つのキーワードの「cash」、「payment」、「security」、「signature」について考察した。トラッキングを検証した後、ドキュメントの原文（つまり、Ｉ−Ｊａｍポスティング）を参照し、キーワードの重み付けのシフトが実際にドキュメントにおける議論の変化に対応しているのか否かを確認した。
【００６５】
（ＩＶ−３）結果
図１３から図１５は、その結果を示し、図１３は、「食事と健康」についてのクラスタおよび全項目のトラッキングの結果を示し、図１４は、「食事と健康」についての結果のうち、項目（「eat」、「healthy」、「exercise」）のトラッキングの詳細な結果を示し、図１５は、「お金とセキュリティ」についてのクラスタの結果を示し、トラッキングでは、項目（「cash」、「payment」、「security」、「signature」）について焦点を当てた。ただし、図１５は、ポスティングの本文についても表示する。
【００６６】
図１３に示されるように、「食事と健康」についてのクラスタは、「junk」、「vegetable」、「cancer」などの顕著な１２項目を含んで構成されている。第１チャンクと第１０チャンクの間において、項目の時間に依存した明瞭な変化が示されている。それから、独立して項目（「eat」、「healthy」、「exercise」）を選択し、項目間の相互的な関連性を調査した。図１４は、その結果を示し、明瞭な関連性が認められた。つまり、「食事と健康」について投稿するユーザは、「exercise」より、むしろ「healthy」および「food」に強く興味を示し、項目（「healthy」、「exercise」）がポスティングにおける主要な関心事となっているとき、項目「eat」が反対の動向を示した。
【００６７】
図１５は、さらに別の結果を示し、項目（「cash」、「payment」、「security」、「signature」）を含むクラスタについての結果を示す。図１５に示された各ピークに対して、代表的なポスティングを共に図示する。項目（「security」および「payment」）が最初にピークを示し、そして第５チャンクにおいて、項目（「security」および「payment」）がマイナー項目となっている間に項目「signature」がさらに別のピークを示した。これは、項目（「payment」および「cash」）が、項目「signature」についてのポスティングまたは意見を誘発しているものと考えられる。それから、ポスティングの主要項目については、ポスティングが項目（「payment」、「cash」、「security」）を含むものへ推移したことを示している。
【００６８】
以上説明したように、本発明が、ゆるやかに関連し、様式への特定の規則を伴わずに蓄積されたドキュメントの情報検索を、効率的かつ高パフォーマンスなものに改良できることが理解されるであろう。本システム、方法およびプログラムは、リアルタイムまたは静的にデータベースに蓄積、格納されるドキュメントの迅速な意味解析を可能としている。
【００６９】
以上、本発明を図面に示した実施形態および実施例をもって説明してきたが、本発明は図面に示した実施形態に限定されるものではなく、他の実施形態、変更、本質的ではない事項の省略など、当業者が想到することができる範囲内で変更することができ、いずれの態様においても本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。
【図面の簡単な説明】
【００７０】
【図１】システム１００の機能ブロックを示す概略図。
【図２】処理方法の好適な実施形態を示した図。
【図３】重心ベクトルの生成について詳細な実施形態を示した図。
【図４】処理方法の好適な実施形態を示した図。
【図５】本発明で導入されるタイムスライスまたはチャンクのデータ構造を示した図。
【図６】（ａ）ドキュメント−キーワードベクトルの実施形態、および（ｂ）ドキュメント−キーワードベクトル間の距離の定義の実施形態を示した図。
【図７】次元削減行列７００における主要コンポーネントを判定するための処理を示した図。
【図８】主要コンポーネントの実施形態の詳細を示した図。
【図９】第１検索クエリによる結果を示した図。
【図１０】検索クエリによる結果の実施形態を示した図。
【図１１】（次元削減された）ドキュメント−キーワード空間におけるクラスタ、および重心ベクトルの要素を示した概略図。
【図１２】リスト１２００として各チャンク毎に格納することができる重心ベクトルを示した図。
【図１３】「食事と健康」についてのクラスタおよび全項目のトラッキングの結果を示した図。
【図１４】項目（「eat」、「healthy」、「exercise」）についてのトラッキングの詳細な結果を示した図。
【図１５】項目（「cash」、「payment」、「security」、「signature」）を含むクラスタについてのさらに別の結果を示した図。
【符号の説明】
【００７１】
１００…コンピュータ・システム、１０２…データ蓄積部、１０４…ベクトル空間生成部、１０６…次元削減部、１０８…重心ベクトル決定部、１１０…項目分析部、１１２…ドキュメント格納部、１１４…項目格納部、１１６…表示装置、１１８…キーボード、１２０…マウス、１２２…ネットワーク、５００…タイムスライスまたはチャンク、６００…ドキュメント−キーワードベクトル、７００…次元削減行列、７０２〜７０６…主要コンポーネント、９００…リスト、１１００…ドキュメント−キーワード空間、１１０２〜１１０６…クラスタ、１１０８…重心ベクトル、１１１０…重心ベクトルの要素、１２００…リスト
【図１】
0004550074.tif 000002
【図２】
0004550074.tif 000003
【図３】
0004550074.tif 000004
【図４】
0004550074.tif 000005
【図５】
0004550074.tif 000006
【図６】
0004550074.tif 000007
【図７】
0004550074.tif 000008
【図８】
0004550074.tif 000009
【図９】
0004550074.tif 000010
【図１０】
0004550074.tif 000011
【図１１】
0004550074.tif 000012
【図１２】
0004550074.tif 000013
【図１３】
0004550074.tif 000014
【図１４】
0004550074.tif 000015
【図１５】
0004550074.tif 000016