(57)【要約】【課題】  任意の文体で記述した日記や感想などの砕けた文体の文書を対象とし、同一の題材を扱った文書を集約する。【解決手段】  本発明は、入力文書を解析して、文書中の語である一般ワード及び、一般ワードの出現位置情報を獲得し、入力文書中において、軸キーワードの候補となるキーワード及び該キーワードの出現位置情報を取得し、キーワードを集計し、高頻度のキーワードを選別し、選別されたキーワードを含む文書を部分集合に分割し、部分集合内の文書の中で、キーワード周辺の予め定められた範囲内に出現する一般ワードを集計した結果に基づいて、該部分集合の内の文書が、同一話題について記述されているか否かを判定し、部分集合毎の判定結果を統合し、該キーワードが話題の軸であるか否かを最終的に判定する。【選択図】  図１
2006350656.tif 000002
【特許請求の範囲】
【請求項１】
文書解析手段と、キーワード抽出手段と、キーワード集計手段と、部分集合生成手段と、部分集合判定手段と、総合判定手段と、を有する装置において、時刻情報が付与された多数の文書の中で、同一の話題について記述された文書を集約し、かつ、集約した文書群を代表する中心的なキーワードである軸キーワードも同時に獲得する時系列文書集約方法であって、
前記文書解析手段が、入力文書を解析して、文書中の語である一般ワード及び、該一般ワードの出現位置情報を獲得し、一般ワード格納手段に格納する一般ワード抽出ステップと、
前記キーワード抽出手段が、前記入力文書中において、前記軸キーワードの候補となるキーワード及び該キーワードの出現位置情報を取得し、キーワード格納手段に格納するキーワード抽出ステップと、
前記キーワード集計手段が、前記キーワード格納手段に格納されている前記キーワードを集計し、高頻度のキーワードを選別するキーワード選別ステップと、
前記部分集合生成手段が、前記キーワード選別ステップで選別されたキーワードを含む文書を文書格納手段から取得して、該文書のそれぞれに対し、前記時刻情報度に基づいて、部分集合に分割する部分集合生成ステップと、
部分集合判定手段が、前記部分集合内の文書の中で、前記キーワード周辺の予め定められた範囲内に出現する一般ワードを前記一般ワード格納手段から取得して、集計した結果に基づいて、該部分集合の内の文書が、同一話題について記述されているか否かを判定する部分集合判定ステップと、
総合判定手段が、前記部分集合毎の判定結果を統合し、該キーワードが話題の軸であるか否かを最終的に判定する総合判定ステップと、
を、行うことを特徴とする時系列文書集約方法。
【請求項２】
前記部分集合生成ステップにおいて、
前記文書の時刻情報が互いに近い文書を集約して部分集合を生成する、請求項１記載の時系列文書集約方法。
【請求項３】
前記部分集合生成ステップにおいて、
前記文書の時刻情報が互いに近く、かつ内容が類似する文書を集約して部分集合を生成する、請求項１記載の時系列文書集約方法。
【請求項４】
前記部分集合判定ステップにおいて、
前記選別されたキーワード周辺の予め定めた範囲内に出現する一般ワードを前記部分集合毎に集計し、一定割合以上の高頻度で出現する一般ワードの数に基づいて、該部分集合内の文書が同一話題について記述されているか否かを判定する、請求項１記載の時系列文書集約方法。
【請求項５】
前記部分集合判定ステップにおいて、
前記部分集合に含まれる文書数Ｘを集計し、該Ｘ個の文書内で該キーワード周辺の予め定められた範囲内に高い頻度Ｙで出現した一般ワードを取得し、ＹがＸに占める割合が高い一般ワードの数が一定以上多い場合に、該部分集合内の文書が同一話題について記述されていると判定する、請求項４記載の時系列文書集約方法。
【請求項６】
時刻情報が付与された多数の文書の中で、同一の話題について記述された文書を集約し、かつ、集約した文書群を代表する中心的なキーワードである軸キーワードも同時に獲得する時系列文書集約装置であって、
前記時刻情報が付与された多数の文書を蓄積する文書格納手段と、
前記文書格納手段から読み込まれた入力文書を解析して、文書中の語である一般ワード及び、該一般ワードの出現位置情報を獲得し、一般ワード格納手段に格納する文書解析手段と、
前記入力文書中において、前記軸キーワードの候補となるキーワード及び該キーワードの出現位置情報を取得し、キーワード格納手段に格納するキーワード抽出手段と、
前記キーワード格納手段に格納されている前記キーワードを集計し、高頻度のキーワードを選別するキーワード集計手段と、
前記キーワード集計手段で選別されたキーワードを含む文書を文書格納手段から取得して、該文書のそれぞれに対し、前記時刻情報に基づいて、部分集合に分割する部分集合生成手段と、
前記部分集合内の文書の中で、前記キーワード周辺の予め定められた範囲内に出現する一般ワードを前記一般ワード格納手段から取得して、集計した結果に基づいて、該部分集合の内の文書が、同一話題について記述されているか否かを判定する部分集合判定手段と、
前記部分集合毎の判定結果を統合し、該キーワードが話題の軸であるか否かを最終的に判定する総合判定手段と、
を、有することを特徴とする時系列文書集約装置。
【請求項７】
前記部分集合生成手段は、
前記文書の時刻情報が互いに近い文書を集約して部分集合を生成する手段を含む、請求項６記載の時系列文書集約装置。
【請求項８】
前記部分集合生成手段は、
前記文書の時刻情報が互いに近く、かつ内容が類似する文書を集約して部分集合を生成する手段を含む、請求項６記載の時系列文書集約装置。
【請求項９】
前記部分集合判定手段は、
前記選別されたキーワード周辺の予め定めた範囲内に出現する一般ワードを前記部分集合毎に集計し、一定割合以上の高頻度で出現する一般ワードの数に基づいて、該部分集合内の文書が同一話題について記述されているか否かを判定する手段を含む、請求項６記載の時系列文書集約装置。
【請求項１０】
前記部分集合判定手段は、
前記部分集合に含まれる文書数Ｘを集計し、該Ｘ個の文書内で該キーワード周辺の予め定められた範囲内に高い頻度Ｙで出現した一般ワードを取得し、ＹがＸに占める割合が高い一般ワードの数が一定以上多い場合に、該部分集合内の文書が同一話題について記述されていると判定する手段を含む、請求項９記載の時系列文書集約装置。
【請求項１１】
前記請求項６乃至１０のいずれかに記載された手段を有する時系列文書集約装置として、コンピュータを機能させることを特徴とする時系列文書集約プログラム。
【請求項１２】
前記請求項６乃至１０のいずれかに記載された手段を有する時系列文書集約装置として、コンピュータを機能させるプログラムを格納したことを特徴とする時系列文書集約プログラムを格納した記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、時系列文書集約方法及び装置及びプログラム及びプログラムを格納した記憶媒体に係り、多数の文書の中から同一の題材を扱った文書を取得し、取得した文書群を代表する中心的なキーワードも同時に獲得する技術において、特に、日記や感想などの砕けた文体の文書を対象とし、時間と共に話題が徐々に変化する場合にも正確に獲得するための時系列文書集約方法及び装置及びプログラム及びプログラムを格納した記憶媒体に関する。
【背景技術】
【０００２】
内容が類似する文書を集約する代表的な手法としてクラスタリングがある。クラスタリング方法として、例えば、分類対象の要素をベクトルで表現し、ベクトル間の距離が小さい要素同士を同一クラスタに集約するk-means法があり、広く用いられている。この方法を文書の分類に適用する場合は、各単語をTF-IDF(Term Frequency & Inverse Document Frequency)などで重み付けした文書ベクトルを用いる（例えば、非特許文献１参照）。
【０００３】
また、単語の重み付けを改良し、特に重要度の高い単語を強調した文書ベクトルを用いてクラスタリング精度を高める手法も提案されている。
【非特許文献１】尾上守夫監訳、「パターン識別」新技術コミュニケーションズ  pp.528-529
【発明の開示】
【発明が解決しようとする課題】
【０００４】
既存の文書分類技術は、ニュース記事や論文などの比較的文体の整った文章に対してはある程度の高い精度が期待できる。しかし、個人の日記や感想のような文書は、文体の揺れや文書の長短の違いがあるばかりでなく、口語や方言が含まれる場合もある。また、ある映画の感想や、あるスポーツ選手の大記録達成を喜ぶ文書など、同一の話題を扱った文書であっても、記述する人間が異なれば観点が異なるため、文の構成や用いられる単語の特徴などは様々である場合が多い。
【０００５】
これに加え、上記の従来技術では、１文書内に複数の題材が記述された文書に対しても１つの文書ベクトルを与えて分類処理を行うため、含まれる話題の数によっては文書ベクトルが曖昧になり、分類精度が下がることもある。
【０００６】
以上の理由により、特に個人の日記や感想のような雑多な文書に対しては、既存の文書分類技術が有効に働かず、内容的に類似する文書集合を正しく形成させることができないという問題がある。
【０００７】
本発明は、上記の点に鑑みなされたもので、膨大な文書群、とりわけ不特定多数の人々が任意の文体で記述した日記や感想などの砕けた文体の文書を対象とし、同一の題材を扱った文書を集約することが可能な時系列文書集約方法及び装置及びプログラム及びプログラムを格納した記憶媒体を提供することを目的とする。
【課題を解決するための手段】
【０００８】
図１は、本発明の原理を説明するための図である。
【０００９】
本発明（請求項１）は、文書解析手段と、キーワード抽出手段と、キーワード集計手段と、部分集合生成手段と、部分集合判定手段と、総合判定手段と、を有する装置において、時刻情報が付与された多数の文書の中で、同一の話題について記述された文書を集約し、かつ、集約した文書群を代表する中心的なキーワードである軸キーワードも同時に獲得する時系列文書集約方法であって、
文書解析手段が、入力文書を解析して、文書中の語である一般ワード及び、該一般ワードの出現位置情報を獲得し、一般ワード格納手段に格納する一般ワード抽出ステップ（ステップ１）と、
キーワード抽出手段が、入力文書中において、軸キーワードの候補となるキーワード及び該キーワードの出現位置情報を取得し、キーワード格納手段に格納するキーワード抽出ステップ（ステップ２）と、
キーワード集計手段が、キーワード格納手段に格納されているキーワードを集計し、高頻度のキーワードを選別するキーワード選別ステップ（ステップ３）と、
部分集合生成手段が、キーワード選別ステップで選別されたキーワードを含む文書を文書格納手段から取得して、該文書のそれぞれに対し、時刻情報に基づいて、部分集合に分割する部分集合生成ステップ（ステップ４）と、
部分集合判定手段が、部分集合内の文書の中で、キーワード周辺の予め定められた範囲内に出現する一般ワードを一般ワード格納手段から取得して、集計した結果に基づいて、該部分集合の内の文書が、同一話題について記述されているか否かを判定する部分集合判定ステップ（ステップ５）と、
総合判定手段が、部分集合毎の判定結果を統合し、該キーワードが話題の軸であるか否かを最終的に判定する総合判定ステップ（ステップ６）と、を行う。
【００１０】
また、本発明（請求項２）は、部分集合生成ステップ（ステップ４）において、
文書の時刻情報が互いに近い文書を集約して部分集合を生成する。
【００１１】
また、本発明（請求項３）は、部分集合生成ステップ（ステップ４）において、
文書の時刻情報が互いに近く、かつ内容が類似する文書を集約して部分集合を生成する。
【００１２】
また、本発明（請求項４）は、部分集合判定ステップ（ステップ５）において、
選別されたキーワード周辺の予め定めた範囲内に出現する一般ワードを部分集合毎に集計し、一定割合以上の高頻度で出現する一般ワードの数に基づいて、該部分集合内の文書が同一話題について記述されているか否かを判定する。
【００１３】
また、本発明（請求項５）は、部分集合判定ステップ（ステップ５）において、
部分集合に含まれる文書数Ｘを集計し、該Ｘ個の文書内で該キーワード周辺の予め定められた範囲内に高い頻度Ｙで出現した一般ワードを取得し、ＹがＸに占める割合が高い一般ワードの数が一定以上多い場合に、該部分集合内の文書が同一話題について記述されていると判定する。
【００１４】
図２は、本発明の原理構成図である。
【００１５】
本発明（請求項６）は、時刻情報が付与された多数の文書の中で、同一の話題について記述された文書を集約し、かつ、集約した文書群を代表する中心的なキーワードである軸キーワードも同時に獲得する時系列文書集約装置であって、
文書を蓄積する文書格納手段２０１と、
文書格納手段２０１から読み込まれた入力文書を解析して、文書中の語である一般ワード及び、該一般ワードの出現位置情報を獲得し、一般ワード格納手段２０３に格納する文書解析手段２０２と、
入力文書中において、軸キーワードの候補となるキーワード及び該キーワードの出現位置情報を取得し、キーワード格納手段２０５に格納するキーワード抽出手段２０４と、
キーワード格納手段２０５に格納されているキーワードを集計し、高頻度のキーワードを選別するキーワード集計手段２０６と、
キーワード集計手段２０６で選別されたキーワードを含む文書を文書格納手段２０１から取得して、該文書のそれぞれに対し、時刻情報に基づいて部分集合に分割する部分集合生成手段２０７１と、
部分集合内の文書の中で、キーワード周辺の予め定められた範囲内に出現する一般ワードを一般ワード格納手段２０３から取得して、集計した結果に基づいて、該部分集合の内の文書が、同一話題について記述されているか否かを判定する部分集合判定手段２０７２と、
部分集合毎の判定結果を統合し、該キーワードが話題の軸であるか否かを最終的に判定し、話題の軸である場合に、集約文書格納手段２０８に格納する総合判定手段２０７３と、
を、有する。
【００１６】
また、本発明（請求項７）は、部分集合生成手段２０７１において、
文書の時刻情報が互いに近い文書を集約して部分集合を生成する手段を含む。
【００１７】
また、本発明（請求項８）は、部分集合生成手段２０７１において、
文書の時刻情報が互いに近く、かつ内容が類似する文書を集約して部分集合を生成する手段を含む。
【００１８】
また、本発明（請求項９）は、部分集合判定手段２０７２において、
選別されたキーワード周辺の予め定めた範囲内に出現する一般ワードを部分集合毎に集計し、一定割合以上の高頻度で出現する一般ワードの数に基づいて、該部分集合内の文書が同一話題について記述されているか否かを判定する手段を含む。
【００１９】
また、本発明（請求項１０）は、部分集合判定手段２０７２において、
部分集合に含まれる文書数Ｘを集計し、該Ｘ個の文書内で該キーワード周辺の予め定められた範囲内に高い頻度Ｙで出現した一般ワードを取得し、ＹがＸに占める割合が高い一般ワードの数が一定以上多い場合に、該部分集合内の文書が同一話題について記述されていると判定する手段を含む。
【００２０】
本発明（請求項１１）は、請求項６乃至１０のいずれかに記載された手段を有する時系列文書集約装置として、コンピュータを機能させるプログラムである。
【００２１】
本発明（請求項１２）は、請求項６乃至１０のいずれかに記載された手段を有する時系列文書集約装置として、コンピュータを機能させるプログラムを格納した記憶媒体である。
【発明の効果】
【００２２】
本発明は、まず、軸キーワードの候補を発見し、キーワード周辺に出現する語を集計することで該キーワードが実際に軸キーワードであるか否かを判定する方法である。あるキーワードを含む文書を時刻情報に基づいて分割した部分集合毎に、該キーワードが軸キーワードであるか否かを判定し、この判定結果を統合して該キーワードを含む文書全体が同一話題であるか否かを総合判定するため、時間と共に話題の内容が徐々に変化する場合にも対応可能な集約方法である。
【００２３】
また、各部分集合の判定の際に軸キーワードの候補及びその周辺に出現する語（一般ワード）の統計情報により判定を行うため、句点がない文章や口語で記述された文書、方言を含む文書などの砕けた文体の文書であっても高精度に分類することができる。特に、個人の行動を記しただけの日記や極めて短い文書のように内容に話題性がない文書を除外し、同一の興味を持って記述された有益な文書のみを集約することができる。
【００２４】
また、１文書中に複数の話題の記述がある場合でも、注目するキーワードの周辺に出現する語を用いて話題を集約するため、例えば、前半が話題Ａ，後半が話題Ｂについて記述された文書は、前半に出現する語の分布から話題Ａの構成文書として集約され、かつ後半に出現する語の分布から話題Ｂの構成文書としても集約される、といったように、含む話題に応じて多重に分類することができる。
【００２５】
さらに、同一話題を含む文書を集約するばかりでなく、集約の根拠となった軸キーワードも取得できるため、本発明の実施結果を用いた文書検索や要約など、様々な応用が可能である。
【発明を実施するための最良の形態】
【００２６】
以下、図面と共に本発明の実施の形態を説明する。
【００２７】
［第１の実施の形態］
図３は、本発明の第１の実施の形態における時系列文書集約装置の構成を示す。
【００２８】
同図に示す時系列文書集約装置は、集約対象の文書を時刻情報と共に格納しておく文書格納部２０１、入力文書を解析し、文章を構成する要素毎に分割する文書解析部２０２、文書解析部２０２の解析結果を元に取得した一般ワードと文書中での位置を記録する一般ワード格納部２０３、文書解析部２０２の解析結果をもとに、各文書を特徴付けるキーワードを抽出するキーワード抽出部２０５、キーワード及び文書中での位置を記録するキーワード格納部２０５、キーワード格納部２０５に記録されたキーワードを集計し、特に出現頻度が高いキーワードを軸キーワード候補として選別するキーワード集計部２０６、選別されたキーワードが軸キーワードであるか否かを判断する集約判定部２０７、軸キーワード、及び話題を構成する文書を格納する集約文書格納部２０８から構成される。
【００２９】
図４は、本発明の第１の実施の形態における文書格納部に記録された文書データの例である。同図に示す文書格納部２０１において、各文書には、文書固有のＩＤ（文書ＩＤ）が与えられ、文書の作成時刻を表す時刻情報（タイムスタンプ）と共に記録されている。
【００３０】
文書解析部２０２は、文書格納部２０１に記録された文書データのうち、文書ＩＤ及び本文のデータを１文書ずつ取得する。取得した本文データを、既存技術である形態素解析処理によって文書を構成する文法的最小単位である形態素に分割する。このとき、形態素解析結果と本文データを照合し、本文データ中での各形態素の出現位置を同時に調べておく。その後、全てまたは、一部の形態素を「一般ワード」として、出現位置、文書ＩＤと共に一般ワード格納部２０３に格納する。この処理を、文書格納部２０１に記録された文書データそれぞれについて実施する。
【００３１】
「一般ワード」は、文書中で連続する形態素を連結させた複合語であってもよい。
【００３２】
図５は、本発明の第１の実施の形態における一般ワードの記録例である。同図の一般ワード格納部２０３には、形態素解析した結果、名詞であると判断された形態素を一般ワードと見做し、文書における出現位置と共に記録している。なお、出現位置は一般ワードの先頭（ＳＴＡＲＴ）と末尾（ＥＮＤ）のそれぞれの位置を文書の先頭から数えたバイト数で表す。日本語の全角１文字の情報量は２バイトであるため、すべて全角文字の場合、文書の先頭を０バイトとすると、１文字目の始まりは位置「０」、２文字目の始まり配置「２」、３文字目の始まりは位置「４」となる。文書ＩＤ“０００１”の文書の例では、０〜３バイトの位置に一般ワード「昨日」が出現し、１６〜１９バイトの位置に一般ワード「映画」が出現している。上述の複合語を一般ワードと見做した場合も同様で、一般ワードと見做した複合語を構成する形態素のうち、先頭に位置する形態素の開始位置を該一般ワードの開始位置とし、末尾に位置する形態素の終了位置を該一般ワードの終了位置とする。
【００３３】
以下の説明では、図５のように名詞のみを一般ワードとして一般ワード格納部２０３に登録した例を用いて説明する。
【００３４】
キーワード抽出部２０４は、文書解析部２０２の内部で行われる形態素解析処理の結果として得られる形態素とその品詞情報と出現位置を用い、各文書を特徴付けるキーワードを抽出する処理部である。抽出処理は文書毎に行い、同時に文書解析部２０２より取得しておく文書ＩＤと合わせてキーワード格納部２０５に記録する。
【００３５】
この処理は、以後の処理で同一の話題を扱った文書を集約する際に軸となる語（軸キーワード）の候補の獲得が目的である。軸キーワードは、例えば、あるスポーツ選手に注目して書かれた文書の場合は、そのスポーツ選手の名前、企業間の合併について書かれた文書の場合は、当該企業名など、主に固有名詞である。
【００３６】
キーワードの抽出には、既存技術「磯崎秀樹：メタルールと決定木学習を用いた日本語固有表現抽出、情報処理学会論文誌 Vol.43, No.5 pp.1481-1491(2002)」を用いる。
【００３７】
これは、形態素解析処理の結果として得られる形態素とその品詞情報と出現位置とに合わせて、ひらがな、カタカナ、漢字といった文字種情報に基づいて、入力文書中から企業名やスポーツチーム名などの「組織名」、「人名」、「地名」、製品名や建造物などの「人工物名」、「金額」などといった固有表現を自動抽出する技術である。
【００３８】
本実施の形態では、これらの固有表現の中で、「組織名」と「人名」のみを上記の既存技術により獲得したものを「キーワード」と見做して、出現位置情報と文書ＩＤと共にキーワード格納部２０５に記録するものとする。以後の処理では、ここで記録されたキーワードを軸キーワードの候補として扱う。
【００３９】
なお、この際に同時に記録する各キーワードの出現位置の獲得方法は、文書解析部２０２における一般ワードの出現位置獲得方法と同様である。
【００４０】
図６は、本発明の第１の実施の形態におけるキーワード格納部に記録されたキーワードの例を示す。キーワードが、文書ＩＤ、文書の先頭からの出現位置と共に記録されている。なお、出現位置は、キーワードの先頭（ＳＴＡＲＴ）と末尾（ＥＮＤ）の位置を文書の先頭から数えたバイト数で表す。
【００４１】
例えば、人名であるとして抽出されたキーワード「×谷○夫」が文書ＩＤ“０００１”の４４〜５１バイトの位置にあったことを表す。同様に文書ＩＤ“０００２”や“０００４”の文書から抽出されたキーワードが記録されている。文書ＩＤ“０００３”の日記風の文書には「組織名」と「人名」の固有表現が１語も現れなかったものとすると、図６のように文書ＩＤ“０００３”に関する項は何も出力されない。
【００４２】
キーワード集計部２０６は、キーワード格納部２０５に記録された文書ＩＤ及び該文書中で出現するキーワードを取得して各キーワードの頻度を集計し、一定値以上の高頻度のキーワード、及び該キーワードを含む文書のＩＤの一覧を集約判定部２０７に送出する。
【００４３】
キーワードの頻度集計方法は、キーワードが１度でも出現する文書数を集計してもよいし、あるキーワードが各文書内で出現する回数を全て加算したものを該キーワードの頻度としてもよい。例えば、図６の例えば、「○山」というキーワードが文書ＩＤ“０００２”、“０００４”という２文書に出現しているため、「○山」の頻度は「２」とする。
【００４４】
一般に、ある事柄が話題になっている状態とは、数多くの文書で同一の題材が扱われている状態を呼ぶ。上記集計方法により算出した各キーワードの頻度に基づき、高頻度のキーワードのみを集約判定部２０７への送出対象とすることで、軸キーワードとして成立する可能性が高いキーワードを選択することができる。
【００４５】
図７は、本発明の第１の実施の形態におけるキーワード集計部が集約判定部に送出するデータの例である。
【００４６】
キーワード集計部２０６から集約判定部２０７に送出されるデータは、「×谷○夫」というキーワードが合計５５という頻度を持ち、文書ＩＤ「０００１，０００５，００３２，００３５，００５２，…」の文書中に出現していたことを表す。
【００４７】
集約判定部２０７は、キーワード集計部２０６より、図７のようなキーワード一覧を取得し、各キーワードが軸キーワードであるか否かを判定し、軸キーワードであると判定された場合には該キーワード、及び話題を構成する文書の文書ＩＤを集約文書格納部２０８に記録する。当該判定処理は個々のキーワード毎に実施する。
【００４８】
集約判定部２０７は、部分集合分割部２０７１、部分集合判定部２０７２、総合判定部２０７３から構成される。
【００４９】
集約判定部２０７がある１個のキーワードについて判定処理を実施する流れを説明する。
【００５０】
図８は、本発明の第１の実施の形態における集約判定部の処理のフローチャートである。
【００５１】
ステップ６０１）  集約判定部２０７の部分集合分割部２０７１が、１個のキーワード及び該キーワードを含む文書ＩＤ一覧を取得する。
【００５２】
ステップ６０２）  部分集合分割部２０７１は、１個のキーワード及び該キーワードを含む文書ＩＤ一覧を取得すると、文書ＩＤに基づいて文書格納部２０１を検索して該キーワードを含む文書群を取得し、当該文書群を時刻情報に基づいて部分集合に分割する。このとき、時刻情報が近い（作成時刻が近い）文書が同一の部分集合に集約されるよう分割する。例えば、時刻情報の日付部分を用い、日付毎に部分集合を形成させると、２０ＸＸ年３月１１日の部分集合、２０ＸＸ年３月１２日の部分集合、…が形成される。
【００５３】
例えば、人名として抽出されたキーワード「○山」に注目した場合、「○山」を含む文書である「０００２，０００４，００２１，００２１，…」を日別の部分集合に分割し、各部分集合内で「○山」周辺の予め定めた範囲に出現する一般ワードの出現頻度を集計する。本例では、文書“０００２”も“０００４”も時刻情報が共に、２０ＸＸ年３月１２日であるため、同一の部分集合に分割される。
【００５４】
ステップ６０３）  部分集合判定部２０７２が、各部分集合内の文書中で各キーワード周辺の予め定められた範囲に出現する各一般ワードの出現頻度を集計する。
【００５５】
部分集合内での一般ワードの集計は次のように行う。
【００５６】
図６において、「○山」はＩＤが“０００２”の文書では２０〜２３バイト目の位置に出現しているため、この出現位置情報を一般ワード格納部２０３に記録されている一般ワードリストと照合し、文書“０００２”中でキーワード「○山」周辺の予め定められた範囲内に出現している一般ワードを取得する。
【００５７】
各キーワードに対する一般ワードの取得範囲は、様々な設定が可能である。図９は、本発明の第１の実施の形態における一般ワード収集範囲の第１の例である。
【００５８】
同図（ａ）は、キーワード「○山」を含む文書“０００２”である。キーワード格納部２０５には、キーワード「○山」の出現位置が、一般ワード格納部２０３には「衆議院」「解散」などの一般ワードの出現位置が記録されている。
【００５９】
例えば、同図（ｂ）に示す例１では、キーワード「○山」を中心とする前後２語までの一般ワードを収集範囲とする例である。キーワード「○山」より前に出現する「解散」「首相」、後に出現する「決断」「総選挙」が収集対象の一般ワードとなる。
【００６０】
同図（ｃ）に示す例２では、キーワードを含む文書全体を収集範囲とする例である。この場合、「衆議院」「解散」「首相」「決断」「総選挙」「憂鬱」以下、文書“０００２”中の全ての一般ワードが収集対象となる。
【００６１】
同図（ａ）に示した文書“０００２”の例では、「○山」より前には一般ワードが３語しかないため、例えば、同図（ｂ）例１で前後５語を収集範囲とした場合は、キーワードは前からは３語しか取得できない。この場合はキーワード以前の３語全てとキーワード以後の５語を取得すればよい。
【００６２】
ここまでの説明では、図５や図６の例のように、「文書ＩＤ」「一般ワード（またはキーワード）」「出現位置」のみを記録するものとしたが、文書解析部２０２が行う形態素解析の結果から文書中の句点「。」を取得して文と文の区切りを判断し、どの語とどの語が同じ文から抽出されたかを同時に記録するようにしてもよい。これを用いれば、図９（ｄ）の例３に示すように、キーワード「○山」を含む文を中心とする前後幾つかの文を一般ワードの収集範囲とすることも可能である。図９（ｄ）の例３は、キーワードを含む文のみを収集範囲とする例であるため、「衆議院」「解散」「首相」「決断」の４語のみが取得されるが、「キーワードを含む文を中心とする前後２文」というように、範囲を前後の文に拡大してもよい。
【００６３】
句点「。」に加え、ピリオド「．」やエクスクラメーションマーク「！」、クエスチョンマーク「？」などを文の区切りと見做してもよい。
【００６４】
一方、図１０は、組織名として取得したキーワード「○○新聞」に注目して周辺の一般ワードを取得する際の範囲指定方法の別の例である。本発明の文書集約方法は、注目するキーワードの周辺に特定の一般ワードが高確率で出現する場合に、その文書群は同一の話題について記述された文書であり、かつそのキーワードが軸キーワードであると判定する方法である。図１０にあげた文中の「（○○新聞発行）」という文字列が○○新聞社から発行される全てのニュース記事の見出しに定常的に用いられる文字列であるとすると、「○○新聞」の周辺では極めて高い確率で「発行」という一般ワードが出現することになる。このため、○○新聞社から発行されたあらゆるニュース記事が同一話題だとして誤って集約されてしまう。図１０に示した範囲指定の例はこれを回避するための一方法である。注目するキーワードに隣接して出現する一般ワードを取得しないことで、同一発行者が高頻度で定常的に用いる軸であると誤判断するのを防ぐ。
【００６５】
隣接する一般ワードではなく、注目するキーワードから一番近い一般ワードを取得対象から外すようにしてもよい。図１０の場合、「殺到」及び「発行」が対象から外れることになる。
【００６６】
図９及び図１０に示した範囲の設定方法に限らず、種々の一般ワード取得方法が利用可能である。例えば、前後１文などのように固定長で指定した範囲内に一般ワードが１語も含まれない場合に探索範囲を拡大し、注目キーワードから近い順に前後Ｍ語の一般ワードを取得すると、など、複数の方法と組み合わせて取得してもよい。
【００６７】
上記のいずれかの方法で、部分集合内の全ての文書について、注目キーワード周辺の予め定めた範囲から一般ワードを取得し、例えば、「○山」というキーワードでは、「衆議院」が５回、「解散」が７回といったように、一般ワードが取得された文書数をそれぞれ集計する。
【００６８】
ステップ６０４）  部分集合内の文書について集計が終わると、部分集合判定部２０７２は、該部分集合内の文書が同一話題について記述されているか否か、即ち、注目キーワード「○山」が軸キーワードであるか否かを判定する。
【００６９】
軸キーワードか否かの判断は、該キーワード周辺の予め定めた範囲内に、特定の語が高頻度で出現するかどうかによって行う。図１１は、キーワード「○山」に注目した場合、及び「○○新聞」に注目した場合のそれぞれの場合において、周辺の一般ワードを集計した結果の、出現文書数が多い上位５語の例である「○山」を含む文書数２８の部分集合について、周辺から取得された一般ワードは頻度の高いものから順に「衆議院」（２５文書に出現）、「解散」（２２文書に出現）、「総理」（２１文書に出現）、「明日」（１５文書に出現）、「総選挙」（１３文書に出現）であったものとする。
【００７０】
このとき、部分集合判定部２０７２は、ここに挙げた上位５位までの一般ワードの出現文書数のうち、部分集合の構成文書数２８の半分の１４を超える一般ワード数を集計する。この例では、１４を超える出現文書数を有する一般ワードは、「衆議院」「解散」「総理」「明日」の４語である。つまり、周辺から取得した一般ワード上位５語のうち４語が一定以上の高い頻度で出現していたことになる。
【００７１】
同様にすると、同じく、図１１に示す「○○新聞」の例では、部分集合の構成文書数３２の版数１６を超えるような高い頻度で出現した一般ワードは１語も存在しない。
【００７２】
部分集合判定部２０７２は、高頻度順に並べた一般ワードの上位の語（例えば、上位５語）のうち、条件を満たす時に高い頻度の一般ワードの個数（「○山」の例では４語、「○○新聞」の例では０語）を調べ、その割合が例えば６０％以上であった場合に、該部分集合内の文書が同一の話題について記述されていると判定する。「○山」は上位５語のうち条件を満たした４語は８０％に相当し、６０％を超えるため同一話題であると判定されるが、「○○新聞」は条件を満たす語が１語も存在しない（０％）ため、同一話題ではないと判定される。
【００７３】
あるキーワードを含む文書群が同一の題材について記述されている場合、キーワード周辺の語の出現パターンが文書間で類似するため、周辺の一般ワードの出現回数を集計した結果、高頻度を記録しやすくなる。言い換えれば、キーワード周辺に出現する語に偏りがある。一方、あるキーワードの一般性が高く、様々な分野の文書に用いられる語の場合、周辺に出現する語がまちまちであるため、それぞれの出現回数を集計しても高頻度にはなりにくい。言い換えれば、キーワード周辺に出現する語に偏りがない。上記判定は、この特徴を利用したものであり、注目キーワードの周辺での出現回数が多い一般ワードのうち、特に頻度の高い語が占める割合を調べることにより、軸キーワードであるか否かを自動判定するものである。
【００７４】
この特徴に注目した判定方法であれば、上記の例に限定される必要はなく、様々な応用が可能である。
【００７５】
例えば、予めあらゆる２つの語句が同時に用いられる可能性を数値化したデータベースを構築しておき、周辺から取得された高頻度な一般ワードが互いに関連するか否かによって判定を行ってもよい。この場合、図１１の例でキーワード「○山」の周辺から取得された「衆議院」や「解散」や「総理」などの一般ワードは、上記データベースを参照すれば互いに関連が深い語であることがわかり、「○山」が話題の軸であるとの判定材料とすることができる。逆に「○○新聞」の周辺から取得された「逮捕」や「震度」や「ホームラン」は関連性が低く、「○○新聞」は一般性の高い語であるために軸キーワードとはならないという判定を行うことができる。
【００７６】
あるいは、あらゆる２つの語句が１文や１文書中に共に出現する可能性を数値化するデータベースを予め構築するのではなく、入力文書から動的に構築してもよい。この場合は、キーワード「○山」の周辺から取得された「衆議院」や「解散」などの高頻度な一般ワードが同一文中や同一文書中など、一定の範囲内に共に出現する確率を算出し、その確率が高ければ同一話題であると判定することができる。
【００７７】
ステップ６０５）  注目キーワード「○山」を含む文書の各部分集合の判定を終えた場合は、ステップ６０６に移行し、まだ、判定を行っていない部分集合があれば、ステップ６０３に移行する。
【００７８】
ステップ６０６）  総合判定部２０７３が、「○山」を含む文書群を分割して生成した部分集合それぞれの判定結果を用いて、注目キーワード「○山」が軸キーワードであるか否かの最終的な判定を行う。
【００７９】
総合判定は、注目キーワード「○山」を含む文書の部分集合のうち、いくつかの部分集合がステップ６０４で同一話題であると判定されたかによって行う。注目キーワード「○山」を含む文書の部分集合が１０個あり、ステップ６０４で７個が同一話題と判定されたものとすると、同一話題と判定された割合は７０％である。このとき、総合判定部２０７３は、例えば、この割合が５０％を超える場合に、注目キーワード「○山」を含む全ての文書が同一の話題で構成され、「○山」が軸キーワードであるという最終判定を下す。
【００８０】
部分集合の単位で同一話題か否かの判定を行い、各判定結果を統合して最終判定を行う目的は、時間と共に徐々に変化する話題の取得にある。あるキーワードを軸とする話題の注目度が高ければ高いほど、時間と共に次々と別の話題に推移することがある。この場合には、キーワード周辺に出現する一般ワードも時間と共に少しずつ移り変わるため、部分集合への分割を行わずに、ステップ６０４と同様の判定を行うと、話題の軸であるとは判定されなくなる。時刻情報に基づいて文書を分割し、部分集合単位で判定処理を行うことで、推移する話題にも対応した集約が可能になる。
【００８１】
総合判定の結果、注目するキーワードが軸キーワードであると判定された場合は、ステップ６０７に移行し、そうでない場合は、処理を終了する。
【００８２】
ステップ６０７）  キーワード及び当該キーワードを含む文書のＩＤを集約文書格納部２０８に記録し、次のキーワードの判定処理に移る。
【００８３】
［第２の実施の形態］
本実施の形態における時系列文書集約装置の構成は、図３に示す前述の第１の実施の形態における構成と同様である。
【００８４】
また、処理の流れも第１の実施の形態と同じく、文書解析部２０２による一般ワードの抽出、キーワード抽出部２０４によるキーワードの抽出、キーワード集計部２０６によるキーワード出現数の集計及び高頻度キーワードの選定、集約判定部２０７による同一話題か否かの判定及び文書出力、となる。
【００８５】
本実施の形態では、集約判定部２０７の処理のみが第１の実施の形態と異なる。
【００８６】
以下に本実施の形態の集約判定部２０７における、各キーワードについて行う処理の流れを説明する。
【００８７】
第１の実施の形態では、部分集合単位の判定を行った後、それらを一括統合して最終的な判定を行う２段階の判定であったのに対し、本実施の形態では、時間情報のみではなく、文書間の関連性に基づいて分割した部分集合毎に第１の判定を行った後、その結果を用いて一定期間毎に同一話題か否かを判定（第２の判定）し、最後にそれらを統合して最終判定を行う、３段階の判定を行う。
【００８８】
図１２は、本発明の第２の実施の形態における集約判定部の動作のフローチャートである。
【００８９】
ステップ１００１）  集約判定部２０７内部の部分集合分割部２０７１が、１個のキーワード、及び、該キーワードを含む文書ＩＤ一覧を取得する。
【００９０】
ステップ１００２）  部分集合分割部２０７１が、キーワードを含む文書中でキーワード周辺の予め定めた範囲内に出現する一般ワードを集計し、各文書のベクトルを生成する。なお、ベクトル生成方法については後述する。
【００９１】
ステップ１００３）  部分集合分割部２０７１は、キーワードを含む文書ＩＤに基づいて文書格納部２０１を検索し、検索された文書のぞれぞれに対し、文書格納部２０１に記録されている時刻情報と、以下に述べる文書ベクトルから算出する文書間類似度とに基づいて部分集合に分割する。このとき、時刻情報が近く、かつ類似性の高い文書が同一の部分集合に属すように分割する。部分集合分割には、文書間の距離を例えば、次式ｄ（ｍ，ｎ）で定義したクラスタリング技術を用いる。
【００９２】
d（m,n）=（１−S（m,n））×exp（−│t(m)−t(n)│/T）
Ｓ（ｍ，ｎ）が文書ｍ，ｎ巻の内容の類似度である。exp（−│t(m)−t(n)│/T）がこれら２文書間の時間距離であり、各文書の時刻情報ｔ（ｍ），ｔ（ｎ）が近いほど、１に近い大きな値をとる。時間距離は、２文書の時刻情報が同一の場合に最大値１をとる。Ｔは時間距離の減衰の度合いを決定するパラメータであり、扱う文書データに含まれる話題の時間的推移の速度に応じて固定的に設定すればよい。
【００９３】
上記の文書距離を用いたクラスタリングを行うことで、時間的に近く、かつ同一話題を構成する文書が同一クラスタに集約される。
【００９４】
以下、ベクトルの生成法、及び、文書間類似度の算出方法について述べる。
【００９５】
文書間類似度Ｓ（ｍ，ｎ）は、注目しているキーワード周辺の予め定めた範囲内に出現する一般ワードの出現頻度を比較することで行う。一般ワードの集計方法は、第１の実施の形態における集計方法と同様である。文書における一般ワードの出現頻度で文書ベクトルを定義し、例えば、コサイン距離を文書ｍ，ｎ間の類似度Ｓ（ｍ，ｎ）とすればよい。
【００９６】
ステップ１００４）  続いて、部分集合分割部２０７１が類似度と時間距離に基づいて分割した部分集合単位で、同一話題か否かの反映を行う。
【００９７】
ステップ１００５）  全ての部分集合の判定が終わるまでステップ１００４の処理を行い、全ての部分集合のチェックが終わったら、ステップ１００６に移行する。
【００９８】
ステップ１００６）  部分集合毎の判定結果を、例えば１日などの一定期間毎に集約して判定を行う。ステップ１００４で同一話題であると判定された部分のみについて、部分集合内の文書の時刻情報を平均して重心の時刻を算出し、その重心時刻に応じて部分集合を日別に分類する。ステップ１００４で同一話題ではないと判定された部分集合については、ここで、棄却する。棄却の目的は、クラスタリングの誤差の排除である。クラスタリングを行う際には微小クラスタが生じたり、不正確な（文書間の類似度があまり高くない）クラスタが生成されてしまう場合がある。これらの影響を防ぐため、同一話題と判定された部分集合のみを扱う。
【００９９】
同一話題と判定された部分集合が、１日などの一定期間内に例えば、３以上含まれる場合、この期間中には３個の話題が同時に存在していた、つまり、この期間に関しては同一話題ではないと判定する。
【０１００】
例えば、あるキーワード「○○新聞」に注目した場合、ある１日に分類された部分集合数が、４であったとする。しかし、図１０に示したように「○○新聞」が様々な文書に含まれる一般的な用語であり、軸キーワードとして適さない語であったとしたとき、クラスタリングを行うと、「○○新聞社が発行した野球の試合結果の文書からなるクラスタ」「○○新聞社が発行した株価下落の文書からなるクラスタ」などのように、内容の違いに応じて文書が分割される。このような場合であっても、個々のクラスタは同一の話題で構成されているとすると、本例の「○○新聞」のようなキーワードが最終的に話題の軸であると判定されてしまう。これを防ぐために、日別などの一定期間毎の集約判定を行い、例えば、１日という期間中で「○○新聞」が軸キーワードであるか否かの中間的な判定処理（第２の判定）を行う。「○○新聞」が様々な話題の文書に共通的に含まれるキーワードであったとすると、１日毎の集約の結果、同時に複数の話題が存在することになり、棄却される。
【０１０１】
ステップ１００７）  最後に、一定の期間の判定結果を全て統合し、全期間にわたって注目キーワードの話題の軸と呼ぶのに相応しい語か否かを判定する。
【０１０２】
判定の結果、注目するキーワードが軸キーワードであると判定された場合は、ステップ１００８に移行し、そうでない場合は、出力は行わず処理を終了する。
【０１０３】
ステップ１００８）  キーワード及び当該キーワードを含む文書のＩＤを集約文書格納部２０８に記録する。
【０１０４】
最終判定の処理は、第１の実施の形態における最終判定と同様に、日別の各判定結果を集計し、同一話題と判定された日数が全体に占める割合によって、例えば、５０％を超えた場合に同一話題と判定する。
【０１０５】
上記の第１及び第２の実施の形態において、話題構成文書のＩＤを出力する際に、軸キーワードを含む全ての文書のＩＤを出力するのではなく、最終的な判定ステップで同一話題であると判定された部分集合の文書のみを出力対象としてもよい。
【０１０６】
あるいは、キーワードの周辺から取得された一般ワードの上位５位のうち、例えば、３語以上を含むような文書のみのＩＤを出力してもよい。図１１に示したキーワード「○山」の例で、「衆議院」「解散」「総理」「明日」「総選挙」のうち３語以上を含む文書のみを、「○山」を軸とする話題文書群として出力することで、偶然に「○山」というキーワードを含んだ文書を混在させることなく、「衆議院解散に伴う総選挙」というある特定の話題について記述された文書のみを厳選することができる。
【０１０７】
当然ながら、上記出力方法の組み合わせで、同一話題であると判定された部分集合の文書であり、かつ一般ワードの上位５位のうちの３語以上を含む文書のみを出力対象としてもよい。
【０１０８】
以上の処理の結果、上記の実施の形態における「○○新聞」のようにあらゆる分野の文書に用いられる一般性の高いキーワードではなく、例えば、首相の名字である「○山」の例のように話題の中心に位置付けられるキーワードが軸キーワードであると判定され、同時にその話題を構成する文書群が出力される。また、時間の推移と共に話題が推移する場合にも、話題の軸として適したキーワードであれば、適切に判定される。
【０１０９】
なお、上記の実施の形態では、固有表現と呼ぶ語をキーワードと見做し、名詞を一般ワードと見做したが、これに限定するものではなく、様々に変更可能である。
【０１１０】
上記のように、本発明は、あるキーワードを含む文書を分割した部分集合を生成し、各部分集合中の文書にてキーワード周辺の予め定めた範囲内に出現する語句（一般キーワード）の頻度を集計することで部分集合内の文書が同一の話題について記述されたものか否かを判定し、各部分集合での判定結果を用いて、該キーワードを含む文書全体が同一の話題について記述されたものか否かを最終的に判定する方法である。例えば、首相の名字である「○山」というキーワードに注目した場合、周辺に「衆議院」や「総選挙」や「回線」などの一般ワードが高確率で出現していれば、それらの文書は政権崩壊による衆議院解散を題材とした文書群であると判定する。
【０１１１】
この方法により、同一の話題について記述された文書を集約し、かつ集約した文書群を代表する中心的なキーワード（軸キーワード）の獲得も同時に行う。
【０１１２】
なお、軸キーワードか否かの判定と、該キーワードを軸とする話題の構成文書の集約は同時に行われるものである。言い換えれば、あるキーワードに注目したときに得られる文書集合について、該文書集合内の文書が同一の話題について記述されているとの判定がなされれば、同時に該キーワードが話題の軸と判定されたことになる。
【０１１３】
また、上記の図３に示す文書解析部、キーワード抽出部、キーワード集計手段、集約判定部の動作を時系列文書集約装置として機能するコンピュータに実行させるためのプログラムとして構築し、当該コンピュータにインストールして実行する、または、ネットワークを介して流通させることが可能である。
【０１１４】
また、構築されたプログラムをハードディスク装置や、フレキシブルディスク、ＣＤ−ＲＯＭ等の可搬記憶媒体に格納し、コンピュータにインストールする、または、配布することが可能である。
【０１１５】
なお、本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において種々変更・応用が可能である。
【産業上の利用可能性】
【０１１６】
本発明は、ネットワーク上、または、記憶手段上の多数の文書の中から同一の題材を扱った文書及び、文書群の中心的なキーワードを獲得する技術に適用可能である。
【図面の簡単な説明】
【０１１７】
【図１】本発明の原理を説明するための図である。
【図２】本発明の原理構成図である。
【図３】本発明の第１の実施の形態における時系列文書集約装置の構成図である。
【図４】本発明の第１の実施の形態における文書格納部に記録された文書データの例である。
【図５】本発明の第１の実施の形態における一般ワード格納部に記録された一般ワードの例である。
【図６】本発明の第１の実施の形態におけるキーワード格納部に記録されたキーワードの例である。
【図７】本発明の第１の実施の形態におけるキーワード集計部が集約判定部に送出するキーワード一覧の例である。
【図８】本発明の第１の実施の形態における集約判定部の処理のフローチャートである。
【図９】本発明の第１の実施の形態における一般ワード収集範囲の第１の例である。
【図１０】本発明の第１の実施の形態における一般ワード収集範囲の第２の例である。
【図１１】本発明の第１の実施の形態におけるキーワード周辺から取得した一般ワードの例である。
【図１２】本発明の第２の実施の形態における集約判定部の動作のフローチャートである。
【符号の説明】
【０１１８】
２０１  文書格納手段、文書格納部
２０２  文書解析手段、文書解析部
２０３  一般ワード格納手段、一般ワード格納部
２０４  キーワード抽出手段、キーワード抽出部
２０５  キーワード格納手段、キーワード格納部
２０６  キーワード集計手段、キーワード集計部
２０７  集約判定部
２０７１  部分集合生成手段、部分集合分割部
２０７２  部分集合判定手段、部分集合判定部
２０７３  総合判定手段、総合判定部
２０８  集約文書格納手段、集約文書格納部
【図１】
2006350656.tif 000003
【図２】
2006350656.tif 000004
【図３】
2006350656.tif 000005
【図４】
2006350656.tif 000006
【図５】
2006350656.tif 000007
【図６】
2006350656.tif 000008
【図７】
2006350656.tif 000009
【図８】
2006350656.tif 000010
【図９】
2006350656.tif 000011
【図１０】
2006350656.tif 000012
【図１１】
2006350656.tif 000013
【図１２】
2006350656.tif 000014