(57)【要約】【課題】文書集合分析装置において、時間的に異なる日時に発行された文書同士でも、内容の相関が高い場合には関連性が高いと判断できるようにする。【解決手段】特定条件により文書集合を特定する文書集合特定部１０と、前記文書集合に含まれる各文書間の内容類似度を評価する内容類似性評価部２０と、前記文書集合に含まれる各文書間の時間類似度を評価するタイムスタンプ類似性評価部３０と、前記内容類似度および時間類似度に基づいて、文書間の関係性を抽出する関係抽出部４０と、前記文書間の関係性に基づき、該文書の中心性を算出する中心性判定５０と、前記得られた文書間の関係性と、個々の文書の中心性に基づいて、文書集合全体から文書集合中に含まれる話題語，話題語に関連する文書集合，その文書集合中における文書の役割を特定する情報分析１００と、前記特定された文書集合を可視化して出力する情報出力部１１０と、を備える。【選択図】図１
2008210024.tif 000002
【特許請求の範囲】
【請求項１】
文書データ管理手段によって管理される文書集合内のタイムスタンプ付きの文書間の関連性に基づいて、文書の役割を特定する文書集合分析装置であって、
入力手段から入力された文書集合特定条件に基づいて前記文書集合を特定する文書集合特定手段と、
前記特定された文書集合に含まれる各文書間で話題語に関する内容類似度を評価する内容類似性評価手段と、
前記特定された文書集合に含まれる各文書間で話題語に関する時間類似度を評価するタイムスタンプ類似性評価手段と、
前記内容類似性評価手段によって評価された内容類似度および前記タイムスタンプ類似性評価手段によって評価された時間類似度に基づいて、文書間の関係性を抽出する関係抽出手段と、
前記関係抽出手段によって抽出された文書間の関係性に基づき、文書と該文書以外の文書間の関連性の高さを示す指標として、該文書の中心性を算出する中心性判定手段と、
前記関係抽出手段によって得られた文書間の関係性と、前記中心性判定手段によって得られた個々の文書の中心性に基づいて、文書集合全体から文書集合中に含まれる話題語，話題語に関連する文書集合，その文書集合中における文書の役割を特定する情報分析手段と、
前記特定された文書集合全体から文書集合中に含まれる話題語，話題語に関連する文書集合，その文書集合中における文書の役割に基づいて文書集合を可視化して出力する情報出力手段と、
を備えることを特徴とする文書集合分析装置。
【請求項２】
請求項１に記載の文書集合分析装置であって、
前記情報分析手段は、
前記文書間の関連性と、各文書の中心性に基づいて、文書間の関連性を二次元座標で表現し、その二次元座標に対する三次元目の座標で中心性を表現し、前記文書集合を三次元のグラフ構造で表現するグラフ構造構築手段と、
前記得られたグラフ構造から、エッジで連結している自身以外のノードより高い中心性を持つノードを頂点として抽出する頂点ノード抽出手段と、
前記得られた頂点ノードから、中心性が低くなる方向にグラフ構造をたどり、ノードで構成される山を特定する山状ノード群特定手段と、
前記特定される頂点ノード及び山状ノードに基づいて、ノードに対し役割を示すラベルを付与するラベル付け手段と、
を備えることを特徴とする文書集合分析装置。
【請求項３】
請求項１又は２に記載の文書集合分析装置であって、
前記タイムスタンプ類似性評価手段は、前記各文書間のタイムスタンプの差に応じて連続的に変化する忘却関数を用いて時間類似度を評価することを特徴とする文書集合分析装置。
【請求項４】
請求項１乃至３のいずれか１項に記載の文書集合分析装置であって、
前記関係抽出手段は、前記内容類似度と、前記タイムスタンプ類似性評価手段によって評価された時間類似度に所定の重み付けを行って得た時間類似度とに基づいて文書間の関係性を抽出することを特徴とする文書集合分析装置。
【請求項５】
文書データ管理手段によって管理される文書集合内のタイムスタンプ付きの文書間の関連性に基づいて、文書の役割を特定する文書集合分析方法であって、
文書集合特定手段が、入力手段から入力された文書集合特定条件に基づいて前記文書集合を特定する文書集合特定ステップと、
内容類似性評価手段が、前記特定された文書集合に含まれる各文書間で話題語に関する内容類似度を評価する内容類似性評価ステップと、
タイムスタンプ類似性評価手段が、前記特定された文書集合に含まれる各文書間で話題語に関する時間類似度を評価するタイムスタンプ類似性評価ステップと、
関係抽出手段が、前記内容類似性評価ステップによって評価された内容類似度および前記タイムスタンプ類似性評価ステップによって評価された時間類似度に基づいて、文書間の関係性を抽出する関係抽出ステップと、
中心性判定手段が、前記関係抽出ステップによって抽出された文書間の関係性に基づき、文書と該文書以外の文書間の関連性の高さを示す指標として、該文書の中心性を算出する中心性判定ステップと、
情報分析手段が、前記関係抽出ステップによって得られた文書間の関係性と、前記中心性判定ステップによって得られた個々の文書の中心性に基づいて、文書集合全体から文書集合中に含まれる話題語，話題語に関連する文書集合，その文書集合中における文書の役割を特定する情報分析ステップと、
情報出力手段が、前記特定された文書集合全体から文書集合中に含まれる話題語，話題語に関連する文書集合，その文書集合中における文書の役割に基づいて文書集合を可視化して出力する情報出力ステップと、
を備えることを特徴とする文書集合分析方法。
【請求項６】
請求項５に記載の文書集合分析方法であって、
前記情報分析ステップは、
前記文書間の関連性と、各文書の中心性に基づいて、文書間の関連性を二次元座標で表現し、その二次元座標に対する三次元目の座標で中心性を表現し、前記文書集合を三次元のグラフ構造で表現するグラフ構造構築ステップと、
前記得られたグラフ構造から、エッジで連結している自身以外のノードより高い中心性を持つノードを頂点として抽出する頂点ノード抽出ステップと、
前記得られた頂点ノードから、中心性が低くなる方向にグラフ構造をたどり、ノードで構成される山を特定する山状ノード群特定ステップと、
前記特定される頂点ノード及び山状ノードに基づいて、ノードに対し役割を示すラベルを付与するラベル付けステップと、
を有することを特徴とする文書集合分析方法。
【請求項７】
請求項５又は６に記載の文書集合分析方法であって、
前記タイムスタンプ類似性評価ステップは、前記各文書間のタイムスタンプの差に応じて連続的に変化する忘却関数を用いて時間類似度を評価することを特徴とする文書集合分析方法。
【請求項８】
請求項５乃至７のいずれか１項に記載の文書集合分析方法であって、
前記関係抽出ステップは、前記内容類似度と、前記タイムスタンプ類似性評価ステップによって評価された時間類似度に所定の重み付けを行って得た時間類似度とに基づいて文書間の関係性を抽出することを特徴とする文書集合分析方法。
【請求項９】
請求項５乃至８のいずれか１項に記載の文書集合分析方法を、コンピュータで実行可能なコンピュータプログラムとして記述したことを特徴とする文書集合分析プログラム。
【請求項１０】
請求項５乃至８のいずれか１項に記載の文書集合分析方法を、コンピュータで実行可能なコンピュータプログラムとして記述し、そのコンピュータプログラムを記録したことを特徴とする記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えばコンピュータ内部に存在もしくは、コンピュータネットワークを介してアクセスできる大量文書の集合、特にタイムスタンプ付きの文書の分析に係り、文書集合分析装置，文書集合分析方法，その方法を実装したプログラム及びそのプログラムを格納した記録媒体に関するものである。
【背景技術】
【０００２】
現在、Ｗｅｂページ、ブログ記事等、ニュース記事等、発行日のタイムスタンプを持ったテキストを含む文書集合（文書データ集合とも言う）に対して検索やデータマイニングを行う技術が広く知られている。
【０００３】
その技術において、ユーザが大量の文書を取り扱う場合に、ユーザが「文書集合中に存在する主要な話題が知りたい」や「文書集合中の特定の話題に関連する情報群にアクセスしたい」という文書に関連した情報を取得する要求を持つことが多い。
【０００４】
これらの要求を実現する実現方法としては、次のようなものが知られている。
【０００５】
一つは、クラスタリングアルゴリズムを利用する方法（例えば、非特許文献１参照）である。この方法では、それぞれの文書を単語ベクトルで表現し、ベクトル間の類似度（コサイン類似度等）を利用して、類似したベクトルを統合することによって、類似した話題（あるいは話題語）に関する文書をクラスタとして特定する。そして、この個々のクラスタを特定の話題に関連する情報の集合と見做す事によって、上述の要求を実現するものである。
【０００６】
一方、タイムスタンプ付きの文書が大量に存在する場合、ユーザには「タイムスタンプを意識した形で情報が組織化され、アクセスしやすい状態にしたい」という要求がある。
【０００７】
これを実現する方法として、時系列を意識し文書集合の話題を特定しようとする方法（例えば非特許文献２参照）がある。この方法では、忘却の概念を導入し、古い記事は新しく得られるどの文書とも類似性が低く、新しい記事同士がより高い類似性を持つと言うモデルを構築し、最新記事中の話題を特定している。
【０００８】
また、非特許文献３では、ニュース記事群からのイベントの抽出を行う場合に時間情報を導入するクラスタリング方法が提案され、これにより、ニュース記事のクラスタリング精度が向上し、結果的にイベントの分類性が向上する事が報告されている。
【０００９】
また、特許文献１では時間情報を利用した検索について開示されている。
【００１０】
なお、関連技術として、文書をノードと見做して、各ノード（文書）の中心性を算出する方法（例えば、ＰａｇｅＲａｎｋ（例えば、非特許文献４参照））が知られている。また文書の集合を特定するために、ｗｅｂ上に存在する検索エンジン（例えば、非特許文献５参照）も広く知られている。また文書を単語ベクトルに表す技術（例えば、非特許文献６参照）も広く知られている。
【特許文献１】特開２００１−１１７９４１号公報（特許３４２５９０６）
【非特許文献１】Ｄ．Ｃｕｔｔｉｎｇ，Ｄ．Ｋａｒｇｅｒ，Ｊ．Ｐｅｄｅｒｓｅｎ，ａｎｄ  Ｊ．Ｔｕｋｒｙ，“Ｓｃａｔｔｅｒ／Ｇａｔｈｅｒ：  ａ  ｃｌｕｓｔｅｒ−ｂａｓｅｄ  ａｐｐｒｏａｃｈ  ｔｏ  ｂｒｏｗｓｉｎｇ  ｌａｒｇｅ  ｄｏｃｕｍｅｎｔ  ｃｏｌｌｅｃｔｉｏｎｓ”，Ｐｒｏｃ．ｏｆ  ＳＩＧＩＲ  １９９２，ＡＣＭ，Ｊｕｎｅ  １９９２，ｐｐ３１８−３２９．
【非特許文献２】石川佳治，北川博之，“忘却の概念に基づくクラスタリング手法の改良方式”，日本データベース学会Ｌｅｔｔｅｒｓ  Ｖｏｌ．２，Ｎｏ．３，２００３
【非特許文献３】Ｙ．Ｙａｎｇ，Ｔ．Ｐｉｅｒｃｅ，ａｎｄ  Ｊ．Ｃａｒｂｏｎｅｌｌ，“Ａ  Ｓｔｕｄｙ  ｏｎ  Ｒｅｔｒｏｓｐｅｃｔｉｖｅ  ａｎｄ  Ｏｎ−Ｌｉｎｅ  Ｅｖｅｎｔ  Ｄｅｔｅｃｔｉｏｎ”，Ｐｒｏｃ．ｏｆ  ＳＩＧＩＲ  １９９８
【非特許文献４】Ｓ．Ｂｒｉｎ，ａｎｄ  Ｌ．Ｐａｇｅ，“Ｔｈｅ  ａｎａｔｏｍｙ  ｏｆ  ａ  ｌａｒｇｅ−ｓｃａｌｅ  ｈｙｐｅｒｔｅｘｕｔｕａｌ  Ｗｅｂ  Ｓｅａｒｃｈ  Ｅｎｇｉｎｅ”，Ｐｒｏｃ．ｏｆ  ＷＷＷ７，Ｅｌｓｅｖｉｅｒ  ｓｃｉｅｎｃｅ，Ａｐｒｉｌ  １９９８，ｐｐ１０７−１１７．
【非特許文献５】エヌ・ティ・ティ  レゾナント株式会社、”ポータルサイト  ｇｏｏ”、［ｏｎｌｉｎｅ］、平成１９年、エヌ・ティ・ティ  レゾナント株式会社、［平成１９年２月２２日検索］、インターネット＜ＵＲＬ：ｈｔｔｐ：／／ｗｗｗ．ｇｏｏ．ｎｅ．ｊｐ／＞
【非特許文献６】北研二、津田和彦、獅子掘正幹、「情報検索アルゴリズム」、共立出版、２００２年１月。
【発明の開示】
【発明が解決しようとする課題】
【００１１】
しかし、上記の従来技術では以下の問題点がある。
【００１２】
非特許文献１の方法は、基本的に文書の内容のみに基づく方法であり、タイムスタンプを持つ文書が存在した場合にも、それを意識した文書の組織化を行うことができない。例えば、「湾岸戦争」と「イラク戦争」は、文書内容だけを考えれば非常に近い話題で構成されるため、二つの話題に関する文書を別のものとして見分ける事は非常に難しい。
【００１３】
また、非特許文献２，３の方法はタイムスタンプを意識することで、情報の時間的近さを元にした情報の組織化を実現している。しかし、これらの手法では全ての文書が何れかのクラスタに属することを前提とするクラスタリングをベースとしている。一方、現実のデータでは、他の文書と関係ない、いわゆる「その他」に属する文書が存在するため、必ずしも適切なクラスタリングが行えず、結果的に上記の要求に対しても多くのノイズを含む等の問題が生じる。
【００１４】
また特許文献１では、時間情報をフィルタリングに利用している。つまり、時間差が閾値以内の値では関連性がある、閾値を越えた場合は関連性がないというように時間情報を利用している。このため、閾値を越えた時間差を有する文書は一律に「関連性がない」と判断されてしまう欠点があり、時間的に異なる日時に発行された文書同士でも、内容の相関が高い場合には関連性が高いと判断することができないという問題があった。
【００１５】
本発明は上記の点に鑑み、文書間の類似性の判定基準に文書間のタイムスタンプの近さを考慮することで、時間を意識した文書の組織化を、その他に含まれる文書が存在する状況でも、その影響を受けることなく、強い繋がりが存在する文書集合のみを特定し、また、単に文書集合をクラスタに分類するだけでなく、クラスタ中の各文書がクラスタ内でどのような役割、位置付けであるかを明確に分析できる事を目的とし、さらに、時間的に異なる日時に発行された文書同士でも、内容の相関が高い場合には関連性が高いと判断することができる、文書集合分析装置，文書集合分析方法，その方法を実装したプログラム及びそのプログラムを格納した記録媒体を提供することを目的としている。
【課題を解決するための手段】
【００１６】
前記課題の解決を図るために、本発明では、ユーザからの要求に基づき特定した文書集合を元に、各文書間の相互の内容類似度および時間的近さに基づく時間類似度を評価し、これら２つの類似度に基づき文書間の関連性を特定する。この関連性に基づき、各文書の中心性を評価する。この文書間の関連性と、個々の文書の中心性をともに用いる事で、文書集合中の特定の話題の検出や、特定の話題に属する文書のクラスタ化、クラスタ内の各文書の位置付けの明確化を実現する。
【００１７】
すなわち、請求項１に記載の文書集合分析装置は、文書データ管理手段によって管理される文書集合内のタイムスタンプ付きの文書間の関連性に基づいて、文書の役割を特定する文書集合分析装置であって、入力手段から入力された文書集合特定条件に基づいて前記文書集合を特定する文書集合特定手段と、前記特定された文書集合に含まれる各文書間で話題語に関する内容類似度を評価する内容類似性評価手段と、前記特定された文書集合に含まれる各文書間で話題語に関する時間類似度を評価するタイムスタンプ類似性評価手段と、前記内容類似性評価手段によって評価された内容類似度および前記タイムスタンプ類似性評価手段によって評価された時間類似度に基づいて、文書間の関係性を抽出する関係抽出手段と、前記関係抽出手段によって抽出された文書間の関係性に基づき、文書と該文書以外の文書間の関連性の高さを示す指標として、該文書の中心性を算出する中心性判定手段と、前記関係抽出手段によって得られた文書間の関係性と、前記中心性判定手段によって得られた個々の文書の中心性に基づいて、文書集合全体から文書集合中に含まれる話題語，話題語に関連する文書集合，その文書集合中における文書の役割を特定する情報分析手段と、前記特定された文書集合全体から文書集合中に含まれる話題語，話題語に関連する文書集合，その文書集合中における文書の役割に基づいて文書集合を可視化して出力する情報出力手段と、を備えることを特徴としている。
【００１８】
また請求項５に記載の文書集合分析方法は、文書データ管理手段によって管理される文書集合内のタイムスタンプ付きの文書間の関連性に基づいて、文書の役割を特定する文書集合分析方法であって、文書集合特定手段が、入力手段から入力された文書集合特定条件に基づいて前記文書集合を特定する文書集合特定ステップと、内容類似性評価手段が、前記特定された文書集合に含まれる各文書間で話題語に関する内容類似度を評価する内容類似性評価ステップと、タイムスタンプ類似性評価手段が、前記特定された文書集合に含まれる各文書間で話題語に関する時間類似度を評価するタイムスタンプ類似性評価ステップと、関係抽出手段が、前記内容類似性評価ステップによって評価された内容類似度および前記タイムスタンプ類似性評価ステップによって評価された時間類似度に基づいて、文書間の関係性を抽出する関係抽出ステップと、中心性判定手段が、前記関係抽出ステップによって抽出された文書間の関係性に基づき、文書と該文書以外の文書間の関連性の高さを示す指標として、該文書の中心性を算出する中心性判定ステップと、情報分析手段が、前記関係抽出ステップによって得られた文書間の関係性と、前記中心性判定ステップによって得られた個々の文書の中心性に基づいて、文書集合全体から文書集合中に含まれる話題語，話題語に関連する文書集合，その文書集合中における文書の役割を特定する情報分析ステップと、情報出力手段が、前記特定された文書集合全体から文書集合中に含まれる話題語，話題語に関連する文書集合，その文書集合中における文書の役割に基づいて文書集合を可視化して出力する情報出力ステップと、を備えることを特徴としている。
【００１９】
上記構成によれば、内容類似度と時間類似度に基づき文書間の関係性を抽出し、文書の役割を特定するので、時間的には異なる日時に発行された分書同士でも、内容の相関が高い場合には関連性が高いと判断することが可能になる。
【００２０】
さらに、文書内容の類似度と併せて文書作成日時をも考慮して文書群を分析しているため、分析精度が向上する。例えばニュース記事の場合に、事件が起こった時点の記事と、裁判が行われた時点での記事というように、関連性はあるがタイムスタンプの差があるという状態が頻繁に見られる文書群（例えば、新聞記事）を精度良く分類・検索することが可能となる。
【００２１】
また本発明では、文書間の関連性と各文書の中心性の値を元に、文書集合を３次元のグラフ構造と見なし、その中の頂点や、山状のノード群を特定することで、文書集合中の特定の話題の検出や、特定の話題に属する文書のクラスタ化、クラスタ内の各文書の位置付けの明確化を実現する。
【００２２】
すなわち、請求項２に記載の文書集合分析装置は、請求項１に記載の文書集合分析装置であって、前記情報分析手段は、前記文書間の関連性と、各文書の中心性に基づいて、文書間の関連性を二次元座標で表現し、その二次元座標に対する三次元目の座標で中心性を表現し、前記文書集合を三次元のグラフ構造で表現するグラフ構造構築手段と、前記得られたグラフ構造から、エッジで連結している自身以外のノードより高い中心性を持つノードを頂点として抽出する頂点ノード抽出手段と、前記得られた頂点ノードから、中心性が低くなる方向にグラフ構造をたどり、ノードで構成される山を特定する山状ノード群特定手段と、前記特定される頂点ノード及び山状ノードに基づいて、ノードに対し役割を示すラベルを付与するラベル付け手段と、を備えることを特徴としている。
【００２３】
また請求項６に記載の文書集合分析方法は、請求項５に記載の文書集合分析方法であって、前記情報分析ステップは、前記文書間の関連性と、各文書の中心性に基づいて、文書間の関連性を二次元座標で表現し、その二次元座標に対する三次元目の座標で中心性を表現し、前記文書集合を三次元のグラフ構造で表現するグラフ構造構築ステップと、前記得られたグラフ構造から、エッジで連結している自身以外のノードより高い中心性を持つノードを頂点として抽出する頂点ノード抽出ステップと、前記得られた頂点ノードから、中心性が低くなる方向にグラフ構造をたどり、ノードで構成される山を特定する山状ノード群特定ステップと、
前記特定される頂点ノード及び山状ノードに基づいて、ノードに対し役割を示すラベルを付与するラベル付けステップと、を有することを特徴としている。
【００２４】
上記構成によれば、文書間の関係に基づくグラフ構造を取得することができる。
【００２５】
また請求項３に記載の文書集合分析装置は、請求項１又は２に記載の文書集合分析装置であって、前記タイムスタンプ類似性評価手段は、前記各文書間のタイムスタンプの差に応じて連続的に変化する忘却関数を用いて時間類似度を評価することを特徴としている。
【００２６】
また請求項７に記載の文書集合分析方法は、請求項５又は６に記載の文書集合分析方法であって、前記タイムスタンプ類似性評価ステップは、前記各文書間のタイムスタンプの差に応じて連続的に変化する忘却関数を用いて時間類似度を評価することを特徴としている。
【００２７】
上記構成によれば、時間的な近さを連続的な値として利用することができる。
【００２８】
また請求項４に記載の文書集合分析装置は、請求項１乃至３のいずれか１項に記載の文書集合分析装置であって、前記関係抽出手段は、前記内容類似度と、前記タイムスタンプ類似性評価手段によって評価された時間類似度に所定の重み付けを行って得た時間類似度とに基づいて文書間の関係性を抽出することを特徴としている。
【００２９】
また請求項８に記載の文書集合分析方法は、請求項５乃至７のいずれか１項に記載の文書集合分析方法であって、前記関係抽出ステップは、前記内容類似度と、前記タイムスタンプ類似性評価ステップによって評価された時間類似度に所定の重み付けを行って得た時間類似度とに基づいて文書間の関係性を抽出することを特徴としている。
【００３０】
上記の構成によれば、時間類似度に重みが付けられるため、過度に時間的近さのみに依存した類似度とはならない。
【００３１】
また請求項９に記載の文書集合分析プログラムは、請求項５乃至８のいずれか１項に記載の文書集合分析方法を、コンピュータで実行可能なコンピュータプログラムとして記述したことを特徴としている。
【００３２】
上記構成によれば、請求項５乃至８のいずれか１項に記載の文書集合分析方法をコンピュータプログラムとして記述することができる。
【００３３】
また請求項１０に記載の記録媒体は、請求項５乃至８のいずれか１項に記載の文書集合分析方法を、コンピュータで実行可能なコンピュータプログラムとして記述し、そのコンピュータプログラムを記録したことを特徴としている。
【００３４】
上記構成によれば、請求項５乃至８のいずれか１項に記載の文書集合分析方法を実装したコンピュータプログラムを、記録媒体に記録することができる。
【発明の効果】
【００３５】
（１）請求項１〜１０に記載の発明によれば、内容類似度と時間類似度の組み合わせにより得られた文書の関連性に基づいて、その文書の役割を明確に分析することができる。
【００３６】
特に、時間的には異なる日時に発行された分書同士でも、内容の相関が高い場合には関連性が高いと判断することが可能になる。
【００３７】
さらに、文書内容の類似度と併せて文書作成日時をも考慮して文書群を分析しているため、分析精度が向上する。例えばニュース記事の場合に、事件が起こった時点の記事と、裁判が行われた時点での記事というように、関連性はあるがタイムスタンプの差があるという状態が頻繁に見られる文書群（例えば、新聞記事）を精度良く分類・検索することが可能となる。
（２）また請求項２，６に記載の発明によれば、強い繋がりを有する文書集合のみを特定することができる。
（３）また請求項３，７に記載の発明によれば、時間的な近さを連続的な値として利用することができる。
（４）また請求項４，８に記載の発明によれば、時間類似度に重みが付けられるため、過度に時間的近さのみに依存した類似度とはならない。
（５）また請求項９に記載の発明によれば、請求項５乃至８のいずれか１項に記載の文書集合分析方法を実装したコンピュータプログラムを提供できる。
（６）また請求項１０に記載の発明によれば、請求項５乃至８のいずれか１項に記載の文書集合分析方法を実装したコンピュータプログラムを記録した記録媒体を提供できる。
【発明を実施するための最良の形態】
【００３８】
以下、本発明の実施形態を図面等に基づいて詳細に説明する。本実施形態における文書集合分析装置は、検索したニュース記事の中に存在する話題（即ち、話題語）を特定し、その特定した話題に関連する文書をクラスタ化し、さらに、そのクラスタ中の文書に対してそれぞれの文書の位置付けを明らかにする文書分析を行う装置である。
【００３９】
本実施形態における文書集合分析装置の構成を図１に基づいて説明する。文書集合分析装置は、文書データ管理手段としての文書ＤＢ（Ｄａｔａｂａｓｅ）１、文書集合特定手段としての文書集合特定部１０，内容類似性評価手段としての内容類似性評価部２０，タイムスタンプ類似性評価手段としてのタイムスタンプ類似性評価部３０、関係抽出手段としての関係抽出部４０，中心性判定手段としての中心性判定部５０，情報分析手段としての情報分析部１００，情報出力手段としての情報出力部１１０から構成される。さらに、情報分析部１００は、グラフ構造構築手段としてのグラフ構造構築部６０，頂点ノード抽出手段としての頂点ノード抽出部７０，山上ノード群特定手段としての山状ノード群特定部８０，ラベル付け手段としてのラベル付け部９０から構成される。
【００４０】
文書集合特定部１０は、文書集合を特定する文書集合特定条件を含む指定や要求（例えば、ユーザからの指定や要求）、もしくは、あらかじめ決められた文書集合特定条件に基づいて文書ＤＢ１にアクセスし、複数文書で構成される文書集合を特定する。なお、文書集合特定条件は、予め備えられた入力手段（例えば、キーボード装置）によって、入力されても良い。
【００４１】
内容類似性評価部２０は、話題（あるいは、話題語）に関して文書集合内の各文書間の内容類似度を評価する。例えば、文書間の類似度は、各文書を単語ベクトルで評価しコサイン類似度を利用する方法（例えば、非特許文献１参照）や、一方の文書に基づいて言語モデルを構築し、他方の文書がその言語モデルからどの程度の確率で生成されるかという言語モデルに基づく評価を行う方法が考えられる。
【００４２】
タイムスタンプ類似性評価部３０は、文書集合内の各文書間の時間的な近さを評価する。文書間の時間的な近さは、タイムスタンプ間の差を元に評価を行う。近さの評価値としては、タイムスタンプの差をそのまま距離とする方法や、直近のタイムスタンプの差を重視し、一定以上離れていてもあまり差が増大しないような指標をとる事も考えられる。
一つの例としては「文書間のタイムスタンプが一定の時間離れる毎に、一定の割合で類似度が減少する」との仮定に基づく指標が考えられる。この仮定は以下の式（１）で表現できる。
【００４３】
【数１】
2008210024.tif 000003
【００４４】
ここで、λは忘却による類似度の逓減の程度を示す定数、ｔは二つの文書のタイムスタンプの差を示し、ＴｉｍｅＷｅｉｇｈｔ（ｔ）は、忘却の程度を示す関数であり、二つの文書のタイムスタンプの差がｔだった場合の時間類似度を示している。
【００４５】
この常微分方程式を解くと、タイムスタンプの差がｔの場合の時間類似度ＴｉｍｅＷｅｉｇｈｔ（ｔ）は以下の式（２）で表現できる。
【００４６】
【数２】
2008210024.tif 000004
【００４７】
ここで、Ｔ０は、タイムスタンプの差が０の場合の重みであり、タイムスタンプの差ｔが、大きくなるにつれ時間類似度が次第に減少し、最後には０に限りなく近づくこととなる。
ただ、このままの式では、忘却による類似度の逓減の程度を示す値が直感的でないため、以下の様に式（３）の変形を行い逓減の度合いを示すパラメータをｔ１／２とする。
【００４８】
【数３】
2008210024.tif 000005
【００４９】
上式において、ｔ1/2は、忘却により時間類似度が５０％になるタイムスタンプの差を（半減期）を示している。図３に、Ｔ０＝１，ｔ1/2＝１０とした場合の忘却関数を示す。
【００５０】
関係抽出部４０は、前記２つの類似度評価機能（内容類似性評価部２０およびタイムスタンプ類似性評価部３０）で評価した、内容類似度と時間的近さを元に文書間の類似度を算出し、文書間に関係があるか否かの関係性を特定する。
【００５１】
二つの類似度を利用した文書間類似度ｓｉｍ（ｉ，ｊ）の一つの例としては以下の式（４）のような手法が考えられる。
【００５２】
【数４】
2008210024.tif 000006
【００５３】
ここで、ｓｉｍ’（ｉ，ｊ）は文書ｉとｊの文書内容に基づく類似度を示し、αは時間類似度の重みを調整するパラメータである。
【００５４】
本手法は基本的に内容の類似度に基づく手法であり、過度に時間的近さのみに依存した類似度にならない手法である。図４に、この式（４）によって時間類似度による重みがどうのように適用されるかを示す。
【００５５】
図４において、（ａ）はタイムスタンプの差ｔ（ｉ，ｊ）が変化した場合を示し、（ｂ）は内容類似度（ｓｉｍ’（ｉ，ｊ））が異なる場合を示している。
【００５６】
次にこの文書間類似度を利用した場合の文書間の関係抽出について示す。文書間の関係を行列Ａと表現した場合、以下の式（５）のように定義することが考えられる。
【００５７】
【数５】
2008210024.tif 000007
【００５８】
ここで、ＴｏｐＳｉｍp（ｉ）は文書ｉとの類似度が高い文書ｐ件に含まれる文書の集合を示す。一般に全ての類似度を利用した場合には、低い類似度がノイズとなる傾向があるため、類似度が高い文書間に対してのみリンクを設定している。ｓｉｍ（ｉ，ｊ）は、文書をｌｏｇ  ｔｆ−ｉｄｆ重み（例えば、非特許文献６）による単語ベクトルとして表現した場合の文書ｉと文書ｊのコサイン類似度を示している。なお、ｌｏｇ  ｔｆ−ｉｄｆ重みは、個々の文書をベクトルで表現するときの個々の要素の重みである。
【００５９】
さらに、上記のように全ての類似度を利用した場合には、他のリンクと比較して明らかに重みが小さいリンクが存在している。そこで、アウトリンクのうちごく少ない確率でしか遷移しないリンクを除去する事が考えられる。この操作は以下の式（６）で示される。
【００６０】
【数６】
2008210024.tif 000008
【００６１】
ここで、ｌi,qはノードｉからのアウトリンクを遷移確率の降順に並べ、閾値ｑを越えるまで加算した遷移確率の合計値を示す。ＴｏｐＬｉｎｋq（ｉ）は、そのとき加算対象になったリンクのリンク先ノードの集合を示す。
【００６２】
中心性判定部５０は、関係抽出部４０で得られた文書間の関係を、文書をノードと見做して文書間の関係を重み（即ち、文書間の類似度）つきのエッジとするグラフ構造と見做し、各ノード（文書）の中心性を算出する。なお、前述の中心性は、単純なリンク本数を計算する方法やＰａｇｅＲａｎｋ（非特許文献４参照）等を利用することが考えられる。
【００６３】
グラフ構造構築部６０は、中心性判定部５０で得られる、各文書間の関係と、各文書の中心性のスコアに基づいて、文書間の関係を示すグラフ構造を二次元平面（例えば、ｘｙ平面）上に配置し、個々の文書の中心性のスコアを三次元目（例えば、ｚ軸）に割り当てた三次元のグラフ構造を構築する。図５は、この三次元のグラフ構造の概念図である。なお、この図５に関しては、後で説明する。
【００６４】
頂点ノード抽出部７０は、グラフ構造構築部６０で構築されたグラフ構造から、ノードとノードを繋ぐ辺（即ち、エッジ）で連結している自身以外のノード（文書と一対一で対応）より高い中心性を持つノードを頂点として抽出する。
【００６５】
山状ノード群特定部８０は、頂点ノード抽出部７０で抽出された頂点ノードから、中心性が低くなる方向にグラフ構造をたどり、ノードで構成される山を特定する。即ち、山状ノード群特定部８０までの処理によって、文書がクラスタ化されることになる。
【００６６】
ラベル付け部９０は、頂点ノード抽出部７０で抽出した頂点ノード，山状ノード群特定部８０で特定した頂点を中心とする山状のノード群，およびそれらの間の関係に対して、ラベル付けを行う。
【００６７】
ここで、グラフ構造と中心性について説明する。中心性スコアの定義によれば、多くのエッジが存在するエリアのノードは高いスコアを有する。グラフ構造に基づき、ある人がノードを渡り歩くモデル（ユーザがグラフに沿ってノードを閲覧するモデル）を考えた場合、そのような中心性の高いエリアでは、エリア内での遷移が多く、ノード間の関連性も高い。つまり、そのエリアは同じ話題に関連するノードで構成される。したがって、図５のそれぞれの山は、それぞれ異なる話題に対応すると考えられる。
【００６８】
また、図５中の山に含まれるノードの位置に応じて、文書にはそれぞれ特徴があると考えられる。以下では、それぞれのノードに該当する文書の特徴を説明する。さらに、それぞれの特徴を持つノード毎に、文書集合における役割の特定方法を説明する。
【００６９】
図５における最初の段階のノードは、山の頂上にあるノード（例えば、符号ａ１やｂ１で示されるノードに該当）であり、１つの山には１つのノードが存在するのみである。これらのノードは、周囲のノードから最も高い状態遷移があるノードであり、周囲のノードと最もよく関係するノードであるため、話題を最もよく表現する文書であると言える。つまり、頂点ノードが示す文書は、そのエリアの話題および時間的にいつ頃の話題であるかを特定する。以後、このエリアの話題を特定する文書（ノード）のラベルをコア文書（または、コアノード）とする。
【００７０】
第２段階目のノードは、頂点と近接したノード（例えば、図５中の符号ａ２，ａ３，ａ４やｂ２，ｂ３で示されるノード）である。これらのノードはコアノードから直接もしくは間接的に双方向リンクのみをたどって到達できるノードである。双方向リンクは、相互にリンクが張られており、高い関連性を示す。これらのノードはコアノードとの間で多くの状態遷移があり、文書の内容もコア文書との高い関連性を有する。以後、このコア文書との高い関連性を有する文書（ノード）のラベルをサプリメンタル文書（または、サプリメンタルノード）とする。
【００７１】
第３段階目のノードは、例えば、図５中の符号ａ５，ａ６，ａ７，ｂ４で示されるノードのように、コアノードもしくはサプリメンタルノードにリンクしているノードである。外部のノードへの状態遷移や自己遷移と比べて、特定の話題のコアノードやサプリメンタルノードへの遷移確率が高いノードである。これらのノードは必ずしも話題の中心ではないが話題に関連する情報を含んでおり、話題の周辺の情報等ノベルティの高い情報を含む事が多いノードである。以後、この話題の周辺の情報等ノベルティの高い情報を含む事が多い文書（ノード）のラベルをサブトピック文書（またはサブトピックノード）とする。
【００７２】
最終段階目のノードは、どの話題のノードに対しても強い関連性がないノードである。例えば、図５中の符号ｃ１で示されるノードである。このノードは、他に似ているノードが少なく、自己遷移確率が高い。以後、この他に似ているノードが少なく、自己遷移確率が高い文書（ノード）のラベルをアウトライヤー文書（アウトライヤーノード）とする。このアウトライヤー文書の存在を許容することによって、その他文書が無理にいづれかのクラスタに属しノイズの原因となることを防ぐことになる。
【００７３】
以上のような方法に基づいて、それぞれのノードに対し以下のようにラベル付けを行う。
【００７４】
まず、各ノードに対しては、各ノードがどのような話題に関連する文書なのか、その話題を表現する場合にどの程度の役割を持つ文書であるのか、という情報をラベル（即ち、コアノード）として付与する。
【００７５】
次に、山状のノード群に対しては、頂点ノードが表現する話題に関連する文書のクラスタとしてのラベル（即ち、サプリメンタルノード）を付与する。
【００７６】
そして、山状ノード群の組合せについては、それらの連結状態から、二つの山が表現する話題の関連性の高さに付いてラベル付け（即ち、サブトピックノードまたはアウトライヤーノード）を行う。
【００７７】
情報出力部１１０は、情報分析部１００によって得られた、ノード間の関係，個々のノードの中心性及び文書集合中での役割を利用して、ユーザに対して文書集合の内容を表示（可視化）する。可視化は、例えば、ディスプレイ装置で行う。
【００７８】
文書ＤＢ１（文書データ管理手段）は、ユーザが指定した検索キーワードや文書の最終更新日等の条件に応じて文書集合を特定できる検索機能を持った文書データ格納装置（例えば、ハードディスク装置やメモリを含む装置）である。この文書ＤＢ１は、ｗｅｂ等からあらかじめ情報を収集してきて構築する事が考えられる。また、ｗｅｂ上に存在する検索エンジン（非特許文献５参照）をそのまま文書ＤＢ１として利用することも考えられる。
【００７９】
次に本実施形態における文書集合分析方法を図２に基づいて説明する。
【００８０】
まず、ユーザから指定、もしくは、予め決められた文書集合特定条件を入力手段から読み込む（Ｓ１）。なお、入力手段は、例えば、キーボード装置などが想定できる。
【００８１】
次に、文書集合特定部１０が、前記文書集合特定条件に合致した文書の集合を特定する（Ｓ２）。
【００８２】
次に、内容類似性評価部２０が、文書集合特定部１０で特定した文書群中の各文書ペア間の内容類似度を算出する（Ｓ３）。
【００８３】
次に、タイムスタンプ類似性評価部３０が、文書集合特定部１０で特定した文書群中の各文書ペア間の時間的近さ（時間類似度）を算出する（Ｓ４）。
【００８４】
次に、関係抽出部４０は、算出された内容類似度および時間類似度に基づいて関連性の強いペアを抽出し、重み付きで関連性を特定する（Ｓ５）。
【００８５】
次に、中心性判定部５０は、前記類似性評価部２０，３０及び関係抽出部４０によって特定された情報に基づいて、指標（例えば、ＰａｇｅＲａｎｋなど）を作成し、各ノードの中心性を特定する（Ｓ６）。
【００８６】
次に、グラフ構造構築部６０は、前記類似性評価部２０，３０、関係抽出部４０，中心性判定部５０から得られた情報に基づいて、三次元空間状にノード（文書と一対一対応）を配置したグラフ構造を構築する（Ｓ７）。
【００８７】
次に、頂点ノード抽出部７０は、グラフ構造構築部６０で得られたグラフ構造に基づいて、頂点ノードを抽出する（Ｓ８）。
【００８８】
次に、山状ノード群特定部８０は、グラフ構造構築部６０で得られたグラフ構造と頂点ノード抽出部７０で得られた頂点から山状のノード群を抽出する（９）。
【００８９】
次に、ラベル付け部９０は、グラフ構造構築部６０，頂点ノード抽出部７０，山状ノード群特定部８０で得られた情報に基づいてノード，山状のノード群，ノード群の関係に対してラベル付けを行う（Ｓ１０）。
【００９０】
そして、ラベル付けされたノード，山状のノード群，ノード群の関係をリストや３Ｄマップとして可視化する（Ｓ１１）。
【００９１】
以上のように、本実施形態によれば、文書集合特定条件によって与えられる文書集合から、各文書間の内容およびタイムスタンプに基づく類似度を特定し、その類似度に基づいて文書間に強い繋がりを有する部分を重み付きで特定し、この情報に基づいて文書間の繋がりをグラフ構造に見立てて各文書の中心性を算出し、以上で得た文書間の関係と各文書の中心性の値から文書群を三次元に配置されるグラフ構造と見立てて、その位置関係から各文書の位置付けを特定することによって、文書間のタイムスタンプの近さを意識した「主要な話題の特定」、「話題に関連する文書の特定」、「各話題に関連する文書のうち、各文書の役割」、「話題間の関係」等を取得できる。
【００９２】
さらに詳述すると、本実施形態では、ユーザからの要求に基づき特定した文書集合を元に、各文書間の相互の類似度を評価し、類似度に基づき文書間の関連性を特定する。この関連性に基づき、各文書の中心性を評価する。この文書間の関連性と、個々の文書の中心性をともに用いる事で、文書集合中の特定の話題の検出や、特定の話題に属する文書のクラスタ化、クラスタ内の各文書の位置付けの明確化を実現する。
【００９３】
また、文書間の関連性と各文書の中心性の値に基づき、文書集合を三次元のグラフ構造と見做し、その中の頂点や、山状のノード群を特定することで、文書集合中の特定の話題の検出や、特定の話題に属する文書のクラスタ化、クラスタ内の各文書の位置付けの明確化を実現する。
【００９４】
また、本実施形態によれば、「主要な話題の特定」や「話題に関連する文書特定」の精度は、時間を意識しない（考慮しない）場合と比較して高い精度を示す。
【００９５】
すなわち、図６は新聞記事に対して図１〜図５の方法を適用して分析した結果を表しており、時間類似度を変化させる為のパラメータとしての、時間類似度の強さ（時間重み）を決定するαと、時間類似度の半減期を示すｔ1/2と、クラスタリング精度との関係を調査した結果を示している。図６において破線は、時間情報を考慮しない場合のベースラインを示している。
【００９６】
今回の調査条件は、新聞記事コーパスに対して検索を行い得られた検索結果で評価を行っている。新聞記事を利用しており、その発行日時は１日毎であるため、時間差を示す値の単位は日である。
【００９７】
図６によれば、時間情報（α、ｔ1/2）を考慮しない場合に比べて、時間情報を考慮した場合の方がクラスタリング精度が高くなり、特に半減期ｔ1/2を３０〜９０程度に設定し、かつ時間類似度の重みを０．５前後に設定した場合、クラスタリング精度がベースライン（破線）を有意に上回っていることがわかる。
【００９８】
さらに、本実施形態によれば、「各話題に関連する文書のうち、各文書の役割」において、コア文書を取得する際、内容的にクラスタを代表だけでなく、実際に話題になっている段階、つまり、関連する文書が連続的に発行されている時期の文書を抽出することが可能となっている。これにより、特定の話題がいつごろ盛り上がったのかというような情報も取得可能となっている。
【００９９】
なお、本実施形態の文書集合分析装置における各手段の一部もしくは全部の機能をコンピュータのプログラムで構成し、そのプログラムをコンピュータを用いて実行して本発明を実現することができること、本実施形態の文書集合分析方法における手順をコンピュータのプログラムで構成し、そのプログラムをコンピュータに実行させることができることは言うまでもなく、コンピュータでその機能を実現するためのプログラムを、そのコンピュータが読み取り可能な記録媒体、例えばＦＤ（Ｆｌｏｐｐｙ（登録商標）  Ｄｉｓｋ）や、ＭＯ（Ｍａｇｎｅｔｏ−Ｏｐｔｉｃａｌ  ｄｉｓｋ）、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、メモリカード、ＣＤ（Ｃｏｍｐａｃｔ  Ｄｉｓｋ）、ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｋ）、リムーバブルディスクなどに記録して、保存したり、配布したりすることが可能である。また、上記のプログラムをインターネットや電子メールなど、ネットワークを通して提供することも可能である。
【０１００】
さらに、上述の文書集合分析装置に関する方法を記述したコンピュータプログラムを、文書集合分析装置に関する方法に必要とされる入出力データを格納したメモリや外部記憶装置等にアクセスするように実装してもよい。
【０１０１】
以上、本発明の実施形態について説明したが、本発明は説明した実施形態に限定されるものでなく、各請求項に記載した範囲において各種の変形を行うことが可能である。
【０１０２】
例えば、本実施形態における情報分析部は、グラフ構造構築部からラベル付け部のような手段で構成されているが、これらの手段に限らず、文書群と文書間の関連をグラフ構造と見做す他の処理手段も考えられる。より具体的には、ラベル付け部において、ラベル付けを更に細かく（例えば、５段階以上）して役割の特定を行っても良い。
【図面の簡単な説明】
【０１０３】
【図１】本実施形態における文書集合分析装置の構成図。
【図２】本実施形態における文書集合分析方法を示すフローチャート。
【図３】本実施形態における忘却関数を示すグラフ。
【図４】本実施形態における時間類似度を利用した文書間類似度の特性図。
【図５】本実施形態における三次元構造概念図。
【図６】本実施形態における時間情報の影響強度パラメータとクラスタリングの精度の関係を示す特性図。
【符号の説明】
【０１０４】
１…文書ＤＢ
１０…文書集合特定部
２０…内容類似性評価部
３０…タイムスタンプ類似性評価部
４０…関係抽出部
５０…中心性判定部
６０…グラフ構造構築部
７０…頂点ノード抽出部
８０…山状ノード群特定部
９０…ラベル付け部
１００…情報分析部
１１０…情報出力部
ａ１，ａ２，ａ３，ａ４，ａ５，ａ６，ａ７，ａ８，ｂ１，ｂ２，ｂ３，ｂ４，ｃ１…ノード
【図１】
2008210024.tif 000009
【図２】
2008210024.tif 000010
【図３】
2008210024.tif 000011
【図４】
2008210024.tif 000012
【図５】
2008210024.tif 000013
【図６】
2008210024.tif 000014