(57)【特許請求の範囲】
【請求項１】
時間情報を有する文書集合を分析対象とした文書分析装置であって、
入力された検索条件に基づいて、分析対象とする前記文書集合を取得する、分析対象取得部と、
入力された前記検索条件より緩和ないしは拡張した検索条件で検索を行い、検索によって取得した文書集合の時系列データに基づいて、分析対象とする前記文書集合の変化点を、推測する変化点推測部と、
推測された前記変化点を基準として、設定された期間において、分析対象とする前記文書集合に対してテキストマイニングを行い、特徴語を検出するマイニング部と、
分析対象とする前記文書集合の取得元となった文書集合から、検出された前記特徴語を含む文書の時系列データを特徴語文書時系列データとして取得し、前記変化点を基準とした前後の期間における、前記特徴語文書時系列データの特徴の変化に基づいて、分析対象とする前記文書集合の特徴を特定する分析部とを備えている、ことを特徴とする文書分析装置。
【請求項２】
前記分析部が、取得した前記特徴語文書時系列データの前記変化点に対応する部分に、設定された閾値を超える変化が生じているかどうかを判定し、前記変化が生じている場合に、前記変化を前記特徴の変化とし、その変化の大きさに基づいて、分析対象とする前記文書集合の特徴を特定する、請求項１に記載の文書分析装置。
【請求項３】
前記分析部が、取得した前記特徴語文書時系列データの前記変化点に対応する部分において、前記特徴語文書時系列データを構成する文書の集合をクラスタリングした際に、新たなクラスタが生じている、ないしは、既存のクラスタに属する文書数が設定された閾値を超える増加が生じているかどうかを判定し、前記新たなクラスタが生じている場合、ないしは、増加が生じている場合に、前記新たなクラスタ、ないしは増加したクラスタを前記特徴の変化とし、そして、前記特徴の変化と前記文書集合とのテキスト類似度を求め、求めた前記テキスト類似度に基づいて、前記文書集合の特徴を特定する、請求項１に記載の文書分析装置。
【請求項４】
時間情報を有する文書集合を分析対象とした文書分析方法であって、
（ａ）コンピュータによって、入力された検索条件に基づいて、分析対象とする前記文書集合を取得するステップと、
（ｂ）前記コンピュータによって、前記（ａ）のステップで入力された検索条件よりも緩和ないしは拡張した検索条件下で検索を行い、検索によって取得した文書集合の時系列データに基づいて、分析対象とする前記文書集合の変化点を、推測するステップと、
（ｃ）前記コンピュータによって、前記（ｂ）のステップで推測された前記変化点を基準として、設定された期間において、分析対象とする前記文書集合に対してテキストマイニングを行い、特徴語を検出するステップと、
（ｄ）前記コンピュータによって、分析対象とする前記文書集合の取得元となった文書集合から、前記（ｃ）のステップで検出された前記特徴語を含む文書の時系列データを特徴語文書時系列データとして取得し、前記変化点を基準とした前後の期間における、前記特徴語時系列データの特徴の変化に基づいて、分析対象とする前記文書集合の特徴を特定するステップとを有する、
ことを特徴とする文書分析方法。
【請求項５】
前記（ｄ）のステップで、取得した前記特徴語文書時系列データの前記変化点に対応する部分に、設定された閾値を超える変化が生じているかどうかを判定し、前記変化が生じている場合に、前記変化を前記特徴の変化とし、その変化の大きさに基づいて、分析対象とする前記文書集合の特徴を特定する、請求項４に記載の文書分析方法。
【請求項６】
前記（ｄ）のステップで、取得した前記特徴語文書時系列データの前記変化点に対応する部分において、前記特徴語文書時系列データを構成する文書の集合をクラスタリングした際に、新たなクラスタが生じている、ないしは、既存のクラスタに属する文書数が設定された閾値を超える増加が生じているかどうかを判定し、
前記新たなクラスタが生じている場合、ないしは、増加が生じている場合に、前記新たなクラスタ、ないしは増加したクラスタを前記特徴の変化とし、そして、前記特徴の変化と前記文書集合とのテキスト類似度を求め、求めた前記テキスト類似度に基づいて、前記文書集合の特徴を特定する、請求項４に記載の文書分析方法。
【請求項７】
コンピュータを用いて、時間情報を有する文書集合を分析対象とした文書の分析を実行するための、プログラムであって、
前記コンピュータに、
（ａ）入力された検索条件に基づいて、分析対象とする前記文書集合を取得するステップと、
（ｂ）前記（ａ）のステップで入力された検索条件よりも緩和ないしは拡張した検索条件下で検索を行い、検索によって取得した文書集合の時系列データに基づいて、分析対象とする前記文書集合の変化点を、推測するステップと、
（ｃ）前記（ｂ）のステップで推測された前記変化点を基準として、設定された期間において、分析対象とする前記文書集合に対してテキストマイニングを行い、特徴語を検出するステップと、
（ｄ）分析対象とする前記文書集合の取得元となった文書集合から、前記（ｃ）のステップで検出された前記特徴語を含む文書の時系列データを特徴語文書時系列データとして取得し、前記変化点を基準とした前後の期間における、前記特徴語時系列データの特徴の変化に基づいて、分析対象とする前記文書集合の特徴を特定するステップとを実行させる、プログラム。
【請求項８】
前記（ｄ）のステップで、取得した前記特徴語文書時系列データの前記変化点に対応する部分に、設定された閾値を超える変化が生じているかどうかを判定し、前記変化が生じている場合に、前記変化を前記特徴の変化とし、その変化の大きさに基づいて、分析対象とする前記文書集合の特徴を特定する、請求項７に記載のプログラム。
【請求項９】
前記（ｄ）のステップで、取得した前記特徴語文書時系列データの前記変化点に対応する部分において、前記特徴語文書時系列データを構成する文書の集合をクラスタリングした際に、新たなクラスタが生じている、ないしは、既存のクラスタに属する文書数が設定された閾値を超える増加が生じているかどうかを判定し、
前記新たなクラスタが生じている場合、ないしは、増加が生じている場合に、前記新たなクラスタ、ないしは増加したクラスタを前記特徴の変化とし、そして、前記特徴の変化と前記文書集合とのテキスト類似度を求め、求めた前記テキスト類似度に基づいて、前記文書集合の特徴を特定する、請求項７に記載のプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、時間情報を有する文書集合を分析対象とする文書分析装置、文書分析方法、及びプログラムに関する。
【背景技術】
【０００２】
近年、インターネットの急速な発達に伴い、多くの人が、インターネット上の掲示板やブログ等によって情報を発信できるようになり、これに伴い、インターネット上には大量の文書が存在している。このような文書には、企業にとって、製品開発等に有益な情報が含まれていることから、テキストマイニングと呼ばれる文書分析技術により、有益な情報の抽出が行われている。【０００３】
テキストマイニングにおいて、分析を行う文書集合の条件を適切に絞り込むことは、有意な分析結果を得るために大変重要なポイントである。本来着目したい事柄と関係の薄い幅広い条件で、分析を行う文書集合を設定してしまうと、多数の雑多な文書の特徴に紛れて、本来取得したい文書の特徴や性質を分析結果として得ることが難しくなる。【０００４】
そのため、通常、テキストマイニングでは、先ず、分析対象とする文書集合は、一旦共通の要素を持つ部分集合に分割される。次いで、分割によって得られた部分文書集合毎に、テキストマイニングによる分析が行われる。この結果、各部分集合の性質を示した特徴が取得される。また、分析対象とする文書集合中の個々の文書に発信日時等の時間情報が付与されている場合に、テキストマイニングを行えば、その時間情報に基づいて、特定の時間範囲に発信された文書のみからなる部分文書集合を作成することができる（例えば、非特許文献１参照）。【０００５】
具体的には、非特許文献１に開示されたテキストマイニングでは、分析対象となる文書集合の時点毎の文書数が調べられ、文書数がバースト的に増大した時間範囲が特徴的な時間範囲として選別される。その後、選別された時間範囲に対応する部分文書集合に対して分析が行われ、その時間範囲における文書集合の特徴語が抽出される。この結果、企業等のテキストマイニングの利用者は、どのような話題が何時の時点で流行していたのかを知ることができ、製品開発を効率良く進めることができる。
【先行技術文献】
【非特許文献】
【０００６】
【非特許文献１】南野朋之、鈴木泰裕、藤木稔明、奥村学著、「ｂｌｏｇの自動収集と監視」、人工知能学会論文誌、Ｖｏｌ．１９（２００４）、Ｎｏ．６、ｐｐ．５１１−５２０
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、上記非特許文献１に開示のテキストマイニングには、分析対象となる時間情報付き文書集合の数が少ない場合に、適切な特徴語の抽出が困難になるという問題がある。これは、文書集合の数が少ないと、出現数が連続的なグラフにならないため、グラフの変化点を適切に検出できず、それにより、特徴的な時間範囲を選別することが難しいためである。また、仮に、変化点が検出され、その前後の比較から特徴語が抽出できたとしても、文書数が少ない場合は、抽出された特徴が適切であるかどうかを判断することは困難である。【０００８】
文書集合の数が少ない例としては、例えば、分析対象となる文書集合が、多数のキーワード又は連語を入力とした検索によって得られる場合が挙げられる。このような場合であっても、消費者の嗜好が多様化した現在では、適切な特徴語を抽出することが求められている。【０００９】
本発明の目的は、上記問題を解消し、分析対象となる文書集合に含まれている文書数に影響されることなく、文書集合に対して分析を行い得る、文書分析装置、文書分析方法、及びプログラムを提供することにある。
【課題を解決するための手段】
【００１０】
上記目的を達成するため、本発明における文書分析装置は、時間情報を有する文書集合を分析対象とした文書分析装置であって、
分析対象とする前記文書集合の変化点を、前記文書集合以外の情報に基づいて推測する変化点推測部と、
推測された前記変化点を基準として、設定された期間において、分析対象とする前記文書集合に対してテキストマイニングを行い、特徴語を検出するマイニング部と、
検出された前記特徴語を含む文書の時系列データを特徴語文書時系列データとして取得し、前記変化点を基準とした前後の期間における、前記特徴語文書時系列データの特徴の変化に基づいて、分析対象とする前記文書集合の特徴を特定する分析部とを備えている、ことを特徴とする。【００１１】
また、上記目的を達成するため、本発明における文書分析方法は、時間情報を有する文書集合を分析対象とした文書分析方法であって、
（ａ）分析対象とする前記文書集合の変化点を、前記文書集合以外の情報に基づいて推測するステップと、
（ｂ）前記（ａ）のステップで推測された前記変化点を基準として、設定された期間において、分析対象とする前記文書集合に対してテキストマイニングを行い、特徴語を検出するステップと、
（ｃ）前記（ｂ）のステップで検出された前記特徴語を含む文書の時系列データを特徴語文書時系列データとして取得し、前記変化点を基準とした前後の期間における、前記特徴語時系列データの特徴の変化に基づいて、分析対象とする前記文書集合の特徴を特定するステップとを有する、ことを特徴とする。【００１２】
更に、上記目的を達成するため、本発明におけるプログラムは、コンピュータを用いて、時間情報を有する文書集合を分析対象とした文書の分析を実行するための、プログラムであって、
前記コンピュータに、
（ａ）分析対象とする前記文書集合の変化点を、前記文書集合以外の情報に基づいて推測するステップと、
（ｂ）前記（ａ）のステップで推測された前記変化点を基準として、設定された期間において、分析対象とする前記文書集合に対してテキストマイニングを行い、特徴語を検出するステップと、
（ｃ）前記（ｂ）のステップで検出された前記特徴語を含む文書の時系列データを特徴語文書時系列データとして取得し、前記変化点を基準とした前後の期間における、前記特徴語時系列データの特徴の変化に基づいて、分析対象とする前記文書集合の特徴を特定するステップとを実行させる、ことを特徴とする。
【発明の効果】
【００１３】
以上のように本発明における文書分析装置、文書分析方法、及びプログラムによれば、分析対象となる文書集合に含まれている文書数に影響されることなく、文書集合に対して分析を行うことができる。
【図面の簡単な説明】
【００１４】
【図１】図１は、本発明の実施の形態における文書分析装置の概略構成を示すブロック図である。
【図２】図２は、本発明の実施の形態において分析対象となる文書集合から得られた時系列データの一例を示す図である。
【図３】図３は、本発明の実施の形態における文書分析装置が変化点を推測するために生成した時系列データの一例を示す図である。
【図４】図４は、本発明の実施の形態における文書分析装置によって行われるテキストマイニングの一例を示す図である。
【図５】図５は、図４に示したテキストマイニングによって得られた特徴語を元にした時系列データ（特徴語文書時系列データ）の一例を示す図である。
【図６】図６は、図４に示したテキストマイニングによって得られた特徴語を元にした時系列データ（特徴語文書時系列データ）の一例を示す図である。
【図７】図７は、図６に示した時系列データに新たなクラスタが生じている場合の一例を示している。
【図８】図８は、本発明の実施の形態における類似度の算出処理の概念を説明する図である。
【図９】図９は、本発明の実施の形態における文書分析方法において実行される処理を示すフロー図である。
【発明を実施するための形態】
【００１５】
（実施の形態）
以下、本発明の実施の形態における文書分析装置、文書分析方法、及びプログラムについて、図１〜図９を参照しながら説明する。最初に、本実施の形態における文書分析装置の構成について図１を用いて説明する。図１は、本発明の実施の形態における文書分析装置の概略構成を示すブロック図である。
【００１６】
図１に示すように、本実施の形態における文書分析装置１は、時間情報を有する文書集合を分析対象として文書分析を行う装置である。文書分析装置１は、主に、変化点推測部２０と、マイニング部３０と、分析部４０とを備えている。
【００１７】
変化点推測部２０は、分析対象とする文書集合の変化点、即ち、この文書集合に属する文書に記述された内容や表現に変化が生じた時点である変化点を、文書集合以外の情報に基づいて推測する。マイニング部３０は、推測された変化点を基準として、設定された期間において、分析対象とする文書集合のうち、その期間に属する時間情報を有する文書集合に対してテキストマイニングを行い、特徴語を検出する。分析部４０は、検出された特徴語を含む文書の時系列データを特徴語文書時系列データとして取得し、変化点を基準とした前後の期間における、特徴語文書時系列データの特徴の変化に基づいて、分析対象とする文書集合の特徴を特定する。
【００１８】
文書分析装置１では、分析対象となる文書集合の変化点は、それとは別の情報から推測される。よって、分析対象となる文書集合の数が少ない場合であっても、特徴的な時間範囲を選別することが可能となる。この結果、このような場合であっても、文書集合の特徴を検出することができる。
【００１９】
ここで、図２〜図８を参照しながら、文書分析装置１の構成及び機能について具体的に説明する。本実施の形態では、文書分析装置１は、更に、分析対象取得部１０を備えている。本実施の形態において分析対象となる文書集合を、以下、「文書集合（１）」とする。
【００２０】
分析対象取得部１０は、事前に収集された文書集合（以下「全文書集合」という）に対して、外部から入力された検索条件に基づいて検索を行い、検索によって、分析対象とする文書集合（１）を取得する。また、文書集合（１）を構成する文書には、時間情報が付与されている。更に、分析対象取得部１０は、外部から入力された検索条件の入力を受け付ける入力受付部１１と、全文書集合に対して検索を行う検索部１２とを備えている。
【００２１】
全文書集合としては、インターネット上の掲示板やブログ等の書き込み、Ｗｅｂサイトに掲載されているニュース記事等の文書、企業で送受信された電子メール等が挙げられる。全文書集合を構成する文書は、時間情報を有するものであれば特に限定されるものではない。
【００２２】
なお、本発明でいう「時間情報」とは、文書集合に属する各文書に付与されている年月日や時刻といった時間情報を意味する。「時間情報」としては、各文書の作成日時、発信日時、公開日時、ブログの日付等、各文書に直接関係する時間情報を用いることができる。更に「時間情報」としては、文書中の内容で扱われる事項及び事件に関する時間情報を用いることもできる。
【００２３】
また、本実施の形態では、１つの文書に複数の時間情報が付与されていても良い。但し、この場合は、事前に、分析対象取得部１０において、どの時間情報をその文書に対する一意の時間情報として用いるのか、設定されている必要がある。時間情報の形式は、入力された文書集合に含まれる文書間で、経時的な順序づけが可能な形式であれば良く、西暦による年月日、年月日と時刻との組み合わせ、年月のみ等、いずれの形式であっても良い。
【００２４】
本実施の形態では、入力受付部１１は、検索条件として連語を受け付けることができる。連語による検索条件の具体例としては、「還元水はアトピーに効果がある」等が挙げられる。この場合、文書集合（１）を構成する文書の数は、一語又は二語を入力として検索を行った場合に比べ、極めて少なくなり、特徴的な変化が生じている時間範囲を選別することが困難となる（図２参照）。また、本実施の形態では、検索条件は、連語に限定されず、「「還元水」ＡＮＤ「アトピー」ＡＮＤ「効果」」といった、三語以上を含むものであっても良い。
【００２５】
上述した検索条件「還元水はアトピーに効果がある」から得られた文書集合（１）について、各文書に付与されている時間情報を基に、各時間区間に属する文書の数でプロットすると、図２に示すグラフが得られる。図２は、本発明の実施の形態において分析対象となる文書集合から得られた時系列データの一例を示す図である。図２に示すように、検索条件「還元水はアトピーに効果がある」によって検索を行った場合は、グラフは連続した線とならず、文書集合（１）の時間変化から、直接、特徴的な変化が生じている時間範囲を選別することは困難である。
【００２６】
変化点推測部２０は、本実施の形態では、検索条件の入力を受け付ける入力受付部２１と、受け付けた検索条件を入力として検索を行う検索部２２とを備えている。変化点推測部２０は、文書集合（１）以外の情報に対して、文書集合（１）の場合の検索条件よりも、検索条件のＡＮＤ条件を少なくする手順により条件を緩和した検索条件を用いて、文書集合（以下、「文書集合（２）」とする）を取得することができる。また、変化点推測部２０は、検索条件に合致する単語、又は表現の数を、当初の検索条件の同義語、類義語、又は同分野の語による、ＯＲ条件を用いた検索語拡張によって拡張し、拡張した検索条件を用いて検索を行い、文書集合（２）を取得することもできる。
【００２７】
本実施の形態では、変化点推測部２０の入力受付部２１は、分析対象取得部１０から、検索条件として用いられた連語を取得し、取得した連語から、それを構成する単語を抽出し、これを検索条件として受け付けることができる。単語の抽出は、検索によって得られた文書集合（２）の時系列データが連続したグラフとなるように行われる。例えば、入力受付部２１は、抽出された単語の中から、出現数又は出現順位等に基づいて、一語又は二語を抽出する。また、本実施の形態では、入力受付部２１は、外部から検索条件を受け付けることもできる。
【００２８】
文書集合（２）を取得するための検索条件の具体例としては、文書集合（１）を取得する際の検索条件が「還元水はアトピーに効果がある」であるならば、「「還元水」ＡＮＤ「アトピー」」といった２語による検索条件が挙げられる。また、変化点推測部２０は、複数の文書集合（２）を取得しても良い。この場合は、例えば、検索部２２は、「還元水」ＡＮＤ「アトピー」を検索条件とする検索に加え、「還元水」ＡＮＤ「効果」を検索条件とする検索も行うことができる。
【００２９】
また、検索部２２は、上述したように、文書集合（１）以外の情報を検索対象とする。検索対象となる情報としては、例えば、全文書集合における文書集合（１）以外の文書集合、文書集合（１）に関連する分野のニュース記事、株価情報等が挙げられる。
【００３０】
検索部２２によって文書集合（２）が取得されると、図３に示すように、変化点推測部２０は、文書集合（２）から、時間情報を用いて時系列データを生成する。更に、図３に示すように、変化点推測部２０は、生成した時系列データから、複数の変化点を推測する。具体的には、変化点推測部２０は、既存の技術を用いて、過去の平均的な変動、又は設定された文書数の閾値を基準にして、時系列データにおいて急激な変動があった区間を特定し、これを変化点候補とする。
【００３１】
図３は、本発明の実施の形態における文書分析装置が変化点を推測するために生成した時系列データの一例を示す図である。図３に示す時系列データは、「還元水」と「アトピー」との２語を検索条件として得られた文書集合（２）の時系列データを示している。図３に示す時系列データのグラフは、図２に示した時系列データのグラフと異なり、連続したグラフとなっている。
【００３２】
また、図３に示す時系列データでは、変化点推測部２０は、２００６年１２月と２００７年９月とに大きなピークを観察しており、各区間を変化点候補として推測している。なお、図３においては、「変化点候補１」及び「変化点候補２」として示されている。
【００３３】
本発明でいう「時系列データ」とは、時間をある一定の期間で区切り、そして、区切られた各区間、あるいは、各区間の先頭や中点など各区間中の特定の点における任意の計数結果を時間の順に並べ、それによって得られるデータをいう。
【００３４】
本実施の形態では、変化点推測部２０は、文書集合から時系列データを生成するため、先ず、各文書に付与されている時間情報を基にして、文書集合（２）をある一定の期間ごとに区切っている。また、このため、変化点は「区間」で特定されている。なお、一定の期間をどの程度とするかは、特に限定されず、一定の期間の長さは、文書分析装置１の用途や使用目的、文書集合（２）を構成している文書に付与された時間情報の性質等に応じて、適宜設定される。
【００３５】
マイニング部３０は、本実施の形態では、変化点推測部２が推測した変化点候補（図３参照）を用い、文書集合（１）をマイニング対象として、テキストマイニングを実行する。具体的には、マイニング部３０は、図４に示すように、変化点候補となっている区間を基準として、それ以前の一定期間に含まれる文書の特徴と、それ以後の一定期間とに含まれる文書の特徴とを比較し、特徴語候補（特徴的な表現の候補）を選び出す。図４は、本発明の実施の形態における文書分析装置によって行われるテキストマイニングの一例を示す図である。
【００３６】
また、本実施の形態では、マイニング部３０は、文書集合（１）が十分な数の文書を有している場合においては、上述した比較を行う代わりに、変化点候補の近辺の時間区間に属している文書単独から特徴語候補を選び出すこともできる。また、マイニング部３０は、同様の場合において、上述した比較を行う代わりに、変化点候補近辺の時間区間に属している文書の特徴と、過去の時間区間に属している文書の特徴とを比較して、特徴語を選び出すこともできる。なお、本実施の形態において用いられるテキストマイニング技術は、一般的な自然言語処理技術の一つである。テキストマイニング技術についての詳細な説明については省略する。
【００３７】
更に、本実施の形態では、マイニング部３０は、図４に示すように、テキストマイニングによって得られた特徴語候補それぞれに対して、特徴スコアを算出する。そして、マイニング部３０は、特徴スコアが一定以上のものを各変化点候補に対する「特徴語」とする。なお、「特徴スコア」の算出は、出現頻度等を用いて、種々の既存の統計解析技術を用いて行うことができる。例えば、マイニング部３０は、出現頻度、対数尤度比、χ２値、イエーツ補正χ２値、自己相互情報量、ＳＥ、ＥＳＣなどの統計的尺度を求め、求めた値を特徴スコアとして用いることができる。
【００３８】
図４の例では、変化点候補１の以後の期間において、「大豆」が特徴語候補として検出されている。また、変化点候補２の以後の期間においては、特徴スコアの高い「合成せっけん」が特徴語候補として検出されている。
【００３９】
分析部４０は、本実施の形態では、時系列データ取得部４１と、時系列データ分析部４２と、類似度判定部４３と、特徴選別部４４とを備えている。時系列データ取得部４１は、マイニング部３０によって検出された特徴語を含む文書の時系列データを取得する。具体的には、図５及び図６に示すように、時系列データ取得部４１は、文書集合（１）の元となった全文書集合から、マイニング部３０が検出した特徴語を含む文書の集合（以下「文書集合（３）」とする）を取得し、これに基づいて、時系列データ（以下、「特徴語文書時系列データ」ともいう。）を生成する。なお、文書集合（３）も時間情報を有している。
【００４０】
図５及び図６は、図４に示したテキストマイニングによって得られた特徴語を元にした時系列データ（特徴語文書時系列データ）の一例を示す図である。図５及び図６において、特徴語は互いに異なっている。図５における特徴語は「大豆」であり、図６における特徴語は「合成せっけん」である。また、図５および図６に示すように、本実施の形態では、上記の時系列データは、変化点候補の前後の一定期間、例えば一ヶ月について作成されている。これは、文書集合（３）は、変化点候補が適切かどうかの判定にのみ用いられるからである。
【００４１】
時系列データ分析部４２は、取得した特徴語を含む文書の時系列データ（特徴語文書時系列データ：図５及び図６参照）における、変化点推測部２０が推測した変化点（変化点候補）に対応する部分に、設定された閾値を超える変化が生じているかどうか、新たなクラスタが生じているかどうか、又は既存のクラスタに属する文書数が設定された閾値を超える増加が生じているかどうかを判定する。
【００４２】
本実施の形態では、図７に示すように、時系列データ分析部４２は、時系列データ（図５及び図６参照）を、設定されたタイムスライス毎に分割し、文書クラスタリングを実行している。なお、タイムスライスの時間幅は、文書分析装置１が実行する文書分析の目的や、全文書集合の種類等に応じて適宜設定される。
【００４３】
図７は、図６に示した時系列データに新たなクラスタが生じている場合の一例を示している。図７に示すように、特徴語「合成せっけん」から生成された時系列データ（図６参照）に対して、文書クラスタリングを実施したところ、０７年９月頃から、新しいクラスタが生成されている。この新しいクラスタには、「悪化」、「肌→あれる」、「アトピー→悪化」のようなテキスト表現、その他に、「天然石鹸」、及び「保湿効果」のようなテキスト表現が多く含まれている。
【００４４】
そして、時系列データ分析部４２は、図７に示すように、新たなクラスタが生じている場合（又は閾値を超える増加が生じている場合）は、新たなクラスタ又は、クラスタに属する文書数に閾値を超える増加が生じたクラスタを、文書集合（２）から得られた変化点を基準とした、文書集合（３）における前後の期間における特徴の変化とする。取得した特徴語を含む文書の時系列データにおける、変化点推測部２０が推測した変化点（変化点候補）に対応する部分に、設定された閾値を超える変化が生じている場合は、取得した特徴語を含む文書の時系列データ全体を、前記の閾値を超える増加が生じたクラスタと同様に扱ってもよい。
【００４５】
類似度判定部４３は、時系列データ分析部４２から得られた特徴の変化と、文書集合（１）とのテキスト類似度を求める。具体的には、類似度判定部４３は、先ず、ある変化点候補（例えば０７年９月）を基準にして、それ以前半年の文書集合（１）と、それ以後半年の文書集合（１）とについて、出現するテキスト表現の差を調べる。
【００４６】
その結果、例えば、「合成せっけんを使う」といったテキスト表現が、以後半年の文書集合（１）において何件か出現している場合は、類似度判定部４３は、このようなテキスト表現を抽出する。また、以後半年の文書集合（２）に、「悪化」、「肌→あれる」、「アトピー→悪化」といった、「合成せっけんを使う」に近接する表現が出現している場合は、類似度判定部４３は、これらのテキスト表現も抽出する。続いて、類似度判定部４３は、抽出されたテキスト表現が特定されたリスト（テキスト表現リスト）を生成する（図８参照）。
【００４７】
また、類似度判定部４３は、時系列データ分析部４２が検出した新たなクラスタから、それに含まれるテキスト表現を抽出し、新たなクラスタについてもテキスト表現リストを生成する（図８参照）。そして、図８に示すように、類似度判定部４３は、これら二つのテキスト表現リストを対比して、類似度を求める。図８は、本発明の実施の形態における類似度の算出処理の概念を説明する図である。類似度の計算手法としては、テキスト表現のリストに共通して含まれる表現の数を用いるなど、テキスト表現リストをワードベクトルとして用いた場合の既存の類似度計算を用いればよい。どのような類似度計算を用いるかは、本発明を実施する際に想定される入力などに応じて事前に定めておくことができる。
【００４８】
特徴選別部４４は、類似度判定部４３によって取得された類似度に基づき、文書集合（１）の特徴を特定する。例えば、上述したように、文書集合（１）から得られたテキスト表現リストと、新たなクラスタから得られたテキスト表現リストとに、類似度の高いテキスト表現が存在する場合は、特徴選別部４４は、それを文書集合（１）の特徴と判断し、外部に出力する。
【００４９】
なお、類似度が高いかどうかの判定は、過去の実験データ等を元に設定された閾値を基準にして行われる。また、特徴選別部４４は、上述した二つのテキスト表現リストを対比し、一致するテキスト表現を抽出し、これを文書集合（１）の特徴とすることもできる。この場合は、類似度判定部４３においては、類似判定の処理は行われないこととなる。
【００５０】
次に、本発明の実施の形態における文書分析方法について、図９を用いて説明する。図９は、本発明の実施の形態における文書分析方法において実行される処理を示すフロー図である。なお、本実施の形態における文書分析方法は、図１に示した本実施の形態における文書分析装置１を動作させることによって実施される。このため、以下においては、適宜図１〜図８を参酌しながら、文書分析装置１の動作についても説明する。
【００５１】
図９に示すように、最初に、分析対象取得部１０に全文書集合が入力されると、続いて、入力受付部１１が、文書集合（１）を取得するための検索条件の入力を受け付ける（ステップＳ１）。次に、検索部１２が、ステップＳ１で受け付けられた検索条件で、全文書集合に対して検索を行い、文書集合（１）を取得する（ステップＳ２）。
【００５２】
次に、変化点推測部２０の入力受付部２１は、ステップＳ１で入力された検索条件から、文書集合（２）を取得するための検索条件を設定する（ステップＳ３）。次に、変化点推測部２０の検索部２２が、ステップＳ３で設定された検索条件で、文書集合（１）以外の情報に対して検索を行い、文書集合（２）を取得する（ステップＳ４）。
【００５３】
続いて、変化点推測部２０は、図３に示すように、文書集合（２）から、時間情報を用いて時系列データを生成し、更に、生成した時系列データから、複数の変化点（変化点候補）を推測する（ステップＳ５）。また、変化点推測部２０は、推測した変化点候補をマイニング部３０に出力する。
【００５４】
次に、マイニング部３０は、変化点推測部２が推測した変化点候補（図３参照）を用い、文書集合（１）をマイニング対象として、テキストマイニングを実行する（ステップＳ６）。ステップＳ６では、具体的には、マイニング部３０は、図４に示すように、変化点候補となっている区間を基準として、それ以前の一定期間に含まれる文書の特徴と、それ以後の一定期間とに含まれる文書の特徴とを比較する。この結果、特徴語候補（特徴的な表現の候補）が選び出される。マイニング部３０は、選び出した特徴語候補を分析部４０に出力する。
【００５５】
次に、分析部４０の時系列データ取得部４１は、文書集合（１）の元となった全文書集合から、マイニング部３０が検出した特徴語を含む文書集合（３）を取得し、これに基づいて、図５及び図６に示すように時系列データ（特徴語文書時系列データ）を生成する（ステップＳ７）。
【００５６】
次に、時系列データ分析部４２は、特徴語文書時系列データを設定されたタイムスライス毎に分割し、文書クラスタリングを実行し（ステップＳ８）、新たなクラスタが生じているかどうかを判定する（ステップＳ９）。ステップＳ９の判定の結果、新たなクラスタが生じていない場合は、分析部４０は処理を終了する。
【００５７】
一方、ステップＳ９の判定の結果、新たなクラスタ生じている場合（図７参照）は、類似度判定部４３は、新たなクラスタを、変化点候補を基準とした文書集合（３）における前後の期間での特徴の変化とし、この変化と文書集合（１）との類似度を算出する（ステップＳ１０）。その後、特徴選別部４４は、類似度判定部４３によって取得された類似度に基づき、文書集合（１）の特徴を特定し、これを外部に出力して処理を終了する（ステップＳ１１）。
【００５８】
以上のように本実施の形態によれば、分析対象となる文書集合（１）の変化点は、それとは別の文書集合（２）から推測される。よって、分析対象となる文書集合（１）を構成する文書の数が少なく、その時系列データが連続したグラフとならない場合であっても、文書集合（１）における特徴的な時間範囲の選別が可能となる。そして、選別された時間範囲（変化点候補）について分析が行われ、文書集合（１）と文書集合（３）とに類似性の高い変化が生じているとき、その変化点候補を文書集合（１）の本当の変化点であると推定し、推定された変化点における、文書集合（１）の特徴が特定される。
【００５９】
本発明の実施の形態におけるプログラムは、コンピュータに、図９に示すステップＳ１〜Ｓ１１を実行させる命令を含むプログラムであれば良い。本実施の形態におけるプログラムをコンピュータにインストールし、実行すれば、本実施の形態における文書分析装置１を実現でき、又本実施の形態における文書分析方法を実行できる。この場合、コンピュータのＣＰＵ（Central Processing Unit）は、分析対象取得部１０、変化点推測部２０、マイニング部３０、及び分析部４０として機能し、処理を行なう。
【００６０】
また、本発明の実施の形態におけるプログラムは、コンピュータ読み取り可能な記録媒体、例えば、光ディスク、磁気ディスク、光磁気ディスク、半導体メモリ、フロッピーディスク等に記憶された状態で、又はネットワークを介して供給される。
【００６１】
以上、実施の形態を参照して本願発明を説明したが、本願発明は上記実施の形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
【００６２】
この出願は、２００８年１２月１２日出願された日本出願特願２００８−３１６８１５を基礎とする優先権を主張し、その開示の全てをここに取り込む。
【００６３】
本願発明における文書分析装置、文書分析方法、及びコンピュータ読み取り可能な記録媒体は以下の特徴を有する。
【００６４】
（１）時間情報を有する文書集合を分析対象とした文書分析装置であって、
分析対象とする前記文書集合の変化点を、前記文書集合以外の情報に基づいて推測する変化点推測部と、
推測された前記変化点を基準として、設定された期間において、分析対象とする前記文書集合に対してテキストマイニングを行い、特徴語を検出するマイニング部と、
検出された前記特徴語を含む文書の時系列データを特徴語文書時系列データとして取得し、前記変化点を基準とした前後の期間における、前記特徴語文書時系列データの特徴の変化に基づいて、分析対象とする前記文書集合の特徴を特定する分析部とを備えている、ことを特徴とする文書分析装置。
【００６５】
（２）入力された検索条件に基づいて、分析対象とする前記文書集合を取得する、分析対象取得部を、更に有し、
前記変化点推測部が、入力された前記検索条件より緩和ないしは拡張した検索条件で検索を行い、検索によって取得した文書集合の時系列データを前記文書集合以外の情報として用いることで、前記変化点を推測する、上記（１）に記載の文書分析装置。
【００６６】
（３）前記分析部が、取得した前記特徴語文書時系列データの前記変化点に対応する部分に、設定された閾値を超える変化が生じているかどうかを判定し、前記変化が生じている場合に、前記変化を前記特徴の変化とし、その変化の大きさに基づいて、分析対象とする前記文書集合の特徴を特定する、上記（１）に記載の文書分析装置。
【００６７】
（４）前記分析部が、取得した前記特徴語文書時系列データの前記変化点に対応する部分において、前記特徴語文書時系列データを構成する文書の集合をクラスタリングした際に、新たなクラスタが生じている、ないしは、既存のクラスタに属する文書数が設定された閾値を超える増加が生じているかどうかを判定し、前記新たなクラスタが生じている場合、ないしは、増加が生じている場合に、前記新たなクラスタ、ないしは増加したクラスタを前記特徴の変化とし、そして、前記特徴の変化と前記文書集合とのテキスト類似度を求め、求めた前記テキスト類似度に基づいて、前記文書集合の特徴を特定する、上記（１）に記載の文書分析装置。
【００６８】
（５）時間情報を有する文書集合を分析対象とした文書分析方法であって、
（ａ）分析対象とする前記文書集合の変化点を、前記文書集合以外の情報に基づいて推測するステップと、
（ｂ）前記（ａ）のステップで推測された前記変化点を基準として、設定された期間において、分析対象とする前記文書集合に対してテキストマイニングを行い、特徴語を検出するステップと、
（ｃ）前記（ｂ）のステップで検出された前記特徴語を含む文書の時系列データを特徴語文書時系列データとして取得し、前記変化点を基準とした前後の期間における、前記特徴語時系列データの特徴の変化に基づいて、分析対象とする前記文書集合の特徴を特定するステップとを有する、ことを特徴とする文書分析方法。
【００６９】
（６）（ｄ）入力された検索条件に基づいて、分析対象とする前記文書集合を取得するステップを、更に有し、
前記（ａ）のステップで、前記（ｄ）のステップで入力された検索条件よりも緩和ないしは拡張した検索条件下で検索を行い、検索によって取得した文書集合の時系列データを前記文書集合以外の情報として用いることで、前記変化点を推測する、上記（５）に記載の文書分析方法。
【００７０】
（７）前記（ｃ）のステップで、取得した前記特徴語文書時系列データの前記変化点に対応する部分に、設定された閾値を超える変化が生じているかどうかを判定し、前記変化が生じている場合に、前記変化を前記特徴の変化とし、その変化の大きさに基づいて、分析対象とする前記文書集合の特徴を特定する、上記（５）に記載の文書分析方法。
【００７１】
（８）前記（ｃ）のステップで、取得した前記特徴語文書時系列データの前記変化点に対応する部分において、前記特徴語文書時系列データを構成する文書の集合をクラスタリングした際に、新たなクラスタが生じている、ないしは、既存のクラスタに属する文書数が設定された閾値を超える増加が生じているかどうかを判定し、
前記新たなクラスタが生じている場合、ないしは、増加が生じている場合に、前記新たなクラスタ、ないしは増加したクラスタを前記特徴の変化とし、そして、前記特徴の変化と前記文書集合とのテキスト類似度を求め、求めた前記テキスト類似度に基づいて、前記文書集合の特徴を特定する、上記（５）に記載の文書分析方法。
【００７２】
（９）コンピュータを用いて、時間情報を有する文書集合を分析対象とした文書の分析を実行するための、プログラムであって、
前記コンピュータに、
（ａ）分析対象とする前記文書集合の変化点を、前記文書集合以外の情報に基づいて推測するステップと、
（ｂ）前記（ａ）のステップで推測された前記変化点を基準として、設定された期間において、分析対象とする前記文書集合に対してテキストマイニングを行い、特徴語を検出するステップと、
（ｃ）前記（ｂ）のステップで検出された前記特徴語を含む文書の時系列データを特徴語文書時系列データとして取得し、前記変化点を基準とした前後の期間における、前記特徴語時系列データの特徴の変化に基づいて、分析対象とする前記文書集合の特徴を特定するステップとを実行させる、プログラム。
【００７３】
（１０）（ｄ）入力された検索条件に基づいて、分析対象とする前記文書集合を取得するステップを、更に前記コンピュータに実行させ、
前記（ａ）のステップで、前記（ｄ）のステップで入力された検索条件よりも緩和ないしは拡張した検索条件下で検索を行い、検索によって取得した文書集合の時系列データを前記文書集合以外の情報として用いることで、前記変化点を推測する、上記（９）に記載のプログラム。
【００７４】
（１１）前記（ｃ）のステップで、取得した前記特徴語文書時系列データの前記変化点に対応する部分に、設定された閾値を超える変化が生じているかどうかを判定し、前記変化が生じている場合に、前記変化を前記特徴の変化とし、その変化の大きさに基づいて、分析対象とする前記文書集合の特徴を特定する、上記（９）に記載のプログラム。
【００７５】
（１２）前記（ｃ）のステップで、取得した前記特徴語文書時系列データの前記変化点に対応する部分において、前記特徴語文書時系列データを構成する文書の集合をクラスタリングした際に、新たなクラスタが生じている、ないしは、既存のクラスタに属する文書数が設定された閾値を超える増加が生じているかどうかを判定し、
前記新たなクラスタが生じている場合、ないしは、増加が生じている場合に、前記新たなクラスタ、ないしは増加したクラスタを前記特徴の変化とし、そして、前記特徴の変化と前記文書集合とのテキスト類似度を求め、求めた前記テキスト類似度に基づいて、前記文書集合の特徴を特定する、上記（９）に記載のプログラム。
【産業上の利用可能性】
【００７６】
本発明は、ブログや掲示板等のインターネット上の文書データや、コールセンターの応対履歴等の時間情報が付与された文書データ等の分析に利用できる。また、定期的に実行されるアンケート調査や市場調査の結果を分析する目的にも利用できる。本発明は、特に、文書数が少ない文書集合の分析に有用であり、産業上の利用可能性を有している。
【符号の説明】
【００７７】
１  文書分析装置
１０  分析対象取得部
１１  入力受付部
１２  検索部
２０  変転推測部
２１  入力受付部
２２  検索部
３０  マイニング部
４０  分析部
４１  時系列データ取得部
４２  時系列データ分析部
４３  類似度判定部
４４  特徴選別部
【図１】
0005464371.tif 000002
【図２】
0005464371.tif 000003
【図３】
0005464371.tif 000004
【図４】
0005464371.tif 000005
【図５】
0005464371.tif 000006
【図６】
0005464371.tif 000007
【図７】
0005464371.tif 000008
【図８】
0005464371.tif 000009
【図９】
0005464371.tif 000010