(57)【要約】  文書分析装置100は、分析対象文書集合に着目期間に出現した特徴表現を取得する特徴表現取得部10と、分析対象文書集合を含む分析母集団から、特徴表現が出現した特徴表現含有文書集合を取得する文書集合取得部20と、特徴表現毎に、特徴表現含有文書集合のうち分析対象文書に該当する分析・特徴表現含有文書を特定し、2以上の分析・特徴表現含有文書で当該特徴表現が出現した文脈を特定する文脈判定部40と、特徴表現含有文書集合のうちの分析対象文書に該当しない非分析・特徴表現含有文書を特定し、その中で当該特徴表現が出現している文脈と先に特定された文脈とを比較する文脈比較判定部50と、比較結果から、特徴表現への特徴度の付与等を行う特徴度設定部60とを備えている。
2011099355.tif 000002
【特許請求の範囲】
【請求項１】
分析の対象となる分析対象文書を第1の文書集合として受け付け、さらに、前記第1の文書集合における、予め指定された着目期間中に出現している特徴表現を入力として受け付け、前記特徴表現毎に、前記第1の文書集合を含む文書集合の中から、前記着目期間中に発行、生成又は更新され、且つ、取得された前記特徴表現が出現している文書の集合を、第2の文書集合として取得する、文書集合取得部と、
前記特徴表現毎に、当該特徴表現が出現している前記第2の文書集合の文書のうち、前記分析対象文書に該当する文書を、第1の特徴表現含有文書として特定し、更に、前記第1の特徴表現含有文書において当該特徴表現が出現している文脈のうち、2以上の前記第1の特徴表現含有文書において共通している文脈を、当該特徴表現の文脈として特定する、文脈判定部と、
前記特徴表現毎に、当該特徴表現が出現している前記第2の文書集合の文書のうち、前記分析対象文書に該当しない文書を、第2の特徴表現含有文書として特定し、更に、前記第2の特徴表現含有文書において当該特徴表現が出現している文脈と、前記文脈判定部が特定した文脈とを比較する、文脈比較判定部と、
前記文脈比較判定部による比較の結果に基づいて、前記特徴表現取得部によって取得された前記特徴表現に特徴度を付与する、又は前記特徴表現に予め特徴度が付与されている場合は、該特徴度を補正する、特徴度設定部と、
を備えていることを特徴とする、文書分析装置。
【請求項２】
前記文脈判定部が、前記第1の特徴表現含有文書を特定した後に、前記特徴表現毎に、前記第1の特徴表現含有文書の数と、前記第2の文書集合中の当該特徴表現が出現している文書の数との関係が、設定条件を満たすかどうかを判定し、前記設定条件を満たさない場合に、前記文脈の特定を行い、
前記文脈比較判定部が、前記文脈が特定された前記特徴表現それぞれについて、前記第2の特徴表現含有文書において当該特徴表現が出現している文脈と、前記文脈判定部が特定した文脈との比較を行う、請求項１に記載の文書分析装置。
【請求項３】
前記文脈判定部が、前記特徴表現毎に、前記第1の特徴表現含有文書それぞれについて、当該特徴表現に関連するテキスト部分を選別し、選別した前記テキスト部分それぞれから、当該特徴表現の文脈を表現する言語表現を抽出し、
更に、前記第1の特徴表現含有文書から抽出した前記言語表現それぞれが、2以上の前記第1の特徴表現含有文書で共通して出現しているかどうかを判定し、
そして、2以上の前記第1の特徴表現含有文書で共通して出現していると判定された前記言語表現を、当該特徴表現の文脈として特定する、請求項２に記載の文書分析装置。
【請求項４】
（a）分析の対象となる分析対象文書を第1の文書集合として受け付け、さらに前記第1の文書集合における、予め指定された着目期間中に出現している特徴表現を入力として受け付ける、ステップと、
（b）前記特徴表現毎に、前記第1の文書集合を含む文書集合の中から、前記着目期間中に発行、生成又は更新され、且つ、取得された前記特徴表現が出現している文書の集合を、第2の文書集合として取得する、ステップと、
（c）前記特徴表現毎に、当該特徴表現が出現している前記第2の文書集合の文書のうち、前記分析対象文書に該当する文書を、第1の特徴表現含有文書として特定し、更に、前記第1の特徴表現含有文書において当該特徴表現が出現している文脈のうち、2以上の前記第1の特徴表現含有文書において共通している文脈を、当該特徴表現の文脈として特定する、ステップと、
（d）前記特徴表現毎に、当該特徴表現が出現している前記第2の文書集合の文書のうち、前記分析対象文書に該当しない文書を、第2の特徴表現含有文書として特定し、更に、前記第2の特徴表現含有文書において当該特徴表現が出現している文脈と、前記（c）のステップで特定した文脈とを比較する、ステップと、
（e）前記（d）のステップによる比較の結果に基づいて、前記（a）のステップによって取得された前記特徴表現に特徴度を付与する、又は前記（a）のステップにおいて前記特徴表現に予め特徴度が付与されている場合は、該特徴度を補正する、ステップと、を有していることを特徴とする、文書分析方法。
【請求項５】
前記（c）のステップにおいて、前記第1の特徴表現含有文書を特定した後に、前記特徴表現毎に、前記第1の特徴表現含有文書の数と、前記第2の文書集合中の当該特徴表現が出現している文書の数との関係が、設定条件を満たすかどうかを判定し、前記設定条件を満たさない場合に、前記文脈の特定を行い、
前記（d）のステップにおいて、前記文脈が特定された前記特徴表現それぞれについて、前記第2の特徴表現含有文書において当該特徴表現が出現している文脈と、前記（c）のステップで特定した文脈との比較を行う、請求項４に記載の文書分析方法。
【請求項６】
前記（d）のステップにおいて、
前記特徴表現毎に、前記第1の特徴表現含有文書それぞれについて、
当該特徴表現に関連するテキスト部分を選別し、
選別した前記テキスト部分それぞれから、当該特徴表現の文脈を表現する言語表現を抽出し、
更に、前記第1の特徴表現含有文書から抽出した前記言語表現それぞれが、2以上の前記第1の特徴表現含有文書で共通して出現しているかどうかを判定し、
そして、2以上の前記第1の特徴表現含有文書で共通して出現していると判定された前記言語表現を、当該特徴表現の文脈として特定する、請求項５に記載の文書分析方法。
【請求項７】
コンピュータに、
（a）分析の対象となる分析対象文書を第1の文書集合として受け付け、さらに前記第1の文書集合における、予め指定された着目期間中に出現している特徴表現を入力として受け付ける、ステップと、
（b）前記特徴表現毎に、前記第1の文書集合を含む文書集合の中から、前記着目期間中に発行、生成又は更新され、且つ、取得された前記特徴表現が出現している文書の集合を、第2の文書集合として取得する、ステップと、
（c）前記特徴表現毎に、当該特徴表現が出現している前記第2の文書集合の文書のうち、前記分析対象文書に該当する文書を、第1の特徴表現含有文書として特定し、更に、前記第1の特徴表現含有文書において当該特徴表現が出現している文脈のうち、2以上の前記第1の特徴表現含有文書において共通している文脈を、当該特徴表現の文脈として特定する、ステップと、
（d）前記特徴表現毎に、当該特徴表現が出現している前記第2の文書集合の文書のうち、前記分析対象文書に該当しない文書を、第2の特徴表現含有文書として特定し、更に、前記第2の特徴表現含有文書において当該特徴表現が出現している文脈と、前記（c）のステップで特定した文脈とを比較する、ステップと、
（e）前記（d）のステップによる比較の結果に基づいて、前記（a）のステップによって取得された前記特徴表現に特徴度を付与する、又は前記（a）のステップによって取得された前記特徴表現に予め付与されている特徴度を補正する、ステップと、
を実行させる、命令を含むプログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項８】
前記（c）のステップにおいて、前記第1の特徴表現含有文書を特定した後に、前記特徴表現毎に、前記第1の特徴表現含有文書の数と、前記第2の文書集合中の当該特徴表現が出現している文書の数との関係が、設定条件を満たすかどうかを判定し、前記設定条件を満たさない場合に、前記文脈の特定を行い、
前記（d）のステップにおいて、前記文脈が特定された前記特徴表現それぞれについて、前記第2の特徴表現含有文書において当該特徴表現が出現している文脈と、前記（c）のステップで特定した文脈との比較を行う、請求項７に記載のコンピュータ読み取り可能な記録媒体。
【請求項９】
前記（d）のステップにおいて、
前記特徴表現毎に、前記第1の特徴表現含有文書それぞれについて、
当該特徴表現に関連するテキスト部分を選別し、
選別した前記テキスト部分それぞれから、当該特徴表現の文脈を表現する言語表現を抽出し、
更に、前記第1の特徴表現含有文書から抽出した前記言語表現それぞれが、2以上の前記第1の特徴表現含有文書で共通して出現しているかどうかを判定し、
そして、2以上の前記第1の特徴表現含有文書で共通して出現していると判定された前記言語表現を、当該特徴表現の文脈として特定する、請求項８に記載のコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、文書分析装置、文書分析方法、及びプログラムを記録したコンピュータ読み取り可能な記録媒体に関し、特には、分析対象とする文書集合から特徴表現を抽出するための技術に関する。
【背景技術】
【０００２】
近年、マーケティング、動向調査、又はコールセンターの通話記録における異常事態監視等を目的として、着目期間内に発生した現象及び事件の調査が要望されている。このような調査では、先ず、ユーザが分析したい対象に関する文書の集合（以下、「分析対象文書」と称する。）が収集される。そして、分析対象文書に記述されている内容、及び分析対象文書中の分析対象とされている領域から、着目期間にどのような現象及び事件が生じているかが調査される。【０００３】
こうした調査の要望を実現するための技術としては、分析対象文書の集合に基づいて、着目期間における文書の傾向と、それよりも過去の期間における文書の傾向とを比較分析する技術（時系列文書分析技術）が知られている（例えば、非特許文献1参照)。具体的には、非特許文献1に開示の時系列文書分析技術では、過去の期間にはあまり出現しなかったが、着目期間には特徴的に出現する特徴表現が抽出され、特徴表現に基づいて分析が行われる。そして、非特許文献1に開示の時系列文書分析技術によって得られた特徴表現（例えば、キーワード等）は、分析対象文書に記述されている内容及び記述がなされた領域において着目期間内に生じた、現象及び事件等を表していると期待される。【０００４】
例えば、ユーザが、「健康食品A」を含むブログを分析対象として、月毎にどんなことが話題に挙がっているのかを調べているものとする。この場合、先ず、ブログ母集団から、分析対象文書の集合として、「健康食品A」の記述を含むブログの集合が取得される。次に、取得された分析対象文書（ブログ）の集合は、ブログの日付に基づいて1ヶ月毎に分けられ、更に、先月と今月との記述内容の出現傾向が統計的に比較される。その結果、ユーザは、例えば、2009年11月には、「生薬」、「仕分け」、「北欧→新開発」のような特徴表現が先月に比べて多く出現していることを知ることができる。また、ユーザは、こうした特徴表現を手がかりとして、分析対象とする領域での着目期間での変化を効率的に知ることが可能となる。【０００５】
ここで本明細書における用語の定義について説明する。本明細書において「特徴表現」とは、着目対象となっている文書集合において特徴的に出現する言語表現を意味する。また、「特徴的に出現する」に該当するかどうかは、文書集合中でのその言語表現の出現の統計的な偏り、文書タイトル、及び文書の冒頭といった各文書における文書構造の情報等から判断される。なお、こうした、特徴的に出現する言語表現を求める技術は、テキストマイニング技術及び文書要約技術として、当業者に公知の技術である。【０００６】
また、言語表現とは、「単語」及び「フレーズ」等、自然言語処理技術を用いてテキストの解析が実施される際に、処理単位としてテキストから切り出される1語以上のまとまりを意味する。言語表現は、テキスト中に出現する表記に対して、同義語処理及び活用語尾を終止形へ変形する変形処理等の修正を施すことによって得られたものであっても良い。また、言語表現は、係り受け関係（例：「学校」→「行く」)、及び構文解析結果の部分木など、複数単語とそれらの間の関係を特定する情報とを有するものであっても良い。
【先行技術文献】
【非特許文献】
【０００７】
【非特許文献１】“テキストマイニングシステム -IBM TAKMI-”、[online]、IBM東京基礎研究所、[2010年01月08日検索]、インターネット<URL:http://www.trl.ibm.com/projects/textmining/takmi/takmi.html>
【発明の概要】
【発明が解決しようとする課題】
【０００８】
ところで、上述したように、非特許文献1に開示された時系列文書分析技術では、分析対象文書集合における着目期間と過去の期間との比較結果から、着目期間に特徴的に出現する特徴表現が抽出される。しかしながら、特徴表現の抽出に際して、各特徴表現が記述される状況及びや領域が、ユーザが分析対象としたい領域に限られるのかどうか考慮されることはない。このため、非特許文献1に開示された時系列文書分析技術には、ユーザが分析対象とする領域で、着目期間において生じた現象及び事件との関係の少ない特徴表現が抽出される、という課題が存在する。【０００９】
上記課題について以下に具体的に説明する。ここで「現象及び事件との関係の少ない特徴表現」とは、分析対象に限定されない広い分野で、極端な例では、分野によらない文書集合の母集団全体で、着目期間内に話題となった事象を表す特徴表現を意味する。こうした特徴表現は、着目期間に生じた現象及び事件の特徴に該当したとしても、本来の抽出対象である、分析対象の領域に生じた現象及び事件に該当するとは言えないため、こうした特徴表現が、抽出結果に混ざってしまうことは望ましくない。【００１０】
例えば、上述の「健康食品A」に関する文書の2009年11月における特徴表現を調べる例について説明する。2009年11月に、たまたま、これまでに前例のない政治的イベントである「予算の仕分け」が大々的に話題になったものとする。その結果、様々な分野の文書で「仕分け」という表現が記述されることになる。「仕分け」のような政治的イベント、又はそれから発生した派生的イベントは、特定の領域に限った現象ではないため、特定の分析対象文書集合に限って時系列分析を行った場合であっても、2009年11月における特徴表現として抽出されてしまう。【００１１】
一方、本来、ユーザは、分析対象とする「健康食品A」における動向、例えば、新製品の登場によりこれまでになく「生薬」であることが重要視されるようになった点等を知る目的で、時系列分析を行っている。そうした目的において、「仕分け」のような特徴表現は、ノイズとなってしまう。【００１２】
本発明の目的は、上記課題を解消し、分析対象とする文書集合に限定して記述されていない特徴表現を特定して、特徴表現の抽出精度を向上し得る、文書分析装置、文書分析方法、及びプログラムを提供することにある。
【課題を解決するための手段】
【００１３】
上記目的を達成するため、本発明における文書分析装置は、分析の対象となる分析対象文書を第1の文書集合として受け付け、さらに、前記第1の文書集合における、予め指定された着目期間中に出現している特徴表現を入力として受け付け、前記特徴表現毎に、前記第1の文書集合を含む文書集合の中から、前記着目期間中に発行、生成又は更新され、且つ、取得された前記特徴表現が出現している文書の集合を、第2の文書集合として取得する、文書集合取得部と、
前記特徴表現毎に、当該特徴表現が出現している前記第2の文書集合の文書のうち、前記分析対象文書に該当する文書を、第1の特徴表現含有文書として特定し、更に、前記第1の特徴表現含有文書において当該特徴表現が出現している文脈のうち、2以上の前記第1の特徴表現含有文書において共通している文脈を、当該特徴表現の文脈として特定する、文脈判定部と、
前記特徴表現毎に、当該特徴表現が出現している前記第2の文書集合の文書のうち、前記分析対象文書に該当しない文書を、第2の特徴表現含有文書として特定し、更に、前記第2の特徴表現含有文書において当該特徴表現が出現している文脈と、前記文脈判定部が特定した文脈とを比較する、文脈比較判定部と、
前記文脈比較判定部による比較の結果に基づいて、前記特徴表現取得部によって取得された前記特徴表現に特徴度を付与する、又は前記特徴表現に予め特徴度が付与されている場合は、該特徴度を補正する、特徴度設定部と、
を備えていることを特徴とする。【００１４】
また、上記目的を達成するため、本発明における文書分析方法は、
（a）分析の対象となる分析対象文書を第1の文書集合として受け付け、さらに前記第1の文書集合における、予め指定された着目期間中に出現している特徴表現を入力として受け付ける、ステップと、
（b）前記特徴表現毎に、前記第1の文書集合を含む文書集合の中から、前記着目期間中に発行、生成又は更新され、且つ、取得された前記特徴表現が出現している文書の集合を、第2の文書集合として取得する、ステップと、
（c）前記特徴表現毎に、当該特徴表現が出現している前記第2の文書集合の文書のうち、前記分析対象文書に該当する文書を、第1の特徴表現含有文書として特定し、更に、前記第1の特徴表現含有文書において当該特徴表現が出現している文脈のうち、2以上の前記第1の特徴表現含有文書において共通している文脈を、当該特徴表現の文脈として特定する、ステップと、
（d）前記特徴表現毎に、当該特徴表現が出現している前記第2の文書集合の文書のうち、前記分析対象文書に該当しない文書を、第2の特徴表現含有文書として特定し、更に、前記第2の特徴表現含有文書において当該特徴表現が出現している文脈と、前記（c）のステップで特定した文脈とを比較する、ステップと、
（e）前記（d）のステップによる比較の結果に基づいて、前記（a）のステップによって取得された前記特徴表現に特徴度を付与する、又は前記（a）のステップにおいて前記特徴表現に予め特徴度が付与されている場合は、該特徴度を補正する、ステップと、を有していることを特徴とする。【００１５】
更に、上記目的を達成するため、本発明におけるコンピュータ読み取り可能な記録媒体は、
コンピュータに、
（a）分析の対象となる分析対象文書を第1の文書集合として受け付け、さらに前記第1の文書集合における、予め指定された着目期間中に出現している特徴表現を入力として受け付ける、ステップと、
（b）前記特徴表現毎に、前記第1の文書集合を含む文書集合の中から、前記着目期間中に発行、生成又は更新され、且つ、取得された前記特徴表現が出現している文書の集合を、第2の文書集合として取得する、ステップと、
（c）前記特徴表現毎に、当該特徴表現が出現している前記第2の文書集合の文書のうち、前記分析対象文書に該当する文書を、第1の特徴表現含有文書として特定し、更に、前記第1の特徴表現含有文書において当該特徴表現が出現している文脈のうち、2以上の前記第1の特徴表現含有文書において共通している文脈を、当該特徴表現の文脈として特定する、ステップと、
（d）前記特徴表現毎に、当該特徴表現が出現している前記第2の文書集合の文書のうち、前記分析対象文書に該当しない文書を、第2の特徴表現含有文書として特定し、更に、前記第2の特徴表現含有文書において当該特徴表現が出現している文脈と、前記（c）のステップで特定した文脈とを比較する、ステップと、
（e）前記（d）のステップによる比較の結果に基づいて、前記（a）のステップによって取得された前記特徴表現に特徴度を付与する、又は前記（a）のステップによって取得された前記特徴表現に予め付与されている特徴度を補正する、ステップと、
を実行させる、命令を含むプログラムを記録していることを特徴とする。
【発明の効果】
【００１６】
以上の特徴により、本発明における文書分析装置、文書分析方法、及びコンピュータ読み取り可能な記録媒体によれば、分析対象とする文書集合に限定して記述されていない特徴表現を特定して、特徴表現の抽出精度を向上することができる。
【図面の簡単な説明】
【００１７】
【図１】図1は、本発明の実施の形態における文書分析装置の構成を示すブロック図である。
【図２】図2は、分析対象文書から抽出される特徴表現の一例を説明する説明図である。
【図３】図3は、分析対象文書及び非分析対象文書における特徴表現の第1の出現状態を示す図である。
【図４】図4は、分析対象文書及び非分析対象文書における特徴表現の第2の出現状態を示す図である。
【図５】図5は、分析対象文書及び非分析対象文書における特徴表現の第3の出現状態を示す図である。
【図６】図6は、特徴表現が出現している文脈の例を示す図である。
【図７】図7は、本発明の実施の形態における文書分析装置の動作を示すフローチャートである。
【図８】図8は、本発明の実施の形態における文書分析装置を実現するコンピュータの一例を示すブロック図である。
【発明を実施するための形態】
【００１８】
（実施の形態）
以下、本発明の実施の形態における文書分析装置、文書分析方法、及びプログラムについて、図1〜図7を参照しながら説明する。最初に、本実施の形態における文書分析装置の構成について図1を用いて説明する。図1は、本発明の実施の形態における文書分析装置の構成を示すブロック図である。
【００１９】
図１に示す文書分析装置100は、分析の対象となる文書（以下「分析対象文書」）の集合から得られた特徴表現に対して、その分析対象文書以外の文書（以下「非分析対象文書」）の集合での使われ方に応じて、特徴度の付与又は補正を行う装置である。図１に示すように文書分析装置100は、特徴表現取得部10と、文書集合取得部20と、文脈判定部40と、文脈比較判定部50と、特徴度設定部60とを備えている。
【００２０】
特徴表現取得部10は、分析対象文書を含む文書集合（以下「分析対象文書集合」）において、予め指定された着目期間中に出現している特徴表現を取得する。また、文書集合取得部20は、分析対象文書集合を含む文書集合、即ち、分析の母集団となる文書集合（以下「分析母集団」）の中から、特徴表現含有文書の集合（以下「特徴表現含有文書集合」）を取得する。特徴表現含有文書は、着目期間中に発行、生成又は更新された文書であって、特徴表現取得部10によって取得された特徴表現が出現している文書である。
【００２１】
文脈判定部40は、特徴表現毎に、その特徴表現が出現している特徴表現含有文書のうち、分析対象文書に該当する文書を、「分析・特徴表現含有文書」として特定する。更に、文脈判定部40は、特徴表現毎に、分析・特徴表現含有文書において特徴表現が出現している文脈のうち、2以上の分析・特徴表現含有文書において共通している文脈を、特徴表現の文脈として特定する。
【００２２】
文脈比較判定部50は、特徴表現毎に、その特徴表現が出現している特徴表現含有文書のうち、分析対象文書に該当しない文書を、「非分析・特徴表現含有文書」として特定する。更に、文脈比較判定部50は、特徴表現毎に、非分析・特徴表現含有文書において特徴表現が出現している文脈と、文脈判定部40が特定した文脈とを比較する。
【００２３】
特徴度設定部60は、文脈比較判定部50による比較の結果に基づいて、特徴表現取得部10によって取得された特徴表現に特徴度を付与する、又は特徴表現取得部10によって取得された特徴表現に予め付与されている特徴度を補正する。
【００２４】
このように、本実施の形態における文書分析装置100では、分析対象文書集合に含まれる特徴表現含有文書において特徴表現が出現している文脈と、分析対象文書に該当しない特徴表現含有文書において特徴表現が出現している文脈との比較が行われる。そして、比較の結果、両者が同一又は類似である場合は、特徴表現は幅広く出現していると予想される。このため、文書分析装置100によれば、分析対象文書集合に限定して記述されていない特徴表現を特定できるので、結果、特徴表現の抽出精度を向上することができる。
【００２５】
ここで、図1に加えて図2〜図6を用いて文書分析装置100の構成を更に具体的に説明する。図1に示すように、本実施の形態では、文書分析装置100は、時系列文書データベース30と、出力部70とを備えている。時系列文書データベース30は、上述した分析母集団となる文書集合を保管している。時系列文書データベース30については更に後述する。
【００２６】
特徴表現取得部10は、本実施の形態では、外部から文書分析装置100に対して入力された情報を受け付ける入力受付部として機能する。特徴表現取得部10は、例えば、ユーザからの入力機器による特徴表現の入力を受け付け、これによって特徴表現を取得する。また、入力される特徴表現は単数に限定されず、複数であっても良い。例えば、複数の場合、特徴表現はリスト形式で入力される。更に、特徴表現には、予め設定された特徴の度合いを示す数値（特徴度）が付与されていても良い、この場合は、特徴表現と特徴度との組データが入力される。
【００２７】
また、本実施の形態では、特徴表現取得部10は、ユーザが分析対象として選別した分析対象文書を入力として受け付けることもできる。この場合、分析対象文書は、文書データそのものであっても良いし、分析対象文書を規定する条件であっても良い。後者の具体例としては、時系列文書データベース30から分析対象文書を検索するための検索条件が挙げられる。
【００２８】
ここで、特徴表現について具体的に説明する。例えば、いま、ユーザが、「健康食品A」のマーケティングを目的として、「健康食品A」という記述を含むブログを、インターネット上のあるブログサービスにおいて公開されているブログから選別したいと考えているとする。この場合、「健康食品A」という記述を含むブログが分析対象文書となる。
【００２９】
そして、ユーザは、「健康食品A」に関して記述されている内容の傾向変化を調べるために、既存の時系列テキストマイニング技術を用いて、任意の月に作成等がなされた分析対象文書と、その月の前月に作成等がなされた分析対象文書とを比較する。そして、この比較の結果、任意の月に特徴的に出現する言語表現が抽出され、抽出された言語表現がその月の特徴表現となる。
【００３０】
図2は、分析対象文書から抽出される特徴表現の一例を説明する説明図である。図2に示す例では、着目期間は2009年11月に設定され、着目期間中に発信された分析対象文書（ブログ）と、着目期間の前月の2009年10月に発信された分析対象文書とが比較されている。そして、比較の結果、特徴表現として、「生薬」、「仕分け」、「北欧→新開発」の3つの特徴表現が得られている。また、図2の例では、特徴表現取得部10には、分析対象文書として「健康食品A」を含むブログが入力され、着目期間2009年11月における特徴表現として「生薬」、「仕分け」、「北欧→新開発」の3つが入力される。
【００３１】
また、特徴表現「北欧→新開発」は、「北欧で新開発された…」、又は「北欧にて新開発の…」のようなテキストにおける「北欧」と「新開発」の2単語が係り受け関係にあることを示している。図2に示した例では、「生薬」、「仕分け」のような単語の他に、「北欧→新開発」のような複数の単語とそれらの間の関係を特定する情報とを有する特徴表現も入力される。但し、本発明の実施の形態では、特徴表現は、単語、及び係り受け関係にある2単語に限定されず、任意の言語表現であっても良い。
【００３２】
文書集合取得部20は、本実施の形態では、時系列文書データベース30に保管されている文書集合（分析母集団）から、着目期間内に発行、作成、又は更新された文書であって、特徴表現取得部10が入力を受け付けた特徴表現を含む文書を、特徴表現毎に取得する。また、文書集合取得部20は、取得した結果、即ち、特徴表現含有文書を、文脈判定部40に受け渡す。
【００３３】
また、本実施の形態では、着目期間の判断に対して、発行（発信を含む）作成、及び更新のうち、いずれの時間情報を用いるかは、時系列文書データベース30に保管されている文書の性質、文書分析装置100を使用する際の目的及び状況等に応じて事前に設定されていても良い。
【００３４】
例えば、図2に示した例ように、時系列文書データベース30に、インターネット上のあるブログサービスにおいて公開されているブログが、分析母集団として保管されているとする。この場合、文書集合取得部20は、特徴表現「生薬」を含むブログ、特徴表現「仕分け」を含むブログ、及び特徴表現「北欧→新開発」が合致するテキストを含むブログを、各特徴表現の特徴表現含有文書として取得する。
【００３５】
なお、本実施の形態では、文書集合取得部20も、特徴表現取得部10と同様に、外部から入力された情報を受け付ける入力受付部として機能しても良い。この場合、文集集合取得部20は、外部からの特徴表現含有文書の入力を受け付ける。また、この場合においては、文書分析装置100は、特徴表現取得部10及び文書集合取得部20として、外部からの情報の入力を受け付ける入力受付部を備えていても良い。
【００３６】
時系列文書データベース30は、本実施の形態では、特徴表現取得部10が分析対象として入力を受け付けた分析対象文書を含む、分析の母集団となる文書集合（分析母集団）を、外部からの指示に応じて検索可能な状態で保管している。なお、具体的に、どのような文書集合が分析母集団として保管されるかは、本実施の形態における文書分析装置100を使用する際の用途及び目的に応じて予め設定されているものとする。
【００３７】
また、本実施の形態では、文書データベース30にて保管されている文書の全部または一部には、ブログの発信日付のような文書の発信時間、作成時間、又は更新時間を表す時間情報が付与されている。文書データベース30は、外部からの時間情報の指定に応じて、指定された時間範囲に該当する文書だけを検索する機能を備えているのが好ましい。例えば、特定のブログサービスにおけるブログデータが分析母集団として保管されている場合に、「2009年11月」が指定されたとすると、文書データベース30は、保管されているブログデータの中から、2009年11月に発信されたブログだけを検索索する。
【００３８】
また、本実施の形態では、文書分析装置100は、時系列データベース30の代わりに、インターネット上に公開されている一般の文書検索サービス等といった、文書検索のためのインターフェースを利用することもできる。この場合、文書データベース30に代わる外部のデータベースに、実際の文書データが保管されていることになる。
【００３９】
文脈判定部40は、上述したように、特徴表現取得部10に入力された各特徴表現に対して、その特徴表現が着目期間の分析対象文書に出現する際の「文脈」を判定する。ここで、本実施の形態において、文脈の判定が必要となる理由について以下に説明し、更に、文脈判定部40の詳細についても説明する。
【００４０】
「発明が解決しようとする課題」の欄で述べたように、特徴表現の抽出は、テキストマイニング技術により、分析対象文書のうちの過去のある期間の文書集合と着目期間の文書集合とを比較し、着目期間に特徴的に出現する言語表現を抽出することにより行われる。よって、抽出された特徴表現の中には、分析対象文書に限定されない広い分野で、例えば、分野によらない文書集合の分析母集団全体で着目期間中に話題となった事柄を示す、特徴表現が含まれる場合がある。
【００４１】
そして、「発明が解決しようとする課題」の欄で述べたように、着目期間に設定された2009年11月（図2参照）に、たまたま、これまでに前例のない政治的イベントである「予算の仕分け」が大々的に話題になったものとする。その結果、様々な分野の文書で「仕分け」という表現が記述されることになる。つまり「仕分け」は、分野の影響を受けない、1つの政治的イベント又はそこから発した派生的イベントを示しており、特定の分野に限った現象ではない。しかし、それにも関わらず、特定の分析対象文書に限って特徴表現の抽出（時系列分析）を行った場合であっても、「仕分け」は、2009年11月における特徴表現として抽出される。
【００４２】
従って、ユーザが、分析対象としたい「健康食品A」における動向を知る目的で着目期間における分析対象文書の特徴表現を抽出する場合、分析対象文書に限定されず様々な分野の文書に出現する「仕分け」は、目的の達成を阻害する特徴表現である。従って、「仕分け」のような特徴表現は、ユーザにおいて除去したい、又は特徴度を低く設定しておきたい特徴表現に相当する。
【００４３】
本実施の形態では、このような望ましくない特徴表現と、望ましい特徴表現とを区別するために、文脈の判定が行われる。また、各特徴表現の出現状態は、その特徴表現を含有する特徴表現含有文書の分布と、特徴表現含有文書中で特徴表現が使われている「文脈」とに応じて、図3、4、5の3つの場合に場合分けできる。よって、文脈の判定は、この3つの場合を想定して行われる。以下、各場合について図を用いて説明する。
【００４４】
図3は、分析対象文書及び非分析対象文書における特徴表現の第1の出現状態を示す図である。図3では、特徴表現含有文書の全部又は殆どが、分析対象文書に含まれ、分析対象文書以外の文書（非分析対象文書）には出現していない、出現状態が示されている。図3中の「X」は、1つ1つが、特徴表現含有文書を示している。
【００４５】
図3に示すように、本例では、殆どの「X」が、分析対象文書に含まれている。このとき、特徴表現は、着目期間と過去の期間とを比較する場合だけでなく、着目期間における非分析対象文書と分析対象文書とを比較した場合でも、分析対象文書中に特徴的に出現する。従って、図3に示す例の場合では、特徴表現の特徴度を低く算出したり、補正したりする必要はない。
【００４６】
なお、仮に補正するのであれば、特徴表現含有文書であって分析対象文書でない文書（非分析・特徴表現含有文書と称す）の数と、特徴表現含有文書であって分析対象文書に含まれる文書（分析・特徴表現含有文書と称す）の数との比較に基づき、後者に対する前者の値が大きくなる程、対応する特徴表現の特徴度を低くする補正を行えば良い。図3の例では、前者の値は僅かとなるため、特徴度が大幅に低く補正されることはないと考えられる。更に、非分析・特徴表現含有文書の数の代わりに、非分析・特徴表現含有文書内での特徴表現の出現回数を用い、分析・特徴表現含有文書の数の代わりに、分析・特徴表現含有文書内での特徴表現の出現回数を用いても良い。
【００４７】
一方、図4は、分析対象文書及び非分析対象文書における特徴表現の第2の出現状態を示す図である。図4では、特徴表現が、分析対象文書だけでなく、幅広い分野の文書において出現し、しかも、分析対象文書において特徴表現が出現している文脈と、非分析対象文書において特徴表現が出現している文脈とが、同一又は類似となっている、出現状態が示されている。上述の図2で示した特徴表現「仕分け」の出現状態は、図4の例に相当する。つまり、「仕分け」は、着目期間における様々な分野の文書において、同一又は類似の文脈、即ち、予算の仕分けという話題性の高いイベントに関する文脈に出現している。
【００４８】
よって、「仕分け」のような特徴表現の特徴度については次のように補正するのが好ましい。先ず、同一又は類似の文脈で特徴表現が出現している非分析・特徴表現含有文書の数と、同一又は類似の文脈で特徴表現が出現している分析・特徴表現含有文書の数とが比較される。このとき、非分析・特徴表現含有文書の数の代わりに、非分析・特徴表現含有文書内での特徴表現の出現回数が用いられ、分析・特徴表現含有文書の数の代わりに、分析・特徴表現含有文書内での特徴表現の出現回数が用いられても良い。そして、比較の結果に基づき、後者に対する前者の値が大きくなる程、対応する特徴表現の特徴度が低くなるように補正が行われる。
【００４９】
更に、図4の例では、図4中の点線で囲まれたエリアのうち非分析対象文書のエリアが広くなり、そして、非分析対象文書のエリアに含まれる特徴表現含有文書の数が多くなる程、対応する特徴表現の特徴度が低くなるように、補正が行われても良い。
【００５０】
また、図5は、分析対象文書及び非分析対象文書における特徴表現の第3の出現状態を示す図である。図5では、特徴表現が、分析対象文書だけでなく、分析母集団に幅広く出現している、出現状態が示されている。図5に示す出現状態と図4に示す出現状態との違いは、分析対象文書において特徴表現が出現している文脈と、非分析対象文書において特徴表現が出現している文脈とが、異なっている点である。例えば、上述の図2で示した特徴表現「北欧→新開発」は、図5の例に相当する。
【００５１】
具体的には、特徴表現「北欧→新開発」が、分析対象文書においては、例えば「北欧で新開発された手法により、健康食品Aの生薬有効成分がアップ」、「今度販売される健康食品Aの新製品は、北欧で新開発された腎機能活性化のための成分が…」のような健康食品Aの改良手法が北欧で新開発された、という文脈に出現しているとする。
【００５２】
それに対して、非分析対象文書においては、特徴表現「北欧→新開発」は、例えば「北欧で新開発されたウィルスが蔓延」、「北欧での市場新開発を目指したCM戦略」のような別の事柄に関する文脈に出現しているとする。こうした異なる文脈で出現する特徴表現は、分析対象文書における特徴表現の特徴度とは無関係である。従って、このような特徴表現の特徴度を補正する必要は無いと考えられる。
【００５３】
以上のように、本発明の実施の形態では、特徴表現取得部10に入力された各特徴表現は、上述した図3、図4、及び図5に示された3つの場合のいずれかに場合分けされる。その後、各特徴表現に対して、場合に応じて、特徴度の設定（又は補正）が行われる。
【００５４】
文脈判定部40は、本実施の形態では、上記の場合分けのため、先ず、分析・特徴表現含有文書を特定した後に、各特徴表現について、分析・特徴表現含有文書の数と、分析母集団中の特徴表現含有文書の数との関係が、設定条件を満たすかどうかを判定する。具体的には、文脈判定部40は、各特徴表現について、先ず、その特徴表現含有文書全体に対する分析・特徴表現含有文書の数の割合を算出し、算出した値と事前に設定された閾値とを比較する。
【００５５】
そして、文脈判定部40は、算出値が閾値以上となる場合、即ち、特徴表現含有文書の多くが分析対象文書に含まれる場合は、対象となった特徴表現が、図3に示された状態で出現していると判定する。よって、この場合は、文脈判定部40は、対象となった特徴表現についての分析対象文書内での文脈の判定を行わず、結果を文脈比較判定部50に通知する。また、この場合、文脈比較判定部50も処理を行わない。これは、図3についての説明で述べたように、図3に示した出現状態の場合は、非分析対象文書に対象となった特徴表現がほとんど現れないため、それが分析対象文書内での文脈と同じ、あるいは類似しているかどうか判断する必要がないからである。この特徴表現に対する特徴度の補正も、特徴度設定部６０で行う必要はない。
【００５６】
一方、文脈判定部40は、算出値が、事前に設定された閾値よりも小さい場合は、その特徴表現の出現状態が図４の場合及び図５の場合のいずれであるかを判定するため、分析対象文書内においてその特徴表現が出現している文脈を特定する。
【００５７】
ここで、本実施の形態において「文脈」とは、特徴表現が文書内で出現する箇所のテキストの話題、そのテキスト中で述べられている事件、イベント、及び意見等を意味する。よって、出現している文脈が異なれば、同じ特徴表現であっても、別の内容を指していると判断される。また、文脈は、それを直接示す言語表現、又は共起確率等の関連性を表す指標値の高い言語表現のリストによって表現される。更には、文脈は、各言語表現に重みを付与して得られた重み付きベクトルで表現されていても良い。
【００５８】
また、本実施の形態では、後述するように、文脈判定部40は、各特徴表現について、分析・特徴表現含有文書での文脈を文書毎に求め、更に、求めた文脈のうち、複数の分析・特徴表現含有文書に共通して出現する文脈を求める。そして、文脈判定部40は、求められた共通して出現する文脈と特徴表現とのペアデータを、文脈比較判定部50に渡す。なお、文脈比較判定部50に渡されるペアデータの例が、後述する図6に示されている。
【００５９】
よって、本実施の形態では、文脈判定部40は、文書毎の文脈の特定と、特徴表現が共通して出現する文脈の特定とを実行するため、図1に示すように、関連テキスト特定部410と、言語表現抽出部420と、文脈特定部430とを備えている。但し、文脈判定部40の構成は、図1に示す構成に限定されるものではない。文脈判定部40は、例えば、複数の分析・特徴表現含有文書を対象に、一般のテキストマイニングを実行して、特徴表現が共通して出現する文脈を特定するものであっても良い。以下、関連テキスト特定部410と、言語表現抽出部420と、文脈特定部430とについて説明する。
【００６０】
関連テキスト選別部410は、分析・特徴表現含有文書中のテキストから、その文書における特徴表現の文脈を抽出するため、特徴表現に関連するテキスト部分を選別する。関連するテキスト部分としては、特徴表現が出現するテキストに近接しているテキスト（近接テキスト）が挙げられる。また、近接テキストの特定は、本実施の形態では、事前に近接テキストとする条件、例えば、特徴表現出現箇所からの距離（特徴表現出現箇所からの文字数又は単語数等）を定め、定められた条件に基づいて行うことができる。その他、近接テキストとする条件は、文、段落などの文書構造による区切りを用いて定めることもできる。
【００６１】
更に、関連テキスト選別部410は、特徴表現自身ではなく、特徴表現を指している代名詞（ゼロ代名詞を含む）を照応解析技術により求め、その代名詞の出現箇所の近接テキストを、関連テキスト部分に含めても良い。また、関連テキスト選別部410は、特徴表現含有文書をトピック分割技術により分割し、特徴表現又はそれを指している代名詞を含むトピックのテキストを、関連するテキスト部分として選別することもできる。
【００６２】
関連テキスト特定部410は、いずれの処理を採用する場合であっても、出現状態が図3に示した状態である特徴表現を除き、全ての特徴表現それぞれについて、分析・特徴表現含有文書から関連テキスト部分を選別し、選別した関連テキスト部分を言語表現抽出部420に渡す。
【００６３】
言語表現抽出部420は、関連テキスト特定部410の結果を受け取り、各分析・特徴表現含有文書中の関連テキスト部分から、特徴表現の文脈を表す言語表現（又は言語表現の組）を抽出する。ここでの「文脈」は、文脈判定部40についての先の説明で述べた場合と同様であるが、特徴表現に対応する関連テキスト部分における話題、関連テキスト中で述べられている事件、イベント、及び意見等を意味する。
【００６４】
よって、具体的には、言語表現抽出部420は、次の（a）〜（d）に示す手法を用いることによって、「文脈」を抽出することできる。
（a）トピック判定技術を用いて、関連テキスト部分の話題語（話題言語表現）を抽出する手法。
（b）文書要約技術、及び固有表現抽出技術を用いて、関連テキスト中の重要語（重要言語表現）又は5W1H情報を抽出する手法
（c）意見文抽出技術を用いて、関連テキスト中の意見表現を抽出する手法
（d）関連テキスト中の単語をワードベクトル化する手法
上記手法のいずれを使用するか、又は組み合わせるかは、本発明の実施の形態における文書分析装置100を使用する際の用途及び目的、分析対象とする文書集合の性質に応じて事前に定められる。
【００６５】
文脈特定部430は、特徴表現毎に、言語表現抽出部420が各分析・特徴表現含有文書から抽出した文脈を表す言語表現が、2以上の分析・特徴表現含有文書で共通して出現しているかどうかを判定する。そして、文脈特定部430は、判定の結果、共通して出現していると判定された言語表現を、その特徴表現の分析・特徴表現含有文書内における共通の文脈として文脈比較判定部50に出力する。
【００６６】
また、本実施の形態では、「共通して出現している言語表現」は、必ずしも、全ての分析・特徴表現含有文書に共通する言語表現でなくても良い。例えば、「共通して出現している言語表現」は、事前に設定された閾値以上の分析・特徴表現含有文書に共通して出現している言語表現であっても良い。
【００６７】
更に、文脈特定部430は、特徴表現毎に、共通して出現していると判定された言語表現のうち、出現している分析・特徴表現含有文書の数が多い言語表現を上位から一定数選び、それらをその特徴表現に共通する文脈として、文脈比較判定部50に出力することもできる。
【００６８】
また、本実施の形態では、文脈特定部430は、図6に示すように、「共通して出現している言語表現」、即ち、文脈を、特徴表現毎にまとめて、文脈比較判定部50に渡すことができる。図6は、特徴表現が出現している文脈の例を示す図である。
【００６９】
文脈比較判定部50は、本実施の形態では、文脈判定部40が図3に示された状態で出現していると判定した特徴表現を除き、各特徴表現について、非分析・特徴表現含有文書で特徴表現が出現している文脈が、文脈判定部40によって特定された分析・特徴表現含有文書内での文脈と、同一又は類似の関係にあるかどうか判定する。
【００７０】
具体的には、文脈比較判定部50は、先ず、上記の判定に先だって、非分析・特徴表現含有文書を対象として、特徴表現が出現している文脈を特定する。このとき、文脈の特定は、文脈判定部40によって用いられた、文書毎の文脈を抽出する手法と同じ手法によって行うことが可能である。続いて、文脈判定部50は、文脈が同一又は類似の関係にあるかどうかを、各文脈を示す言語表現の組をワードベクトルとして捉え、ワードベクトルが一致するかどうか、又はワードベクトル間の距離が、事前に設定された閾値以下であるかどうかによって判定する。
【００７１】
図2に示した3つの特徴表現を例に挙げて説明すると、先ず、特徴表現「生薬」は、文脈判定部40によって、その出現状態が図3に示された状態であると判定され、文脈比較の対象から除外される。次に、文脈判定部50は、特徴表現「仕分け」と、特徴表現「北欧→新開発」とを対象として、それぞれ非分析・特徴表現含有文書における文脈と、文脈判定部４０の結果得られた文脈との比較を行い、結果として文脈判定部４０で得られた文脈と同一又は類似の文脈で、特徴表現が出現している非分析・特徴表現含有文書の数を求める。
【００７２】
図４と図５の例では、点線の楕円内であって、かつ、分析対象文書を示す実線の円以外のエリアに含まれる文書を求めることとなる。この求めた、文脈判定部４０で得られた文脈と同一又は類似の文脈で、特徴表現が出現している非分析・特徴表現含有文書の数(あるいは、特徴表現含有文書の数に対する割合)が、事前に設定された閾値より大きければ図４、小さければ図５の場合と判定される。
【００７３】
ただし、後述する特徴度設定部６０にて図４と図５の場合で共通の特徴度を補正・算出する計算式を用いる場合、必ずしも各特徴表現が図４と図５のどちらの場合であるか判定する必要はない。
【００７４】
図２に示した特徴表現の例では、特徴表現「仕分け」が分析対象文書内と同一又は類似の文脈で非分析対象文書にも多数出現するため、図４に示された状態であると判定できる。一方、特徴表現「北欧→新開発」では、非分析対象文書に出現する特徴表現のほとんどが、分析対象文書における文脈とは異なる文脈で出現しているため、図5に示された状態であると判定できる。
【００７５】
特徴度設定部60は、本実施の形態では、特徴表現毎に、文脈比較判定部50で算出した、非分析・特徴表現含有文書であって、分析対象文書内での文脈と同一又は類似の関係にあると判定した文書の数に基づき、その特徴表現への特徴度の付与、又は既存の特徴度の補正を行う。
【００７６】
具体的には、特徴度設定部60は、特徴表現取得部10に特徴表現と特徴度との組データが入力されている場合は、上記の分析・特徴表現含有文書の数に基づいて、入力された特徴度の補正を行う。一方、特徴度設定部60は、特徴表現取得部10に特徴表現のみが入力されている場合は、先ず、一般のテキストマイニング技術を用いて、特徴表現毎に、分析対象文書における特徴度を算出する。次に、特徴度設定部60は、上記の非分析・特徴表現含有文書であって、分析対象文書内での文脈と同一又は類似の関係にあると判定した文書の数に基づいて、算出した特徴度を補正し、この補正後の特徴度を特徴表現に付与する。
【００７７】
特徴度の補正は、例えば、分析・特徴表現含有文書の数と比べて、特徴表現が出現している文脈が分析・特徴表現含有文書内でのそれと同一又は類似の関係にある、非分析・特徴表現含有文書の数が多い程、特徴度が低くなるように行われる。なお、この補正において、非分析・特徴表現含有文書の数と特徴度との関係は、関数によって規定することができる。また、関数は、上記の補正の方針が満たされる範囲で、本実施の形態における文書分析装置100の用途、目的、分析対象として想定される文書集合の性質等に応じて、事前に設定されれば良い。
【００７８】
図2に示した3つの特徴表現のうち、特徴表現「生薬」は、図3に示した状態で出現するため、「生薬」についての特徴度は補正されない。一方、特徴表現「仕分け」は、図4に示した状態で出現する。このため、図4中の分析・特徴表現含有文書の数に比べて、特徴表現が出現している文脈が分析・特徴表現含有文書内でのそれと同一又は類似の関係にある、非分析・特徴表現含有文書の数が多いため、特徴表現「仕分け」の特徴度は低く補正される。なお、図4において、分析・特徴表現含有文書の数は、実線で円形状に囲まれた領域に位置するXの数で表され、非分析・特徴表現含有文書の数は、点線で楕円形状囲まれた領域のうちの、実線で囲まれた領域とは重ならない領域でのXの数で表される。
【００７９】
また、特徴表現「北欧→新開発」は、図5に示した状態で出現する。従って、特徴表現「北欧→新開発」については、特徴表現が出現している文脈が分析・特徴表現含有書内でのそれと同一又は類似の関係にある、非分析・特徴表現含有文書の数は、0（ゼロ）となる。このため、特徴表現「北欧→新開発」についての特徴度も、補正されない。
【００８０】
なお、上述した文脈判定部40と特徴度設定部60との処理においては、特徴表現含有文書の数の代わりに、それに対して、全ての文書内での特徴表現の出現回数を考慮した重み付けを行って得られた値が用いられても良い。例えば、単純な文書数を用いた場合は、特徴表現が1回しか出現しない文書も、特徴表現が多数回出現する文書も同じ「1つ」として計数される。しかし、この点が考慮され、特徴表現が1回しか出現しない文書よりも、特徴表現が多数回出現する文書の方が、その出現回数に応じて重く計数される手法が取り入れられていても良い。
【００８１】
また、出力部70は、本実施の形態では、特徴度設定部60によって求められた特徴表現毎の特徴度を、特徴表現と共に、外部に出力する。このとき、出力部70は、事前にユーザが特徴度について設定した閾値と、各特徴表現の特徴度とを比較し、閾値以下又は閾値未満の特徴表現を除き、残った特徴表現のみ、又は残った特徴表現とその特徴度との組を出力しても良い。また、出力部70の出力先としては、ディスプレイ装置、プリンター、ネットワークで接続された他の機器等が挙げられる。更に、出力先の選択は、文書分析装置100の使用状態に応じて適宜行われる。
【００８２】
次に、本発明の実施の形態における文書分析装置100の動作について図7を用いて説明する。図7は、本発明の実施の形態における文書分析装置の動作を示すフローチャートである。以下の説明においては、適宜図1〜図6を参酌する。また、本実施の形態では、文書分析装置100を動作させることによって、文書分析方法が実施される。従って、本実施の形態における文書分析方法の説明は、以下の文書分析装置100の動作説明に代える。
【００８３】
図7に示すように、最初に、特徴表現取得部10が、予め指定された着目期間中に出現している特徴表現との入力を受け付け、これらを取得する（ステップA1）。また、本実施の形態では、ステップA1において、特徴表現取得部10は、更に、ユーザが分析対象として選別した分析対象文書を時系列データベース30から取得するための検索条件の入力も受け付ける。
【００８４】
次に、文書集合取得部20が、時系列文書データベース30に保管されている分析母集団から、着目期間内に発行、作成、又は更新された文書であって、特徴表現取得部10が入力を受け付けた特徴表現を含む文書を、特徴表現毎に取得する（ステップA2）。また、ステップA2では、文書集合取得部20は、ステップA1で入力された検索条件に基づいて、分析対象文書を検索し、分析対象文書の取得も実行する。
【００８５】
次に、文脈判定部40は、ステップA1で入力された特徴表現のうち、未だ、ステップA4以降の処理が行われていない特徴表現を選択し、選択した特徴表現についての分析・特徴表現含有文書を特定する（ステップA3）。
【００８６】
次に、文脈判定部40は、ステップA3で選択された特徴表現について、分析・特徴表現含有文書の数と、分析母集団中の特徴表現含有文書の数との関係が、設定条件を満たすかどうかを判定する（ステップA4）。具体的には、文脈判定部40は、選択した特徴表現について、その特徴表現含有文書全体に対する分析・特徴表現含有文書の数の割合を算出し、算出した値が事前に設定された閾値以上である（設定条件を満たす）か、どうかを判定する。
【００８７】
ステップA4の判定の結果、設定条件が満たされている場合は、後述するステップA7以降が実行される。一方、ステップA4の判定の結果、設定条件が満たされていない場合は、文脈判定部40は、分析対象文書（分析・特徴表現含有文書）内においてその特徴表現が出現している文脈を特定する（ステップA5）。
【００８８】
次に、ステップA5の実行後、文脈比較判定部50は、ステップA3で選択された特徴表現が非分析・特徴表現含有文書で出現している文脈と、それが分析・特徴表現含有文書内で出現している文脈とが同一又は類似の関係にあるかどうかを判定する(ステップA6)。また、文脈比較判定部50は、ステップA6の実行後、判定結果を、特徴度設定部60に出力する。
【００８９】
次に、文脈判定部50は、ステップA1で入力された特徴表現のうち、未だステップA4以降の処理が行われていない特徴表現が残っているかどうかを判定する（ステップA7）。ステップA7の判定の結果、処理が行われていない特徴表現が残っている場合は、文脈判定部50は、文脈判定部40に対して、ステップA3を実行させる。一方、ステップA7の判定の結果、処理が行われていない特徴表現が残っていない場合は、文脈判定部50は、特徴度設定部60に対して、ステップA8を実行するように指示を行う。
【００９０】
ステップA8では、特徴度設定部60は、ステップA6での比較判定の結果に基づいて、ステップA1で取得された特徴表現に特徴度を付与する、又はステップA1で取得された特徴表現に予め付与されている特徴度を補正する。そして、ステップA8の実行後、特徴度設定部60によって求められた特徴表現毎の特徴度は、特徴表現と共に、出力部70に送られ、そこから外部へと出力される。
【００９１】
以上のように、本実施の形態によれば、分析対象文書に出現する特徴表現の中から、着目期間の分析対象文書に特有の特徴表現が特定され、この特徴表現は、着目期間中に出現しているが、分析対象文書に限定されないで出現している特徴表現と区別される。そして、各特徴表現の特徴度は、上記の特定結果に基づいて補正されるので、特徴表現の抽出精度の向上が図られる。
【００９２】
更に、本実施の形態におけるプログラムは、コンピュータに、図7に示すステップA1〜A8を実行させるプログラムであれば良い。このプログラムをコンピュータにインストールし、実行することによって、本実施の形態における文書分析装置100と文書分析方法とを実現することができる。この場合、コンピュータのCPU（Central Processing Unit）は、特徴表現取得部10、文書集合取得部20、文脈判定部40、文脈比較判定部50、特徴度設定部60及び出力部70として機能し、処理を行なう。
【００９３】
また、本実施の形態では、時系列文書データベース30は、コンピュータに備えられたハードディスク等の記憶装置に、これらを構成するデータファイルを格納することによって実現できる。更に、この記憶装置は、インターネット等のネットワークを介して接続された別のコンピュータに備えられていても良い。
【００９４】
ここで、本実施の形態におけるプログラムを実行することによって、文書分析装置100を実現するコンピュータについて図8を用いて説明する。図8は、本発明の実施の形態における文書分析装置を実現するコンピュータの一例を示すブロック図である。
【００９５】
図8に示すように、コンピュータ200は、CPU101と、メインメモリ102と、記憶装置103と、入力インターフェイス104と、表示コントローラ105と、データリーダ／ライタ106と、通信インターフェイス107とを備える。これらの各部は、バス121を介して、互いにデータ通信可能に接続される。
【００９６】
CPU101は、記憶装置103に格納された、本実施の形態におけるプログラム（コード）をメインメモリ102に展開し、これらを所定順序で実行することにより、各種の演算を実施する。メインメモリ102は、典型的には、DRAM（Dynamic Random Access Memory）等の揮発性の記憶装置である。また、本実施の形態におけるプログラムは、記録媒体110に格納された状態で、又は通信インターフェイス107を介して接続されたインターネット上で流通する。また、記憶装置103の具体例としては、ハードディスクの他、フラッシュメモリ等の半導体記憶装置が挙げられる。
【００９７】
また、入力インターフェイス104は、CPU101と、キーボード及びマウスといった入力機器108との間のデータ伝送を仲介する。表示コントローラ105は、ディスプレイ装置109と接続され、ディスプレイ装置109での表示を制御する。データリーダ／ライタ106は、CPU101と記録媒体110との間のデータ伝送を仲介し、記録媒体110からのプログラムの読み出し、及びコンピュータ200における処理結果の記録媒体110への書き込みを実行する。通信インターフェイス107は、CPU101と、他のコンピュータとの間のデータ伝送を仲介する。
【００９８】
記録媒体110の具体例としては、CF（Compact Flash）及びSD（Secure Digital）等の汎用的な半導体記憶デバイス、フレキシブルディスク（Flexible Disk）等の磁気記憶媒体、又はCD-ROM（Compact Disk Read Only Memory）などの光学記憶媒体が挙げられる。
【００９９】
以上、実施の形態を参照して本願発明を説明したが、本願発明は上記実施の形態及び実施例に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
【０１００】
この出願は、２０１０年２月１２日に出願された日本出願特願２０１０−０２９３９２を基礎とする優先権を主張し、その開示の全てをここに取り込む。
【産業上の利用可能性】
【０１０１】
本発明は、ブログ等のインターネット上のテキストを用いた、着目する対象の市場分析に応用できる。また、コールセンターの通話記録など、日々蓄積されるテキストデータから、着目する特定対象に関する通話記録の傾向分析にも応用可能である。例えば、幅広い領域の通信販売に関する電話を一括して受けているコールセンターにおいて、分析対象として着目する製品に関する通話のみに関する今月の傾向を、そのコールセンターに寄せられた通話全体の今月の傾向とは切り離して分析することが可能となる。
【符号の説明】
【０１０２】
10  特徴表現取得部
20  文書集合取得部
30  時系列文書データベース
40  文脈判定部
50  文脈比較判定部
60  特徴表現設定部
70  出力部
410  関連テキスト特定部
420  言語表現抽出部
430  文脈特定部
【図１】
2011099355.tif 000003
【図２】
2011099355.tif 000004
【図３】
2011099355.tif 000005
【図４】
2011099355.tif 000006
【図５】
2011099355.tif 000007
【図６】
2011099355.tif 000008
【図７】
2011099355.tif 000009
【図８】
2011099355.tif 000010
【手続補正書】
【提出日】平成24年8月2日(2012.8.2)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
分析の対象となる分析対象文書を第1の文書集合として受け付け、さらに、前記第1の文書集合における、予め指定された着目期間中に出現している特徴表現を入力として受け付け、前記特徴表現毎に、前記第1の文書集合を含む文書集合の中から、前記着目期間中に発行、生成又は更新され、且つ、取得された前記特徴表現が出現している文書の集合を、第2の文書集合として取得する、文書集合取得部と、
前記特徴表現毎に、当該特徴表現が出現している前記第2の文書集合の文書のうち、前記分析対象文書に該当する文書を、第1の特徴表現含有文書として特定し、更に、前記第1の特徴表現含有文書において当該特徴表現が出現している文脈のうち、2以上の前記第1の特徴表現含有文書において共通している文脈を、当該特徴表現の文脈として特定する、文脈判定部と、
前記特徴表現毎に、当該特徴表現が出現している前記第2の文書集合の文書のうち、前記分析対象文書に該当しない文書を、第2の特徴表現含有文書として特定し、更に、前記第2の特徴表現含有文書において当該特徴表現が出現している文脈と、前記文脈判定部が特定した文脈とを比較する、文脈比較判定部と、
前記文脈比較判定部による比較の結果に基づいて、前記特徴表現に特徴度を付与する、又は前記特徴表現に予め特徴度が付与されている場合は、該特徴度を補正する、特徴度設定部と、
を備えていることを特徴とする、文書分析装置。
【請求項２】
前記文脈判定部が、前記第1の特徴表現含有文書を特定した後に、前記特徴表現毎に、前記第1の特徴表現含有文書の数と、前記第2の文書集合中の当該特徴表現が出現している文書の数との関係が、設定条件を満たすかどうかを判定し、前記設定条件を満たさない場合に、前記文脈の特定を行い、
前記文脈比較判定部が、前記文脈が特定された前記特徴表現それぞれについて、前記第2の特徴表現含有文書において当該特徴表現が出現している文脈と、前記文脈判定部が特定した文脈との比較を行う、請求項１に記載の文書分析装置。
【請求項３】
前記文脈判定部が、前記特徴表現毎に、前記第1の特徴表現含有文書それぞれについて、当該特徴表現に関連するテキスト部分を選別し、選別した前記テキスト部分それぞれから、当該特徴表現の文脈を表現する言語表現を抽出し、
更に、前記第1の特徴表現含有文書から抽出した前記言語表現それぞれが、2以上の前記第1の特徴表現含有文書で共通して出現しているかどうかを判定し、
そして、2以上の前記第1の特徴表現含有文書で共通して出現していると判定された前記言語表現を、当該特徴表現の文脈として特定する、請求項２に記載の文書分析装置。
【請求項４】
（a）分析の対象となる分析対象文書を第1の文書集合として受け付け、さらに前記第1の文書集合における、予め指定された着目期間中に出現している特徴表現を入力として受け付ける、ステップと、
（b）前記特徴表現毎に、前記第1の文書集合を含む文書集合の中から、前記着目期間中に発行、生成又は更新され、且つ、取得された前記特徴表現が出現している文書の集合を、第2の文書集合として取得する、ステップと、
（c）前記特徴表現毎に、当該特徴表現が出現している前記第2の文書集合の文書のうち、前記分析対象文書に該当する文書を、第1の特徴表現含有文書として特定し、更に、前記第1の特徴表現含有文書において当該特徴表現が出現している文脈のうち、2以上の前記第1の特徴表現含有文書において共通している文脈を、当該特徴表現の文脈として特定する、ステップと、
（d）前記特徴表現毎に、当該特徴表現が出現している前記第2の文書集合の文書のうち、前記分析対象文書に該当しない文書を、第2の特徴表現含有文書として特定し、更に、前記第2の特徴表現含有文書において当該特徴表現が出現している文脈と、前記（c）のステップで特定した文脈とを比較する、ステップと、
（e）前記（d）のステップによる比較の結果に基づいて、前記（a）のステップによって取得された前記特徴表現に特徴度を付与する、又は前記（a）のステップにおいて前記特徴表現に予め特徴度が付与されている場合は、該特徴度を補正する、ステップと、を有していることを特徴とする、文書分析方法。
【請求項５】
前記（c）のステップにおいて、前記第1の特徴表現含有文書を特定した後に、前記特徴表現毎に、前記第1の特徴表現含有文書の数と、前記第2の文書集合中の当該特徴表現が出現している文書の数との関係が、設定条件を満たすかどうかを判定し、前記設定条件を満たさない場合に、前記文脈の特定を行い、
前記（d）のステップにおいて、前記文脈が特定された前記特徴表現それぞれについて、前記第2の特徴表現含有文書において当該特徴表現が出現している文脈と、前記（c）のステップで特定した文脈との比較を行う、請求項４に記載の文書分析方法。
【請求項６】
前記（d）のステップにおいて、
前記特徴表現毎に、前記第1の特徴表現含有文書それぞれについて、
当該特徴表現に関連するテキスト部分を選別し、
選別した前記テキスト部分それぞれから、当該特徴表現の文脈を表現する言語表現を抽出し、
更に、前記第1の特徴表現含有文書から抽出した前記言語表現それぞれが、2以上の前記第1の特徴表現含有文書で共通して出現しているかどうかを判定し、
そして、2以上の前記第1の特徴表現含有文書で共通して出現していると判定された前記言語表現を、当該特徴表現の文脈として特定する、請求項５に記載の文書分析方法。
【請求項７】
コンピュータに、
（a）分析の対象となる分析対象文書を第1の文書集合として受け付け、さらに前記第1の文書集合における、予め指定された着目期間中に出現している特徴表現を入力として受け付ける、ステップと、
（b）前記特徴表現毎に、前記第1の文書集合を含む文書集合の中から、前記着目期間中に発行、生成又は更新され、且つ、取得された前記特徴表現が出現している文書の集合を、第2の文書集合として取得する、ステップと、
（c）前記特徴表現毎に、当該特徴表現が出現している前記第2の文書集合の文書のうち、前記分析対象文書に該当する文書を、第1の特徴表現含有文書として特定し、更に、前記第1の特徴表現含有文書において当該特徴表現が出現している文脈のうち、2以上の前記第1の特徴表現含有文書において共通している文脈を、当該特徴表現の文脈として特定する、ステップと、
（d）前記特徴表現毎に、当該特徴表現が出現している前記第2の文書集合の文書のうち、前記分析対象文書に該当しない文書を、第2の特徴表現含有文書として特定し、更に、前記第2の特徴表現含有文書において当該特徴表現が出現している文脈と、前記（c）のステップで特定した文脈とを比較する、ステップと、
（e）前記（d）のステップによる比較の結果に基づいて、前記（a）のステップによって取得された前記特徴表現に特徴度を付与する、又は前記（a）のステップによって取得された前記特徴表現に予め付与されている特徴度を補正する、ステップと、
を実行させる、プログラム。
【請求項８】
前記（c）のステップにおいて、前記第1の特徴表現含有文書を特定した後に、前記特徴表現毎に、前記第1の特徴表現含有文書の数と、前記第2の文書集合中の当該特徴表現が出現している文書の数との関係が、設定条件を満たすかどうかを判定し、前記設定条件を満たさない場合に、前記文脈の特定を行い、
前記（d）のステップにおいて、前記文脈が特定された前記特徴表現それぞれについて、前記第2の特徴表現含有文書において当該特徴表現が出現している文脈と、前記（c）のステップで特定した文脈との比較を行う、請求項７に記載のプログラム。
【請求項９】
前記（d）のステップにおいて、
前記特徴表現毎に、前記第1の特徴表現含有文書それぞれについて、
当該特徴表現に関連するテキスト部分を選別し、
選別した前記テキスト部分それぞれから、当該特徴表現の文脈を表現する言語表現を抽出し、
更に、前記第1の特徴表現含有文書から抽出した前記言語表現それぞれが、2以上の前記第1の特徴表現含有文書で共通して出現しているかどうかを判定し、
そして、2以上の前記第1の特徴表現含有文書で共通して出現していると判定された前記言語表現を、当該特徴表現の文脈として特定する、請求項８に記載のプログラム。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００１
【補正方法】変更
【補正の内容】
【０００１】
本発明は、文書分析装置、文書分析方法、及びプログラムに関し、特には、分析対象とする文書集合から特徴表現を抽出するための技術に関する。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００１３
【補正方法】変更
【補正の内容】
【００１３】
上記目的を達成するため、本発明における文書分析装置は、
分析の対象となる分析対象文書を第1の文書集合として受け付け、さらに、前記第1の文書集合における、予め指定された着目期間中に出現している特徴表現を入力として受け付け、前記特徴表現毎に、前記第1の文書集合を含む文書集合の中から、前記着目期間中に発行、生成又は更新され、且つ、取得された前記特徴表現が出現している文書の集合を、第2の文書集合として取得する、文書集合取得部と、
前記特徴表現毎に、当該特徴表現が出現している前記第2の文書集合の文書のうち、前記分析対象文書に該当する文書を、第1の特徴表現含有文書として特定し、更に、前記第1の特徴表現含有文書において当該特徴表現が出現している文脈のうち、2以上の前記第1の特徴表現含有文書において共通している文脈を、当該特徴表現の文脈として特定する、文脈判定部と、
前記特徴表現毎に、当該特徴表現が出現している前記第2の文書集合の文書のうち、前記分析対象文書に該当しない文書を、第2の特徴表現含有文書として特定し、更に、前記第2の特徴表現含有文書において当該特徴表現が出現している文脈と、前記文脈判定部が特定した文脈とを比較する、文脈比較判定部と、
前記文脈比較判定部による比較の結果に基づいて、前記特徴表現に特徴度を付与する、又は前記特徴表現に予め特徴度が付与されている場合は、該特徴度を補正する、特徴度設定部と、
を備えていることを特徴とする。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００１５
【補正方法】変更
【補正の内容】
【００１５】
更に、上記目的を達成するため、本発明におけるプログラムは、
コンピュータに、
（a）分析の対象となる分析対象文書を第1の文書集合として受け付け、さらに前記第1の文書集合における、予め指定された着目期間中に出現している特徴表現を入力として受け付ける、ステップと、
（b）前記特徴表現毎に、前記第1の文書集合を含む文書集合の中から、前記着目期間中に発行、生成又は更新され、且つ、取得された前記特徴表現が出現している文書の集合を、第2の文書集合として取得する、ステップと、
（c）前記特徴表現毎に、当該特徴表現が出現している前記第2の文書集合の文書のうち、前記分析対象文書に該当する文書を、第1の特徴表現含有文書として特定し、更に、前記第1の特徴表現含有文書において当該特徴表現が出現している文脈のうち、2以上の前記第1の特徴表現含有文書において共通している文脈を、当該特徴表現の文脈として特定する、ステップと、
（d）前記特徴表現毎に、当該特徴表現が出現している前記第2の文書集合の文書のうち、前記分析対象文書に該当しない文書を、第2の特徴表現含有文書として特定し、更に、前記第2の特徴表現含有文書において当該特徴表現が出現している文脈と、前記（c）のステップで特定した文脈とを比較する、ステップと、
（e）前記（d）のステップによる比較の結果に基づいて、前記（a）のステップによって取得された前記特徴表現に特徴度を付与する、又は前記（a）のステップによって取得された前記特徴表現に予め付与されている特徴度を補正する、ステップと、
を実行させる、ことを特徴とする。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００１６
【補正方法】変更
【補正の内容】
【００１６】
以上の特徴により、本発明における文書分析装置、文書分析方法、及びプログラムによれば、分析対象とする文書集合に限定して記述されていない特徴表現を特定して、特徴表現の抽出精度を向上することができる。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００３７
【補正方法】変更
【補正の内容】
【００３７】
また、本実施の形態では、文書データベース30にて保管されている文書の全部または一部には、ブログの発信日付のような文書の発信時間、作成時間、又は更新時間を表す時間情報が付与されている。文書データベース30は、外部からの時間情報の指定に応じて、指定された時間範囲に該当する文書だけを検索する機能を備えているのが好ましい。例えば、特定のブログサービスにおけるブログデータが分析母集団として保管されている場合に、「2009年11月」が指定されたとすると、文書データベース30は、保管されているブログデータの中から、2009年11月に発信されたブログだけを検索する。
【国際調査報告】
2011099355.tif 000011
2011099355.tif 000012