(57)【要約】【課題】比較的短い文書であっても従来より高い精度でセグメント化することができる、頑健な文書のセグメント化方法を提供する。【解決手段】文書のセグメント化方法は、集合１００内の各文１２０Ａ，Ｂ，Ｃごとに、各文１２０Ａ，Ｂ，Ｃと、複数の文書を含むコーパス１３０内の各文書との間の関連度１０８Ａ，Ｂ，Ｃを算出するステップと、集合１００内の隣接する二つの文１０２ＡおよびＢ，１０２ＢおよびＣごとに、それぞれについて算出された関連度１０８Ａ，Ｂ，Ｃに基づいて互いの結束度１１２ＡＢ，１１２ＢＣを算出するステップと、結束度１１２ＡＢ，１１２ＢＣが予め定められたしきい値以上である連続した範囲の文を一つのセグメントとして抽出するステップとを含む。【選択図】　　　　図１
2004145790.tif 000002
【特許請求の範囲】
【請求項１】
コンピュータを用いて、コンピュータ読取り可能な形式で準備された処理対象文の集合を複数のセグメントにセグメント化する、文書のセグメント化方法であって、
コンピュータに、前記集合内の各文ごとに、前記各文と、複数の文書を含むコーパス内の各文書との間の関連度を算出させるステップと、
コンピュータに、前記集合内の隣接する二つの文ごとに、それぞれについて算出された関連度に基づいて互いの結束度を算出させるステップと、
コンピュータに、前記結束度が予め定められたしきい値以上である連続した範囲の文を一つのセグメントとして抽出させるステップとを含む、文書のセグメント化方法。
【請求項２】
前記関連度は、前記集合内に含まれる各文と、前記コーパス内の前記各文書との間の類似度を要素とする関連度ベクトルで表され、
前記結束度は、前記二つの文ごとに互いの関連度のコサインメジャーとして算出される、請求項１に記載の文書のセグメント化方法。
【請求項３】
前記コーパス内の各文書に対し、当該コーパスに含まれる各文書の文書特徴ベクトルが、前記コーパスに含まれる索引語の各々の分布と、前記コーパスに含まれる文書の数とに基づいて予め算出されコンピュータ読取り可能な形式で準備されており、
前記関連度を算出させるステップは、
前記集合に含まれる索引語の各々の分布と、前記集合に含まれる文の数とに基づいて、コンピュータに、前記集合に含まれる各文の文特徴ベクトルを算出させるステップと、
コンピュータに、前記集合に含まれる各文ごとに、対応する前記文特徴ベクトルと前記文書特徴ベクトルの各々との間の類似度を算出させることにより、前記集合に含まれる各文と、前記コーパスに含まれる各文書との間の関連度を算出し、当該関連度を要素とする関連度ベクトルを作成させるステップとを含む、請求項１に記載の文書のセグメント化方法。
【請求項４】
前記コーパス内の各文書に対し、前記コーパスに含まれる索引語の各々の分布と、前記コーパスに含まれる文書の数とに基づいて予め文書特徴ベクトルを算出しコンピュータ読取り可能な形式で準備するステップをさらに含む、請求項３に記載のセグメント化方法。
【請求項５】
前記関連度ベクトルを作成させるステップは、
コンピュータに、前記集合に含まれる各文ごとに、当該文を含む予め定められた範囲の文の文特徴ベクトルに対して所定の重み付けをして互いに加算することにより補正するステップと、
補正された文特徴ベクトルと、前記文書特徴ベクトルの各々との間の類似度をコンピュータに算出させることにより、当該類似度を要素とする関連度ベクトルを作成させるステップとを含む、請求項３に記載の文書のセグメント化方法。
【請求項６】
前記類似度は、前記補正された文特徴ベクトルと、前記文書特徴ベクトルの各々との間のコサインメジャーにより定義される、請求項５に記載の文書のセグメント化方法。
【請求項７】
前記所定の重み付けは、文特徴ベクトルの補正の対象となる文を中心とするハニング窓関数に従う、請求項６に記載の文書のセグメント化方法。
【請求項８】
前記集合に含まれる各文の文特徴ベクトルを算出させるステップは、
出現頻度を調べる対象となる索引語からなる索引語リストを準備するステップと、
前記索引語リスト内の各索引語の、前記集合内における分布と、前記集合に含まれる文の数とに基づいて、コンピュータに、前記集合に含まれる各文の文特徴ベクトルを算出させる第２のステップとを含む、請求項３に記載の文書のセグメント化方法。
【請求項９】
前記索引語リストを準備するステップは、コンピュータに、前記集合に含まれる索引語を自動的に抽出して索引語リストを作成させるステップを含む、請求項８に記載の文書のセグメント化方法。
【請求項１０】
前記集合に含まれる各文の文特徴ベクトルを算出させる第２のステップは、
コンピュータに、前記集合内における各索引語の大域的出現頻度を求めさせるステップと、
コンピュータに、前記集合内における文書数を求めさせるステップと、
コンピュータに、前記集合内における各索引語の文書頻度を求めさせるステップと、
コンピュータに、前記集合内の各文書内における各索引語の局所的出現頻度を求めさせるステップと、
コンピュータに、前記大域的出現頻度と、前記文書数と、前記文書頻度と、前記局所的出現頻度とに基づいて、各索引語の残差ＩＤＦを前記集合内の文ごとおよび索引語ごとに算出させるステップと、
コンピュータに、前記集合内の文ごとに、各索引語に対応した残差ＩＤＦを要素とする文特徴ベクトルを作成させるステップとを含む、請求項８に記載の文書のセグメント化方法。
【請求項１１】
コンピュータにより実行されると、請求項１から請求項１０のいずれかに記載の全てのステップを行なうように適合されたコンピュータコード手段を含む、コンピュータプログラム。
【請求項１２】
コンピュータ読取可能な記録媒体上に記録された、請求項１１に記載のコンピュータプログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は電子的に処理可能な文書を、そのトピックによって自動的に分割する技術に関し、特に、文書内の各文と、基本となるコーパス内の文書との関連性に基づいて文書をトピックごとに自動的に分割するための方法、およびそのためのプログラムに関する。
【０００２】
【従来の技術】
コンピュータの発達に伴い、コンピュータを用いた自然言語処理の技術も非常な勢いで発展しつつある。例えば自動翻訳、自動要約、自然言語の検索文を用いた情報検索、テキストデータの意味分析などの技術が研究されている。こうした自然言語処理を行う場合、対象となる文章は、通常はトピックごとにセグメント化（段落分けまたは別文書化）されていることが想定されている。
【０００３】
一方、例えばオンライン音声認識処理という技術も利用段階にある。オンライン音声認識の出力は、通常はテキストデータであるが、段落分けされることなく一つながりの文章となっている。このオンライン音声認識の出力に対して、前述した自然言語処理を行うことができれば、その応用範囲はさらに広がり便利となることが予想される。そのためには、音声認識の結果を、そのトピックごとにセグメント化する技術が必要となる。また、単に段落などのセグメント化することだけで、テキスト全体が非常に読みやすくなり、それだけでも大変に有用である。
【０００４】
段落分けされていないテキストをトピックごとに段落分けする技術の応用範囲は広い。例えば講演内容や放送での発言内容を音声認識した結果を、さらに自動的にトピックによって段落分けすることができれば、講演や放送での発言の速記録を自動的に作成することができる。文章の要約を作成する場合にも、予め文章をトピックごとにセグメント化しておけば、各セグメントに対して精度の高い要約化ができ、全体として正確な要約が可能になると考えられる。
【０００５】
トピックの境界を検出し一連のテキストをセグメント化する従来の技術には、接続詞や文末表現など、話題の転換に関する手掛りとなる固有表現を用いる手法と、後掲の非特許文献１または２に記載のように文章内の単語分布の類似度を用いる技術とがある。これらのうち、第１の手法は話者の癖に依存する場合が多く、汎用性に欠ける。コンピュータを用いた汎用的な手法として、第２の手法が好ましいと考えられる。
【０００６】
非特許文献１に記載の手法は、仮定した境界の前後にそれぞれ一定の範囲を設け、境界の前後について単語分布の類似度を計算する。その類似度があるしきい値を下回ればその境界がトピックの境界であると判定する。この手法では、テキスト内での単語の出現分布からベクトル空間モデルを作成し、ベクトルのコサインメジャーを類似度としている。
【０００７】
非特許文献２に記載の手法は、非特許文献１と同様な手法であるが、さらに大規模な学習データから得た単語の共起知識を用いて単語分布を補正し、補正された単語分布に基づいて類似度を計算するものである。
【０００８】
【非特許文献１】
ハースト、Ｍ．Ａ．「解説文テキストの複数パラグラフセグメント化」、第３２回ＡＣＬ年次ミーティング予稿集、ｐｐ．９−１６，１９９４年（Ｈｅａｒｓｔ，　Ｍ．Ａ．　“Ｍｕｌｔｉ−ｐａｒａｇｒａｐｈ　Ｓｅｇｍｅｎｔａｔｉｏｎ　ｏｆ　Ｅｘｐｏｓｉｔｏｒｙ　Ｔｅｘｔ”，　Ｐｒｏｃｅｅｄｉｎｇｓ　ｏｆ　ｔｈｅ　３２ｎｄ　Ａｎｎｕａｌ　Ｍｅｅｔｉｎｇ　ｏｆ　ＡＣＬ，　ｐｐ．　９−１６　（１９９４））
【非特許文献２】
伊藤山彦ほか、「単語の共起知識を利用した講演文のテキストセグメンテーション」、情報処理学会第６１回全国大会講演論文集、ｐｐ．２−１５９〜１６０、２００１年
【発明が解決しようとする課題】
非特許文献１または２に記載のように単語の出現分布によるベクトル空間モデルを利用したセグメント化手法は、長いテキストを大きなセグメントに分ける場合に向いた手法である。ところが、対象となるテキストが、複数のトピックを含む比較的短いものである場合、対象領域内で観測したデータのスパースネスが、セグメント化の精度に顕著に影響するという問題がある。例えば、非特許文献１に記載のものでは、短い文書内に多くのセグメントがあると精度の低下が大きい。非特許文献２に記載のものは、多くのセグメントを含んだ短い文書に対しても非特許文献１に記載のものよりも正確にセグメント化できる。しかしこの手法では、セグメント化の際に用いられる単語の共起知識に、単語が共起する際のコンテクストが含まれない。その結果共起知識にノイズが混入し、精度の低下が引き起こされると考えられる。
【０００９】
こうした欠点を補うために、シソーラス辞書を利用したり、共起情報による単語のクラスタリングを併用したりする必要があり、処理が複雑になる。その上、対象文書または文書群の全体の大きさが小さければ、単語のクラスタリングを学習することは困難である。
【００１０】
小規模のコーパス中のテキストを扱うために、単語のクラスタリングを他のコーパスから学習する手法は存在するが、そのようなクラスタリングを利用すると、最終的に得られたセグメント化の根拠を把握することが困難であるという問題がある。
【００１１】
それゆえに本発明の目的は、比較的短い文書であっても従来より高い精度でセグメント化することができる、頑健な文書のセグメント化方法およびそのためのプログラムを提供することである。
【００１２】
本発明の他の目的は、比較的比較的短い文書であっても従来より高い精度でセグメント化することができ、セグメント化の根拠を把握しやすい頑健な文書のセグメント化方法およびそのためのプログラムを提供することである。
【００１３】
【課題を解決するための手段】
本発明のある局面による方法は、コンピュータを用いて、コンピュータ読取り可能な形式で準備された処理対象文の集合を複数のセグメントにセグメント化する、文書のセグメント化方法である。この方法は、コンピュータに、集合内の各文ごとに、各文と、複数の文書を含むコーパス内の各文書との間の関連度を算出させるステップと、コンピュータに、集合内の隣接する二つの文ごとに、それぞれについて算出された関連度に基づいて互いの結束度を算出させるステップと、コンピュータに、結束度が予め定められたしきい値以上である連続した範囲の文を一つのセグメントとして抽出させるステップとを含む。
【００１４】
好ましくは、関連度は、集合内に含まれる各文と、コーパス内の各文書との間の類似度を要素とする関連度ベクトルで表され、結束度は、二つの文ごとに互いの関連度のコサインメジャーとして算出される。
【００１５】
さらに好ましくは、コーパス内の各文書に対し、当該コーパスに含まれる各文書の文書特徴ベクトルが、コーパスに含まれる索引語の各々の分布と、コーパスに含まれる文書の数とに基づいて予め算出されコンピュータ読取り可能な形式で準備されており、関連度を算出させるステップは、集合に含まれる索引語の各々の分布と、集合に含まれる文の数とに基づいて、コンピュータに、集合に含まれる各文の文特徴ベクトルを算出させるステップと、コンピュータに、集合に含まれる各文ごとに、対応する文特徴ベクトルと文書特徴ベクトルの各々との間の類似度を算出させることにより、集合に含まれる各文と、コーパスに含まれる各文書との間の関連度を算出し、当該関連度を要素とする関連度ベクトルを作成させるステップとを含む。
【００１６】
この方法は、コーパス内の各文書に対し、コーパスに含まれる索引語の各々の分布と、コーパスに含まれる文書の数とに基づいて予め文書特徴ベクトルを算出しコンピュータ読取り可能な形式で準備するステップをさらに含んでもよい。
【００１７】
好ましくは、関連度ベクトルを作成させるステップは、コンピュータに、集合に含まれる各文ごとに、当該文を含む予め定められた範囲の文の文特徴ベクトルに対して所定の重み付けをして互いに加算することにより補正するステップと、補正された文特徴ベクトルと、文書特徴ベクトルの各々との間の類似度をコンピュータに算出させることにより、当該類似度を要素とする関連度ベクトルを作成させるステップとを含む。
【００１８】
より好ましくは、類似度は、補正された文特徴ベクトルと、文書特徴ベクトルの各々との間のコサインメジャーにより定義される。また所定の重み付けは、文特徴ベクトルの補正の対象となる文を中心とするハニング窓関数に従うようにしてもよい。
【００１９】
好ましくは、集合に含まれる各文の文特徴ベクトルを算出させるステップは、出現頻度を調べる対象となる索引語からなる索引語リストを準備するステップと、索引語リスト内の各索引語の、集合内における分布と、集合に含まれる文の数とに基づいて、コンピュータに、集合に含まれる各文の文特徴ベクトルを算出させる第２のステップとを含む。
【００２０】
索引語リストを準備するステップは、コンピュータに、集合に含まれる索引語を自動的に抽出して索引語リストを作成させるステップを含んでもよい。
【００２１】
また、集合に含まれる各文の文特徴ベクトルを算出させる第２のステップは、コンピュータに、集合内における各索引語の大域的出現頻度を求めさせるステップと、コンピュータに、集合内における文書数を求めさせるステップと、コンピュータに、集合内における各索引語の文書頻度を求めさせるステップと、コンピュータに、集合内の各文書内における各索引語の局所的出現頻度を求めさせるステップと、コンピュータに、大域的出現頻度と、文書数と、文書頻度と、局所的出現頻度とに基づいて、各索引語の残差ＩＤＦを集合内の文ごとおよび索引語ごとに算出させるステップと、コンピュータに、集合内の文ごとに、各索引語に対応した残差ＩＤＦを要素とする文特徴ベクトルを作成させるステップとを含んでもよい。
【００２２】
本発明の他の局面にかかるコンピュータプログラムは、コンピュータにより実行されると、上に述べた各方法の全てのステップを行なうように適合されたコンピュータコード手段を含む。このコンピュータプログラムは、コンピュータ読取可能な記録媒体上に記録されてもよい。
【００２３】
【発明の実施の形態】
［用語の定義］
最初に、本明細書で使用する用語および略語の定義を下に与える。
【００２４】
索引語：文または文書の特徴を抽出するための分布に関する調査の対象となる単語のことをいう。以下に述べる実施の形態でのように対象文書から自動的に抽出してもよいし、予め処理対象とすることを予定した索引語からなる索引語リストを準備してもよい。
【００２５】
大域的出現頻度Ｆｉ：文書集合全体におけるｉ番目の索引語の出現頻度
局所的出現頻度ｆｉ：ある文書中におけるｉ番目の索引語の出現頻度
索引語頻度（ＴＦ：Ｔｅｒｍ　Ｆｒｅｑｕｅｎｃｙ）：ｉ番目の索引語についてｌｏｇ（１＋ｆｉ）で計算される量。対数化索引語頻度とも呼ぶ。なお、索引語頻度としてはこの式で計算される値だけでなく、局所的な重み付けとして使用できるものであればどのようなものでもよい。たとえば、局所的な出現頻度をそのまま使用したり、いわゆる拡大正規化索引語頻度などを使用したりしてもよい。ただし、対数をとるかどうかなど、大域的重み付けと比べ値の増減のオーダーが大きく異なるような重み付けを採用するのは好ましくない。
【００２６】
文書頻度（ＤＦ：Ｄｏｃｕｍｅｎｔ　Ｆｒｅｑｕｅｎｃｙ）：文書集合内において索引語が出現する文書数。以下、ｉ番目の索引語の文書頻度をｎｉで表す。
【００２７】
ＩＤＦ：ｉ番目の索引語の文書頻度ＤＦに対しｌｏｇ（ｎ／ｎｉ）で計算される量。ただしｎは文書集合中の全文書数を表す。「文書頻度の逆数（Ｉｎｖｅｒｓｅ　ＤＦ」とも呼ばれる。
【００２８】
残差ＩＤＦ（ＲＩＤＦ）：索引語の生起確率が独立していると仮定した場合に推定されるＩＤＦ（推定ＩＤＦ）と、実際のＩＤＦとの差。推定ＩＤＦは後述するようにポアソン分布により推定できる。
【００２９】
索引語重み：各索引語ごとに（ＴＦ）・（ＲＩＤＦ）で計算される量
ベクトルメジャー：二つのベクトルｕ，ｖの間のベクトルメジャーは、ベクトルｕとベクトルｖとのなす角をθ（ｕ，ｖ）とするとき、ｃｏｓθ（ｕ，ｖ）＝ｕ・ｖ／（‖ｕ‖‖ｖ‖）で計算される。ベクトルメジャーは［０，１］の値をとり、ベクトルｕ，ｖが類似しているほど（両者の方向が近いほど）ベクトルメジャーの値は１に近くなる。両者が直交していればベクトルメジャーの値は０になる。従ってベクトルメジャーは二つのベクトルの類似度を表す一つの指標として用いられる。
【００３０】
結束度：隣接する二文の間の関連の強さを示す度合い。以下の実施の形態では、隣接する二文の間の関連ベクトルの類似度を結束度としている。
【００３１】
［ポアソン分布によるＩＤＦの推定およびＲＩＤＦの計算］
特定の事象が起こる確率をｐとする。Ｎ回の試行のうち、この特定の事象がＫ回起こる確率Ｐ（Ｋ）は次の式で計算できる。
【００３２】
Ｐ（Ｋ）＝ＮＣＫｐＫ（１−ｐ）Ｎ−Ｋ
この式で与えられる確率分布は二項分布と呼ばれる。この二項分布において、Ｎが十分大きく、ｐが十分小さい場合に、Ｎｐが一定の値λに収束するとき、二項分布は次のように近似できる。
【００３３】
【数１】
2004145790.tif 000003
この確率分布をパラメータλのポアソン分布と呼ぶ。ポアソン分布を上式のように表した場合、その期待値および分散はともにλである。
【００３４】
さて、ｉ番目の単語に対するポアソン分布のパラメータをλｉとする。このとき、ポアソン分布を仮定する文書集合中の文書の数をｎとすると、ｉ番目の単語の大域的出現頻度Ｆｉを用いてλｉ＝Ｆｉ／ｎと推定できる。従ってこのとき、ｉ番目の単語が文書中にｋ回出現する確率はＰ（ｋ；Ｆｉ／ｎ）と表すことができる。この式に従い、この単語のＩＤＦは次の式により推定できる。
【００３５】
2004145790.tif 000004
つまり、ある単語について、その大域的出現頻度Ｆｉと文書集合中の文書数ｎとが分かれば、その単語のＩＤＦを推定することができる。
【００３６】
従って、ＲＩＤＦ＝ＩＤＦ−推定ＩＤＦは次の式で計算できる。
【００３７】
ＲＩＤＦ＝ｌｏｇ（ｎ／ｎｉ）＋ｌｏｇ（１−ｅｘｐ（−Ｆｉ／ｎ））
［実施の形態］
−背景−
以下、本発明の一実施の形態にかかるシステムの構成および動作について説明する。このシステムはベクトル空間モデルを使用して文書をセグメント化する。
対象文書群の各文中に出現する単語集合を用い、その文の特徴を表す。それぞれの単語には重み付けを行ない、索引語を各次元とする文書特徴ベクトルを作成する。
【００３８】
単語の重み付けでは、基本コーパスと対象文書群との双方における索引語の出現文書数（ＤＦ）から各索引語のＲＩＤＦと、対象文書群の各文から取得した索引語頻度（ＴＦ）を使用する。
【００３９】
索引語の中には、生起確率が独立しているものと、独立していないものとがある。独立していないものとは、ある文書中に出現するとその文書中の他の個所に出現する確率が高くなるようなもののことをいう。すなわち、ある文書中に一度出現すると何度も出現する語のことをいう。こうした語は「内容語」（Ｃｏｎｔｅｎｔ　Ｗｏｒｄ）であって、文書のトピックを推定する上で重要である。一般に、内容語のＩＤＦは、推定ＩＤＦよりも大きくなる。従って、実際に観測されたＩＤＦと、推定ＩＤＦとの差であるＲＩＤＦは、索引語がどの程度重要な内容語であるかを示す指標となる。
【００４０】
なお、以下の実施の形態では対象文書群中のトピックの境界を推定するにあたって、文脈情報を利用している。これは、対象文書群中の各一文に出現する単語だけからは、基本コーパス中の文書との対応付けに十分な情報が含まれていないことがあるためである。そのため、本実施の形態では処理対象の一文を中心とした一定範囲内の文を用いて文書特徴ベクトルを作成する。この際、この一定範囲内にトピックの境界があると、適切な文書特徴ベクトルを取得できない。そこで、本実施の形態では後述するようにハニング窓を使用したフレーム化を行なって、この一定範囲内に出現する索引語を補正して文書特徴ベクトルを求めている。
なお、本実施の形態ではハニング窓関数は対象文書群の全体にわたって一定のものを使用しているが、単語単位、文字単位で細かく変化するものを用いてもよい。また、最も単純な構成では、ハニング窓を使用しないものも本実施の形態の一部に含まれる。
【００４１】
−機能的構成−
図１に、本発明の一実施の形態のシステムにおける文書のセグメント化方法の原理を模式的に示す。図１を参照して、このシステムでは、セグメント化の基準となる文書データベース１０２を用いて対象文書群１００中の文章をセグメント化する。文書データベース１０２は、大規模コーパス１３０と、大規模コーパス１３０に含まれる各文書について後述する方法で作成した文書特徴ベクトル集合１３２とを含む。一方、対象文書群１００は複数の文１２０Ａ，Ｂ，Ｃ，…を含む。
【００４２】
以下、図１を参照して、本実施の形態にかかる方法の概略を説明する。なおこの説明はあくまで概略を示すものであって、詳細については後述する。最初に、この対象文書群１００から索引語リスト１０４を作成する。索引語リストとは、本実施の形態のシステムでは、対象文書群１００中の文を形態素解析して作成した、対象文書群１００中で出現する単語のリストのことをいう。続いて、対象文書群１００中の各文１２０Ａ，Ｂ，Ｃ，…について、文の特徴をベクトル化した文特徴ベクトル１０６Ａ，１０６Ｂ，１０６Ｃ，…を抽出する。なお、文特徴ベクトルとは、索引語数と同じ数の要素を持つベクトルである。ｉ番目の要素は、ｉ番目の索引語がその文内に出現するか否かを基本的には１または０で表す。ただし、後述するように実際にはこの値にさらに適当な重み付けがされる。
【００４３】
これら文特徴ベクトル１０６Ａ，１０６Ｂ，１０６Ｃ，…の各々について、文書特徴ベクトル集合１３２中の文書特徴ベクトルの各々との間の類似度を計算し（１０８Ａ、１０８Ｂ，１０８Ｃ，…）、それらをベクトル化する。このベクトル化により、文特徴ベクトル１０６Ａ，１０６Ｂ，１０６Ｃ，…の各々と、文書特徴ベクトル集合１３２中の文書特徴ベクトルの各々との間の関連度ベクトル１１０Ａ，１１０Ｂ，１１０Ｃ，…が対象文書群１００中の文ごとに得られる。
【００４４】
続いて、対象文書群１００中で隣接する二文の関連度ベクトル１１０Ａ，１１０Ｂ，１１０Ｃ，…の間で結束度１１２ＡＢ，１１２ＢＣ，…を算出する。そして、この結束度があるしきい値を上回っていればこの二文は同じトピックに属するものとし、それ以外の場合はこの二文の間にトピックの境界があると判定する。
【００４５】
以上が本実施の形態のシステムにおけるセグメント化の原理である。この方法では、対象文書群１００中の各文と、基準コーパス１３０中の各文書との関連度が関連度ベクトルとしてベクトル化される。ある文の関連度ベクトルの成分は、その文と、基準コーパス１３０中の各文書との間の関連度を一対一で示す。従って、セグメント化にあたり基準コーパス１３０から得た情報の正確さおよび性質、ならびにセグメンテーションの根拠がこの関連度ベクトルによって把握しやすいという特徴がある。
【００４６】
図２は、本実施の形態にかかるシステムの機能的構成を、途中のデータとともに示す。図２を参照して、このシステムは、対象文書群１００の各文について文特徴ベクトルを作成することにより、文特徴ベクトル集合１０６を作成するための文特徴ベクトル作成部１４０と、基準コーパス１３０の各文書について文書特徴ベクトルを作成することにより、文書特徴ベクトル集合１３２を作成するための文書特徴ベクトル作成部１４２とを含む。
【００４７】
このシステムはさらに、文特徴ベクトル集合１０６中の文特徴ベクトルの各々と、文書特徴ベクトル集合１３２中の文書特徴ベクトルの各々との間の関連度を計算し、対象文書群１００中の各文ごとに得られた関連度ベクトルからなる関連度ベクトル集合１１０を作成するための関連度ベクトル計算部１０８と、関連度ベクトル集合１００中の各関連度ベクトルのうち、隣接する二文に対応する関連度ベクトル同士の結束度を算出するための結束度算出部１４４と、算出された結束度に基づき、前述した手法により対象文書群１００中の文章をセグメント化してトピックごとに分離された文書群１４８を出力するためのセグメント分離部１４６とを含む。
【００４８】
なお、文書特徴ベクトル集合１３２として予め外部で準備されたものを使用することも可能である。その場合には、システム内に文書特徴ベクトル作成部１４２を設ける必要はない。
【００４９】
図３は、図２に示す文特徴ベクトル作成部１４０の機能的構成を示すブロック図である。図３を参照して、文特徴ベクトル作成部１４０は、対象文書群１００中の各文を形態素解析し索引語リスト１０４を作成するための形態素解析部１７４と、索引語リスト１０４中の各索引語ごとに対象文書群１００中で出現する頻度をカウントし、大域的頻度付索引語リスト１８０を作成するための単語カウント部１７８と、対象文書群１００中に含まれる文書の数をカウントして文書数１７２を出力するための文書数カウント部１７０と、文書数１７２と大域的頻度付索引語リスト１８０とに基づいて各索引語が出現する文書数（文書頻度：ＤＦ）を推定し、推定文書頻度１８３として出力するための文書頻度推定部１８３とを含む。
【００５０】
文特徴ベクトル作成部１４０はさらに、索引語リスト１０４に含まれる各索引語が対象文書群１００中のいくつの文書に出現するかをカウントすることで実際の文書頻度を反映した文書頻度付索引語リスト１８６を出力するための出現文書数カウント部１８４と、文書頻度付索引語リスト１８６と、推定文書頻度１８３とに基づいてＲＩＤＦを計算して索引語ＲＩＤＦ付リスト１９０を出力するための残差ＩＤＦ算出部１８８と、文脈を考慮するためのハニング窓関数に従った、ＴＦの補正係数からなるハニング窓ベクトル１９２と、索引語ＲＩＤＦ付リスト１９０およびハニング窓ベクトル１９２に基づいて、対象文書群１００に含まれる各文ごとに文脈を考慮して補正された文特徴ベクトル１９６を計算し出力するための文特徴ベクトル計算部１９４とを含む。
【００５１】
図４は、図２に示す文書特徴ベクトル作成部１４２の機能的構成を示すブロック図である。文書特徴ベクトル作成部１４２の構成は図３に示す文特徴ベクトル作成部１４０の構成とほぼ同様であり、図４の文書数カウント部２１０、形態素解析部２１４、単語カウント部２１８、出現文書数カウント部２２４、文書頻度推定部２２２、残差ＩＤＦ算出部２２８および文書特徴ベクトル計算部２３４が、図３に示す文書数カウント部１７０、形態素解析部１７４、単語カウント部１７８、出現文書カウント部１８４、文書頻度推定部１８２、残差ＩＤＦ算出部１８８、および文特徴ベクトル計算部１９４に、それぞれ対応する。従って、ここではそれらについての詳細な説明は繰り返さない。ただし、図４の文書特徴ベクトル計算部２３４では、特徴ベクトルの算出対象が各文書ごとになるので、図３に示すハニング窓ベクトル１９２は使用されない。
【００５２】
図４に示す文書数２１２、索引語リスト２１６、大域的頻度付索引語リスト２２０、文書頻度付索引語リスト２２６、推定文書頻度２２３、索引語ＲＩＤＦ付リスト２３０、および文書特徴ベクトル２３６は、図３に示す文書集１７２、索引語リスト１０４、大域的頻度付索引語リスト１８０、文書頻度付索引語リスト１８６、推定文書頻度１８３、索引語ＲＩＤＦ付リスト１９０、および文特徴ベクトル１９６にそれぞれ相当する。
【００５３】
以下では、図３に示す文特徴ベクトル作成部１４０について説明するが、図４に示す文書特徴ベクトル作成部１４２についてもほぼ同様である。
【００５４】
図５に索引語リスト１０４の例を示す。図６に、大域的頻度付索引語リスト１８０の例を示す。大域的頻度とは、対象文書群１００（または基本コーパス１３０）全体の中における索引語の出現頻度のことをいう。
【００５５】
図７に、文書頻度付索引語リスト１８６の例を示す。図７では、大域的出現頻度とともに文書頻度ＤＦを示してある。図８に、この文書頻度ＤＦに対するＩＤＦの計算例を示す。図９には、残差ＩＤＦ算出部１８８が計算するＲＩＤＦの計算を含んだ索引語ＲＩＤＦ付リスト１９０の例を示す。このＲＩＤＦに各索引語のＴＦをかけたものが各索引語の大域的重みとなる。図９は、ＲＩＤＦの降順にソートした結果を示したものである。
【００５６】
図１０に、本実施の形態のシステムで使用したハニング窓関数２５０を示す。
このハニング窓関数２５０の値が正の範囲を本実施の形態ではフレームと呼ぶ。
ハニング窓関数ｈＬ（ｉ）はベクトルメジャーを用いて以下の式で表される。
【００５７】
ｈＬ（ｉ）＝０．５（１＋ｃｏｓ２π（（（ｉ−Ｌ））／Ｗ））
｜ｉ−Ｌ｜≦Ｗ／２
Ｗ＝フレーム長、
Ｌ＝フレーム中央の文番号
ｉ＝対象の文番号
このハニング窓関数２５０はその中央で最大値１をとる。
【００５８】
本実施の形態では、ＲＩＤＦから文特徴ベクトルを後述のように計算する際、このハニング窓関数を文単位に基準に適用して、範囲内の文のＲＩＤＦに乗ずる重みを補正して加算することにより文特徴ベクトルを計算する。これは、対象文書群１００が推敲された話し言葉であったため、１文内での話題転換は少ないと考えられたためである。フレームの間隔、つまり最初の文から最後の文までスイープするときの移動単位は１文とした。また本実施の形態ではフレーム長は９文とした。フレーム長は、対応付けを行なう文書の長さ、取得するベクトルデータの記事などを考慮して決める必要がある。このフレーム長として９を採用することは必須ではないが、分解能などを考慮すると今回の実験対象のテキストにはこの値が適切な値であると考えられる。
【００５９】
窓関数に分解能を考慮した適切な関数を採用することで、フレーム長をさらに長くすることも考えられる。なお、窓関数としてはこれ以外にも種々考えられるが、ここではそれらについて逐一挙げることはしない。
【００６０】
文特徴ベクトルは具体的には以下のようにして計算する。ｉ番目の文について求められたＲＩＤＦをベクトル表現でｔ［ｑｉ，ｑ２，…，ｑｍ１］，文特徴ベクトルをｓｉとする。ｉ番目の文Ｓｉを中央にするフレームＦｉの文特徴ベクトルをｇｉとする。ハニング窓ベクトルＷを［ｗ１　ｗ２　ｗ３　ｗ４　ｗ５　ｗ６　ｗ７　ｗ８　ｗ９］と表す。すると、ｇｉは次の式で表される。
ｇｉ＝ｗ１ｓｉ−４＋ｗ２ｓｉ−３＋ｗ３ｓｉ−２＋ｗ４ｓｉ−１＋ｗ５ｓｉ＋ｗ６ｓｉ＋１＋ｗ７ｓｉ＋２＋ｗ８ｓｉ＋３＋ｗ９ｓｉ＋４
また、前述したハニング窓関数２５０の場合、Ｗの各要素は次のようになる。
Ｗ＝［０．０９５　０．３４５　０．６５５　０．９０５　１　０．９０５　０．６５５　０．３４５　０．０９５］
文Ｓｊの文特徴ベクトルをｔ［ｓ１ｊ，ｓ２ｊ，…，ｓｍ１，ｊ］と表すと（ｍ１は索引語の数）、ｉ番目の索引語のｊ番目の文Ｓｊにおける重みｓｉｊはｓｉｊ＝（Ｓｊでのこの索引語のＴＦ）・（この索引語の対象文書群でのＲＩＤＦ）で計算される。
【００６１】
再び図２を参照して、関連度ベクトル計算部１０８は、文特徴ベクトル集合１０６内の文特徴ベクトルごとに、文書特徴ベクトル集合１３２内の文書特徴ベクトルの各々との類似度を算出し、算出された類似度を要素とするベクトルを関連度ベクトルとして出力するものである。文特徴ベクトルの数をｎ個、文書特徴ベクトルの数をｍ個とする。文特徴ベクトルａｉ（ｉ＝１，…，ｎ）と文書特徴ベクトルｂｊ（ｊ＝１，…，ｍ）との関連度ｒｉｊは、ベクトルａｉとベクトルｂｊとのなす角をθ（ａｊ，ｂｊ）として、ベクトルメジャーを用いてｒｉｊ＝ｃｏｓθ（ａｉ，ｂｊ）＝ａｉ・ｂｊ／（‖ａｉ‖‖ｂｊ‖）で計算される。従って、ｉ番目の文の関連度ベクトルはｔ［ｒ１ｉ，ｒ２ｉ，…，ｒｍｉ］と表される。
【００６２】
なお、文特徴ベクトルの要素数と、文書特徴ベクトルの要素数とは一般的には一致しないので、そのままではベクトルメジャーを計算することはできない。そのためここでは、各ベクトルにつき、両者に共通する要素のみを抽出して上記したベクトルメジャーを算出することとする。この場合、要素数は対象文書群の索引語集合と基本コーパスの索引語集合との積集合の要素数となる。このようにしても不都合が生じないことは数学的に示すことができる。
【００６３】
類似度算出部１４４は、対象文書群１００中で隣接する文の関連度ベクトル間の類似度を算出するためのものである。ｋ番目の文の関連度ベクトルをｄｋ＝ｔ［ｒ１ｋ，ｒ２ｋ，…，ｒｍｋ］，ｋ＋１番目の文の関連度ベクトルをｄｋ＋１＝ｔ［ｒ１（ｋ＋１），ｒ２（ｋ＋１），…，ｒｍ（ｋ＋１）］、ベクトルｄｋとベクトルｄｋ＋１とのなす角をθ（ｄｋ，ｄｋ＋１）、ｋ番目の文とｋ＋１番目の文との間の結束度をｃｋとすると、結束度ｃｋはｃｋ＝ｃｏｓθ（ｄｋ，ｄｋ＋１）＝ｄｋ・ｄｋ＋１／（‖ｄｋ‖‖ｄｋ＋１‖）により算出される。
【００６４】
セグメント分離部１４６は、一定のしきい値以上の結束度を持つ文ｓｋ，ｓｋ＋１の組を抽出し、共通のトピックを持つセグメントとする。すなわち、セグメント分離部１４６は、上記したしきい値未満の結束度しか持たない文ｓｋ，ｓｋ＋１の間にトピックの境界があると判定し、トピックの境界を示す符号（例えば改行コード）をその部分に挿入する。
【００６５】
例えば、計算された結束度をグラフ化すると図１１のグラフ２６０のようになったものとする。図１１において、横軸は文間番号（文ｓｋ，ｓｋ＋１の間をｋ番目の文間とする。）、縦軸はその文間を挟んで隣接する文の間で計算された結束度である。ここで、しきい値として、例えばＶｔｈ＝０．９６に設定したものとする。すると、グラフ２６０のうち、Ｖｔｈ＝０．９６を示す直線２６２より上に出た部分が一まとまりのトピックとして抽出される。
【００６６】
図１２に示す例では、グラフ２６０のうち、領域２７０および２７２の部分が直線２６２より上に位置している。従って、領域２７０が一つのトピック、領域２７２が他のトピックをそれぞれ示すものとして、その間でトピック境界が検出される。
【００６７】
一方、図１３に示すように、グラフ２６０が直線２６２の上部に位置している二つの領域２８０および２８２が存在し、その間に二つの文間２８４および２８６が存在しているものとする。この場合には、本実施の形態ではこの文間２８４および２８６の各々にトピック境界が存在しているものと判定する。トピック境界２８４および２８６で挟まれている部分は一文で一つのセグメントとなる。
［コンピュータによる実現および動作］
この実施の形態のシステムは、コンピュータハードウェアと、そのコンピュータハードウェアにより実行されるプログラムと、コンピュータハードウェアに格納されるデータとにより実現される。図１４はこのコンピュータシステム３３０の外観を示し、図１５はコンピュータシステム３３０の内部構成を示す。
【００６８】
図１４を参照して、このコンピュータシステム３３０は、ＦＤ（フレキシブルディスク）ドライブ３５２およびＣＤ−ＲＯＭ（コンパクトディスク読出専用メモリ）ドライブ３５０を有するコンピュータ３４０と、キーボード３４６と、マウス３４８と、モニタ３４２とを含む。
【００６９】
図１５を参照して、コンピュータ３４０は、ＦＤドライバ３５２およびＣＤ−ＲＯＭドライブ３５０に加えて、ＣＰＵ（中央処理装置）３５６と、ＣＰＵ３５６、ＦＤドライバ３５２およびＣＤ−ＲＯＭドライブ３５０に接続されたバス３６６と、ブートアッププログラム等を記憶する読出専用メモリ（ＲＯＭ）３５８と、バス３６６に接続され、プログラム命令、システムプログラム、および作業データ等を記憶するランダムアクセスメモリ（ＲＡＭ）３６０とを含む。コンピュータシステム３３０はさらに、プリンタ３４４を含んでいる。
【００７０】
ここでは示さないが、コンピュータ３４０はさらにローカルエリアネットワーク（ＬＡＮ）への接続を提供するネットワークアダプタボードを含んでもよい。
【００７１】
コンピュータシステム３３０に文書のセグメント化を行なわせるためのコンピュータプログラムは、ＣＤ−ＲＯＭドライブ３５０またはＦＤドライブ３５２に挿入されるＣＤ−ＲＯＭ３６２またはＦＤ３６４に記憶され、さらにハードディスク３５４に転送される。または、プログラムは図示しないネットワークを通じてコンピュータ３４０に送信されハードディスク３５４に記憶されてもよい。プログラムは実行の際にＲＡＭ３６０にロードされる。ＣＤ−ＲＯＭ３６２から、ＦＤ３６４から、またはネットワークを介して、直接にＲＡＭ３６０にプログラムをロードしてもよい。
【００７２】
このプログラムは、コンピュータ３４０にこの実施の形態の文書のセグメント化を行なわせる複数の命令を含む。この方法を行なわせるのに必要な基本的機能のいくつかはコンピュータ３４０上で動作するオペレーティングシステム（ＯＳ）またはサードパーティのプログラム、もしくはコンピュータ３４０にインストールされる各種ツールキットのモジュールにより提供される。従って、このプログラムはこの実施の形態のシステムおよび方法を実現するのに必要な機能全てを必ずしも含まなくてよい。このプログラムは、命令のうち、所望の結果が得られるように制御されたやり方で適切な機能または「ツール」を呼出すことにより、上記したセグメント化プロセスを実行する命令のみを含んでいればよい。コンピュータシステム３３０の動作は周知であるので、ここでは繰り返さない。
【００７３】
図１６に、コンピュータ３４０により実行されることにより、図２に示す文書特徴ベクトル作成部１４２を実現するためのプログラムの全体の制御の流れをフローチャート形式で示す。このフローチャートは、本システムの動作ステップをも説明する。なお、以下のフローチャートでは、説明の便宜のために各ステップを明確に区分けしているが、実際のプログラムでは各ステップがこれほど明確に区分けされるとは限らないことに注意すべきである。
【００７４】
図１６を参照して、このプログラムは、基本コーパス１３０から索引語リストを作成するステップ３８０と、索引語リストの各索引語について、基本コーパス１３０中での出現頻度をカウントして大域的頻度付索引語リストを作成するステップ３８２と、基本コーパス１３０に含まれる文書数をカウントするステップ３８４と、基本コーパス１３０内で索引語リストの各索引語が出現する文書数（文書頻度）をカウントするステップ３８６と、このようにして得られた文書数、索引語の大域的頻度、文書頻度、および推定頻度に基づいて各索引語のＲＩＤＦを計算するステップ３８８と、計算された各索引語のＲＩＤＦを用い、基本コーパス１３０に含まれる文書ごとに文書特徴ベクトルを作成するステップ３９０とを含む。
【００７５】
以上のプログラムを実行することにより、基本コーパス１３０の文書特徴ベクトル集合１３２が予め作成される。もちろん、文書特徴ベクトル集合１３２を、対象文書群のセグメント化作業時点で構築するようにしてもよい。
【００７６】
図１７に、対象文書群１００をセグメント化するためのプログラムの全体の概略フローチャートを示す。図１７を参照して、このプログラムは、対象文書群１００から索引語リスト１０４を作成するステップ４００と、索引語リストの各索引語について、対象文書群１００中での出現頻度をカウントして大域的頻度付索引語リストを作成するステップ４０２と、対象文書群１００に含まれる文書数をカウントするステップ４０４と、対象文書群１００内で索引語リストの各索引語が出現する文書数（文書頻度）をカウントするステップ４０６と、このようにして得られた文書数、索引語の大域的頻度、文書頻度、および推定頻度に基づいて各索引語のＲＩＤＦを計算するステップ４０８と、計算された各索引語のＲＩＤＦを用い、対象文書群１００に含まれる文ごとにハニング窓を用いて文特徴ベクトルを作成するステップ４１０とを含む。
【００７７】
以上のステップを実行することにより、対象文書群１００に含まれる各文ごとに、文脈を考慮した文特徴ベクトルが作成される。
【００７８】
このプログラムはさらに、このようにして得られた文特徴ベクトルの各々について、文書特徴ベクトルの全てとの間で類似度（コサインメジャー）を計算し、結果を要素とする関連度ベクトルを作成するステップ４１２と、得られた全ての関連度ベクトルのうち、隣接する二文に対応するもの同士の結束度（コサインメジャー）を計算するステップ４１４と、計算された結束度の値が所定のしきい値未満となる個所で文書をセグメント化するステップ４１６とを含む。
【００７９】
ステップ４１２を実行することにより、対象文書群１００に含まれる各文ごとに、文脈を考慮しながら、基本コーパス１３０に含まれる文書との関連度を要素とする関連度ベクトルが作成される。隣接する二文の関連度ベクトルの結束度を、ステップ４１４で計算することにより、図１１に示されるように結束度が各文間に得られる。ステップ４１６で、この結束度が連続してしきい値以上となっている範囲を一つのセグメントとする処理が行なわれる。
［実験結果］
上に説明した実施の形態のシステムを用いて文書群を実際にセグメント化する実験を行なった。図１８に、この実験で用いた基準コーパスおよび対象文書群の記事数、文数、語数、および１文あたり語数をそれぞれ示す。同じ条件で、非特許文献２に記載の技術を用いたセグメント化の実験も行なった。セグメント化のための結束度のしきい値は０．９６とし、このしきい値以上の結束度を連続してとる範囲を、共通のトピックを持つ範囲として抽出した。その評価結果を非特許文献２に記載の技術による結果と対照して図１９に示す。
【００８０】
評価には、共通のトピックを持つセグメントの先頭が「しかし」「また」「ところで」「そして」「さらに」「例えば」「では」「これに対して」「まず」などの、話題転換の機能を持つフレーズで始まる割合を求めた。各文書の１文目はセグメント境界から開始しているものとし、正しくセグメント化されているものとしてカウントした。このようにして得られた値は、抽出されたセグメントの開始位置の精度を示すといえる。
【００８１】
図１９の表の左から１，２欄目は、各文書の先頭のセグメントをカウントから除外せずに、上記した基準に従ってセグメント化が正しいか否かを評価した場合の、本実施の形態による結果と非特許文献１に記載の技術による結果とを示す。
本実施の形態では、抽出されたセグメントが２３３個、うち正解が９７個で、平均正解率は４３．５％であった。従来技術では正解率は３６．２％であった。
【００８２】
先頭のセグメントをカウントから除いた場合の結果を図１９の表の左から３，４欄目に示す。本実施の形態では、抽出されたセグメントが２１０個、うち正解が７４個で平均正解率は３５．２％であった。従来技術では平均正解率は２４．８％であった。
【００８３】
両手法間にはチューニングの相違があるので、単純に両者の精度を比較することはできない。しかし、概して本実施の形態の手法は従来技術の手法と比較するとより高い精度を示すということはできる。これは、対象文書に関連する文書の知識を直接にセグメント化に利用したため、一対一の単語対の共起情報よりも的確な情報を得られたこと、ＲＩＤＦを用いることで的確な内容語を選択できたことが主な原因と考えられる。
【００８４】
ＲＩＤＦを用いた効果については、以下のようにして確認することができる。
前掲の図９は、この実験で得られたＲＩＤＦの例を示したものである。図９を参照して、上位の傾向としては、ＤＦ＝１となっている大量の索引語に対しても段階的にＲＩＤＦのスコア付けがされていることが注目される。また、ＤＦ＝２以上の索引語に対しても高いスコアを付与している場合がある。「高まる」など比較的ＤＦが低い索引語でも、出現頻度が低いとＲＩＤＦも低くなっている。「から」のようにほとんどの文書に出現する索引語は、ＩＤＦと同様にＲＩＤＦも低い。
【００８５】
「今晩」「それでは」「失礼」などでは、ＲＩＤＦが最下位にきているところも興味深い。これらの語は、「今晩は」「それでは今晩はこれで失礼をいたします。」などという表現で使用される。この実験で用いた対象文書群がラジオのニュース報道の番組からの書起こしを含んでいたため、こうした表現が出現していると考えられる。特に「それでは」「失礼」は全文書数３０５と比べＤＦが十分に小さい値となっている。
【００８６】
ポアソン分布より推定したＩＤＦが実際のＩＤＦよりも高い場合もあった。これは、予測した分布よりも実際の生起の分布の方がより分散する傾向が強いことを示している。この場合ＲＩＤＦは負の値をとる。本実験の計算では、ＲＩＤＦが負の場合は全て０として計算した。ただし、こうした索引語については、意図的に多くの文書に分散して含むようにされているという可能性もある。本実験での「それでは」「失礼」「今晩」などがその例であった。従って、こうした場合のＲＩＤＦをどのように取り扱うかについては、対象文書群の性質を勘案して予め取り決めておくことが望ましい。
【００８７】
以上のようにこの実施の形態では、処理対象の文書群（またはコーパス）中での一対一の単語共起やそれに類似した単語のクラスタリングを利用しない。代わりに、処理対象の文書群内の各文と、基準コーパス内の各文書に対する関連の強さをベクトル空間モデルの各次元に直接使用した。これにより、基準コーパスから得られたセグメント化のための情報の正確さおよび性質、ならびにセグメント化の根拠を的確に把握できる。それによって、対象となる文内に重要な内容語が欠けている場合でも、他の複数の単語が同時に共起する情報を簡単に利用してセグメント化を行なうことができる。その結果、そうした場合でも精度の急激な低下を避けることができる。
【００８８】
この実施の形態で述べた手法は広い範囲に適用可能である。例えば、対象文書群が基本コーパスに対して特定の関係を持つ場合（例えば対象文書群が基本コーパス内の文書群の一種のサマリーの集合となっている場合）、逆に基本コーパス内のクラスタ同士の関連性を、対象文書群を参照することで計算することができる。そのため、基本コーパスの情報のみを用いて基本コーパスをクラスタリングした場合には同一クラスタとならないような複数クラスタをクラスタリングできる可能性がある。また、本実施の形態の手法により得たセグメントを、ベクトル空間モデルを使った簡単な作業でクラスタリングすることもできる。これにより、テキストの要約を容易にするだけでなく、他のコーパスから得た情報の正確さおよび性質、ならびにクラスタリングの根拠を把握しやすいという効果を奏する。例えば、作成された要約から、その要約の根拠となった関連の文書を参照するアプリケーションなども容易に構築することができる。
【００８９】
なお、結束度のしきい値は、上の実施の形態に述べたものには限定されない。
たとえば、前掲の非特許文献に記載のように、前後の極大値との差を計算で求めた値と比較するなどの方法を採用してもよい。
【図面の簡単な説明】
【図１】本発明の一実施の形態にかかるシステムの概念を示す図である。
【図２】本発明の一実施の形態にかかるシステムの機能的構成を示す図である。
【図３】本発明の一実施の形態にかかるシステムの、文特徴ベクトル作成部の機能的構成を示す図である。
【図４】本発明の一実施の形態にかかるシステムの、文書特徴ベクトル作成部の機能的構成を示す図である。
【図５】索引語リストの一例を表形式で示す図である。
【図６】大域的頻度付索引語リストの一例を表形式で示す図である。
【図７】文書頻度（ＤＦ）付索引語リストの一例を表形式で示す図である。
【図８】文書頻度の逆数（ＩＤＦ）付索引語リストの一例を表形式で示す図である。
【図９】残差ＩＤＦ付索引語リストの一例を表形式で示す図である。
【図１０】ハニング窓関数の一例を示すグラフである。
【図１１】隣接する文の間の結束度を示すグラフである。
【図１２】結束度のグラフのうち、トピックの境界に対応する部分を示すグラフである。
【図１３】結束度のグラフのうち、複数箇所で連続してトピックの境界が生じている部分を示すグラフである。
【図１４】本発明の一実施の形態のシステムを実現するコンピュータの外観を示す図である。
【図１５】図１４に示すコンピュータの内部構成図である。
【図１６】本発明の一実施の形態のシステムを実現するソフトウェアのうち、文書特徴ベクトル作成処理の全体の制御構造を示すフローチャートである。
【図１７】本発明の一実施の形態のシステムを実現するソフトウェアのうち、対象文書群をセグメント化する処理の全体の制御構造を示すフローチャートである。
【図１８】本発明の一実施の形態のシステムの実験の対象として用いた基準コーパスおよび対象文書群の概略を表形式で示す図である。
【図１９】本発明の一実施の形態のシステムの実験結果を従来のシステムの実験結果と対照して表形式で示す図である。
【符号の説明】
１００　対象文書群、１０２　文書データベース、１０４　索引語リスト、１０６　文特徴ベクトル集合、１０６Ａ−Ｃ　文特徴ベクトル、１０８　関連度ベクトル計算部、１１０　関連度ベクトル集合、１１０Ａ−Ｃ　関連度ベクトル、１１２Ａ−Ｂ　結束度、１３２　文書特徴ベクトル集合、１４４　結束度算出部、１４６　セグメント分離部、１７０，２１０　文書数カウント部、１７４，２１４　形態素解析部、１７８，２１８　単語カウント部、１８２，２２２　文書頻度推定部、１８４，２２４　出現文書数カウント部、１８８，２２８　残差ＩＤＦ算出部、１９２　ハニング窓ベクトル、１９４　文特徴ベクトル計算部、２３４　文書特徴ベクトル計算部
【図１】
2004145790.tif 000005
【図２】
2004145790.tif 000006
【図３】
2004145790.tif 000007
【図４】
2004145790.tif 000008
【図５】
2004145790.tif 000009
【図６】
2004145790.tif 000010
【図７】
2004145790.tif 000011
【図８】
2004145790.tif 000012
【図９】
2004145790.tif 000013
【図１０】
2004145790.tif 000014
【図１１】
2004145790.tif 000015
【図１２】
2004145790.tif 000016
【図１３】
2004145790.tif 000017
【図１４】
2004145790.tif 000018
【図１５】
2004145790.tif 000019
【図１６】
2004145790.tif 000020
【図１７】
2004145790.tif 000021
【図１８】
2004145790.tif 000022
【図１９】
2004145790.tif 000023