(57)【特許請求の範囲】
【請求項１】
文書類似度算出装置であって、
記憶手段に記憶された文書の文書ベクトルおよび文書に含まれる単語の重要度を用いて、複数の文書の組み合わせについて、ｔｆ・ｉｄｆ法に基づいて、文書間の類似度を算出する類似度算出手順と、
第１の文書および第２の文書の前記類似度と前記第１の文書を組み合わせの一方として算出された最も高い前記類似度との比である第１の比と、前記第１の文書および前記第２の文書の前記類似度と前記第１の文書を組み合わせの一方として算出された前記類似度の平均値との比である第２の比とを所定の比率（但し、前記第１の比と第２の比のいずれか一方、もしくは、双方が０となる比率を除く）で加算することによって、前記第１の文書および前記第２の文書の前記類似度を正規化する正規化手順と
を情報処理プロセッサに実行させることを特徴とする文書類似度算出装置。
【請求項２】
文書をクラスタリングするクラスタリング装置であって、
記憶手段に記憶された文書の文書ベクトルおよび文書に含まれる単語の重要度を用いて、複数の文書の組み合わせについて、ｔｆ・ｉｄｆ法に基づいて、文書間の類似度を算出する類似度算出手順と、
第１の文書および第２の文書の前記類似度と前記第１の文書を組み合わせの一方として算出された最も高い前記類似度との比である第１の比と、前記第１の文書および前記第２の文書の前記類似度と前記第１の文書を組み合わせの一方として算出された前記類似度の平均値との比である第２の比とを所定の比率（但し、前記第１の比と第２の比のいずれか一方、もしくは、双方が０となる比率を除く）で加算することによって、前記第１の文書および前記第２の文書の前記類似度を正規化する正規化手順と、
前記正規化手順によって正規化された類似度に基づいて、複数の文書をクラスタリングするクラスタリング手順と、
を情報処理プロセッサに実行させることを特徴とするクラスタリング装置。
【請求項３】
前記複数の文書のそれぞれについて重要文を抽出し、この重要文からなる文書を類似度算出の対象とする重要文抽出手順を前記情報処理プロセッサに実行させることを特徴とする請求項２に記載のクラスタリング装置。
【請求項４】
文書を抽出する文書抽出装置であって、
記憶手段に記憶された文書の文書ベクトルおよび文書に含まれる単語の重要度を用いて、複数の文書の組み合わせについて、ｔｆ・ｉｄｆ法に基づいて、文書間の類似度を算出する類似度算出手順と、
第１の文書および第２の文書の前記類似度と前記第１の文書を組み合わせの一方として算出された最も高い前記類似度との比である第１の比と、前記第１の文書および前記第２の文書の前記類似度と前記第１の文書を組み合わせの一方として算出された前記類似度の平均値との比である第２の比とを所定の比率（但し、前記第１の比と第２の比のいずれか一方、もしくは、双方が０となる比率を除く）で加算することによって、前記第１の文書および前記第２の文書の前記類似度を正規化する正規化手順と、
前記正規化手順によって正規化された類似度に基づいて、複数の文書をクラスタリングするクラスタリング手順と、
前記クラスタリングの結果に対して、各クラスタを構成する文書数をキーとしてソートをかけるクラスタソート手順と、
前記ソートの結果に対して、各クラスタから代表の文書を選択する代表文書選択手順と、
前記代表の文書を前記ソートの結果に対応する順序で出力する出力手順と、
を情報処理プロセッサに実行させることを特徴とする文書抽出装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、ユーザからの質問文が多数収集されるサポートセンタ等において、大量の質問文から頻出する質問文を効率的に抽出するための文書類似度算出装置、クラスタリング装置および文書抽出装置に関するものである。
【０００２】
【従来の技術】
従来より、コールセンタ等における質問応答に関する検索では、効率的に過去の回答を再利用することが重要である。例えば、頻繁に使われる質問とその回答をＦＡＱ（Frequently Asked Question）としてユーザに提示することにより、よくある質問については、ユーザ自身が自己解決可能となる。
【０００３】
このようなＦＡＱを予め用意しておくことにより、コールセンタ等では、オペレータによる質問応答業務を省くことが可能であるため、運用コストの低減を図ることができる。
【０００４】
ここで、従来では、人手によりＦＡＱをまとめたり、コールセンタに寄せられたメール、電話の対応に基づいて、人手で頻出すると思われるＦＡＱを選び出すという作業が必要となる。
【０００５】
また、近時では、ＦＡＱ作成を自動化する手法として、コサインメジャー（Cosine measure）と呼ばれる尺度を用いて、文書（質問文）同士の類似度を計算し、類似度が高い文書をクラスタリングする手法が用いられている。クラスタリングは、大量の質問応答ログから、頻出する質問事例の候補を実用的な時間で抽出する技術である。
【０００６】
以下では、図２２に示した文書集合（文書１〜文書４）における上記類似度を求める例について説明する。文書１〜文書４は、通信サービス系のコールセンタに寄せられたユーザからの質問事例である。
【０００７】
まず、コサインメジャーでは、文書をベクトルとみなし、その内積を計算した値が文書間の類似度とされる。すなわち、図２２に示した文書集合において、下線部分の単語から各文書のベクトルがなるとすると、各文書間の類似度（内積値）は、以下のように計算される。内積値が大きいほど、両文書間の距離が近く、類似度が大きい。
【０００８】
・文書１と文書１との類似度=1/(√1*√1)                     =1
・文書３と文書３との類似度=6/(√1+1+1+1+1+1*√1+1+1+1+1+1) =1
・文書１と文書３との類似度=1/(√1*√1+1+1+1+1+1)=1/√6     =5/√30
・文書３と文書４との類似度=3/(√1+1+1+1+1*√1+1+1+1+1+1)   =3/√30
【０００９】
【発明が解決しようとする課題】
ところで、前述したように、従来では、図２２に示した文書１と文書３との類似度（５／√３０）が、文書３と文書４との類似度（３／√３０）よりも高いと計算されるが、この計算結果は直感に反する。すなわち、直感的には、文書３と文書４との類似度が、文書１と文書３との類似度より高いのである。
【００１０】
ここで、コサインメジャーでは、類似度の計算対象の文書サイズの変動が少ない場合、精度良く類似度が計算可能である。例えば、変動が少ない文書としては、論文の要約文等が挙げられる。
【００１１】
一方、上述した質問文等のように、文書サイズの変動が大きく、単語の出現頻度がたいてい１という場合には、文書サイズが大きい文書の類似度が不当に低くなるという欠点がコサインメジャーにある。
【００１２】
従って、従来では、従来のコサインメジャーによる類似度をそのまま用いて、クラスタリングを行っても、短い文書のクラスタのみが不当に成長し、長い文書のクラスタが成長しなくなるため、バランスのとれたクラスタリングを行うことができず、望ましい結果が得られないという問題があった。
【００１３】
そこで、上記問題を解決するために、従来の情報検索では、単語の重要度を重みとして、文書間の類似度を求めるｔｆ・ｉｄｆ法が用いられる。ｉｄｆは、inverse document frequency の略で文書集合全体に対して単語を含む文書の逆数をとったもので単語自体のもつ情報量を表す。ここで、図２２に示した文書集合の全文書数（図示略）が１０２４、「接続」を含む文書の数を５１２、「ＩＳＤＮ」を含む文書の数を８、「設定」を含む文書の数を２５６とすると、「接続」のｉｄｆは、１、「ＩＳＤＮ」のｉｄｆは、７、「設定」のｉｄｆは、２、となる。
【００１４】
このｉｄｆを加味して、上述した類似度を計算し直した結果を、以下に示す。
・文書１と文書１との類似度=1/(√1*√1)                       =1
・文書１と文書３との類似度=1/(√1*√1+1+1+1+1+1)=1/√6       =5/√30
・文書３と文書４との類似度=1+7+2/(√1+1+1+1+1*√1+1+1+1+1+1) =10/√30
【００１５】
上記計算結果からわかるように、文書３と文書４との類似度（１０／√３０）が、文書１と文書３との類似度（５／√３０）よりも高くなり、直感と一致する。しかしながら、上記方法では、異なる文書間の類似度を直接比較することができないという欠点があった。
【００１６】
本発明は、上記に鑑みてなされたもので、文書サイズに依存することなく精度が高く、しかも絶対値としての文書の類似度を算出することができ、効率良くクラスタリング、文書抽出を行うことができる文書類似度算出装置、クラスタリング装置および文書抽出装置を提供することを目的とする。
【００１７】
【課題を解決するための手段】
上記目的を達成するために、本発明は、文書類似度算出装置であって、記憶手段に記憶された文書の文書ベクトルおよび文書に含まれる単語の重要度を用いて、複数の文書の組み合わせについて、ｔｆ・ｉｄｆ法に基づいて、文書間の類似度を算出する類似度算出手順と、第１の文書および第２の文書の前記類似度と前記第１の文書を組み合わせの一方として算出された最も高い前記類似度との比である第１の比と、前記第１の文書および前記第２の文書の前記類似度と前記第１の文書を組み合わせの一方として算出された前記類似度の平均値との比である第２の比とを所定の比率（但し、前記第１の比と第２の比のいずれか一方、もしくは、双方が０となる比率を除く）で加算することによって、前記第１の文書および前記第２の文書の前記類似度を正規化する正規化手順とを情報処理プロセッサに実行させることを特徴とする。
【００１８】
この発明によれば、文書ベクトルおよび文書に含まれる単語の重要度を用いて文書間の相対値としての類似度を複数の文書の組み合わせについてそれぞれ算出し、各類似度を正規化により絶対値に変換することとしたので、文書サイズに依存することなく精度が高く、しかも絶対値としての文書の類似度を算出し、効率良く文書のクラスタリングや、文書抽出等を行うことができる。
【００１９】
また、本発明は、文書をクラスタリングするクラスタリング装置であって、記憶手段に記憶された文書の文書ベクトルおよび文書に含まれる単語の重要度を用いて、複数の文書の組み合わせについて、ｔｆ・ｉｄｆ法に基づいて、文書間の類似度を算出する類似度算出手順と、第１の文書および第２の文書の前記類似度と前記第１の文書を組み合わせの一方として算出された最も高い前記類似度との比である第１の比と、前記第１の文書および前記第２の文書の前記類似度と前記第１の文書を組み合わせの一方として算出された前記類似度の平均値との比である第２の比とを所定の比率（但し、前記第１の比と第２の比のいずれか一方、もしくは、双方が０となる比率を除く）で加算することによって、前記第１の文書および前記第２の文書の前記類似度を正規化する正規化手順と、前記正規化手順によって正規化された類似度に基づいて、複数の文書をクラスタリングするクラスタリング手順と、を情報処理プロセッサに実行させることを特徴とする。
【００２０】
この発明によれば、文書ベクトルおよび文書に含まれる単語の重要度を用いて文書間の相対値としての類似度を複数の文書の組み合わせについてそれぞれ算出し、各類似度を正規化により変換された絶対値の類似度に基づいて、複数の文書をクラスタリングすることとしたので、文書サイズに依存することなく精度が高く、しかも絶対値としての文書の類似度を算出し、効率良く文書のクラスタリングを行うことができる。
【００２１】
また、本発明は、文書を抽出する文書抽出装置であって、記憶手段に記憶された文書の文書ベクトルおよび文書に含まれる単語の重要度を用いて、複数の文書の組み合わせについて、ｔｆ・ｉｄｆ法に基づいて、文書間の類似度を算出する類似度算出手順と、第１の文書および第２の文書の前記類似度と前記第１の文書を組み合わせの一方として算出された最も高い前記類似度との比である第１の比と、前記第１の文書および前記第２の文書の前記類似度と前記第１の文書を組み合わせの一方として算出された前記類似度の平均値との比である第２の比とを所定の比率（但し、前記第１の比と第２の比のいずれか一方、もしくは、双方が０となる比率を除く）で加算することによって、前記第１の文書および前記第２の文書の前記類似度を正規化する正規化手順と、前記正規化手順によって正規化された類似度に基づいて、複数の文書をクラスタリングするクラスタリング手順と、前記クラスタリングの結果に対して、各クラスタを構成する文書数をキーとしてソートをかけるクラスタソート手順と、前記ソートの結果に対して、各クラスタから代表の文書を選択する代表文書選択手順と、前記代表の文書を前記ソートの結果に対応する順序で出力する出力手順と、を情報処理プロセッサに実行させることを特徴とする。
【００２２】
この発明によれば、文書ベクトルおよび文書に含まれる単語の重要度を用いて文書間の相対値としての類似度を複数の文書の組み合わせについてそれぞれ算出し、各類似度を正規化により変換された絶対値の類似度に基づいて、複数の文書をクラスタリングした後、ソートした各クラスタから代表の文書を選択し、これらを出力するようにしたので、文書サイズに依存することなく精度が高く、しかも絶対値としての文書の類似度を算出し、効率良く文書のクラスタリングや、代表の文書の抽出を行うことができる。
【００２３】
【発明の実施の形態】
以下、図面を参照して本発明にかかる文書類似度算出装置、クラスタリング装置および文書抽出装置の一実施の形態について詳細に説明する。同図には、コールセンタ等でＦＡＱ生成装置にも適用され、ＦＡＱを構成する頻出の質問文を、大量の質問文から効率的に抽出する文書抽出装置１０が図示されている。
【００２４】
文書抽出装置１０において、入力部１１は、コールセンタに寄せられた質問文の集合である文書集合２０（図８参照）を入力する。質問文構成要素抽出部１２は、上記文書集合２０の質問文から構成要素を抽出する。
【００２５】
この構成要素としては、「−できません」（不能状態）、「？」（質問状態）、「−ですか」（質問状態）、「教えてください」、「したいです」（希望状態）等が挙げられる。また、質問文構成要素抽出部１２は、上記構成要素にその役割（上記不能状態、質問状態または希望状態）を付与する。
【００２６】
クラスタリング部１３は、文書集合２０のクラスタリングを行う。正規化部１４は、上述したｔｆ・ｉｄｆ法で文書の類似度を計算し、類似度を絶対値とするための正規化を行う。クラスタソート部１５は、クラスタリング部１３によりクラスタリングされた結果にソートをかける。代表文選択部１６は、各クラスタを代表する代表文を抽出する。出力部１７は、クラスタのソート結果順に上記代表文を抽出結果として出力する。
【００２７】
つぎに、一実施の形態の動作について、図２〜図７に示したフローチャート、図８〜図２０を参照しつつ説明する。図２は、一実施の形態の動作を説明するフローチャートである。同図に示したステップＳＡ１では、質問文構成要素抽出処理が実行される。
【００２８】
具体的には、図３に示したステップＳＢ１では、入力部１１は、図８に示した文書集合２０を入力する。ステップＳＢ２では、質問文構成要素抽出部１２は、図９に示した役割付与規則の文末規則に基づいて、文書集合２０の各文書（質問文書）を文に分割する。
【００２９】
ここで、文末規則としては、例えば、「−できません」（不能状態）、「？」（質問状態）、「−ですか」（質問状態）、「教えてください」（希望状態）、「したいです」（希望状態）が挙げられる。これらの文末規則を含むものが文として分割される。
【００３０】
図８に示した文書集合２０の例では、Ｑ１では、「昨日から接続できません。」が分割される。以下同様にして分割される。ステップＳＢ３では、質問文構成要素抽出部１２は、ステップＳＢ２で分割した文に役割（不能状態、質問状態または希望状態）を付与し、図１０に示した役割付与結果を得る。
【００３１】
この役割付与結果において、＜不能＞および＜／不能＞では、挟まれた文に不能状態の役割が付与されている。＜質問＞および＜／質問＞では、挟まれた文に質問状態の役割が付与されている。また、＜希望＞および＜／希望＞では、挟まれた文に希望状態の役割が付与されている。
【００３２】
ステップＳＢ４では、質問文構成要素抽出部１２は、役割付与後の文に対して図９に示した状態組み合わせ規則を適用する。具体的には、図１０に示した役割付与結果において、一つの文書中に「不能状態」および「質問状態」という複数の役割が付与されている場合には、「質問状態」に対応する文が剰余文として削除され、「不能状態」に対応する文が残される。
【００３３】
また、「希望状態」に対応する文の情報量が閾値以下である場合には、当該文が削除される。ステップＳＢ５では、質問文構成要素抽出部１２は、図１１に示した、状態組み合わせ規則適用後の役割付与結果を出力し、質問文構成要素抽出処理を終了する。ここで、上記役割付与結果（文書集合）においては、役割が付与された文（中心文）のみから構成されている。
【００３４】
図２に示したステップＳＡ２では、文書集合を複数のクラスタに分割するためのクラスタリング処理が実行される。具体的には、図４に示したステップＳＣ１では、クラスタリング部１３は、処理の高速化を目的として、図１２に示したように、クラスタリングの対象である文書集合（図１１参照）を構成する各文書に索引を作成する。
【００３５】
索引の情報は、例えば、文書に付与された文書番号、文書中の単語に対する出現頻度のデータを格納したインバーテッドファイル形式である。なお、処理の高速化が不要の場合には、ステップＳＣ１の処理がスキップされる。
【００３６】
ステップＳＣ２では、クラスタリング部１３は、文書集合（図１１参照）から文書（例えば、Ｑ１の質問文書）を一つ選択する。ステップＳＣ３では、クラスタリング部１３は、ステップＳＣ２で選択した文書と、それ以外の各文書との類似度を計算し、文書サイズの大小にかかわらずクラスタリングが等しく適用されるように類似度を正規化するための正規化処理が実行される。
【００３７】
具体的には、図５に示したステップＳＤ１では、正規化部１４は、ｔｆ・ｉｄｆ法により、以下の（１）式から、ステップＳＣ２（図４参照）で選択された質問文書と、その他の検索対象文書との類似度をそれぞれ計算する。
【００３８】
類似度＝（Σ（質問文書中に含まれる単語）・（当該単語の重み））／（質問文書のベクトルサイズ）・（検索対象文書のベクトルサイズ）・・・・（１）
但し、当該単語の重み（ｉｄｆ）＝ｌｏｇ（全文書数／単語を含む文書数）
【００３９】
また、正規化部１４は、類似度が高い順にソートした形式で類似度の計算結果を出力する。ステップＳＤ２では、正規化部１４は、当該質問文書（自身）を除く上位Ｎ件の類似度の平均値を計算する。ステップＳＤ３では、正規化部１４は、つぎの（２）式から正規化類似度を計算する。この正規化類似度は、ｔｆ・ｉｄｆ法による相対値としての類似度が絶対値に変換されたものである。
【００４０】
正規化類似度＝α・（対象となる文書の類似度／一位の文書の類似度）＋β・（対象となる文書の類似度／上記類似度の平均値）・・・・（２）
但し、α、βは、係数
【００４１】
ここで、αを０、上記Ｎ件を１、βを１とすると、（２）式は、つぎの（３）式で表される。
【００４２】
正規化類似度＝（対象となる文書の類似度）／（当該文書以外の文書で最も高い類似度）・・・・（３）
【００４３】
ステップＳＤ４では、正規化部１４は、正規化類似度が１以上である場合、正規化類似度を１として、正規化処理を終了する。図１３（ａ）および（ｂ）は、上述した正規化の適用例を示す図である。図１３（ａ）には、単語数が１４という文書サイズが小さい文書についての正規化前と正規化後の類似度およびその順序が記述されている。
【００４４】
一方、図１３（ｂ）には、単語数が５４という文書サイズが大きい文書についての正規化前と正規化後の類似度およびその順序が記述されている。これらの図からわかるように、正規化後においては、文書サイズにかかわらず、類似度が１以下に正規化されているため、文書サイズが小さいものと大きいものとを同一レベルで比較することが可能となる。
【００４５】
図４に示したステップＳＣ４では、クラスタリング部１３は、閾値（例えば、０．９）以上の文書情報量（当該文書に含まれる単語のｉｄｆの総和）、文書番号、類似度、サイズの組を出力する。ステップＳＣ５では、クラスタリング部１３は、文書集合（図１１参照）から最後の文書を選択したか否かを判断し、この場合、判断結果を「Ｎｏ」とする。以後、ステップＳＣ２〜ステップＳＣ４の処理が繰り返し実行される。
【００４６】
そして、ステップＳＣ５の判断結果が「Ｙｅｓ」になると、図１４に示した文書（同図ではFrom）と文書（同図ではto）との間における正規化された類似度（同図ではscore）が求められる。ステップＳＣ６では、クラスタリング部１３は、周知のｗａｒｄ法を用いて、類似度に応じて文書をクラスタリングする。このクラスタリングにおいては、クラスタ間の距離が閾値以内を超えない限り、クラスタが併合される。
【００４７】
ステップＳＣ７では、クラスタリング部１３は、互いに繋がらなかったクラスタを文書抽出の単位として、クラスタリング処理を終了する。図１５は、クラスタリング結果を示す図である。この図からわかるように、クラスタ１は、文書Ｑ１、Ｑ２、Ｑ４、ＱＭおよびＱＭ＋１から構成されている。
【００４８】
クラスタ２は、文書Ｑ６のみから構成されている。クラスタ３は、文書ＱＮ、ＱＮ＋１およびＱＮ＋２から構成されている。以下同様にして、クラスタｎは、文書Ｑｍのみから構成されている。
【００４９】
図２に示したステップＳＡ３では、図１６に示したソート条件に基づいて、クラスタソート処理が実行される。具体的には、図６に示したステップＳＥ１では、クラスタソート部１５は、図１５に示したクラスタリング結果を入力する。ステップＳＥ２では、クラスタソート部１５は、クラスタリング結果（図１５参照）において要素数（文書）が多い順にクラスタをソートする。
【００５０】
ステップＳＥ３では、クラスタソート部１５は、上記要素数が同じクラスタが存在する場合、クラスタ中に含まれるそれぞれの文書間の平均類似度（ユークリッド距離）が小さいものが上位にくるようにソートする。
【００５１】
ステップＳＥ４では、クラスタソート部１５は、上記平均類似度が同じクラスタが存在する場合（クラスタの要素が１つの場合）、情報量が少ないものの順にソートした後、クラスタソート処理を終了する。図１７は、クラスタのソート結果を示す図である。このソート結果においては、クラスタ１、クラスタ３、・・・という順にソートされている。
【００５２】
図２に示したステップＳＡ４では、図１７に示したクラスタのソート結果における各クラスタから代表文を選択するための代表文選択処理が実行される。具体的には、図７に示したステップＳＦ１では、代表文選択部１６は、図１７に示したソート結果（クラスタ群）からクラスタを一つ（例えば、クラスタ１）を選択する。
【００５３】
ステップＳＦ２では、代表文選択部１６は、ソート結果から全クラスタを選択したか否かを判断し、この場合、判断結果を「Ｎｏ」とする。ステップＳＦ３では、代表文選択部１６は、ステップＳＦ１で選択したクラスタ１の文書を図１８（ａ）に示したように文に分割する。すなわち、ステップＳＦ３は、文書が複数の文から構成されている場合、文をばらばらにする処理である。
【００５４】
図１７に示した文書ＱＭは、「接続できません。」および「設定を教えてください。」という２つの文から構成されている。この場合、図１８（ａ）に示したように、上記文書ＱＭは、文ＱＭＳ−４および文ＱＭＳ−５に分割される。文の分割後においては、図１７に示した文書番号にＳ−１〜Ｓ−７が付加される。
【００５５】
ステップＳＦ４では、文分割された各文（図１８(ａ）参照）に対して前述したクラスタリング処理（図４参照）がクラスタリング部１３により実行された後、クラスタソート処理（図６参照）がクラスタソート部１５により実行される。図１８（ｂ）は、ステップＳＦ４の実行結果（クラスタソート結果）である。
【００５６】
ステップＳＦ５では、代表文選択部１６は、図１８（ｂ）に示したクラスタソート結果の木構造中で最も深い場所にあり、情報量が最小のものを選択する。同図に示した例では、文Ｑ２Ｓ−２「接続できません。」が選択される。ステップＳＦ６では、代表文選択部１６は、ステップＳＦ５で選択された文を当該クラスタに対応する代表文とする。以後、ステップＳＦ１以降では、図１７に示したソート結果（クラスタ群）からつぎのクラスタが選択され、上述した処理が実行される。
【００５７】
そして、全クラスタが選択されると、代表文選択部１６は、ステップＳＦ２の判断結果を「Ｙｅｓ」として、代表文選択処理を終了する。図１９は、代表文選択結果を示す図である。この図には、各クラスタの代表文（丸囲い）が図示されている。クラスタ１の代表文は、「接続できません」である。
【００５８】
クラスタ３の代表文は、「ＷＥＢからの解約がしたい」である。クラスタＭの代表文は、「ＩＳＤＮにしたらつながりません。」である。また、クラスタ２の代表文は、「料金コースを変更したいです。」である。
【００５９】
図２に示したステップＳＡ５では、出力部１７は、図１９に示した代表文選択結果からソートされたクラスタおよび代表文の組を、図２０に示した最終出力文として出力する。この最終出力文は、頻度が高い順の質問文である。これらの質問文およびその回答からは、ＦＡＱが作成される。
【００６０】
以上説明したように、一実施の形態によれば、図５に示したステップＳＤ１でｔｆ・ｉｄｆ法（文書ベクトルおよび文書に含まれる単語の重要度）を用いて文書間の相対値としての類似度を複数の文書の組み合わせについてそれぞれ算出し、ステップＳＤ３で各類似度を正規化により絶対値に変換することとしたので、文書サイズに依存することなく精度が高く、しかも絶対値としての文書の類似度を算出し、効率良く文書のクラスタリングや、文書抽出等を行うことができる。
【００６１】
また、一実施の形態によれば、図３に示した質問文構成要素抽出処理でｍ複数の文書のそれぞれについて役割が付与された重要文を抽出し、この重要文からなる文書（図１１参照）を類似度算出の対象とすることとしたので、不要なノイズの文がカットされるため、絶対値としての類似度の精度を高めることができる。
【００６２】
以上本発明にかかる一実施の形態について図面を参照して詳述してきたが、具体的な構成例はこの一実施の形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等があっても本発明に含まれる。
【００６３】
例えば、前述した一実施の形態においては、文書抽出装置１０の機能を実現するためのプログラムを図２１に示したコンピュータ読み取り可能な記録媒体２００に記録して、この記録媒体２００に記録されたプログラムを同図に示したコンピュータ１００に読み込ませ、実行することにより各機能を実現してもよい。
【００６４】
同図に示したコンピュータ１００は、上記プログラムを実行するＣＰＵ（Central Processing Unit）１１０と、キーボード、マウス等の入力装置１２０と、各種データを記憶するＲＯＭ（Read Only Memory）１３０と、演算パラメータ等を記憶するＲＡＭ（Random Access Memory）１４０と、記録媒体２００からプログラムを読み取る読取装置１５０と、ディスプレイ、プリンタ等の出力装置１６０と、装置各部を接続する１７０とから構成されている。
【００６５】
ＣＰＵ１１０は、読取装置１５０を経由して記録媒体２００に記録されているプログラムを読み込んだ後、プログラムを実行することにより、前述した機能を実現する。なお、記録媒体２００としては、光ディスク、フレキシブルディスク、ハードディスク等が挙げられる。
【００６６】
（付記１）文書ベクトルおよび文書に含まれる単語の重要度を用いて文書間の相対値としての類似度を複数の文書の組み合わせについてそれぞれ算出する類似度算出手段と、
前記類似度算出手段により算出された各類似度を正規化により絶対値に変換する変換手段と、
を備えたことを特徴とする文書類似度算出装置。
（付記２）前記変換手段は、最高値の類似度と変換対象の類似度との比と、類似度の平均値と前記変換対象の類似度との比との和を前記絶対値とすることを特徴とする付記１に記載の文書類似度算出装置。
（付記３）前記変換手段は、変換対象以外の類似度の中で最高値の類似度と前記変換対象の類似度との比を前記絶対値とすることを特徴とする付記１に記載の文書類似度算出装置。
（付記４）文書ベクトルおよび文書に含まれる単語の重要度を用いて文書間の相対値としての類似度を複数の文書の組み合わせについてそれぞれ算出する類似度算出工程と、
前記類似度算出工程により算出された各類似度を正規化により絶対値に変換する変換工程と、
を含むことを特徴とする文書類似度算出方法。
（付記５）コンピュータを、
文書ベクトルおよび文書に含まれる単語の重要度を用いて文書間の相対値としての類似度を複数の文書の組み合わせについてそれぞれ算出する類似度算出手段、
前記類似度算出手段により算出された各類似度を正規化により絶対値に変換する変換手段、
として機能させるための文書類似度算出プログラム。
（付記６）文書ベクトルおよび文書に含まれる単語の重要度を用いて文書間の相対値としての類似度を複数の文書の組み合わせについてそれぞれ算出する類似度算出手段と、
前記類似度算出手段により算出された各類似度を正規化により絶対値に変換する変換手段と、
前記絶対値の類似度に基づいて、複数の文書をクラスタリングするクラスタリング手段と、
を備えたことを特徴とするクラスタリング装置。
（付記７）前記複数の文書のそれぞれについて重要文を抽出し、この重要文からなる文書を類似度算出の対象とする重要文抽出手段を備えたことを特徴とする付記６に記載のクラスタリング装置。
（付記８）文書ベクトルおよび文書に含まれる単語の重要度を用いて文書間の相対値としての類似度を複数の文書の組み合わせについてそれぞれ算出する類似度算出工程と、
前記類似度算出工程により算出された各類似度を正規化により絶対値に変換する変換工程と、
前記絶対値の類似度に基づいて、複数の文書をクラスタリングするクラスタリング工程と、
を含むことを特徴とするクラスタリング方法。
（付記９）コンピュータを、
文書ベクトルおよび文書に含まれる単語の重要度を用いて文書間の相対値としての類似度を複数の文書の組み合わせについてそれぞれ算出する類似度算出手段、
前記類似度算出手段により算出された各類似度を正規化により絶対値に変換する変換手段、
前記絶対値の類似度に基づいて、複数の文書をクラスタリングするクラスタリング手段、
として機能させるためのクラスタリングプログラム。
（付記１０）文書ベクトルおよび文書に含まれる単語の重要度を用いて文書間の相対値としての類似度を複数の文書の組み合わせについてそれぞれ算出する類似度算出手段と、
前記類似度算出手段により算出された各類似度を正規化により絶対値に変換する変換手段と、
前記絶対値の類似度に基づいて、複数の文書をクラスタリングするクラスタリング手段と、
前記クラスタリングの結果に対して、各クラスタを構成する文書数をキーとしてソートをかけるクラスタソート手段と、
前記ソートの結果に対して、各クラスタから代表の文書を選択する代表文書選択手段と、
前記代表の文書を前記ソートの結果に対応する順序で出力する出力手段と、
を備えたことを特徴とする文書抽出装置。
（付記１１）前記変換手段は、最高値の類似度と変換対象の類似度との比と、類似度の平均値と前記変換対象の類似度との比との和を前記絶対値とすることを特徴とする付記１０に記載の文書抽出装置。
（付記１２）前記変換手段は、変換対象以外の類似度の中で最高値の類似度と前記変換対象の類似度との比を前記絶対値とすることを特徴とする付記１０に記載の文書抽出装置。
（付記１３）文書ベクトルおよび文書に含まれる単語の重要度を用いて文書間の相対値としての類似度を複数の文書の組み合わせについてそれぞれ算出する類似度算出工程と、
前記類似度算出工程により算出された各類似度を正規化により絶対値に変換する変換工程と、
前記絶対値の類似度に基づいて、複数の文書をクラスタリングするクラスタリング工程と、
前記クラスタリングの結果に対して、各クラスタを構成する文書数をキーとしてソートをかけるクラスタソート工程と、
前記ソートの結果に対して、各クラスタから代表の文書を選択する代表文書選択工程と、
前記代表の文書を前記ソートの結果に対応する順序で出力する出力工程と、
を含むことを特徴とする文書抽出方法。
（付記１４）コンピュータを、
文書ベクトルおよび文書に含まれる単語の重要度を用いて文書間の相対値としての類似度を複数の文書の組み合わせについてそれぞれ算出する類似度算出手段、
前記類似度算出手段により算出された各類似度を正規化により絶対値に変換する変換手段、
前記絶対値の類似度に基づいて、複数の文書をクラスタリングするクラスタリング手段、
前記クラスタリングの結果に対して、各クラスタを構成する文書数をキーとしてソートをかけるクラスタソート手段、
前記ソートの結果に対して、各クラスタから代表の文書を選択する代表文書選択手段、
前記代表の文書を前記ソートの結果に対応する順序で出力する出力手段、
として機能させるための文書抽出プログラム。
【００６７】
【発明の効果】
以上説明したように、本発明によれば、文書ベクトルおよび文書に含まれる単語の重要度を用いて文書間の相対値としての類似度を複数の文書の組み合わせについてそれぞれ算出し、各類似度を正規化により絶対値に変換することとしたので、文書サイズに依存することなく精度が高く、しかも絶対値としての文書の類似度を算出し、効率良く文書のクラスタリングや、文書抽出等を行うことができるという効果を奏する。
【００６８】
また、本発明によれば、変換手段で、最高値の類似度と変換対象の類似度との比と、類似度の平均値と変換対象の類似度との比との和を絶対値とすることとしたので、文書サイズに依存することなく精度が高く、しかも絶対値としての文書の類似度を算出し、効率良く文書のクラスタリングや、文書抽出等を行うことができるという効果を奏する。
【００７０】
また、本発明によれば、文書ベクトルおよび文書に含まれる単語の重要度を用いて文書間の相対値としての類似度を複数の文書の組み合わせについてそれぞれ算出し、各類似度を正規化により変換された絶対値の類似度に基づいて、複数の文書をクラスタリングすることとしたので、文書サイズに依存することなく精度が高く、しかも絶対値としての文書の類似度を算出し、効率良く文書のクラスタリングを行うことができるという効果を奏する。
【００７１】
また、本発明によれば、複数の文書のそれぞれについて重要文を抽出し、この重要文からなる文書を類似度算出の対象とすることとしたので、不要なノイズの文がカットされるため、絶対値としての類似度の精度を高めることができるという効果を奏する。
【００７２】
また、本発明によれば、文書ベクトルおよび文書に含まれる単語の重要度を用いて文書間の相対値としての類似度を複数の文書の組み合わせについてそれぞれ算出し、各類似度を正規化により変換された絶対値の類似度に基づいて、複数の文書をクラスタリングした後、ソートした各クラスタから代表の文書を選択し、これらを出力するようにしたので、文書サイズに依存することなく精度が高く、しかも絶対値としての文書の類似度を算出し、効率良く文書のクラスタリングや、代表の文書の抽出を行うことができるという効果を奏する。
【図面の簡単な説明】
【図１】本発明にかかる一実施の形態の構成を示すブロック図である。
【図２】同一実施の形態の動作を説明するフローチャートである。
【図３】図２に示した質問文構成要素抽出処理を説明するフローチャートである。
【図４】図２に示したクラスタリング処理を説明するフローチャートである。
【図５】図４に示した正規化処理を説明するフローチャートである。
【図６】図２に示したクラスタソート処理を説明するフローチャートである。
【図７】図２に示した代表文選択処理を説明するフローチャートである。
【図８】同一実施の形態における文書集合２０を示す図である。
【図９】同一実施の形態における役割付与規則を示す図である。
【図１０】同一実施の形態における役割付与結果を示す図である。
【図１１】同一実施の形態における状態組み合わせ規則適用後の役割付与結果を示す図である。
【図１２】同一実施の形態における索引付与を説明する図である。
【図１３】同一実施の形態における正規化適用例を示す図である。
【図１４】同一実施の形態における正規化された類似度を示す図である。
【図１５】同一実施の形態におけるクラスタリング結果を示す図である。
【図１６】同一実施の形態におけるクラスタのソート条件を示す図である。
【図１７】同一実施の形態におけるクラスタのソート結果を示す図である。
【図１８】同一実施の形態における文選択を説明する図である。
【図１９】同一実施の形態における代表文選択結果を示す図である。
【図２０】同一実施の形態における最終出力文を示す図である。
【図２１】同一実施の形態の変形例の構成を示すブロック図である。
【図２２】文書集合を示す図である。
【符号の説明】
１０  文書抽出装置
１１  入力部
１２  質問文構成要素抽出部
１３  クラスタリング部
１４  正規化部
１５  クラスタソート部
１６  代表文選択部
１７  出力部
【図１】
0004142881.tif 000002
【図２】
0004142881.tif 000003
【図３】
0004142881.tif 000004
【図４】
0004142881.tif 000005
【図５】
0004142881.tif 000006
【図６】
0004142881.tif 000007
【図７】
0004142881.tif 000008
【図８】
0004142881.tif 000009
【図９】
0004142881.tif 000010
【図１０】
0004142881.tif 000011
【図１１】
0004142881.tif 000012
【図１２】
0004142881.tif 000013
【図１３】
0004142881.tif 000014
【図１４】
0004142881.tif 000015
【図１５】
0004142881.tif 000016
【図１６】
0004142881.tif 000017
【図１７】
0004142881.tif 000018
【図１８】
0004142881.tif 000019
【図１９】
0004142881.tif 000020
【図２０】
0004142881.tif 000021
【図２１】
0004142881.tif 000022
【図２２】
0004142881.tif 000023