(57)【要約】  多くの組の文書から、タームを統計的に抽出する方法を説明する。各文書内のワードに対する重要度値に基づいて、１組の文書内の各文書に対する重要度ベクトルを決定する。各文書に対する重要度ベクトルに基づいて、文書を類似文書のクラスタにクラスタ化することによって、バイナリ文書分類木を形成する。バイナリ文書分類木を一般化することによって、１組の文書に対するインフラストラクチャを構築する。インフラストラクチャの一般化された木を２つの部分に分割し、上側部分を切り離すことによって、文書クラスタを決定する。類似文書のクラスタから統計的に重要な個々のキーワードを抽出する。キーワードをシードとして扱い、シードからはじめてそれらの左または右のコンテキストに伸長することによって、タームを抽出する。【選択図】      図１
2007521560.tif 000002
【特許請求の範囲】
【請求項１】
１組の文書からタームを統計的に抽出する方法において、
各文書内のワードに対する重要度値に基づいて、１組の文書内の各文書に対する重要度ベクトルを決定するステップと、
各文書に対する重要度ベクトルに基づいて、文書を類似文書のクラスタにクラスタ化することによって、バイナリ文書分類木を形成するステップと、
バイナリ文書分類木を一般化することによって、１組の文書に対するインフラストラクチャを構築するステップと、
インフラストラクチャの一般化された木を切断することによって文書をクラスタ化するステップと、
類似文書のクラスタから統計的に重要な個々のキーワードを抽出するステップと、
キーワードをシードとして使用してタームを抽出するステップとを含む方法。
【請求項２】
各文書内のワードに対する重要度値が、参照コーパスに関する文書内のワードの頻度と卓立性とに基づいて決定される請求項１記載の方法。
【請求項３】
最大の類似度を有する２つの文書を選択するステップと、
２つの文書を新規文書に合成するステップと、
新規文書に対する重要度ベクトルを計算するステップと、
最大の類似度を有する２つの文書または新規文書を再度選択して合成するステップとを実行することによって文書をクラスタ化する請求項１記載の方法。
【請求項４】
文書の類似度はそれらの文章の重要度ベクトルのコサインによって決定される請求項３記載の方法。
【請求項５】
一般化ステップが類似ノードを合わせて合成する請求項１記載の方法。
【請求項６】
一般化ステップが、
文書の類似度の値を、バイナリ重み付け分類木を形成するノードにクラスタ化するステップと、
バイナリ重み付け分類木を分割して、バイナリ重み付け分類木を形成するノードのクラスタを決定するステップと、
バイナリ重み付け分類木を形成するノードのクラスタ内の類似度の値を有するバイナリ文書分類木のノードを合成するステップとを含む請求項１記載の方法。
【請求項７】
一般化されたバイナリ木を分割するステップが、一般化されたバイナリ木と同一ルーツを有する１つの部分と、一般化された木の類似文書の文書クラスタの森を有するもう１つの部分とに木を分割することによって実行される請求項１記載の方法。
【請求項８】
文書クラスタ中で高い重要度を有するワードがキーワードとして選択される請求項７記載の方法。
【請求項９】
相互情報を使用して、シードに基づいてタームを決定する請求項１記載の方法。
【請求項１０】
ワードストリングｔが少なくとも１つのシードを含むという要求を満たす場合、ワードストリングｔがタームであると決定される請求項９記載の方法。
【請求項１１】
１組の文書からタームを統計的に抽出するプラットフォームにおいて、
各文書内のワードに対する重要度値に基づいて、１組の文書内の各文書に対して重要度ベクトルを決定する手段と、
各文書に対する重要度ベクトルに基づいて、文書を類似文書のクラスタにクラスタ化することによって、バイナリ文書分類木を形成する手段と、
バイナリ文書分類木を一般化することによって、１組の文書に対するインフラストラクチャを構築する手段と、
インフラストラクチャの一般化された木を２つの部分に分割することによって、文書クラスタを決定する手段と、
類似文書のクラスタから統計的に重要な個々のキーワードを抽出する手段と、
キーワードをシードとして使用してタームを抽出する手段とを具備するプラットフォーム。
【請求項１２】
各文書内のワードに対する重要度値が、参照コーパスに関する文書内のワードの頻度と卓立性とに基づいて決定される請求項１１記載のプラットフォーム。
【請求項１３】
文書をクラスタ化する手段が、
最大の類似度を有する２つの文書を選択する手段と、
２つの文書を新規文書に合成する手段と、
新規文書に対する重要度ベクトルを計算する手段と、
最大の類似度を有する２つの文書または新規文書を再度選択して合成する手段とを備える請求項１１記載のプラットフォーム。
【請求項１４】
文書の類似度はそれらの文章の重要度ベクトルのコサインによって決定される請求項１３記載のプラットフォーム。
【請求項１５】
一般化手段が類似ノードを合わせて合成する請求項１１記載のプラットフォーム。
【請求項１６】
一般化手段が、
文書の類似度の値を、バイナリ重み付け分類木を形成するノードにクラスタ化する手段と、
バイナリ重み付け分類木を分割して、バイナリ重み付け分類木を形成するノードのクラスタを決定する手段と、
バイナリ重み付け分類木を形成するノードのクラスタ内の類似度の値を有するバイナリ文書分類木のノードを合成する手段とを備える請求項１１記載のプラットフォーム。
【請求項１７】
一般化されたバイナリ木を分割するステップが、一般化されたバイナリ木と同一ルーツを有する１つの部分と、一般化された木の類似文書の文書クラスタの森を有するもう１つの部分とに、木を分割することによって実行される請求項１１記載のプラットフォーム。
【請求項１８】
文書クラスタ中で高い重要度を有するワードがキーワードとして選択される請求項１７記載の方法。
【請求項１９】
相互情報を使用して、シードに基づいてタームを決定する請求項１１記載の方法。
【請求項２０】
ワードストリングｔが少なくとも１つのシードを含むという要求を満たす場合、ワードストリングｔがタームであると決定される請求項１９記載の方法。
【発明の詳細な説明】
【発明の分野】
【０００１】
本発明は情報抽出とテキストマイニングに関連する。
【発明の背景】
【０００２】
先行技術のターム抽出方法は、構造ベースの方法と統計ベースの方法を含む。
【０００３】
構造ベースの方法では、有限状態オートマトン解析（例えば、Grefenstette氏、１９９４年）や、フル構文解析（例えば、Bourigault氏、１９９３年；Jacqumin氏、１９９４年；Strzalkowski氏、１９９５年）や、深層意味理論と分析（例えばPustejovsky氏他、１９９３年）により生成される構造に基づいて、タームが文書から抽出される。この方法の難点は、ｉ）それは一般的により難しい問題である構文解析または意味分析に依存してターム抽出を行うこと、ｉｉ）選択された構造によりタームが限定されること、である。
【０００４】
統計ベースの方法では、タームは統計的に１組の文書から抽出される（例えば、Frantzi氏とAnaniadou氏、１９９５年；Church氏とHanks氏、１９８９年；Dunning氏、１９９３年）。一般的には、タームはワードまたはワードストリングである。統計的アプローチでは、タームは２つの特徴をもつ。１つはそれが文書中で統計上重要であることで、もう１つはそのメンバーワードが、もし１つより多いメンバーワードがある場合は、強く関係しているということである。ゆえに、ターム候補が本当のタームであるかどうかを決定するため、文書中のその重要度と、そのメンバーワード間の関係とが、考慮されなければならない。
【０００５】
文書中のターム候補の重要度に関して、既存の方法はすべて、所定の文書を単一の混合された文書として一般的に扱い、この混合文書から抽出されたタームを最終結果とする（例えばChien氏他、１９９８年；Schutze氏、１９９８年）。このタイプの方法は、文書がすべて１つにまとめられたときに、すべてのタームが統計的に重要に見えるようになるくらい十分に所定の文書が類似していなければならない、という厳密な要求を包含する。しかしながら、所定の文書は非常に類似していないかもしれず、さらに、非常に類似した文書は、ほとんどの領域において簡単には得られない。もし所定の文書が非常に類似していない場合、既存の解決法は、所定のいくつかの文書においてのみ統計的に重要であるが、文書集合全体では重要ではないタームを識別することに失敗する。
【０００６】
この問題のより深い理由は、既存の方法が所定の文書のインフラストラクチャを考慮していないという点である。もし先行技術の方法がインフラストラクチャを特定して、インフラストラクチャから文書クラスタ（文書クラスタとは、そのメンバーがある程度類似している、文書のサブセットである。）を識別することができるならば、たとえ所定の文書が非常に類似していなかったとしても、文書クラスタ中に隠れたタームを抽出し損ねることはない。
【０００７】
このように、先行技術の統計的解決法は、有効なように、文書が非常に類似していることを要求する。所定の文書が非常に類似していない場合は、いくつかのタームは統計的解決法によってアクセスできない。
【０００８】
所定の文書が非常に類似していなくてもよい方法を持つことが望まれる。タームを抽出する間に、所定の文書の階層分類が得られるとさらに望ましい。また、所定の文書集合内の文書クラスタ中の隠れたタームにアクセスできることが望ましい。
【発明の開示】
【発明の概要】
【０００９】
出願の分野が関係している限り、本発明の解決法は非常に類似した文書だけではなく、非常に類似していない文書にもまた適している。
【００１０】
方法論的には、解決法は、所定の文書に対してインフラストラクチャを構築し、インフラストラクチャから文書クラスタを決定し、ターム抽出を文書クラスタに基づかせる。インフラストラクチャを構築するために、解決法はターム抽出と階層文書クラスタ化とを統合して、文書に対するバイナリ分類木を生成し、バイナリ木に対して一種の一般化手続きを導入して、一般化された木を得る。文書クラスタを得るために、解決法は切断手続きを導入して、一般化された木を切断する。
【００１１】
機能的には、この解決法は、所定の文書組内の文書クラスタ中の隠れたタームにアクセスできる。
【００１２】
本発明の方法は、はじめに所定の文書に対してインフラストラクチャ（一種の階層構造）を構築して、それぞれが類似文書で構成されている文書クラスタを識別し、これらのクラスタから統計的に重要な個々のワードを抽出し、最終的にこれらのワードを「シード」として扱い、相互情報を使用してタームを位置付ける。インフラストラクチャを特定するために、方法は、はじめに従来の階層的クラスタ化アルゴリズムを使用して、文書に対するバイナリ木を構築し、一般化手続きを導入して、バイナリ木からインフラストラクチャを導出する。文書クラスタを識別するために、方法は、一種の切断手続きを導入して、インフラストラクチャを２つの部分に切断し、一方は部分木であり、他方はそのルーツノードが文書クラスタを表している森である。
【００１３】
一般的には、本発明は多くの組の文書からタームを統計的に抽出する方法とプラットフォームを含む。各文書内のワードに対する重要度値に基づいて、１組の文書内の各文書に対して重要度ベクトルを決定する。各文書に対する重要度ベクトルに基づいて文書を類似文書のクラスタにクラスタ化することによって、バイナリ文書分類木が形成される。バイナリ文書分類木を一般化することによって、１組の文書に対するインフラストラクチャが構築される。一般化されたインフラストラクチャを２つの部分に分割し、上側部分を切断することによって、文書クラスタが決定される。類似文書のクラスタから、統計的に重要な個々のキーワードが抽出される。キーワードをシードとして使用してタームが抽出される。
【実施形態の詳細な説明】
【００１４】
図１は本発明における大規模な文書集合からタームを統計的に抽出する方法のフローチャートを示している。以下の数式で、１組の文書は「Ｄ」と称され、参照コーパスは「Ｒ」と称される。ここでは「参照コーパス」は、文書内でワードが統計的に重要かどうかを決定するためのベンチマークとして使用される、大規模で均衡のとれたコーパスである。
【００１５】
ステップ１０において、１組の文書に対してインフラストラクチャを構築して、文書クラスタを識別する。このステップ１０は、ステップ１２において１組の文書中の文書に対する重要度ベクトルをはじめに構築することによって実行される。
【００１６】
はじめに、それぞれ個々の文書および個々の文書中の各ワードに対して、参照コーパスに関して、文書中のワードの卓立性と重要度とが決定される。
【００１７】
形式的には、ｄ∈Ｄである任意の文書、およびｗ∈ｄである任意のワードに対して、Ｓａｌ（ｗ，ｄ，Ｒ）で示される、Ｒに関するｄ内のｗの卓立性は、次の通りである。
【数１】
2007521560.tif 000003
ここで、Ｐ（ｗ，ｄ）はｄにおけるｗの出現率であり、Ｐ（ｗ，Ｒ）はＲにおけるｗの出現率である。
【００１８】
ＩＭＰ（ｗ，ｄ，Ｒ）で示される、Ｒに関するｄ内のｗの重要度は、次の通りである。
【数２】
2007521560.tif 000004
【００１９】
直観的には、もしあるワードが文書中で頻出し、参照コーパスに関して文書中において卓立しているときに限って、そのワードは参照コーパスに関して１つの文書中で重要である。
【００２０】
文書中の各ワードの重要度値に基づいて、文書に対する重要度ベクトルが形成される。形式的には、ＷがＤ内の任意の文書中で出現しているすべてのワードの組であるとして、Ｗ＝｛ｗ1，ｗ2，．．．，ｗn｝とすると、任意のｄ∈Ｄに対して、ＩＭＰ（ｄ）として示される、その重要度ベクトルは次の通りである。
【数３】
2007521560.tif 000005
【００２１】
重要度ベクトルを構築した後、ステップ１４を実行して、文書に対するバイナリ分類木を構築する。従来の階層的クラスタ化アルゴリズムを用いることにより、ステップ１２で決定されたそれらの重要度ベクトルに基づいて文書がクラスタ化され、図２に図示される文書のバイナリ階層分類（バイナリ木）が得られる。バイナリ木は各分岐において２つの枝を持ち、また各枝の末端に１つか２つの木の葉を持つ木である。バイナリ木２００は、それぞれ左右の部分木２０８および２１０に伸長している、辺２０４、２０６を持つルーツノード２０２を有しているように示されている。部分木は、ルーツノードの子供としても知られている。木２００の底辺は木の葉２１２である。図２では木の葉２１２のそれぞれの葉は、１組の文書「Ｄ」からの文書「ｄ」の１つを表すことができる。
【００２２】
バイナリ木を形成するためのステップは、すべての文書のうちで最大の類似度を有する２文書を選択することと、それらを合成して前の２文書に置き換わる新規文書とすることと（たとえば、ノード２１４は合成された文書を表すことができる）、前の２文書の重要度ベクトルに基づいて、新規文書に対する重要度ベクトルを計算することと、１組の文書「Ｄ」の組み合わせである唯一の文書（ルーツノード２０２によって表される）になるまでこの手続きを繰り返すこととを含む。
【００２３】
形式的には、ｄ１とｄ２とがＤ内の２つの文書であったとすると、それらの類似度ｓｉｍ（ｄ１，ｄ２）は数式（４）のように、それらの重要度ベクトルのコサインとして定義される。２つの文書ｄ１とｄ２とが合成されるとき、結果となる新規文書は文書「ｄ」として呼ぶことができる。ｄ１とｄ２との類似度は、ｗｅｉｇｈｔ（ｄ）としても示され、文書ｄの重みとも呼ばれる。
【数４】
2007521560.tif 000006
【００２４】
次に、ステップ１０のインフラストラクチャを構築するためにステップ１６が実行され、ステータス１６ではバイナリ木２００の一般化が実行される。ステップ１８、２０、２２は、ステップ１６を達成するために実行される。この一般化は有用である。その理由は、従来の階層的クラスタ化アルゴリズムでは、各ステップで２つの文書のみが合成され、結果として生じるバイナリ木におけるローカルエリアのノードは非常に近い重みをとる傾向があり、これは文書が異なるノード内にあっても非常に類似することがあることを意味するからである。この一般化ステップはこれらの類似したノードを合わせて合成する。
【００２５】
ステップ１８において、バイナリ文書分類木２００内で、非葉ノード（図２の木の葉２１２のようなノード以外のノード）の重み（類似度の値）をクラスタ化することにより、図３に図示したバイナリ重み付け分類木（バイナリ類似度分類木）３００が形成される。木２００は１２個の葉ノード２１２と、１１個の非葉ノード２１４とを有しているように示されている。１１個の非葉ノードそれぞれは、それに付随する重みを有している。つまり、１１個の重みがあり、それぞれの重みは実数である。この特別な例では、１１個の重みのうち３個が同一であると仮定されている。したがって、９個の異なった実数の重みがある。これらの重みのそれぞれは、図３のバイナリ木３００の葉ノードの１つとして働く（つまり、図３の木３００の底辺の実数０．１１，０．１２，０.１４，０．５３，０．５２，０．５０，０．９８，０．９９および１．００）。
【００２６】
バイナリ重み付け分類木３００を形成するための重みのクラスタ化は、ステップ１４で文書をクラスタ化し、バイナリ木２００を形成するために用いられたものと同一のアルゴリズムを用いて実行される。図３では、木の最も低いレベルにおける重みは、従来のクラスタ化アルゴリズムを用いてクラスタ化されている。それらの類似度は、それらの差によって測定される。例えば、もし０.１と０.９とが２つの重みであったならば、それらの類似度はそれらの差、０.９−０.１＝０.８によって測定することができる。木３００の上側レベルにリストされた実数は、最も低いレベルのノードをクラスタ化することから生成されるノードの重みである。図４は図３の木３００中のノードのスコア（つまり、そのサブノードの重みの間の差）を括弧内にリストされた実数として示している。上側レベルのノードのスコアは一般的により高くなり、下側レベルのノードのスコアは一般的により低くなる。
【００２７】
直観的には、ステップ１８はバイナリ文書分類木２００で非葉ノードの重みの分布を調査する。
【００２８】
ステップ１８のこの重みクラスタ化内のサブステップは、ｉ）すべてのうちで最も近い２つの重みを選択し、ｉｉ）２つの古い重みの平均と等しい新規の重みを生成し、新規の重みにそのスコアとして２つの古い重みの差をマークし、２つの古い重みを置き換え、ｉｉｉ）唯一の重みになるまでｉ）およびｉｉ）を繰り返すことを含む。
【００２９】
ステップ２０において、バイナリ重み付け分類木３００は重みクラスタ（類似度値のクラスタ）を決定するために切断（分割を意味している）される。１つのクラスタでは、重みは非常に近い。結果は図４に示されており、線４０６は木３００内での切断を図示している。直観的には、このステップはバイナリ重み付け分類木３００内の非葉ノードの重み内に存在する「ギャップ」を把握するためのものである。
【００３０】
形式的には、ステップ２０を説明すると、Ｓ３００をバイナリ重み付け分類木３００とし、Ｓ1４０２をＳと同一ルーツを持つＳの部分木とし、Ｓ−Ｓ1４０４をＳ1が除去されたＳ内の森とすると、切断に対するオブジェクト関数は、Ｓ1のノードの平均スコアとＳ−Ｓ1のノードの平均スコアとの間の差として定義され、ＤＥＦ＿ＳＣＯＲＥ（Ｓ1，Ｓ−Ｓ1）として示される。
【数５】
2007521560.tif 000007
ここで、ｓｃｏｒｅ（ｄ）はノードｄのスコアであり、|S1|はＳ1内のノードの数であり、｜Ｓ−Ｓ1｜はＳ−Ｓ1内のノードの数である。適切に木を切断することは、次式を満たすＳ1*を見つけることを意味する。
【数６】
2007521560.tif 000008
【００３１】
Ｓと同一ルーツを持つ部分木の数は、所定の文書の数に対して指数的であることに留意すべきである。しかしながら、バイナリ重み付け分類木３００は、合成が減少するに伴ってスコアは減少しないという顕著な特徴を有している。したがって、数式（６）を満たすＳ1*を見つけるため、次の手続きが使用される。
ｉ）      Ｓのルーツをマークし、ルーツを候補組内に置き、その子供２つをノード組Ｐに置き、
ｉｉ）    マークされた部分木を選択し、Ｐ内で最大のスコアを有する、Ｐからの１つのノードとともに、対応する辺を加えることによってマークされた部分木を伸長し、Ｐからポイントを除去し、その非葉子供をＰに加え、この部分木を候補組へと置き、Ｓ内のこの部分木をマークし、
ｉｉｉ）  Ｐが空になるまでｉｉ）を繰り返し、
ｉｖ）    候補組内の各部分木に対し、オブジェクト関数（５）を最大化する部分木をＳ1*として選択する。
【００３２】
この手続きは、重みの数に対する多項式である。バイナリ重み付け分類木３００を切断することは、ＳからＳ1*を切断して取り除くことを意味する。結果は森、つまり１組の部分木である。各部分木に対して、その葉ノードは図４の４０８のような重みクラスタを形成する。
【００３３】
次に、図１のステップ２２が実行され、ステップ２０で生成された重みクラスタ内にその重みが入る、ローカルエリア内のバイナリ文書分類木２００のノード（バイナリ文書分類木２００中で近い類似度値を有するノード）を合成する。結果は図５と図６とに図示されている。
【００３４】
ｐはバイナリ文書分類木２００のルーツ２０２であると仮定する。Ｐ５０２とＱ５０４がノードのすべての組である。ステップ２２は木を一般化するための次のステップを含む。
ｉ）      ｐ２０２をＰ５０２に置き、またその子供ノードをＱ５０４に置き、ｐの重みがクラスタｃ（例えば図４のクラスタ４０８）として入る重みクラスタをマークする。
ｉｉ）    その重みがクラスタｃに入る、Ｑ内のノードがある間、それらをＰに移動させ、それらの子供ノード（葉ノードでない場合）をＱに移動させる（図５参照）。
ｉｉｉ）  Ｐ内のすべてのノードを１つの新規ノード６０２に合成し、Ｑ内のすべてのノードを新規ノード６０２の子供６０４として扱う（図６参照）。
ｉｖ）    Ｑ内のすべてのノードに対し、手続きを繰り返す。
【００３５】
これらのステップは、図６の一般化されたバイナリ木６００という結果を生む。
【００３６】
バイナリ木を一般化するために、ステップ１６を実行した後、インフラストラクチャは完成し、図１のステップ２４が実行され、一般化された木６００を切断して、図７に図示されたような文書クラスタが得られる。
【００３７】
一般化された木６００内の任意のノードに対して、もしそれがバイナリ木内のいくつかのノードを合成することによって生成されたのであれば、バイナリ木内のノードの平均重みがその重みである。一般的に、上側レベルのノードは下側レベルのノードよりも低い重みを持ち、これは、そのメンバー文書の類似性は少なく、その逆も然りであることを意味する。
【００３８】
木６００は、２つの部分に切断する必要がある。１つ目の部分は木と同一ルーツを有し、ノードは一般的により低い重みを有している。２つ目の部分は森であり、２つ目の部分内のノードは一般的により高い重みを有している。２つの部分間の切断は、図７に線７０６として図示されている。線７０６より下のレベルを有するノードは文書クラスタと個々の文書である。木の中で線７０６より上のレベルを有しているノードは除去される。木６００を切断するための手続きは、ステップ２０でバイナリ木３００を切断することに関して説明したものと類似している。形式的には、Ｔ６００は階層構造の木であるとし、Ｔ1はＴと同一のルーツを有するＴの部分木７０２であるとし、またＴ−Ｔ1はＴ１が除去された、Ｔ内の森７０４であるとする。オブジェクト関数は、Ｔ1内のノードの平均重みとＴ−Ｔ1内のノードの平均重みとの差として切断について定義され、ＤＥＦ＿ＷＥＩＧＨＴ（Ｔ1，Ｔ−Ｔ1）として示される。
【数７】
2007521560.tif 000009
ここで、|Ｔ1|はＴ1内のノードの数であり、|Ｔ−Ｔ1|はＴ−Ｔ1内のノードの数である。適切に木を切断することは、次式を満たすＴ1*を見つけることを意味する。
【数８】
2007521560.tif 000010
【００３９】
Ｔ内でＴ1*を位置付けする手続きは、前述のＳ内でＳ1*を位置付けする手続きと同一である。最終的に、森Ｔ−Ｔ1*７０４が得られ、この森内のノードは文書クラスタＣ、例えば図７の４つの文書クラスタ７０８，７１０，７１２および７１４である。
【００４０】
次は図１のステップ２６が実行され、ワードの重要度値に基づいて、すべての個々の文書と文書クラスタとに対してキーワード（つまり、統計的に重要なワード）が抽出される。キーワードはタームを位置付けするために「シード」として扱われる。
【００４１】
もしｃがＣのクラスタであったならば（ｃ∈Ｃ）、ｃの重要度ベクトルは次式のようになる。
【数９】
2007521560.tif 000011
【００４２】
Ｗが任意の所定の文書中で出現するすべてのワードの組であるとすると、任意のＸ⊆Ｗに対して、その平均重要度は、ＡＶＥ＿ＩＭＰ（Ｘ）として示され、以下の通りである。
【数１０】
2007521560.tif 000012
次式を満たすｃ内の１組のキーワードは、Ｘ*と表される。
【数１１】
2007521560.tif 000013
直観的には、キーワードに対する重要度値はより高くなるべきであり、他のワードに対する重要度値はより低くなるべきである。したがって、１組のキーワードは、オブジェクト関数を最大化する傾向、つまり、キーワードの平均重要度値と他のワードの平均重要度値との差を最大化する傾向がある。
【００４３】
図１のステップ２８が最終的に実行され、相互情報が使用されて、ステップ２６で生成されたシードに基づいてタームが決定される。ここでは相互情報は情報理論の統計的概念である。直観的には、２つのオブジェクト間の相互情報は１つのオブジェクトがもう１つのオブジェクトを表現する程度を反映する。本発明では、相互情報は２つのワードがどれほど強く結合しているかを測定するために使用される。ワードストリングｔは下記の要求を満たす場合にタームである。
ｉ）      少なくとも１つのシードを含み、
ｉｉ）    もしｔ＝ｗ1ｔ1ｗ2ならば、ｔ1はｔのサブストリングであり、そしてＭＩ（ｗ1，ｔ1ｗ2）≧∂1またはＭＩ（ｗ2，ｗ1ｔ1）≧∂1であり、
ｉｉｉ）  ｃ内の任意のｗ1ｔｗ2に対して、ＭＩ（ｗ1，ｔ）＜∂1およびＭＩ（ｗ2，ｔ）＜∂1であり、また
ｉｖ）    Ｃ内にｃが存在し、ＩＭＰ（ｔ，ｃ，Ｒ）≧∂2である。
ここで、ＭＩ（ｘ，ｙ）はｘとｙとの間の相互情報であり、その定義はｐ（ｘ，ｙ）／（ｐ（ｘ）・ｐ（ｙ））であり、∂1と∂2は相互情報と重要度値のそれぞれに対する２つのしきい値である。
【００４４】
直観的には、ｉｉ）はタームの内部部分間の関係がより強いことを意味し、ｉｉｉ）はタームとその隣接したワードとの間の関係がより弱いことを意味し、そしてｉｖ）はタームが参照コーパスに関して１つのクラスタ中で統計的に重要であることを意味している。
【００４５】
一般的に、タームを位置付けするために、われわれは各シードワードから始めて、左または右に伸長して、伸長ができなくなるまでｉｉ）〜ｉｖ）が満たされているかをチェックすることができる。
【００４６】
本発明は、情報抽出とテキストマイニングに対して多くの適用を持ち、これには、領域特定シソーラス、情報検索、情報要約、文書索引付け、文書分類、文書理解が含まれる。
【００４７】
本発明は特定の実施形態を用いて前述したが、当業者に明らかになるように、特許請求の範囲内で、数多くの変形が可能である。
【図面の簡単な説明】
【００４８】
本発明の処理手続きは、下の図により説明される。
【図１】図１は本発明の大規模文書集合からタームを抽出する方法のフローチャートを示す。
【図２】図２は文書集合に対して形成されたバイナリ階層分類（バイナリ木）を示す。
【図３】図３は図１の方法で使用されるバイナリ重み付け分類木を図示する。
【図４】図４は重みクラスタを決定するために切断された図３のバイナリ重み付け分類木を示す。
【図５】図５は図２の木を一般化するためのノードのクラスタ化を示す。
【図６】図６は類似文書のノードが合成された後の一般化された木を表す。
【図７】図７は一般化された木を切断して２つの部分を形成するところを示し、上側部分は一般的により低い重みを有するノードを持つ木であり、下側部分は一般的により高い重みを持っている。
【図１】
2007521560.tif 000014
【図２】
2007521560.tif 000015
【図３】
2007521560.tif 000016
【図４】
2007521560.tif 000017
【図５】
2007521560.tif 000018
【図６】
2007521560.tif 000019
【図７】
2007521560.tif 000020
【国際調査報告】
2007521560.tif 000021
2007521560.tif 000022