(57)【特許請求の範囲】
【請求項１】
それぞれが１つ以上のセンテンスを有する複数のテキストユニットを包含する１つのテキストにおける前記テキストユニットのスコアリング方法を実行するデータプロセッサであって、
前記センテンスを構成するワードのステムワードが１つ以上存在する複数のテキストユニットのそれぞれに対して、該ステムワードと前記各テキストユニットに対応するインデックスとを含むステム−インデックス記録を前記ステムワード毎に形成する手段と、
前記ステム−インデックス記録に存在する同一の前記テキストユニットの数を前記インデックスに基づいて合計する手段と、
前記ステム−インデックス記録に存在する前記各テキストユニット毎に、該ステム−インデックス記録に存在する他のテキストユニットとの間で共有される任意の前記ワードステムの数に基づいて最終スコアを形成する手段と、
を有することを特徴とするデータプロセッサ。
【請求項２】
それぞれが１つ以上のセンテンスを有する複数のテキストユニットを包含する１つのテキストにおける前記テキストユニットのスコアリング方法を実行するデータプロセッサであって、
前記センテンスを構成するワードが関連する属性を表す１つ以上の属性コードが存在する複数のテキストユニットのそれぞれに対して、該属性コードと前記各テキストユニットに対応するインデックスとを含むコード−インデックス記録を前記属性コード毎に形成する手段と、
前記コード−インデックス記録に存在する同一の前記テキストユニットの数を前記インデックスに基づいて合計する手段と、
前記コード−インデックス記録に存在する前記各テキストユニット毎に、該コード−インデックス記録に存在する他のテキストユニットとの間で共有される任意の前記属性コードの数に基づいて最終スコアを形成する手段と、
を有することを特徴とするデータプロセッサ。
【請求項３】
請求項１に記載のデータプロセッサによるテキストユニットのスコアリング方法であって、
前記センテンスを構成するワードのステムワードが存在する複数のテキストユニットのそれぞれに対して、該ステムワードと前記各テキストユニットに対応するインデックスとを含むステム−インデックス記録を前記ステムワード毎に形成する工程と、
前記ステム−インデックス記録に存在する同一の前記テキストユニットの数を前記インデックスに基づいて合計する工程と、
前記ステム−インデックス記録に存在する前記各テキストユニット毎に、該ステム−インデックス記録に存在する他のテキストユニットとの間で共有される任意の前記ワードステムの数に基づいて最終スコアを形成する工程と、
を包含することを特徴とする方法。
【請求項４】
請求項２に記載のデータプロセッサによるテキストユニットのスコアリング方法であって、
前記センテンスを構成するワードが関連する属性を表す１つ以上の属性コードが存在する複数のテキストユニットのそれぞれに対して、該属性コードと前記各テキストユニットに対応するインデックスとを含むコード−インデックス記録を前記属性コード毎に形成する工程と、
前記コード−インデックス記録に存在する同一の前記テキストユニットの数を前記インデックスに基づいて合計する工程と、
前記コード−インデックス記録に存在する前記各テキストユニット毎に、該コード−インデックス記録に存在する他のテキストユニットとの間で共有される任意の前記属性コードの数に基づいて最終スコアを形成する工程と、
を包含することを特徴とする方法。
【請求項５】
前記最終スコアに基づいて前記ステム−インデックス記録または前記コード−インデックス記録に存在する前記各テキストユニットをランキングする工程をさらに包含する、請求項３または４に記載の方法。
【請求項６】
前記テキストからストップ−ワードを除去する工程が予め実行される請求項３または４に記載の方法。
【請求項７】
前記コード−インデックス記録を形成する工程において、１つのテキストユニット中に存在する前記各属性コードに関連するワードスペリングを記録に残し、同一の前記ワードスペリングが前記コード−インデックス記録の前記各テキストユニットの同一の属性コードに関連する場合、該テキストユニット中の該同一の属性コードの存在を無視する、請求項４に記載の方法。
【請求項８】
前記属性コードの存在を無視する前記工程は、前記テキスト中の単一のワードスペリングのみに関する前記属性コードに対しては実行しない、請求項７に記載の方法。
【請求項９】
前記最終スコアを形成する工程は、所定の閾値に関して前記最終スコアのそれぞれの最高値を示すレベルを前記各テキストユニット毎に算出する工程をさらに包含する、請求項３または４に記載の方法。
【請求項１０】
請求項３または４に記載の方法の各工程を実行するためのプログラムが記録されたデータプロセッサ読み取り可能な格納媒体。
【発明の詳細な説明】
【０００１】
（発明の分野）
本発明は、テキストユニット（例えばセンテンス）のスコアリングのための方法およびシステムに関する。例えば、ソーステキスト（原文関連性）の意味を定義する際のそれら方法およびシステムの寄与により、結合性のあるサブテキスト（原文結合性）またはテキストの主題（トピック適性）を特徴付ける異なるトピックスに的を絞る程度および有効性を生じる、方法およびシステムの能力に関する。
【０００２】
（背景技術）
テキストを要約する場合、テキストを定義する際の主概念を可能な限り多く含むという点で、もっとも代表的なテキストの一部分を選択することが望ましい（原文関連性）。例として、ＥＰ−Ａ−７４１３６４（Ｘｅｒｏｘ  Ｃｏｒｐ．）において、（ａ）文書から多くの候補フレーズを引き出すことによる（１ワードより多いユニット）、続いて（ｂ）主要フレーズとして候補フレーズのサブセット選択することによる機械読取式文書から主要フレーズを選択する方法を開示する。要約として公知であるこの選択はまた、センテンス中の原文結合性の程度を考慮することで、不完全につながったセンテンスを含む要約が生じる危険性を最小化する。
【０００３】
テキストにおいてすべてのペアのようなテキストユニットの組み合わせに関して、語彙結合を計算することは、原文の関連性および結合性を並列に評価する効果的な方法を提供する。例えば、Ｈｏｅｙ  Ｍ．（１９９１）Ｐａｔｔｅｒｎｓ  ｏｆ  Ｌｅｘｉｓ  ｉｎ  Ｔｅｘｔ．ＯＵＰ、Ｏｘｆｏｒｄ、ＵＫ、およびＣｏｌｌｉｅｒ  Ａ．（１９９４）Ａ  Ｓｙｓｔｅｍ  ｆｏｒ  Ａｕｔｏｍａｔｉｃ  Ｃｏｎｃｏｒｄａｎｃｅ  Ｌｉｎｅ  Ｓｅｌｅｃｔｉｏｎ．ＮＥＭＬＡＰ  １９９４、Ｍａｎｃｈｅｓｔｅｒ、ＵＫ．を参照されたい。テキストユニットペアに関する語彙結合を計算する単純な方法は、両方のテキストユニットに存在するノンストップワードを数えることである。ノンストップワードは、高情報量を有するワードと直感的にみなされる。ノンストップワードは通常、非常に高い頻度で存在するワードを除外する。例えば限定詞、前置詞、および接続詞のような限定類語である。例えば、Ｆｏｘ、Ｃ．（１９９２）Ｌｅｘｉｃａｌ  Ａｎａｌｙｓｉｓ  ａｎｄ  Ｓｔｏｐｌｉｓｔｓ、ｉｎ  Ｆｒａｋｅｓ  Ｗ  ａｎｄ  Ｂａｅｚａ−Ｙａｔｅｓ  Ｒ  （ｅｄｓ）  Ｉｎｆｏｒｍａｔｉｏｎ  Ｒｅｔｒｉｅｖａｌ：Ｄａｔａ  Ｓｔｒｕｃｔｕｒｅ  ＆  Ａｌｇｏｒｉｔｈｍｓ．Ｐｒｅｎｔｉｃｅ  Ｈａｌｌ、Ｕｐｐｅｒ  Ｓａｄｄｌｅ  Ｒｉｖｅｒ、ＮＪ、ＵＳＡ、ｐｐ１０２〜１３０．を参照されたい。
【０００４】
ストップワードのサンプルリストを以下に示す。
【０００５】
【表１】
0003862501.tif 000002
数多くの共有するノンストップワードを含むテキストユニットは、２つの理由から原文テキストのより良い要約を提供するのにより適当である。その理由は：
高情報量を有するワードが、１つのテキスト中により多く存在すればするほど、そのワードはテキストに、より原則的および適切なワードであり得、さらに
２つのテキストユニットがワードを共有する回数が多ければ多いほど、それらはより関連したワードであり得る。
【０００６】
実例として、次のサンプルテキストの順位を考えよ。ここでハッシュ記号（＃）で囲んだ数字はテキストユニットのインデックスである。
【０００７】
【表２】
0003862501.tif 000003
Ｈｏｅｙによって提案された方法によると（上記参考文献を参照にされたい）、語彙結合を計算するために、すべて特有なペアをなすテキストユニットの組み合わせが、下の表に示すようにそれらがいくつのワードを共有するかによって得点される。
【０００８】
【表３】
0003862501.tif 000004
各テキストユニットペアにおいて共有したワードの数（同一のワードの複数回存在を含む）が、そのペアに個々のスコアを提供する。例えば、テキストユニット＃２＃に含まれる全てのペアの個々のスコアは下の表に示される：
【０００９】
【表４】
0003862501.tif 000005
所与のテキストユニットの最終スコアは、そのテキストユニットに関する個々のスコアを合計することによって得られる。Ｈｏｅｙ（上記参考文献を参照されたい）によると、２つのテキストユニットに亘るリンクの数（例えば、共有するワード）は、ある語彙結合の順位に達するために、２つのユニットテキストに関してある閾値以上でなければならない。例えば、２より大きな個々のスコアだけを考慮する場合、テキストユニット＃２＃の最終スコアは（３＋４＝）７となる。同様の方法で、テキストユニット＃１＃および＃３＃に関する最終スコアは、それぞれ３および４となる。
【００１０】
そのようなスコアリングが次の順位を提供する。
第１位：テキストユニット＃２＃（最終スコア：７）；
第２位：テキストユニット＃３＃（最終スコア：４）；および
第３位：テキストユニット＃１＃（最終スコア：３）．
ユーザが指定したテキストの割合に従うと、テキストの要約は、順位を決める際のテキストユニットの選択によって得られ得る。例えば、テキストの３５％の要約（すなわち、サンプルテキスト中の全テキストユニットの３５％までの要約）は、テキストユニット＃２＃および＃３＃の選択という結果になる。
【００１１】
語彙結合に関する更なる詳細、および要約を促進するのに使用され得る方法は、上記のＨｏｅｙおよびＣｏｌｌｉｅｒの参考文献で理解され得る。
【００１２】
技術に関係した他の従来技術には、Ｄｏｉ（１９９１）による文書の要約を作成する方法および装置−米国特許第５０７７６６８号；Ｕｋｉｔａら（１９９３）文書テキストを用いたデジタル計算装置−米国特許第５２５７１８６号；Ｗｉｔｈｇｏｔｔらによる、テーマに従った文書の要約の方法および装置−米国特許第５３８４７０３号；およびＰｅｄｅｒｓｅｎ、Ｊ．＆Ｊ．Ｔｕｋｅｙ（１９９７）らによる自動文書要約方法および装置−米国特許第５６３８５４３号を含む。
【００１３】
（発明の開示）
本発明の目的は、従来技術の不利のうち少なくともいくつかを克服し、テキストユニットのランキングの方法およびシステムを提供することである。
【００１４】
本発明によると、複数のテキストユニット（各々が１つ以上のストリングを含む）を含む１つのテキスト上で動作する方法が提供され、その方法は次の工程を包含する：
少なくともいくつかの前記ストリング各々に対する複数の構造の形成であって、その構造において、ストリングはストリングが存在する各々のテキストユニットに関連する工程；
各々のテキストユニットに関して、同一の構造または構造における各々の他のテキストユニットの存在する数を合計し、それによりテキストユニットの各々のペアの個々のスコアを形成する工程；および
各々のテキストユニットの個々のスコアを処理し、各々のテキストユニットの最終スコアを形成する工程
とを包含する。
【００１５】
そのような構造の使用によってテキスト上の動作にかかる時間はかなり減少する。その理由は、全ての可能なテキストユニットペア間で次々に共有されるストリングの数をカウントする必要はもはやないからである。
【００１６】
より詳細には、１つのテキスト中で他の全てのテキストユニットを有する１つのテキストユニットの結合性の程度は、要素（例えば、ワード）の量で表すことによって簡単に評価され得る。ここで、各々のテキストユニットは、要素が存在するテキストユニットへのポインタのリストを有するテキスト中で各々の要素を関連付けることによって形成されたペアを上記要素（例えば、ワード）と共有する。これは、テキストユニットの全てのペアのような組み合わせを算出することによって、同様の評価を実行するＨｏｅｙ（１９９１）およびＣｏｌｌｉｅｒ（１９９４）によって記述されたような方法と比較した場合、処理速度に関して有意な利点を提供する。特に、処理速度１秒当たりのワードは、テキストサイズによる影響は極めて少ない。
【００１７】
その方法は、個々のスコアに基づいて、テキストユニットをランキングするさらなる工程を包含する。
【００１８】
本発明の１つの実施形態において、前記テキストユニットはセンテンスであり、前記ストリングは該センテンスを形成するワードであり、およびその方法は、ストップワードの除去、各々の残ったワードのステミング、および該要約する工程を実行する前にセンテンスのインデックス付けする付加的工程を包含し、前記構造は、ステムワードをそれぞれ含むステムインデックスレコード、および該ステムワードが存在するセンテンスに対応する１つ以上のインデックスである。
【００１９】
代替可能な実施形態において、前記テキストは、複数のワードを含む１つのワードテキストに関係し、各々のワードは該ワードが関連する属性を表す１つ以上の属性コードに関係し、前記ストリングは該ワードに関係する属性コードである。
【００２０】
この場合、その方法は、１つのテキストユニット中の各々の属性コードの存在に関連するワードスペリングを記録に残すさらなる工程を包含し、前記要約する工程の間に、同一のワードスペリングが、テキストユニットペア中の同一の属性コードに関連する場合、テキストユニットペア中の同一の属性コードの存在を無視する。
【００２１】
各々のワードは多くの可能な属性コードを有しており、そのうちのいくつかは、ワードが用いられているコンテクストに関して文脈上不適切であるということが理解される。最後に述べた特徴は、以下でより詳細に記述され得るような、文脈上不適切な属性コードの存在を無視することによって、本発明による方法が属性コードを明確にすることを可能にする。
【００２２】
属性コードの存在を無視する上記工程は、ワードテキストにおけるシングルワードスペリングのみに関する属性コードに対して実行され得ない。
【００２３】
前記最終スコアに加えて、前記処理工程は、各々のテキストユニットに関するレベルの算出を包含し、および該レベルは、閾値に関する前記個々のスコアの最高値を示し得る。
【００２４】
所望の場合、これによってテキストユニットはレベルに従って第１位にランキングし得、および前記最終スコアによって第２位にランキングされ得る。
【００２５】
また、本発明は、プログラマブルデータプロセッサの制御に関するプログラムを含む格納媒体を提供し、上記の方法を実行する。
【００２６】
また、本発明は、１つのテキスト中のテキストユニットのランキングに関するシステムを提供し、システムはプログラムされたデータプロセッサを含み、上記の方法の工程を実施する。本発明の好ましい実施形態は添付の図を参照して、例として以下に述べる。
【００２７】
（本発明実施の最良の形態）
以下に記述する本発明の実施形態において、テキストユニットのランキングは、テキストユニットに亘って共有されるワードの存在を参照して実行される。原文関連性および原文結合性両方の評価は、全てのテキストユニットペアに亘って共有されるリンク（例えば個々のワード）を数えることによって実行され得る。その方法によって、各テキストユニットがステムインデックスペアを共有する要素（例えば、ワード）の量で表すことによってこの評価を実行し得る。このような各ペアは、テキスト中の要素および要素が存在するテキストユニットのポインタリストを含む。この技術によって、同じ評価をテキストユニットの全てのペアの組み合わせの計算によって実行するシステムよりも、テキストサイズによる影響が少ない処理速度でテキストユニットのランキングを可能にする。
【００２８】
ランキングは以下のような評価によって行われる。
【００２９】
各々のテキストユニットがソーステキストにどの程度適しているか（原文関連性）；
各テキストユニットがソーステキスト中の他のテキストユニットとどの程度よく結合しているか（原文結合性）；および
各テキストユニットがソーステキスト中で扱われる様々なトピックスをどの程度よく表しているか（トピックの適性）。
【００３０】
以下に記述するさらなる実施形態において、同様の技術がトピックの傾向の評価に使用される。テキストユニットに亘って共有されるリンクは、ワードエントリに関するそのようなコードの仕様を提供する辞書または類語辞典データベースを参照して、ワード（例えば、ワード、ｅｘｅｃｕｔｉｖｅに対するビジネスおよび政治的意味合い）に関係する意味論的コードをオーバーラップする点から確認する。
【００３１】
その方法は２つのフレーズに分割し得る。すなわちランキングするフレーズに続く予備的フレーズである。予備的フレーズにおいて、テキストは語彙結合を計算するプロセスを促進する目的を有する多数の規格化を受ける。このフレーズは次の動作を包含する：
テキストの文節化；
フォーマットコマンドの除去；
固有名の認識；
マルチ−ワード表現の認識；
ストップワードの除去；および
ワードのトークン化
また、入力テキストの規格化のさらなる方法は、本明細書中で後述する。
【００３２】
例えば、上述のサンプルテキストに示されるように、分節化の目的は、テキストユニット自身（例えば、センテンス、タイトル、およびセクション見だし）に基づくテキストユニット中に入力テキストを分割する。およびそのようなテキストユニットにインデックスを付けることである。
【００３３】
次に、テキスト中で印のつくＨＴＭＬ（ハイパーテキストを記述するための言語）のようなフォーマットコマンドを扱う。
【００３４】
ＨＴＭＬフォーマットコマンドを含むサンプルテキストは以下の様である：
【００３５】
【表５】
0003862501.tif 000006
本発明の実施形態において、フォーマットコマンドは、単純に移動されるが、代替処理が以下に記述される。
【００３６】
また、固有名詞およびマルチ−ワード表現を認識する機能が含まれる。そのような機能により、アップル（Ａｐｐｌｅ）、ニューヨーク（Ｎｅｗ  Ｙｏｒｋ）、ニューヨークタイムズ（Ｎｅｗ  Ｙｏｒｋ  Ｔｉｍｅｓ）のような表現をプロセスすること、さらにトークン化されるべきでないシングルユニットとしての関心度を測ることを可能にする。そのようなユニットの認識は表面上互いに似ているが、異なった意味を有する表現−例えばＡｐｐｌｅ（会社）およびａｐｐｌｅ（果物）、またはＮｅｗ  ＹｏｒｋのＹｏｒｋ（都市）およびＮｅｗ  Ｙｏｒｋ  Ｔｉｍｅｓ（新聞社）−が、実際に語彙結合リンクを確実に発生しないようにする。固有名詞およびマルチ−ワード表現の認識に関するさらなる情報に関して、参照文献にはそれぞれＤａｖｉｄ  ＭｃＤｏｎａｌｄ（１９９６）Ｉｎｔｅｒｎａｌ  ａｎｄ  Ｅｘｔｅｒｎａｌ  Ｅｖｉｄｅｎｃｅ  ｉｎ  ｔｈｅ  Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ  ａｎｄ  Ｓｅｍａｎｔｉｃｓ  Ｃａｔｅｇｏｒｉｚａｔｉｏｎ  ｏｆ  Ｐｒｏｐｅｒ  Ｎａｍｅｓ、Ｂ．Ｂｏｇｕｒａｅｖ  ａｎｄ  Ｊ．Ｐｕｓｔｅｊｏｖｓｋｙ（ｅｄｓ）Ｃｏｒｐｕｓ  Ｐｒｏｃｅｓｓｉｎｇ  ｆｏｒ  ｌｅｘｉｃａｌ  Ａｃｑｕｉｓｉｔｉｏｎ、ＭＩＴ  Ｐｒｅｓｓ  ａｎｄ  Ｊｕｓｔｅｓｏｎ、Ｊ．Ｓ．ａｎｄ  Ｋａｔｚ、Ｓ．Ｍ．、１９９５．Ｔｅｃｈｎｉｃａｌ  ｔｅｒｍｉｎｏｌｏｇｙ：ｓｏｍｅ  ｌｉｎｑｕｉｓｔｉｃ  ｐｒｏｐｅｒｔｉｅｓ  ａｎｄ  ａｎ  ａｌｏｒｉｔｈｍ  ｆｏｒ  ｉｄｅｎｔｉｆｉｃａｔｉｏｎ  ｉｎ  ｔｅｘｔ、１：９−−２７．が挙げられる。
【００３７】
次に、上記のようなストップワードに一致する入力テキスト中の全てのワードが除かれる。この工程により、語彙結合を評価する場合に、情報量の低いワードを考慮しないことを確実にする。ストップワードの除去後、テキストユニットに亘る共有ワードの算出は、ノンーストップワードのトークン化によってさらに最適化される。ワードのトークン化は、ステム中または引用書式中にワードを還元することによって達成される。例えば以下の表のようになる。
【００３８】
【表６】
0003862501.tif 000007
概して引用書式は、ワードが従来の辞書に掲載される方法に対応し、かつワードを引用書式に還元するプロセスは、見出し語化（ｌｅｍｍａｔｉｓａｔｉｏｎ）と呼ばれる。概してワードのステム書式への還元は、全ての語形変化が除去されたワードのさらなる切り捨てを含む。ステムまたは引用書式のワードを還元する目的は、共有するワードのより効果的な概念を得ることである、例えば、語形変形論および／または派生語形態論の影響から離れて抽出されることである。ステミングは、語形変形論および派生語形態論の両方を取り消すような、極めて有力なワードのトークン化技術を提供する。例えば、ステミングによって、すべてｎａｔｕｒのステムに還元されるようなｎａｔｕｒｅ、ｎａｔｕｒａｌ、ｎａｔｕｒａｌｌｙ、ｎａｔｕｒａｌｉｚｅ、ｎａｔｕｒａｌｉｚｉｎｇといったワード間の類似点をキャプチャすることが可能となる。引用形式へのワードの還元は、ｎａｔｕｒａｌｉｚｅおよびｎａｔｕｒａｌｉｚｉｎｇとの間の関係のみをキャプチャし得る。本実施形態において、ステミングが使用されてもよい。いくつかのステミング技術の説明に関する参照文献として、Ｆｒａｋｅｓ  Ｗ．（１９９２）Ｓｔｅｍｍｉｎｇ  Ａｌｇｏｒｉｔｈｍｓ、ｉｎ  Ｆｒａｋｅｓ  Ｗ  ａｎｄ  Ｂａｅｚａ−Ｙａｔｅｓ  Ｒ  （ｅｄｓ）  Ｉｎｆｏｒｍａｔｉｏｎ  Ｒｅｔｒｉｅｖａｌ：Ｄａｔａ  Ｓｔｒｕｃｔｕｒｅｓ  ＆  Ａｌｇｏｒｉｔｈｍｓ．Ｐｒｅｎｔｉｃｅ  Ｈａｌｌ、Ｕｐｐｅｒ  Ｓａｄｄｌｅ  Ｒｉｅｖｅｒ、ＮＪ、ＵＳＡ、ｐｐ．１３１−１６０が挙げられる。見出し語化に関するさらなる情報として参照文献は、Ｈａｄｕｍｏｄ  Ｂｕｓｓｍａｎｎ（１９９６）Ｒｏｕｔｌｅｄｇｅ  Ｄｉｃｔｉｏｎａｒｙ  ｏｆ  Ｌａｎｇｕａｇｅ  ａｎｄ  Ｌｉｎｇｕｉｓｔｉｃｓ、Ｒｏｕｔｌｅｄｇｅ、Ｌｏｎｄｏｎ、ｐ．２７２が挙げられ得る。ストップ−ワード除去およびステミングの次の段階として以下に示されるサンプルテキストがある。
【００３９】
【表７】
0003862501.tif 000008
上記の予備フレーズの次に、各テキストユニットの原文関連性および原文結合性は、テキストユニットがサンプルテキスト中の他のテキストユニットのそれぞれと共有するステムの数を測定することによって評価される。ランキングプロセスは、２つの主要な段階を含む。すなわちテキストユニット中のトークン化したワードのインデックス付けおよびテキストユニット中のトークン化したワードのスコアリングである。
【００４０】
第１段階において、上記の予備フレーズを経た標準テキスト中の全てのステムは、ステムが存在するテキストユニットを参照してインデックス付けされる。例えば、Ａｐｐｌｅは標準テキスト中のテキストユニットの４つにおいて５回存在する。すなわち、＃１＃、＃２＃、＃５＃においては１回、および＃３＃においては２回存在する。従って、Ａｐｐｌｅがこれらのテキストユニットインデックスに関連する場合に、記録される。
＜Ａｐｐｌｅ｛＃１＃、＃２＃、＃３＃、＃３＃、＃５＃｝＞
同様の記録が、標準テキスト中の他のステムについてもなされ、各々の記録はステム−インデックス記録と呼ばれる。
【００４１】
テキストユニットの最終スコアは、上記のインデックス付けの段階から生ずるステム−インデックス記録のリストを用いて、各々のテキストユニットに関して算出される。そのようなスコアリングプロセスの目的は、１つのテキストユニットからトークン化されたワードが、どのくらいの頻度で他のテキストユニットの各々に存在するかを記録するためである。この評価を実行する際に、テキストユニットが語彙結合とみなされるために要求されるリンクの最小値を特定する閾値を提供する。各々のテキストユニットに関して最終スコアを算出するために使用される帰納的スコアリング手順は、次の変数を利用する。
【００４２】
ＴＲＳＨは、語彙結合の閾値である。
【００４３】
ＴＵは、現在のテキストユニットである。
【００４４】
ＬＣTUは、ＴＵの現在の語彙結合のスコアである（すなわち、ＬＣTUは、他のいくつかのテキストユニットを共有するトークン化したワードＴＵの数である）。
【００４５】
ＣＬｅｖｅｌは、ＬＣTUおよびＴＲＳＨとの間の差として算出された、現在の語彙結合スコアのレベルである。
【００４６】
Ｓｃｏｒｅは、以前に（もしあれば）ＴＵに代入した語彙結合スコアである。
【００４７】
Ｌｅｖｅｌは、以前に（もしあれば）ＴＵに代入した語彙結合スコアのレベルである。
【００４８】
スコアリング手順は、スコアリング構造＜ｌｅｖｅｌ、ＴＵ、Ｓｃｏｒｅ＞を利用し、次々に各々のテキストユニットに対して繰り返され、それによりテキストユニットＴＵの最終スコアを算出する（すなわち、スコアリング構造におけるＬＣTUの最終値である）。次いでその手順が、他のテキストユニットＴＵに対して繰り返してもよい。例示的な本実施形態において使用される帰納的スコアリング手順は、以下の通りである。
【００４９】
ＬＣTU＝０の場合、何もしない
スコアリング構造＜Ｌｅｖｅｌ、ＴＵ、Ｓｃｏｒｅ＞が存在し、かつ、
Ｌｅｖｅｌ＞ＣＬｅｖｅｌの場合、次は何もしない
Ｌｅｖｅｌ＝ＣＬｅｖｅｌの場合、次の新しいスコアリング構造は＜Ｌｅｖｅｌ、ＴＵ、Ｓｃｏｒｅ＋ＬＣTU＞である
ＣＬｅｖｅｌ＞０であり、かつ、
Ｌｅｖｅｌ＞０の場合、次の新しいスコアリング構造は＜１、ＴＵ、Ｓｃｏｒｅ＋ＬＣTU＞である
Ｌｅｖｅｌ≦０の場合、次の新しいスコアリング構造は＜１、ＴＵ、ＬＣTU＞である
ＣＬｅｖｅｌ≦０の場合、新しいスコアリング構造は＜ＣＬｅｖｅｌ、ＴＵ、ＬＣTU＞である
（スコアリング構造が存在しない場合、）
Ｃｌｅｖｅｌ＞０の場合、次いでスコアリング構造＜１、ＴＵ、ＬＣTU＞を生成する。
それ以外はスコアリング構造＜ＣＬｅｖｅｌ、ＴＵ、ＬＣTU＞を生成する。
【００５０】
上記手順は図１を参照することにより容易に理解され得る。図１は、フローチャート形式の手順を示す。フローチャートにおいて、判定はダイヤモンド型のボックスで示される。ボックス内の質問に対する答えがイエス（ｙｅｓ）の場合、手順はボックスの下のＹで表示される矢印に従うかあるいはその手順はボックスの側面の１つにあるＮで表示される矢印に従う。
【００５１】
その手順のスタートは工程１０で示される。工程１２において、標準テキスト１番目のテキストユニットのインデックスが選択され、＃ＴＵ＃と表示される。工程１４において、最後のテキストユニットのインデックスが選択され、＃Ｂ＃と表示される。上述のサンプルテキストにおいて、最後のテキストユニットは、テキストユニット＃６＃である。次いで手順は工程１６に進み、工程１６は＃ＴＵ＃および＃Ｂ＃の語彙結合スコアが、算出され、かつＬＣTUに代入される。この語彙結合スコアは、上記に参照された表１に示される個々のスコアである。しかし、スコアが算出される方法は上記方法と異なり、今から述べられる。
【００５２】
例えば、本発明者らが閾値２の語彙結合を有するテキストユニット＃２＃（すなわち＃ＴＶ＃＝＃２＃）をスコアリングすることを前提とする。第１に、全てのステム−インデックス記録が、（それらのステムはテキストユニット＃２＃に存在している）選択され、以下に示すようである。
＜Ａｐｐｌｅ｛＃１＃、＃２＃、＃３＃、＃３＃、＃５＃｝＞
＜ｃｏｍｐａｎｙ｛＃２＃、＃３＃、＃６＃｝＞
＜ｅｘｅｃｕｔ｛＃２＃、＃３＃｝＞
＜ｌｏｏｋ｛＃１＃、＃２＃｝＞
＜ｐａｒｔｎｅｒ｛＃１＃、＃２＃｝＞
１つのテキストユニットインデックスのみに関連するステムは、このリストから除去される。その理由はそれらステムが単に１つのテキストユニット中で存在するが、テキストユニットペアに関係しないためである。
【００５３】
次いでタプレット（ｔｕｐｌｅｔ）がテキストユニットに関するインデックスを含むように形成され、語彙結合（すなわち＃２＃）にスコアを与え、および全てのステム−インデックス記録、（それらのステムはそのテキストユニット内に存在するが）は以下に示すようである。
【００５４】
0003862501.tif 000009
次にタプレット中に存在する同一のインデックスは、共に要約され、次の結果を与える。
【００５５】
【表８】
0003862501.tif 000010
評価されているテキストユニット（すなわち＃２＃）を参照して存在するインデックスは、数えられない。なぜならそれらが語彙結合を記載しないからである（従って、表中の第２のエントリは空白である）。
【００５６】
次いで、タプレットを形成し、存在する同一のインデックスを要約する同様の手順が、各々の他のテキストユニットに関して実行される。例えば、テキストユニット＃６＃のタプレットは、
＜＃６＃  ＜ｃｏｍｐａｎｙ｛＃２＃、＃３＃、＃６＃｝＞＞
これは、テキストユニット＃２＃のタプレットよりもより単純である、なぜならｃｏｍｐａｎｙはテキストユニット＃６＃が任意の他のテキストユニットと共有する唯一のステムであるからである。このタプレットは、以下を与える。
【００５７】
【表９】
0003862501.tif 000011
この方法は、従来技術の方法よりも極めて早い、なぜならこの方法はサンプルテキスト中の各々のワードに対して全てのテキストユニットペアの比較を含まないからである。
【００５８】
テキストユニット＃２＃および＃６＃の最終結合スコアは、図１のスコアリング手順をそれぞれ表２および表３の各々の列に適用することで算出される。この手順に従うテキストユニットのスコアリグは、個々のスコアの追加を含む。個々のスコアは、閾値以上（レベル１）、または閾値以下および同じ大きさ（低次）のどちらかである（手順のレベルの使用は以下に述べる）。
【００５９】
個々の語彙結合スコア（各々のテキストユニットペアに関して）がタプレットを用いて工程１６で算出される方法を論じる場合、本発明者らは図１に戻り、各々のテキストユニットの語彙結合最終スコアの算出のための手順に従うべきである。しかし、図１に戻る前に、最終スコアを形成する最も単純な方法は各々のテキストユニットに関して個々のスコアを合計することである（すなわち、＃２＃および＃６＃の場合、表２および表３の各々の列を合計する）、しかしある閾値以下の全ての個々のスコアを無視することに気づく。しかし、図１の手順は、以下で述べるように、各々のテキストユニットの最終スコアだけでなく、各々のテキストユニットのレベルも決定する点にさらに進む。
【００６０】
最も高いレベルは１であり、それは個々の最高スコア（所与のテキストユニットに関して）が閾値以上であることを示唆している。次いでそのテキストユニットの最終スコアは、閾値以上の全ての個々のスコア（そのテキストユニットに関する）の単純な合計である。
【００６１】
レベル１およびレベル１以下の次の３つのレベルの意味およびこれらのレベルの最終スコアが算出される方法を、以下の表に示す。
【００６２】
【表１０】
0003862501.tif 000012
閾値＝０の場合、レベル１のみが存在し、および所与のテキストユニットの最終スコアは、そのテキストユニットの個々のスコア全ての単純な合計であると思われ得る。実際、レベルの総数は閾値＋１に等しい。
【００６３】
個々のスコアのいくつかの例および閾値２に対してそれらが（図１の手順に従うことによって）生成するレベルならびに最終スコアのいくつかの例が以下に挙げられる。
【００６４】
【表１１】
0003862501.tif 000013
各々のテキストユニットのレベルの算出の目的は、テキストユニットがレベル（最高レベルが第１位）に従う第１位のランキング、および最終スコア（最高最終スコアが第１位）に従う第２位のランキングを可能にすることである。このような方法で、閾値以上の個々のスコアを有さないテキストユニットを、後の要約プロセスにおいて必ずしも無視する必要がない。
【００６５】
図１を再び参照して、工程１８において、手順はＬＣTU＝０かどうかに応じて２つに別れる。ここでＬＣTUは、現在考慮中のテキストユニットの語彙結合スコアである。２つのテキストユニット間のゼロの語彙結合スコア（すなわちＬＣTU＝０）は、２つのテキストユニットが任意のステムを共有しないことを示唆している。ＬＣTU＝０の場合、次いで手順は工程２０に進む。以下で述べるように、テキストユニットインデックス＃Ｂ＃は手順の各々のサイクル中に工程２８で１ずつ減少する。工程２０は、＃Ｂ＃が1に到達した場合、次いで＃ＴＵ＃が工程２２で１ずつ増加する。つまり、次のテキストユニット（この場合＃２＃）が＃ＴＵ＃に代入される。工程２４において、＃ＴＵ＃が最大値＋１（すなわち本出願人らのサンプルテキストの場合６＋１＝７）に到達した場合、手順を中止する（工程２６）、さもなくばコントロールが工程１４に戻る。
【００６６】
工程２０において、＃Ｂ＃がまだ第１位のテキストユニット（すなわち＃１＃）まで減少していない場合、次いでコントロールは工程２８に戻り、ここで＃Ｂ＃は１づつ減少する（すなわち次のより低いテキストユニットが＃Ｂ＃に代入される）。
【００６７】
従って、工程１０から工程２８までの効果は、テキストユニットの全てのペアに関して個々の語彙結合スコアを算出することであると思われ得る。
【００６８】
工程１８に戻って、ＬＣTUが０に等しくない場合、次いでコントロールは工程３０に進む、ここでスコアリング構造＜レベル、ＴＵ、スコア＞（＜Ｌｅｖｅｌ、ＴＵ、Ｓｃｏｒｅ＞）がすでに存在するかどうかを決定する。工程３０に最初に達し、スコアリング構造はすでに存在し得ない場合、コントロールが工程３２に進み得る。ここでＣＬｅｖｅｌが０より大きいかどうか決定する。ＣＬｅｖｅｌは、レベル（Ｌｅｖｅｌ）の現在の値であり、（ＬＣTU−ＴＲＳＨ）に等しい。ここでＴＲＳＨは、予め選択されている語彙結合閾値である。工程３４および３６において、工程３２の結果に従いスコアリング構造に値が代入され、次いでコントロールは工程２０に戻る。
【００６９】
工程３０において、スコアリング構造がすでに存在する場合（工程３０に初めて達した時の値が、上述の工程３４および３６のスコアリング構造に代入されると仮定すると、工程３０が初めて各々のＴＵ値に達する場合を除く場合でいつも有り得る）、コントロールはレベル（Ｌｅｖｅｌ）（すなわち、ＣＬｅｖｅｌの前の値）がＣＬｅｖｅｌより大きな値かどうかを決定する工程３８に進む。ＬｅｖｅｌがＣｌｅｖｅｌより大きな値の場合、コントロールは工程２０に戻る。さもなくば、コントロールはＬｅｖｅｌがＣＬｅｖｅｌに等しいかどうかを決定する工程４０に進む。ＬｅｖｅｌがＣＬｅｖｅｌと等しい場合、新しい値が工程４２のスコアリング構造に代入され、コントロールは工程２０に戻る。さもなくば、コントロールはＣＬｅｖｅｌが０より大きな値かどうかを決定する工程４４（図２参照）に進む。ＣＬｅｖｅｌが０より大きな値の場合、コントロールは工程４６に進み、新しい値を、レベルが０より大きな値かどうかに依存する工程４８または工程５０のスコアリング構造に代入し、コントロールは工程２０に戻る。工程４４において、ＣＬｅｖｅｌが０以下の場合、コントロールは、Ｃｌｅｖｅｌが０未満または０に等しいかどうかを決定する工程５２に進む。工程５２に達すると、この質問の答えはいつもはい（ｙｅｓ）であるべきであり、それにより新しい値が工程５４のスコアリング構造に代入され、コントロールは工程２０に戻る。
【００７０】
サンプルテキストの全てのテキストユニットおよび閾値２に対して図１の手順に引き続いて、各々のテキストユニットに代入されたレベルおよび最終スコアは、次のようである：
【００７１】
【表１２】
0003862501.tif 000014
これらは語彙結合に関してテキストユニットの次のランキングを提供する。
【００７２】
【表１３】
0003862501.tif 000015
これはテキストユニットが要約プロセスにおいて選択され得る場合の好適な順番を示す。テキストユニット＃４＃に代入されるレベルが存在しないことに注意されたい。なぜならこのテキストユニットは任意の他のテキストユニットと共有するステムがないためである。
【００７３】
ワードの属する分野に関する情報を提供する辞書データベースを用いて使用する場合、上記の方法をわずかに修正してもよく、それによって文書の主要なテーマおよびトピックスを自動的に検出する。例として、本発明者らのサンプルのワードは次の属性ドメインコードを有する。
【００７４】
【表１４】
0003862501.tif 000016
これらのコードの意味は以下のようである：
【００７５】
【表１５】
0003862501.tif 000017
属性の分析に関するさらなる実施形態は、各々のワードが第１に（ステム化ではなくて）見出し語化（ｌｅｍｍａｔｉｓｅ）されることを除く上記と同様の方法を含み、次いでそのワードに関連した属性ドメインコードの全てによって置換される。次いでテキストユニットペアの個々のスコアが、ステム−インデックス記録ではなくてコード−インデックス記録を用いて、共有ワードではなくて、共有コードに基づいて算出される。
【００７６】
しかし、臨時（明確化）の工程を必要とし、それによってコンテクスト外であるコードを数えないようにする（または少なくとも数える機会を減らす）、コンテクスト外のコードとは、意図した意味以外のワードの意味に関するコードである。明確化の工程は、コード−インデックス記録がタプレットの第１要素（すなわち、テキストユニットインデックス）と同一のワードに関係する場合、タプレットのコード−インデックス記録からテキストユニットインデックスを落とす工程を含む。これは、各々のコード−インデックス記録における各々のテキストユニットインデックスに関するワードが手順によって記憶される（すなわち記録される）ことを必要とする。この手順は、次の例によって示され得る。
【００７７】
サンプルテキストにおいて、コードＢＺ（ビジネス＆商業）は以下のワードに関連する：
テキストユニット＃２＃および＃３＃に一回現れる「ｅｘｅｃｕｔｉｖｅ」
テキストユニット＃３＃に一回現れる「ｂｕｓｉｎｅｓｓ」
テキストユニット＃４＃に一回現れる「ｍａｒｋｅｔ」
テキストユニット＃５＃に一回現れる「ｉｎｔｅｒｅｓｔ」
従って、コード−インデックス記録は、属性ドメインコードＢＺがこれらのテキストユニットに関連する場合に行われ得る、つまり：
＜ＢＺ｛＃２＃  ＃３＃  ＃３＃  ＃４＃  ＃５＃｝＞
サンプルテキストに関するコード−インデックス記録の全リストを、以下に示す（１つのコードが単一のテキストユニットで存在する場合は、それらが語彙結合リンクを表さないので除去される）。
＜ＢＺ  ｛＃２＃  ＃３＃  ＃３＃  ＃４＃  ＃５＃｝＞
＜ＣＮ  ｛＃２＃  ＃３＃  ＃３＃  ＃４＃｝＞
＜ＤＡ  ｛＃１＃  ＃２＃｝＞
＜Ｆ    ｛＃１＃  ＃２＃  ＃２＃  ＃３＃  ＃６＃｝＞
＜ＦＡ  ｛＃２＃  ＃５＃｝＞
＜ＧＯＶ｛＃２＃  ＃３＃｝＞
＜ＩＶ  ｛＃４＃  ＃５＃｝＞
＜ＭＧＥ｛＃１＃  ＃２＃｝＞
＜ＭＩ  ｛＃２＃  ＃３＃  ＃６＃｝＞
＜ＳＣＧ｛＃２＃  ＃３＃  ＃６＃｝＞
＜ＴＧ  ｛＃１＃  ＃２＃｝＞
＜ＴＨ  ｛＃２＃  ＃３＃  ＃６＃｝＞
次いで他のタプレットに関する第１のタプレット（上記の明確化の工程を無視する）は、
0003862501.tif 000018
などである。
【００７８】
テキストユニット各々のペアに関する個々のスコアを算出するのではなくて問題を単純化するために、（明確化の工程を示すために）本発明者らは、コードの１つ、例えばコードＢＺから得られる個々のスコアへの寄与だけを考慮すべきである。全てのタプレットのＢＺ要素は：
【００７９】
【表１６】
0003862501.tif 000019
ここで、上記のように、インデックスは各々のタプレットの第１位のインデックスに同一である。各々のタプレットは、それらが除去されていることを示唆するような末梢（ｓｔｒｉｋｅｔｈｒｏｕｇｈ）に示される。
【００８０】
各々のインデックスが特定のワードに関するという事実に対して許容される場合、タプレットのＢＺ要素は以下のようになる：
【００８１】
【表１７】
0003862501.tif 000020
ここで明確化の工程は、タプレットが除去されているのを示唆するような末梢における各々のタプレットの第１位のインデックスに同一のワードに関するインデックスを示すことによって上記のように示される。次いで最終タプレットは、以下のように示される：
【００８２】
【表１８】
0003862501.tif 000021
次いで、ＢＺによるテキストユニットペアの個々のスコアに対する寄与は次のようである：
【００８３】
【表１９】
0003862501.tif 000022
同様の手順が、ＤＡ、ＦＡ、ＧＯＶなどのような、特定の他のコードに対して続く場合、有効なタプレットが存在しない結果となる。これは、これらのコードに関するコード−インデックス記録内のテキストユニットインデックスが、全て同一のワードに関係しているためである。例えば、コードＧＯＶはテキストユニット＃２＃および＃３＃に存在するワード「ｅｘｅｃｕｔｉｖｅ」から生じ、従って上記のコード−インデックス記録＜ＧＯＶ｛＃２＃  ＃３＃｝＞を作る。このコード−インデックス記録が有効なタプレットを形成しないために、ワード「ｅｘｅｃｕｔｉｖｅ」の「Ｇｏｖｅｒｎｍｅｎｔ」の意味は、上記の個々のスコアに何の寄与ももたらさない。本発明者らはすでに、ワード「ｅｘｅｃｕｔｉｖｅ」のビジネス上の意味がそのような寄与をもたらすということを理解している。このことは、サンプルテキスト中で意図されるワードが「Ｂｕｓｉｎｅｓｓ」上の意味であることから、所望の結果である。従って、その方法は属性ドメインコード、およびコンテクスト以外の拒絶コードの明確化をある程度達成する。
【００８４】
同じコードに関係するワードで、スペリングの点で異なる例だけが考慮される。これによって、重要なテーマ／トピックスを個別化する際、およびそれらに関する重要性を評価する際に、より高精度を達成し得る。同一の文書の中に存在する異なるスペリングを有するワードのコードセットの共通部分を選択することは、ワードの文脈上の不適切な解釈を排除する傾向にある。
【００８５】
しかし、サンプルテキスト中の１つのワードが１つの属性コードにのみ関する場合、明確化の工程は、明確化の必要性がないため実行されない。従って、ワード「ｓａｙ」に関するコードＣＮはそのまま残る。
【００８６】
次の表は各々のコードに関係するテキストユニットペアを示す。
【００８７】
【表２０】
0003862501.tif 000023
有効なタプレットから５つのコードのみが抽出され、他の全てのコードは（上記のように）排除されている。
【００８８】
全部で本発明者らは：ＢＺに関して１６のテキストユニットペア、Ｆに関して１０のテキストユニットペア、ＦＡおよびＩＶならびにＣＮに関して２つのテキストユニットペアを有する。これらのデータを用いて、図１の手順を適応してトピックの傾向の観点でサンプルテキスト中のテキストユニットのランキングをし得る。
【００８９】
各々の属性ドメインコード（例えば、ＢＺに関しては１６など）に関する個々のスコアの全合計は、百分率比に変換され、以下の表に示すように、テキストのトピック／テーマプロフィールを提供し得る：−
【００９０】
【表２１】
0003862501.tif 000024
例えば、ＢＺの百分率は１６／（１６＋１０＋２＋２＋２）＝５０％と算出される。
【００９１】
要約システムで使用される場合、図１のランキング手順によって得られるテキストユニットのレベルを基にした区別（ワードに基づくかまたはコードに基づく）が、例えば、全てのレベル１のテキストユニットの自動選択によって行われ得、要約サイズでの自動表示を提供する。
【００９２】
また要約のサイズはユーザによって特定され得る、例えば原文サイズの百分率としてである。選択されたテキストユニットはより高レベルおよびより高スコアを有するランキングされたテキストユニット間から選択される。
【００９３】
また、上記の方法が、情報検索システムおよび情報抽出システムのような多様な情報システムにおけるインデックス付けデバイスとして使用されてもよい。例えば、多数のテキストを含むデータベースにおいて、しばしば各々のテキストの短い要約を提供し、データベースの手動およびコンピュータ検索の両方を補助することが望ましいとされる。上記の方法を用いて、そのような短い要約を自動的に生成してもよい。
【００９４】
また、上記のランキングの方法が、語彙結合を評価する付加的な方法として考慮され得る。その付加的な方法は、以下のように図１の工程１８で使用され得る：
類義語の電子辞書を引くことにより確立されるようなテキストユニットに亘る類義語の存在
上記の属性ドメインコードの例で、電子辞書を引くことにより確立されるようなテキストユニットに亘る同様な意味的指示を共有するワードの存在である。
【００９５】
ワードペア間の意味的類似性の程度を評価することによって確立されたテキストユニットに亘る近い類義語ワードの存在、英国特許出願第９７１７５０８．７号に開示される方法である。
【００９６】
テキストユニットに亘る前方照応のリンクの存在、すなわち代名詞または限定された記述のような参照説明間のリンクである（例えば、テキストユニット＃６＃中の会社、およびその先行詞（テキストユニット＃５＃中のアップル））
また、好適な実施形態において述べられる同様のランキングの方法は、テキストの断章の特定のタイプの関連性を指示するようなフォーマットコマンドを用いて適用され得る。例えば、以下のようなタイトルおよび節の見出し、
＜ｈ２＞Ｒｅｐｏｒｔ：Ａｐｐｌｅ  Ｌｏｏｋｉｎｇ  ｆｏｒ  ａ  Ｐａｒｔｎｅｒ＜／ｈ２＞
をコード化するフォーマットコマンドで囲まれたテキスト断章は、典型的には１つのテキスト中に主要なトピックの表示を提供するために効果的に用いられ得るワードを含む。これらのワードは上記の方法で特別の重要性を与え得る、従ってワードを含むテキストユニットに付加的な原文関連性を設けるために使用され得る。例えば、上記の手順のランキング中にそのようなテキストユニットのさらなる語彙結合のスコアを増加させることによる。また、フォーマットコマンドは、選択的に保存され、それにより可能な限り多くの原文に関するページレイアウトを維持し得る。
【００９７】
また、上記のランキングの方法は、ワードのトークン化技術のようなステミング、または全ワードのトークン化の実施の代わりに見出し語化（ｌｅｍｍａｔｉｚｉｎｇ）を用いることで適用され得る。
【００９８】
また、同様のランキングの方法が、
言語のストップワードのリスト；
言語の見出し語（ｌｅｍｍａｔｉｚｅｒ）のステマー（ｓｔｅｍｍｅｒ）；および
意味的類似性および前方照応のリンクのような言語における語彙結合を評価するための任意の付加的な手段
を提供することによって、英語以外の言語で書かれたテキストに適用され得る。
【００９９】
図３は、上記の方法を実行するために適したシステムを概略的に示す。システムは、例えば、読み出し専用メモリ（ＲＯＭ）の形式でプログラムメモリ７１を有するプログラマブルデータプロセッサ７０を備え、データプロセッサ７０を制御するプログラムを格納し、例えば図１および２で示される方法を実行する。さらにシステムは、例えば上記のストップワードおよび属性ドメインコードのリストを格納する不揮発性読み出し／書き込みメモリ７２を備える。データプロセッサに対する動作またはスクラッチパッドメモリが、ランダムアクセスメモリ（ＲＡＭ）７３によって提供される。例えば、コマンドおよびデータの受け取りをする入力インターフェイス７４が提供される。例えば、手順の進行状況および結果に関する情報を表示する出力インターフェイス７５が提供される。
【０１００】
テキストサンプルは、入力インターフェイス７４を介して供給されてもよいし、またはコンピュータが解読できる格納７６に任意で提供されてもよい。類語辞典および／または辞書が読み出し専用メモリ７１で供給されてもよいし、または入力インターフェイス７４を介して提供されてもよい。あるいは、電気的またはコンピュータが解読できる類語辞典７７および電子辞典またはコンピュータが解読できる辞書７８が提供されてもよい。
【０１０１】
システムを動かし、および上記の方法を実行するプログラムは、プログラムメモリ７１に格納される。プログラムメモリは、例えば上記のＲＯＭタイプの半導体メモリとして実施形態化され得る。しかし、プログラムは、フロッピーディスク７１ａおよびＣＤ−ＲＯＭ７１ｂのような任意の他の適した格納媒体に格納されてもよい。
【０１０２】
（産業上の応用性）
本発明による構造を使用するこによって、テキスト上の動作にかかる時間を大幅に減少できる、なぜなら次々にテキストユニットの可能な限り全てのペア間で共有されるストリング数を数える必要がないためである。
【０１０３】
より詳細には、１つのテキストユニットと１つのテキスト中の他の全てのテキストユニットとの結合性の程度を、要素（例えば、ワード）を数量化することによって容易に評価し得る。各々のテキストユニットは、要素が存在するテキストユニットに対するポイントのリストを有するテキスト中の各々の要素に関連することによって確立したペアを要素と共有する。Ｈｏｅｙ（１９９１）およびＣｏｌｌｉｅｒ（１９９４）によって述べられたような方法と比較した場合、この方法は処理速度に関して有意な利点を提供する。Ｈｏｅｙ（１９９１）およびＣｏｌｌｉｅｒ（１９９４）の方法では、同様の評価がテキストユニットの全てのペアの組み合わせを計算することによって実行されている。特に、１秒当たりのワード処理速度は、テキストサイズにほとんど影響されない。
【図面の簡単な説明】
【図１】  図１は、本発明の好適な実施形態において含まれるいくつかの工程の概要を説明するフローチャートを示す。
【図２】  図２は、図１のフローチャートの続きのフローチャートを示す。
【図３】  図３は、以下で記述する方法の実行に関する適した装置を示す。
【図１】
0003862501.tif 000025
【図２】
0003862501.tif 000026
【図３】
0003862501.tif 000027