(57)【要約】【課題】  機械翻訳技術を使用してパラフレーズを特定するためのシステムを提供する【解決手段】  本発明は、共通のイベントについて書かれた、異なる記事のクラスタから、テキストセグメントのセットを獲得する。テキストセグメントのセットは、次に、テキスト整列技術の適用を受けて、テキストの中のテキストセグメントからパラフレーズが特定される。また、本発明を使用して、パラフレーズを生成することもできる。【選択図】  図２
2005149494.tif 000002
【特許請求の範囲】
【請求項１】
パラフレーズ処理システムをトレーニングする方法であって、
関連するテキストのクラスタを受け取るステップと、
前記クラスタからテキストセグメントのセットを選択するステップと、
テキスト整列を使用して、前記セットの中の前記テキストセグメントにおけるテキスト間のパラフレーズ関係を特定するステップとを備えることを特徴とする方法。
【請求項２】
テキスト整列を使用するステップは、
統計的テキスト整列を使用して、前記セットの中の前記テキストセグメントにおける語を整列させるステップと、
前記整列された語に基づいて前記パラフレーズ関係を特定するステップとを含むことを特徴とする請求項１に記載の方法。
【請求項３】
テキスト整列を使用するステップは、
統計的テキスト整列を使用して、前記セットの中の前記テキストセグメントにおける複数語の句を整列させるステップと、
前記整列された複数語の句に基づいて前記パラフレーズ関係を特定するステップとを含むことを特徴とする請求項２に記載の方法。
【請求項４】
テキスト整列を使用するステップは、
ヒューリスティックな語整列を使用して、前記セットの中の前記テキストセグメントにおける語を整列させるステップと、
前記整列された語に基づいて前記パラフレーズ関係を特定するステップとを含むことを特徴とする請求項１に記載の方法。
【請求項５】
テキスト整列を使用するステップは、
ヒューリスティックなテキスト整列を使用して、前記セットの中の前記テキストセグメントにおける複数語の句を整列させるステップと、
前記整列された複数語の句に基づいて前記パラフレーズ関係を特定するステップとを含むことを特徴とする請求項４に記載の方法。
【請求項６】
特定された前記パラフレーズ関係に基づいて整列モデルを計算することをさらに備えることを特徴とする請求項１に記載の方法。
【請求項７】
入力テキストを受け取るステップと、
前記整列モデルに基づいて前記入力テキストのパラフレーズを生成するステップとをさらに備えることを特徴とする請求項６に記載の方法。
【請求項８】
テキストセグメントのセットを選択するステップは、
前記セットのためのテキストセグメント群を、前記テキストセグメント群において共有される語の数に基づいて選択するステップを含むことを特徴とする請求項１に記載の方法。
【請求項９】
クラスタを受け取るステップに先立って、関連するテキストの前記クラスタを特定するステップをさらに備えることを特徴とする請求項１に記載の方法。
【請求項１０】
クラスタを特定するステップは、
複数のドキュメントにアクセスするステップと、
共通の主題について異なる作成者によって書かれたドキュメントを関連するドキュメントのクラスタとして特定するステップとを含むことを特徴とする請求項９に記載の方法。
【請求項１１】
テキストセグメントセットを選択するステップは、
各クラスタの中の前記関連するドキュメントの所望のテキストセグメントをグループ化して、関連するテキストセグメントのセットにするステップを含むことを特徴とする請求項１０に記載の方法。
【請求項１２】
ドキュメントを特定するステップは、
互いに所定の期間内に書かれたドキュメント群を特定するステップを含むことを特徴とする請求項１１に記載の方法。
【請求項１３】
複数のドキュメントにアクセスするステップは、
共通のイベントについて書かれた複数の異なるニュース記事にアクセスするステップを含むことを特徴とする請求項１１に記載の方法。
【請求項１４】
複数の異なるニュース記事にアクセスするステップは、
異なる報道機関によって書かれた複数のニュース記事にアクセスするステップを含むことを特徴とする請求項１３に記載の方法。
【請求項１５】
所望のテキストセグメントをグループ化するステップは、
各クラスタにおける各ニュース記事の第１の所定の数の文をグループ化して、関連するテキストセグメントの前記セットにするステップを含むことを特徴とする請求項１４に記載の方法。
【請求項１６】
テキストセグメントのセットを選択するステップは、
関連するテキストセグメントの所与のセットの中の各文を前記所与のセットの中の他のそれぞれの文とペアにするステップを含むことを特徴とする請求項１５に記載の方法。
【請求項１７】
テキストセグメントのセットを受け取り、テキストセグメントの前記セットの中の語の間におけるパラフレーズ関係を、前記語の整列に基づいて特定するように構成されたテキスト整列コンポーネントを備えることを特徴とするパラフレーズ処理システム。
【請求項１８】
前記テキスト整列コンポーネントは、前記語の統計的整列またはヒューリスティックな整列に基づいて整列モデルを生成するように構成されることを特徴とする請求項１７に記載のパラフレーズ処理システム。
【請求項１９】
前記テキスト整列コンポーネントは、テキストセグメントの前記セットの中の複数語の句の整列に基づいてパラフレーズ関係を特定するように構成されることを特徴とする請求項１８に記載のパラフレーズ処理システム。
【請求項２０】
複数のドキュメントにアクセスし、前記ドキュメントを前記ドキュメントの主題に基づいてクラスタ化するように構成されたクラスタ化コンポーネントをさらに備えることを特徴とする請求項１７に記載のパラフレーズ処理システム。
【請求項２１】
前記クラスタ化コンポーネントは、同一の主題について書かれたドキュメント群をクラスタ化するように構成されることを特徴とする請求項２０に記載のパラフレーズ処理システム。
【請求項２２】
前記クラスタ化コンポーネントは、クラスタ化されたドキュメントから所定のテキストセグメントを抽出して、テキストセグメントの前記セットを形成するように構成されることを特徴とする請求項２０に記載のパラフレーズ処理システム。
【請求項２３】
テキストセグメントの前記セットに基づいてテキストセグメントの複数のペアを特定するように構成されたペアリングコンポーネントをさらに備えることを特徴とする請求項２２に記載のパラフレーズ処理システム。
【請求項２４】
前記ペアリングコンポーネントは、テキストセグメントの所与のセットの中の各テキストセグメントを、テキストセグメントの前記所与のセットの中の他のそれぞれのテキストセグメントとペアにすることにより、テキストセグメントの前記複数のペアを特定するように構成されることを特徴とする請求項２３に記載のパラフレーズ処理システム。
【請求項２５】
前記複数のドキュメントを格納するデータストアをさらに備えることを特徴とする請求項２０に記載のパラフレーズ処理システム。
【請求項２６】
前記データストアは、共通のイベントについて異なる報道機関によって書かれた複数の異なるニュース記事を格納することを特徴とする請求項２５に記載のパラフレーズ処理システム。
【請求項２７】
前記クラスタ化コンポーネントは、前記ニュース記事が書かれた時点に基づいて前記ニュース記事をクラスタ化するように構成されることを特徴とする請求項２６に記載のパラフレーズ処理システム。
【請求項２８】
前記データストアは、１つまたは複数のデータストア内に実装されることを特徴とする請求項２７に記載のパラフレーズ処理システム。
【請求項２９】
テキスト入力を受け取り、前記パラフレーズ関係に基づいて前記テキスト入力のパラフレーズを生成するパラフレーズジェネレータをさらに備えることを特徴とする請求項１７に記載のパラフレーズ処理システム。
【請求項３０】
テキスト入力を受け取り、前記テキスト入力のパラフレーズを生成することを、複数のテキストセグメントを受け取り、前記テキストセグメントにおける語の間のパラフレーズ関係を、前記語の整列に基づいて特定するように構成されたテキスト整列コンポーネントから受け取られたパラフレーズ関係に基づいて行うパラフレーズジェネレータを備えることを特徴とするパラフレーズ処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、テキスト内のパラフレーズを特定することを扱う。より具体的には、本発明は、機械翻訳技術を使用してパラフレーズを特定し、生成することを扱う。
【背景技術】
【０００２】
パラフレーズの認識および生成は、自然言語処理システムの多くのアプリケーションの重要な一面である。２つのテキストの意味が等価であることを明らかにできることにより、システムは、はるかにインテリジェントに動作することができるようになる。この領域における研究の基本的な目標は、語彙、語順、読み取りレベル、および簡潔さの度合いなどの特徴を操作する一方で、テキストの意味的内容を保ちながらテキストを言い換えることができるプログラムをもたらすことである。
【０００３】
パラフレーズの特定および生成を活用することができる１つの例示的なアプリケーションには、質疑応答システムが含まれる。例えば、エンティティ「Ｊｏｈｎ  Ｄｏｅ（何某）」が有名な人である場合で、「Ｗｈｅｎ  ｄｉｄ  Ｊｏｈｎ  Ｄｏｅ  ｑｕｉｔ  ｈｉｓ  ｊｏｂ？（何某は、いつ仕事をやめましたか）」という質問を考慮されたい。世界規模のコンピュータネットワーク（または世界規模のコンピュータネットワーク上で記事を発表する報道システム）などの大きいデータコーパスが、この質問に回答するテキストを既に含んでいる可能性が非常に高い。実際、そのようなコーパスは、この質問に答え、この質問と全く同一の言い回しになっているテキストを既に含んでいる可能性がある。したがって、従来の探索エンジンは、この質問に合致するテキストを難なく見つけ出して、適切な結果を戻す可能性がある。
【０００４】
【非特許文献１】D. Lin and P. Pantel, “DIRT-DISCOVERY OF INFERENCE RULES FROM TEXT”, Proceedings of ACMSIGKDD Conference on Knowledge Discovery and Data Mining, pages 323-328 (2001)
【非特許文献２】Y. Shinyama, S. Sekine, K. Sudo and R. Grisham, “AUTOMATIC PARAPHRASE ACQUISITION FROM NEWS ARTICLES”, Proceedings of Human Language Technology Conference, San Diego, CA (HLT 2002)
【非特許文献３】Barzilay R. and L. Lee, “LEARNING TO PARAPHRASE: AN UNSUPERVISED APPROACH USING MULTIPLE-SEQUENCE ALIGNMENT”, Proceedings of HLT/NAACL: (2003), Edmonton, Canada
【非特許文献４】Barzilay and McKeown, “Extracting Paraphrases From a Parallel Corpus”, Proceedings of ACL/EACL (2001)
【非特許文献５】B. Pang, K. Knight, and D. Marcu, “SYNTAX BASED ALIGNMENT OF MULTIPLE TRANSLATION: EXTRACTING PARAPHRASES AND GENERATING NEW SENTENCES”, Proceedings of NAACL-HLT, 2003
【非特許文献６】HTTP://www.ai.mit.edu/people/jimmylin/papers/ibrahim02.pdfに置かれたIbrahim, Ali, “EXTRACTING PARAPHRASES FROM ALIGNED CORPORA”, Master Thesis, MIT (2002)
【非特許文献７】Gale, William, A. and Church, Kenneth W., “A PROGRAM FOR ALIGNING SENTENCES IN BILINGUAL CORPORA”, Proceedings of the Associations for Computational Linguistics, Pages 177-184 (1991)
【非特許文献８】P.F. Brown et al., “The Mathematics of Statistical Machine Translation: Parameter Estimation”, Computational Linguistics, 19:263-312, (June 1993)
【非特許文献９】Y. Wang and A. Waibel, “Decoding Algorithm in Statistical Machine Translation”, Proceedings of 35th Annual Meeting of the Association of Computational Linguistics (1997)
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかし、上述の問題は、イントラネット上で見られるデータコーパスなどのより小さいデータコーパスを探索する場合、はるかに難しくなる。その場合、その小さいデータコーパスが、質問に回答するテキストを含んでいることが可能であっても、回答は、質問とは異なる言い回しになっている可能性がある。例えば、以下の文はすべて、前述の質問に回答するが、質問とは異なる言い回しになっている。
Ｊｏｈｎ  Ｄｏｅ  ｒｅｓｉｇｎｅｄ  ｙｅｓｔｅｒｄａｙ．（何某は、昨日、辞職しました。）
Ｊｏｈｎ  Ｄｏｅ  ｌｅｆｔ  ｈｉｓ  ｐｏｓｉｔｉｏｎ  ｙｅｓｔｅｒｄａｙ．（何某は、昨日、職を離れました。）
Ｊｏｈｎ  Ｄｏｅ  ｌｅｆｔ  ｈｉｓ  ｇｏｖｅｒｎｍｅｎｔ  ｐｏｓｔ  ｙｅｓｔｅｒｄａｙ．（何某は、昨日、政府のポストを離れました。）
Ｊｏｈｎ  Ｄｏｅ  ｓｔｅｐｐｅｄ  ｄｏｗｎ  ｙｅｓｔｅｒｄａｙ．（何某は、昨日、辞任しました。）
Ｙｅｓｔｅｒｄａｙ，Ｊｏｈｎ  Ｄｏｅ  ｄｅｃｉｄｅｄ  ｔｏ  ｅｘｐｌｏｒｅ  ｎｅｗ  ｃａｒｅｅｒ  ｃｈａｌｌｅｎｇｅｓ．（昨日、何某は、新たな職の機会を探ることを決めました）
【０００６】
上記の回答は、質問とは異なる言い回しになっているので、従来の探索エンジンは、探索しているコーパスの中のこれらのテキストの回答だけを与えられて、良好な結果を戻すことにおいて困難に直面する可能性が高い。
【０００７】
パラフレーズの認識および生成の問題に対処するための従来のシステムには、限られた文脈でこの問題に対処しようと試みる大規模な手作業でコーディングされた作業が含まれる。例えば、大規模な手作業でコーディングされたシステムは、同一の事柄の多種多様な言い表し方と、コマンド−制御システムに受け入れられる形態の間でマッピングを行おうと試みる。もちろん、これは、ユーザが何事かを言い表す可能性があるすべての異なる仕方をコードの作成者が思い付くことはできないため、極めて困難である。したがって、研究者たちの間で重点は、手作業からパラフレーズの特定および生成の自動的方法に移っている。
【０００８】
テキストのパラフレーズ関係を自動的に特定することを目的とするシステムに関する最新の研究には、非特許文献１が含まれる。非特許文献１の論文は、ニューズワイヤ（ｎｅｗｓｗｉｒｅ）データの解析されたコーパスの中で同一の「アンカーポイント（ａｎｃｈｏｒ  ｐｏｉｎｔｓ）」（すなわち、同一の語、または類似する語）をリンクする依存関係パスの分布特性を考査する。ニュースデータの特殊な諸特性のいずれも活用されていない。というのは、解析されるコーパスが、単に一言語データの大規模なソースと見なされているからである。基本的な着想は、同一の語、または類似する語をリンクする高頻度の依存関係グラフパス自体の意味が、類似している可能性が高いということである。ギガバイトの新聞データを調べた際、システムは、以下のようなパターンを特定した。すなわち、
ＸがＹによって解決される。  
ＸがＹを解決する。  
Ｘが、Ｙの解を見つけ出す。  
ＸがＹを解決しようと試みる。  
非特許文献１のシステムは、「Ｘ動詞Ｙ」のような非常に限られた種類の「３単位（ｔｒｉｐｌｅ）」関係に限られている。
【０００９】
パラフレーズ特定を扱う別の論文が、非特許文献２である。非特許文献２の論文では、同一のイベントを記述する、異なる新聞からの記事が、しばしば、パラフレーズ関係の典型を示すという所見が述べられている。この論文は、名前付きエンティティ（人々、場所、日付、およびアドレスなどの）が、同一のトピック、または同一日に関する異なる新聞記事にわたって不変のままであるという前提に依拠する技術を説明している。記事は、既存の情報検索システムを使用して、例えば、「殺人」または「人事（ｐｅｒｓｏｎｎｅｌ）」のグループまたはクラスタにクラスタ化される。名前付きエンティティには、統計タガー（ｔａｇｇｅｒ）を使用して注釈が付けられ、次に、データは、一言語の構文解析を受けて、構文依存関係ツリーが作成される。各クラスタ内で、文は、その文が含む名前付きエンティティに基づいてクラスタ化される。例えば、以下の文は、同一の４つの名前付きエンティティを共有しているためにクラスタ化される。
【００１０】
Ｖｉｃｅ  Ｐｒｅｓｉｄｅｎｔ  Ｏｓａｍｕ  Ｋｕｒｏｄａ  ｏｆ  Ｎｉｈｏｎ  Ｙａｍａｍｕｒｉ  Ｇｌａｓｓ  Ｃｏｒｐ．ｗａｓ  ｐｒｏｍｏｔｅｄ  Ｐｒｅｓｉｄｅｎｔ．（ニホンヤマムリグラス社の副社長クロダオサムは、社長に昇格した。）
Ｎｉｈｏｎ  Ｙａｍａｍｕｒｉ  Ｇｌａｓｓ  Ｃｏｒｐ．ｄｅｃｉｄｅｄ  ｔｈｅ  ｐｒｏｍｏｔｉｏｎ  ｏｆ  Ｖｉｓｅ  Ｐｒｅｓｉｄｅｎｔ  Ｏｓａｍｕ  Ｋｕｒｏｄａ  ｔｏ  Ｐｒｅｓｉｄｅｎｔ  ｏｎ  Ｍｏｎｄａｙ．（ニホンヤマムリグラス社は、月曜日に、副社長クロダオサムの社長への昇格を決めた。）
名前付きエンティティの重なり合いのため、上記の文は、パラフレーズ関係でリンクされているものと想定される。次に、非特許文献２は、情報抽出の分野からの既存の機械を使用して、上記の文をリンクするパターンを特定しようと試みる。
【００１１】
また、非特許文献２は、非常に単純な句レベルのパターンを学習することも試みるが、その技術は、名前付きエンティティアンカーポイントへの依拠によって制限されている。それらの容易に特定されるアンカーなにしは、非特許文献２は、ペアの文から何も学習することができない。非特許文献２が学習する関係はすべて、特定の領域内における特定のタイプのエンティティと何らかのタイプのイベントの間の関係を中心とする。結果は、特に、トレーニング文が非常にわずかな名前付きエンティティしか含まない場合、かなり劣悪である。
【００１２】
別の論文もパラフレーズを扱っている。非特許文献３では、トピック検出ソフトウェアを使用して、単一のソースからの、数年分のデータからの主題が類似した新聞記事をクラスタ化する。より具体的には、非特許文献３は、テロ事件を記述する記事を特定しようと試みる。非特許文献３は、次に、基本的な全体的形態を共有する、または複数のキーワードを共有する文を見つけ出すため、それらの記事からの文をクラスタ化する。それらのクラスタは、ある代替の要素を可能にする文のテンプレートモデルを構築するための基礎として使用される。要するに、非特許文献３は、数年を隔てて生じた可能性があるイベントであっても、異なるイベントの類似した記述を見つけ出すことに重点を置いている。形態で文をグループ化することにこのように重点を置くことは、この技術が、より興味深いパラフレーズのいくつかを見つけ出さないことを意味する。
【００１３】
また、非特許文献３は、２つの文を類似しているとして分類するために、語順の強い類似性を要求する。例えば、非特許文献３は、イベント記述の能動／受動の変種さえ、関連しているとして分類しない可能性がある。非特許文献３によって学習されるテンプレートパラフレーズ関係は、全体的に固定された語順を共有する文のセットから導出される。システムによって学習されるパラフレーズは、より大きい固定された構造内の柔軟性の区域に相当する。また、非特許文献３は、生成スキームを提案している点で、文献の中で唯一であるように思われることにも留意されたい。本セクションで説明したその他の研究は、パラフレーズを認識することだけを目的としている。
【００１４】
別の論文非特許文献４は、単一のソースドキュメントの複数の翻訳に依拠する。しかし、非特許文献４は、自らの研究を機械翻訳技術から明確に区別している。非特許文献４は、関連する文における語の間に完全な一致がなければ、「クリーンな並列コーパスに基づいてＭＴコミュニティで開発された方法」を使用することが妨げられると述べている。このため、非特許文献４は、一言語パラフレーズを学習する作業に標準の機械翻訳技術を適用することが可能であるという考えを拒否している。
【００１５】
別の従来技術のシステムも、パラフレーズを扱っている。そのシステムは、単一のソースの複数の翻訳に依拠して、パラフレーズ関係の有限状態表現を構築する。非特許文献５である。
【００１６】
さらに別の先行する参考文献も、パラフレーズ認識を扱っている。非特許文献６である。非特許文献６は、文が、「整列される」、つまり「整列」の対象となり、パラフレーズが特定されることを示している。しかし、非特許文献６で使用される「整列」という用語は、語または句の整列ではなく、文の整列を意味しており、機械翻訳システムにおいて実行される従来の語および句の整列のことを指していない。代わりに、非特許文献６で説明されている整列は、１つの言語における文を別の言語における対応する翻訳と整列させようと試みる下記の論文に基づく。すなわち、
非特許文献７である。非特許文献６は、このアルゴリズムを使用して、例えば、ジュールベルヌの小説の複数の英語翻訳の中の文を整列させる。しかし、文の構造は、翻訳ごとに劇的に異なる可能性がある。ある翻訳者が単一の長い文として表す内容を、別の翻訳者は、２つのより短い文にマップする可能性がある。これは、単一の小説の異なる翻訳における文の全体の数が一致せず、等価の文を特定するのに何らかの種類の自動化された文整列手続きが必要とされることを意味する。これらの整列された一言語文からパラフレーズを抽出するために非特許文献６が使用する全体的な技術は、非特許文献４に記載された複数翻訳概念に、非特許文献１で説明されるＤＩＲＴフレームワークの変種を加えた物から導出される。
【課題を解決するための手段】
【００１７】
本発明は、一般的なイベントについて書かれた複数の異なる記事（記事のクラスタ）からテキストセグメントのセットを獲得する。次に、そのセットの中のテキストセグメントが、語／句整列技術の適用を受けて、パラフレーズが特定される。デコーダを使用して、テキストセグメントペアからパラフレーズを生成することができる。
【００１８】
一実施形態では、テキストセグメントのセットのソースは、互いに極めて近接した期間内に同一のイベントについて書かれた、異なる記事である。テキストセグメントは、例えば、それらの記事から抽出された特定の文であることが可能である。例えば、ほぼ同時に同一のイベントについて書かれたニュース記事の最初の２つの文は、しばしば、非常に似通った情報を含むことが分かっている。したがって、一実施形態では、ほぼ同時に同一のイベントについて書かれた複数の異なる記事の最初の２つの文を一緒にクラスタ化して、文セットのソースとして使用する。もちろん、様々な異なるイベントに関して比較的多数の記事が書かれており、各クラスタが同一のイベントについて書かれた記事のグループを含む、記事の複数のクラスタを形成することもできる。
【００１９】
一実施形態では、次に、記事のクラスタから導出されたテキストセグメントの所与のセットの中のテキストセグメントを、そのセットの中の他のテキストセグメントに対してペアにし、ペアにされたテキストセグメントを入力として与えられて、語／句整列（または機械翻訳）技術を使用してパラフレーズを特定する。語／句整列システムは、通常、異なる言語におけるテキストセグメントを対象にするが、本発明の一実施形態によれば、整列システムは、共通言語におけるテキスト文を対象にする。テキストセグメントは、単に同一の事柄の異なる言い表し方と見なされる。
【００２０】
一実施形態では、テキストセグメントセットは、ヒューリスティックな、またはその他のフィルタリング技術を使用してフィルタ処理することができる。さらに別の実施形態では、語／句整列システムにおいてパラフレーズを特定するために生成されるモデルが、後のトレーニングデータにおいてパラフレーズを特定するのにも使用される。
【００２１】
本発明の別の実施形態によれば、整列システムによって出力されたパラフレーズおよびモデルを所与として、復号化アルゴリズムを使用してパラフレーズが生成される。
【発明を実施するための最良の形態】
【００２２】
本発明は、語／句整列技術を使用して、パラフレーズ関係を特定し、場合により、生成することを扱う。しかし、本発明をさらに詳細に説明するのに先立って、本発明を使用することができる１つの例示的な環境を説明する。
【００２３】
図１は、本発明を実施することができる適切なコンピューティングシステム環境１００の例を示している。コンピューティングシステム環境１００は、適切なコンピューティング環境の一例に過ぎず、本発明の用途または機能性の範囲について何ら限定を示唆するものではない。また、コンピューティング環境１００が、例示的な動作環境１００に例示したコンポーネント群のいずれの１つ、または組み合わせに関連する依存関係または要件も有すると解釈してはならない。
【００２４】
本発明は、他の多数の汎用または専用のコンピューティングシステム環境またはコンピューティングシステム構成で機能する。本発明で使用するのに適する可能性がある周知のコンピューティングシステム、コンピューティング環境、および／またはコンピューティング構成の例には、パーソナルコンピュータ、サーバコンピュータ、ハンドヘルドデバイスまたはラップトップデバイス、マルチプロセッサシステム、マイクロプロセッサベースのシステム、セットトップボックス、プログラム可能な家庭用電化製品、ネットワークＰＣ、ミニコンピュータ、メインフレームコンピュータ、上記のシステムまたはデバイスのいずれかを含む分散コンピューティング環境などが含まれるが、以上には限定されない。
【００２５】
本発明は、コンピュータによって実行される、プログラムモジュールなどの、コンピュータ実行可能命令の一般的な文脈において説明することができる。一般に、プログラムモジュールには、特定のタスクを実行する、または特定の抽象データ型を実装するルーチン、プログラム、オブジェクト、コンポーネント、データ構造などが含まれる。本発明は、通信ネットワークを介してリンクされたリモート処理デバイスによってタスクが実行される分散コンピューティング環境において実施することもできる。分散コンピューティング環境では、プログラムモジュール群は、メモリ記憶装置を含むローカルコンピュータ記憶メディアとリモートコンピュータ記憶メディアの両方の中に配置することができる。
【００２６】
図１を参照すると、本発明を実施するための例示的なシステムが、コンピュータ１１０の形態で汎用コンピューティングデバイスを含んでいる。コンピュータ１１０のコンポーネント群には、処理装置１２０、システムメモリ１３０、ならびにシステムメモリから処理装置１２０までを含む様々なシステムコンポーネントを結合するシステムバス１２１が含まれることが可能であるが、以上には限定されない。システムバス１２１は、様々なバスアーキテクチャのいずれかを使用するメモリバスまたはメモリコントローラ、周辺バス、およびローカルバスを含め、いくつかのタイプのバス構造のいずれであってもよい。例として、限定としてではなく、そのようなアーキテクチャには、業界標準アーキテクチャ（Ｉｎｄｕｓｔｒｙ  Ｓｔａｎｄａｒｄ  Ａｒｃｈｉｔｅｃｔｕｒｅ）（ＩＳＡ）バス、マイクロチャネルアーキテクチャ（Ｍｉｃｒｏ  Ｃｈａｎｎｅｌ  Ａｒｃｈｉｔｅｃｔｕｒｅ）（ＭＣＡ）バス、エンハンストＩＳＡ（Ｅｎｈａｎｃｅｄ  ＩＳＡ）（ＥＩＳＡ）バス、ビデオエレクトロニクススタンダーズアソシエーション（Ｖｉｄｅｏ  Ｅｌｅｃｔｒｏｎｉｃｓ  Ｓｔａｎｄａｒｄｓ  Ａｓｓｏｃｉａｔｉｏｎ）（ＶＥＳＡ）ローカルバス、およびメザニン（Ｍｅｚｚａｎｉｎｅ）バスとしても知られるペリフェラルコンポーネントインターコネクト（Ｐｅｒｉｐｈｅｒａｌ  Ｃｏｍｐｏｎｅｎｔ  Ｉｎｔｅｒｃｏｎｎｅｃｔ）（ＰＣＩ）バスが含まれる。
【００２７】
コンピュータ１１０は、通常、様々なコンピュータ可読メディアを含む。コンピュータ可読メディアは、コンピュータ１１０がアクセスすることができる任意の利用可能なメディアであることが可能であり、揮発性メディアと不揮発性メディア、リムーバブルメディアと固定メディアがともに含まれる。例として、限定としてではなく、コンピュータ可読メディアは、コンピュータ記憶メディアおよび通信メディアを含むことが可能である。コンピュータ記憶メディアには、コンピュータ可読命令、データ構造、プログラムモジュール、またはその他のデータなどの情報を格納するために任意の方法または技術で実装された揮発性メディアと不揮発性メディア、リムーバブルメディアと固定メディアがともに含まれる。コンピュータ記憶メディアには、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ，フラッシュメモリまたはその他のメモリ技術、ＣＤ−ＲＯＭ、デジタル多用途ディスク（ＤＶＤ）またはその他の光ディスクストレージ、磁気カセット、磁気テープ、磁気ディスクストレージまたはその他の磁気記憶装置、あるいは所望の情報を格納するのに使用することができ、コンピュータ１００がアクセスすることができる他の任意のメディアが含まれるが、以上には限定されない。通信メディアは、通常、搬送波ＷＡＶなどの変調されたデータ信号、またはその他のトランスポート機構でコンピュータ可読命令、データ構造、プログラムモジュール、またはその他のデータを実体化し、あらゆる情報配信メディアが含まれる。「変調されたデータ信号」という用語は、信号内に情報をエンコードするような形で特性の１つまたは複数が設定されている、または変更されている信号を意味する。例として、限定としてではなく、通信メディアには、有線ネットワークまたは直接有線接続などの有線メディア、ならびに音響メディア、ＦＲメディア、赤外線メディア、およびその他の無線メディアなどの無線メディアが含まれる。また、上記のメディアのいずれかの組み合わせも、コンピュータ可読メディアの範囲に含められなければならない。
【００２８】
システムメモリ１３０は、読み取り専用メモリ（ＲＯＭ）１３１およびランダムアクセスメモリ（ＲＡＭ）１３２などの揮発性メモリおよび／または不揮発性メモリの形態でコンピュータ記憶メディアを含む。始動中などにコンピュータ１１０内部の要素間で情報を転送するのを助ける基本ルーチンを含む基本入出力システム１３３（ＢＩＯＳ）が、通常、ＲＯＭ１３１の中に格納される。ＲＡＭ１３２は、通常、処理装置１２０が即時にアクセスすることができ、かつ／または処理装置１２０が現在、処理しているデータおよび／またはプログラムモジュール群を含む。例として、限定としてではなく、図１は、オペレーティングシステム１３４、アプリケーションプログラム群１３５、その他のプログラムモジュール群１３６、およびプログラムデータ１３７を示している。
【００２９】
コンピュータ１１０は、その他のリムーバブルな／固定の、揮発性／不揮発性のコンピュータ記憶メディアも含むことが可能である。単に例として、図１は、固定不揮発性磁気メディアに対して読み取りまたは書き込みを行うハードディスクドライブ１４１、リムーバブル不揮発性磁気ディスク１５２に対して読み取りまたは書き込みを行う磁気ディスクドライブ１５１、およびＣＤ−ＲＯＭまたはその他の光メディアなどのリムーバブル不揮発性光ディスク１５６に対して読み取りまたは書き込みを行う光ディスクドライブ１５５を示している。例示的な動作環境において使用することができるその他のリムーバブルな／固定の、揮発性／不揮発性コンピュータ記憶メディアには、磁気テープカセット、フラッシュメモリカード、デジタルバーサタイルディスク、デジタルビデオテープ、ソリッドステートＲＡＭ、ソリッドステートＲＯＭなどが含まれるが、以上には限定されない。ハードディスクドライブ１４１は、通常、インタフェース１４０のような固定メモリのインタフェースを介してシステムバス１２１に結合され、磁気ディスクドライブ１５１および光ディスクドライブ１５５は、通常、インタフェース１５０のようなリムーバブルメモリインタフェースでシステムバス１２１に結合される。
【００３０】
以上に説明し、図１に示したドライブ群、および関連するコンピュータ記憶メディアにより、コンピュータ可読命令、データ構造、プログラムモジュール、およびその他のデータのストレージがコンピュータ１１０に提供される。図１で、例えば、ハードディスクドライブ１４１は、オペレーティングシステム１４４、アプリケーションプログラム群１４５、その他のプログラムモジュール群１４６、およびプログラムデータ１４７を格納していることが示されている。これらのコンポーネントは、オペレーティングシステム１３４、アプリケーションプログラム群１３５、その他のプログラムモジュール群１３６、およびプログラムデータ１３７と同一であることも、異なることも可能であることに留意されたい。オペレーティングシステム１４４、アプリケーションプログラム群１４５、その他のプログラムモジュール群１４６、およびプログラムデータ１４７に、ここでは、少なくともそれらが異なるコピーであることを示すために異なる符号を付けている。
【００３１】
ユーザは、キーボード１６２、マイクロフォン１６３、ならびにマウス、トラックボール、またはタッチパッドのようなポインティングデバイス１６１などの入力デバイス群を介して、コマンドおよび情報をコンピュータ１１０に入力することができる。その他の入力デバイス群（図示せず）には、ジョイスティック、ゲームパッド、サテライトディッシュ、スキャナなどが含まれることが可能である。これらの、およびその他の入力デバイス群は、しばしば、システムバスに結合されたユーザ入力インタフェース１６０を介して処理装置１２０に接続されるが、パラレルポート、ゲームポート、またはユニバーサルシリアルバス（ＵＳＢ）などの他のインタフェースおよびバス構造で接続してもよい。また、モニタ１９１、またはその他のタイプのディスプレイデバイスも、ビデオインタフェース１９０のようなインタフェースを介してシステムバス１２１に接続される。モニタに加え、コンピュータは、出力周辺インタフェース１９５を介して接続することができるスピーカ１９７やプリンタ１９６などの他の周辺出力デバイス群も含むことが可能である。
【００３２】
コンピュータ１１０は、リモートコンピュータ１８０のような１つまたは複数のリモートコンピュータに対する論理接続を使用するネットワーク化された環境において動作することもできる。リモートコンピュータ１８０は、パーソナルコンピュータ、ハンドヘルドデバイス、サーバ、ルータ、ネットワークＰＣ、ピアデバイス、または他の一般的なネットワークノードであることが可能であり、通常、コンピュータ１１０に関連して前述した要素の多く、またはすべてを含む。図１に示した論理接続は、ローカルエリアネットワーク（ＬＡＮ）１７１およびワイドエリアネットワーク（ＷＡＮ）１７３を含むが、その他のネットワークも含むことが可能である。そのようなネットワーキング環境は、オフィス、企業全体のコンピュータネットワーク、イントラネット、およびインターネットで一般的である。
【００３３】
ＬＡＮネットワーキング環境で使用される場合、コンピュータ１１０は、ネットワークインタフェースまたはネットワークアダプタ１７０を介してＬＡＮ１７１に接続される。ＷＡＮネットワーキング環境で使用される場合、コンピュータ１１０は、通常、インターネットなどのＷＡＮ１７３を介して通信を確立するためのモデム１７２、またはその他の手段を含む。内部にあることも、外部にあることも可能なモデム１７２は、ユーザ入力インタフェース１６０、またはその他の適切な機構を介してシステムバス１２１に接続することができる。ネットワーク化された環境では、コンピュータ１１０に関連して示したプログラムモジュール群、またはプログラムモジュール群の諸部分は、リモートメモリ記憶装置の中に格納することができる。例として、限定としてではなく、図１は、リモートアプリケーションプログラム群１８５が、リモートコンピュータ１８０上に常駐していることを示している。図示したネットワーク接続は、例示であり、コンピュータ間で通信リンクを確立するその他の手段も使用できることが認められよう。
【００３４】
本発明は、図１に関連して説明したコンピュータシステム上で実行できることに留意されたい。しかし、本発明は、サーバ上、メッセージ処理に専用のコンピュータ上、あるいは本発明の異なる部分が、分散コンピューティングシステムの異なる部分の上で実行される分散システム上でも実施することができる。
【００３５】
図２は、パラフレーズ処理システム２００の一実施形態のブロック図である。システム２００は、ドキュメントデータベース２０２に対するアクセスを有し、ドキュメントクラスタ化システム２０４、テキストセグメント選択システム２０６、語／句整列システム２１０、識別システム入力テキスト２１１、および生成システム入力テキスト２１２を含む。図３は、図２に示したシステム２００の動作を示す流れ図である。
【００３６】
ドキュメントデータベース２０２は、例として、様々な異なる報道機関によって書かれた様々な異なるニュース記事を含む。記事のそれぞれは、例として、記事がいつ頃に作成されたかを示すタイムスタンプを含む。また、異なる報道機関からの複数の記事は、例として、多種多様な異なるイベントについて書かれている。
【００３７】
本発明は、ニュース記事に関連して説明するが、もちろん、一般的なプロセスを説明する技術論文、一般的な医療手続きを説明する様々な医学論文などのその他のソースドキュメントも使用することができる。
【００３８】
ドキュメントクラスタ化システム２０４は、図３のブロック２１４で示すとおり、ドキュメントデータベース２０２にアクセスする。図２で単一のデータベース２０２を示しているが、代わりに、複数のデータベースにアクセスすることも可能であることにも留意されたい。
【００３９】
クラスタ化システム２０４は、同一のイベントについて書かれたドキュメントデータベース２０２の中の記事を特定する。一実施形態では、記事は、ほぼ同時に（必要に応じて、互いに所定の時間閾値内、例えば、１ヶ月内、１週間内、一日内、数時間内などに）書かれていることも特定される。同一のイベントについて（かつ、場合により、ほぼ同時に）書かれていることが特定された記事は、ドキュメントクラスタ２１８を形成する。このことを図３にブロック２１６で示している。
【００４０】
関連するソース記事がクラスタ２１８として特定されると、それらの記事の中の所望のテキストセグメント（文、句、見出し、段落など）が抽出される。例えば、ニュース記事における報道関係者の慣習により、記事の最初の１つ、２つの文が、記事の残りの部分の要約を表すべきことが忠告されている。したがって、本発明の一実施形態によれば、記事（例として、異なる報道機関によって書かれている）が、クラスタ２１８にクラスタ化され、テキストセグメント選択システム２０６に提供されて、各クラスタ２１８内で各記事の最初の２つの文が抽出される。この説明は、文に関連して進めているが、これは単に例示であり、その他のテキストセグメントも同じく容易に使用できることに留意されたい。記事の各クラスタ２１８からの文は、クラスタ化された記事に対応する文セット２２２として出力される。文セット２２２は、テキストセグメント選択システム２０６によって語／句整列システム２１０に出力される。このことを図３にブロック２２０で示している。
【００４１】
文が使用される特定の例では、このやり方で収集される文の多くは、文体上の理由で異なる報道機関における編集者によってわずかに書き換えられた何らかの単一の元のソース文のバージョンであるように見える。しばしば、文のそれらのセットは、文中に現れる節の順序などの、少しの形でしか異なってないことが観察されている。
【００４２】
テキストセグメント選択システム２０６は、各クラスタに関する文のセット２２２を生成する。語／句整列システム２１０は、セットの中の文の全包括的な検査に基づいて語または句の間のマッピングを抽出することにより、文の大きいセットを操作することができることに留意されたい。しかし、この説明は、単に１つの例示的な実施形態として、文のペアを生成し、そのペアに対して整列を実行することに関して進める。このため、一実施形態では、特定された文セットは、文のペアに形成される。したがって、テキストセグメント選択システム２０６は、セットの中の各文をそのセットの中の他のすべての文に対してペアにして、各セットに関する文ペアを生成する。文ペアは、一実施形態では、オプションのフィルタリングステップの対象となり、別の実施形態では、語／句整列システム２１０に直接に出力される。フィルタリングをこの実施形態に関連して説明するが、フィルタリングに関連するステップは、オプションであることに留意されたい。
【００４３】
１つの例示的な実施形態では、テキストセグメント選択システム２０６は、共有される重要な内容語（ｋｅｙ  ｃｏｎｔｅｎｔ  ｗｏｒｄｓ）に基づいて文ペアをフィルタ処理する。例えば、１つの例示的な実施形態では、システム２０６は、文ペアをフィルタ処理し、それぞれ少なくとも４文字の少なくとも３つの語を共有していない文ペアを除去する。もちろん、フィルタリングは、オプションであり、使用される場合、実装されるフィルタリングアルゴリズムは、多種多様であることが可能である。過去の結果に対するフィルタリング（これは、語／句整列システム２１０の出力のテキストセグメント選択システム２０６へのフィードバックループを要する）、異なる数の内容語に対するフィルタリング、その他の意味情報または構文情報に対するフィルタリングなどの、様々な異なるフィルタリング技術のいずれを使用することもできる。いずれにしても、文のセットをペアにして、フィルタ処理し、語／句整列システム２１０に提供することができる。
【００４４】
１つの例示的な実施形態では、語／句整列システム２１０は、セット２２２の中の文の間における語彙の対応を学習しようとして、統計的機械翻訳文献からの従来の語／句整列アルゴリズムを実装する。例えば、以下の２つの文が、文ペアとして機械翻訳システム２１０に入力されるものと想定されたい。
【００４５】
Ｓｔｏｒｍｓ  ａｎｄ  ｔｏｒｎａｄｏｅｓ  ｋｉｌｌｅｄ  ａｔ  ｌｅａｓｔ  １４  ｐｅｏｐｌｅ  ａｓ  ｔｈｅｙ  ｒｉｐｐｅｄ  ｔｈｒｏｕｇｈ  ｔｈｅ  ｃｅｎｔｒａｌ  Ｕ．Ｓ．Ｓｔａｔｅｓ  ｏｆ  Ｋａｎｓａｓ  ａｎｄ  Ｍｉｓｓｏｕｒｉ．
Ａ  ｓｗａｒｍ  ｏｆ  ｔｏｒｎａｄｏｅｓ  ｃｒａｓｈｅｄ  ｔｈｒｏｕｇｈ  ｔｈｅ  Ｍｉｄｗｅｓｔ，ｋｉｌｌｉｎｇ  ａｔ  ｌｅａｓｔ  １９  ｐｅｏｐｌｅ  ｉｎ  Ｋａｎｓａｓ  ａｎｄ  Ｍｉｓｓｏｕｒｉ．
これらの文は、いくつかの相違にも関わらず、共通の記事の（ｅｄｉｔｏｒｉａｌ）ソースを有する可能性がある。いずれにしても、これらの文は、例として、ほぼ同時に、同一のイベントについて２つの異なる報道機関によって書かれている。これらの文の相違には、「ｃｒａｓｈｅｄ  ｔｈｒｏｕｇｈ」に対応する「ｒｉｐｐｅｄ  ｔｈｒｏｕｇｈ」、節の順序の相違、「Ｍｉｄｗｅｓｔ」に対応する「ｃｅｎｔｒａｌ  Ｕ．Ｓ．Ｓｔａｔｅｓ」、「ｋｉｌｌｅｄ」という語と「ｋｉｌｌｉｎｇ」という語の間における形態の相違、ならびに報告されている犠牲者の数の相違が含まれる。
【００４６】
図４は、語および句が、従来の整列システム２１０に従って整列された後の、文における語と複数語の句（ｍｕｌｔｉｐｌｅ  ｗｏｒｄ  ｐｈｒａｓｅｓ）の間の対応を示している。対応のほとんどに関して、統計的整列アルゴリズムが、語と語を結ぶ線で示される、異なるが、並列の情報の間にリンクを確立している。例えば、「ｓｔｏｒｍｓ  ａｎｄ  ｔｏｒｎａｄｏｅｓ」という名詞句と「ａ  ｓｗａｒｍ  ｏｆ  ｔｏｒｎａｄｏｅｓ」という名詞句は、直接には比較できない。したがって、より多くのデータが獲得されるにつれ、「ｓｔｏｒｍｓ」と「ｓｗａｒｍ」の間のリンク、「ｓｔｏｒｍｓ」と「ａ」の間のリンクが消えていく。節の順序の相違は、２つの文の間におけるリンク群の交差パターンで見ることができる。
【００４７】
１つの例示的な実施形態では、語／句整列システム２１０は、非特許文献８に記載される技術を使用して実装される。もちろん、他の機械翻訳技術または語／句整列技術を、語と入力テキストの間の関連を特定するために使用することもできる。整列システム２１０を使用して、整列モデルを構築し、文セットに対して統計的な語および／または句の整列を実行することを、図３にブロック２３０で示している。
【００４８】
次に、語／句整列システム２１０は、整列された語および句２３２を、システム２１０が入力データに基づいて生成した整列モデル２３４とともに出力する。基本的に、前述した整列システムでは、語の対応を特定するようにモデルがトレーニングされる。整列技術はまず、図４で例示するとおり、テキストセグメントにおける語の間で語の整列を見つける。次に、システムは、整列のそれぞれに確率を割り当て、後のトレーニングデータに基づいてその確率を最適化して、より正確なモデルを生成する。整列モデル２３４、ならびに整列された語および句２３２を出力することを、図３にブロック２３６で示している。
【００４９】
整列モデル２３４は、例として、語整列に割り当てられた翻訳確率、文の中で語または句が移動する確率を示す移動確率、単一の語が、別のテキストセグメントにおける２つの異なる語に対応することが可能な尤度または確率を示す多産性（ｆｅｒｔｉｌｉｔｙ）確率などの、従来の翻訳モデルパラメータが含まれる。
【００５０】
ブロック２３７、２３８、および２３９は、自己のトレーニングを行うためにシステムをブートストラップ（ｂｏｏｔｓｔｒａｐ）する際に使用されるオプションの処理ステップである。これらのステップは、図２Ａに関連して以下により詳細に説明する。
【００５１】
ブートストラップが使用されない実施形態では、システム２１１が、システム２１０の出力を受け取り、互いのパラフレーズである語、句、または文を特定する。特定されたパラフレーズ２１３が、システム２１１によって出力される。このことを図３にブロック２４２で示している。
【００５２】
また、整列された句およびモデルを提供して、システム入力テキスト２１２を生成することもできる。システム２１２は、例として、語および／または句を入力として受け取り、その入力に対するパラフレーズ２３８を生成する従来のデコーダである。このため、システム２１２は、整列システム２１０によって生成された整列された語および句２３２、ならびに整列モデル２３４を使用して、入力テキストのパラフレーズを生成するように使用することができる。整列された語および句、および整列モデルに基づいて入力テキストに対するパラフレーズを生成することを、図３にブロック２４０で示している。１つの例示的な生成システムが、非特許文献９に記載されている。
【００５３】
図２Ａは、識別システム２１１が、トレーニングをブートストラップするのにも使用されること以外は、図２と同様である。これは、図３にブロック２３７〜２３９でさらに示している。例えば、語／句整列システム２１０が、図２および３に関連して前述したとおり、整列モデル２３４、ならびに整列された語および句２３２を出力しているものと想定されたい。しかし、ここで、システムをさらにトレーニングする際に使用するための補足の文セット３００（この場合も、文は、単に例として使用しており、その他のテキストセグメントも同様に使用することができる）を特定するために、各ドキュメントクラスタ２１８のテキスト全体が、識別システム２１１に供給される。識別システム２１１は、整列モデル２３４、ならびに整列された語および句２３２を使用して、クラスタ化されたドキュメント２１８の中のテキストを処理して、クラスタのそれぞれから文セット３００を再選択することができる。このことをブロック２３７で示している。再選択された文セット３００は、次に、語／句整列システム２１０に提供され、システム２１０は、再選択された文セット３００に基づき、整列モデル２３４、整列された語および句２３２、ならびに関連する確率メトリクス（ｍｅｔｒｉｃｓ）を生成するか、または再計算する。再選択された文に対して、語および句の整列を実行すること、および整列モデル、ならびに整列された語および句を生成することを、図３にブロック２３８および２３９で示している。
【００５４】
次に、再計算された整列モデル２３４、および新規の整列された語および句２３２が、識別システム２１１に再び入力され、システム２１１によって、ドキュメントクラスタ２１８の中のテキストを再び処理するのに使用されて、新規の文セットが特定されることが可能である。新規の文セットは、語／句整列システム２１０に再びフィードバックすることができ、プロセスを続けて、システムのトレーニングをさらに精密にすることができる。
【００５５】
本システムを使用して処理されたパラフレーズの多種多様な用途（ａｐｐｌｉｃａｔｉｏｎ）が存在する。例えば、パラフレーズ処理システムの可能な適用例には、「背景技術」で述べた質疑応答システムと、より一般的な情報検索システムがともに含まれる。そのようなシステムは、クエリに基づいてドキュメントセットを戻す際、パラフレーズスコアを生成して、２つのテキストセグメントの類似度を算出することができる。同様に、そのようなシステムは、よりよく合致する結果を見出すため、またはリコール（ｒｅｃａｌｌ）を向上させるため、パラフレーズ生成機能を使用して、クエリ拡張を実行する（単一の元のクエリの複数の形態を生成する）ことができる。
【００５６】
パラフレーズの認識および生成のさらに別の用途には、複数のドキュメントの要約が含まれる。パラフレーズ認識を利用することにより、自動ドキュメント要約システムが、異なるドキュメントの中で類似した一節を見出し、要約を生成するためにドキュメントセットの中の最も際立った情報を決定することができる。
【００５７】
パラフレーズの認識および生成の別の用途は、ダイアログシステムである。そのようなシステムは、入力をまねるが、全く同一の入力をオウム返しすることを回避するように異なる言い回しにされた応答を生成することができる。これにより、ダイアログシステムが、より自然に、またはより会話調に聞こえるようになる。
【００５８】
また、パラフレーズの認識および生成は、ワードプロセッシングシステムにおいても使用することができる。ワードプロセッシングシステムを使用して、文体の書き換えを自動的に生成し、その書き換えをユーザに提案することができる。これは、例えば、ユーザがドキュメントを書いており、ある句を、場合によっては単一の段落内でさえ、多数回、繰り返している場合に、役立つ可能性がある。同様に、ワードプロセッシングシステムは、ドキュメント全体に散在する、繰り返される（ただし、異なる言い回しで）情報にフラグを立てる機能も含むことが可能である。同様に、そのようなシステムは、散文の断片をパラフレーズとして書き換える機能も含むことが可能である。
【００５９】
また、本発明は、コマンド−制御システムにおいても使用することができる。人々は、従来、多種多様な用語を使用して物事を求める。パラフレーズを特定することにより、そのようなシステムが、入力が様々な言い回しになっている場合でも、適切なコマンドアクションおよび制御アクションを実施することができるようになる。
【００６０】
このため、本発明の一実施形態によれば、共通のイベントを記述するテキストソース群が、クラスタ化される。そのテキストソース群の中の事前定義されたテキストセグメントが、抽出されてテキストセグメントのセットにされる。各セットの中のテキストセグメントが、整列システムに提供されて、パラフレーズが特定される。このため、本発明は、複数のクラスタにわたってパラフレーズを特定する。特定されるパラフレーズ関係は、多くの異なるクラスタにおけるテキストセグメントペアを使用して見出すことができる。さらに、一実施形態では、次に、見出されたパラフレーズを使用して、後のトレーニングプロセス中に、より多くのパラフレーズ関係を見つけ出す。これは、従来のパラフレーズ認識システムと比べて非常に有利である。
【００６１】
本発明は、特定の実施形態に関連して説明してきたが、本発明の趣旨および範囲を逸脱することなく、形態および詳細の変更を行うことができることが、当業者には認識されよう。
【図面の簡単な説明】
【００６２】
【図１】本発明を使用することができる環境の一実施形態を示すブロック図である。
【図２】本発明の一実施形態によるパラフレーズ認識−生成システムを示すブロック図である。
【図２Ａ】パラフレーズ認識コンポーネントを使用して、トレーニングにおいて使用するためのテキストセグメントのパラフレーズされたセットを選択することを示す図である。
【図３】図２に示したシステムの動作を示す流れ図である。
【図４】本発明の一実施形態による２つのペアにされた文の間の１つの例示的な整列を示す図である。
【符号の説明】
【００６３】
１２０  処理装置
１３０  システムメモリ
１３４  オペレーティングシステム
１３５  アプリケーションプログラム群
１３６  他のプログラムモジュール群
１３７  プログラムデータ
１４０  固定不揮発性メモリのインタフェース
１４４  オペレーティングシステム
１４５  アプリケーションプログラム群
１４６  他のプログラムモジュール群
１４７  プログラムデータ
１５０  リムーバブル不揮発性メモリインタフェース
１６０  ユーザ入力インタフェース
１６１  ポインティングデバイス
１６２  キーボード
１６３  マイク
１７０  ネットワークインタフェース
１７１  ローカルエリアネットワーク
１７２  モデム
１７３  ワイドエリアネットワーク
１８０  リモートコンピュータ
１８５  リモートアプリケーションプログラム群
１９０  ビデオインタフェース
１９１  モニタ
１９５  出力周辺インタフェース
１９６  プリンタ
１９７  スピーカ
【図１】
2005149494.tif 000003
【図２】
2005149494.tif 000004
【図２Ａ】
2005149494.tif 000005
【図３】
2005149494.tif 000006
【図４】
2005149494.tif 000007