(57)【要約】【課題】ドキュメント中の文の有意性を計算する方法およびシステムを提供すること。【解決手段】要約システムは、ドキュメントの文の有意性を計算し、最も有意な文を、そのドキュメントの要約として選択する。要約システムは、文の中に含まれるドキュメントの「重要」単語に基づいて、文の有意性を計算する。要約システムは、様々なスコアづけ技術を用いて、ドキュメントの単語の重要度を計算し、次いで、スコアを合成して、単語を、重要または重要でないと分類する。要約システムは次いで、文が含む重要単語に基づいて、ドキュメントの有意な文を識別し、有意な文を、そのドキュメントの要約として選択するのに使うことができる。【選択図】図１
2006059352.tif 000002
【特許請求の範囲】
【請求項１】
コンピュータシステムにおける、ドキュメントの有意な文を識別する方法であって、
様々なスコアづけ技術から生成された、単語に対する複数のスコアに基づいて、単語を、ドキュメントにとって重要または重要でないと分類するように分類装置をトレーニングするステップであって、各スコアは、前記ドキュメントに対する、１つの単語の技術固有重要度を示すステップと、
前記ドキュメントの単語に対して、前記様々なスコアづけ技術からスコアを生成するステップと、
前記生成されたスコアから、前記ドキュメントにとって重要である単語を分類するようにトレーニングされた前記分類装置を使って、前記ドキュメントの重要単語を識別するステップと、
前記文に含まれる前記識別された重要単語に基づいて、前記ドキュメントの文の有意性を計算するステップとを含むことを特徴とする方法。
【請求項２】
前記計算された有意性に基づいて、文を、前記ドキュメントにとって有意であると示すステップを含むことを特徴とする請求項１に記載の方法。
【請求項３】
前記ドキュメントの有意な文からの、前記ドキュメントの要約を生成するステップを含むことを特徴とする請求項１に記載の方法。
【請求項４】
前記スコアづけ技術は、Ｌｕｈｎ方式であることを特徴とする請求項１に記載の方法。
【請求項５】
前記スコアづけ技術は、ドキュメントの様々なキーワードを識別し、前記識別されたキーワードに基づいて、文の有意性を計算することを特徴とする請求項１に記載の方法。
【請求項６】
スコアづけ技術は、ドキュメントの単語を、前記ドキュメント中での前記単語の出現頻度に基づいて、キーワードとして識別することを特徴とする請求項５に記載の方法。
【請求項７】
スコアづけ技術は、ドキュメントの単語を、前記ドキュメントのタイトルに基づいて、キーワードとして識別することを特徴とする請求項５に記載の方法。
【請求項８】
スコアづけ技術は、ドキュメントの単語を、固有表現である前記単語に基づいて、キーワードとして識別することを特徴とする請求項５に記載の方法。
【請求項９】
ドキュメントは、複数のポストを含み、スコアづけ技術は、ドキュメントの単語を、現在のポストの単語が、以前のポストに出現するかどうかに基づいて、キーワードとして識別することを特徴とする請求項５に記載の方法。
【請求項１０】
文の前記有意性は、Ｌｕｈｎのアルゴリズムを用いて計算されることを特徴とする請求項５に記載の方法。
【請求項１１】
前記ドキュメントは、電子メールメッセージであることを特徴とする請求項１に記載の方法。
【請求項１２】
前記分類装置は、サポートベクトルマシンであることを特徴とする請求項１に記載の方法。
【請求項１３】
ドキュメントをトレーニングするために、
様々なスコアづけ技術を用いて、前記トレーニング用のドキュメントにとっての、単語の技術固有重要度を示すスコアを生成し、
前記トレーニング用ドキュメントにとっての、前記トレーニング用ドキュメントの単語の重要度を指定するステップと、
単語に対して生成された前記スコアとともに前記単語の前記重要度の前記指定に基づいて、前記分類装置をトレーニングするステップとを含む方法によって、ドキュメントの単語を、前記ドキュメントにとっての重要度に基づいて分類するように分類装置をトレーニングするための、コンピュータシステムを制御する命令を含むことを特徴とするコンピュータ可読媒体。
【請求項１４】
前記スコアづけ技術は、Ｌｕｈｎ方式であることを特徴とする請求項１３に記載のコンピュータ可読媒体。
【請求項１５】
前記スコアづけ技術は、ドキュメントの様々なキーワードを識別し、前記識別されたキーワードに基づいて、文の有意性を計算することを特徴とする請求項１３に記載のコンピュータ可読媒体。
【請求項１６】
スコアづけ技術は、ドキュメントの単語を、前記ドキュメント中での前記単語の出現頻度に基づいて、キーワードとして識別することを特徴とする請求項１５に記載のコンピュータ可読媒体。
【請求項１７】
スコアづけ技術は、ドキュメントの単語を、前記ドキュメントのタイトルに基づいて、キーワードとして識別することを特徴とする請求項１５に記載のコンピュータ可読媒体。
【請求項１８】
スコアづけ技術は、ドキュメントの単語を、固有表現である前記単語に基づいて、キーワードとして識別することを特徴とする請求項１５に記載のコンピュータ可読媒体。
【請求項１９】
ドキュメントは、複数のポストを含み、スコアづけ技術は、ドキュメントの単語を、現在のポストの単語が、以前のポストに出現するかどうかに基づいて、キーワードとして識別することを特徴とする請求項１５に記載のコンピュータ可読媒体。
【請求項２０】
文の前記有意性は、Ｌｕｈｎのアルゴリズムを用いて計算されることを特徴とする請求項１５に記載のコンピュータ可読媒体。
【請求項２１】
前記ドキュメントは、電子メールメッセージであることを特徴とする請求項１３に記載のコンピュータ可読媒体。
【請求項２２】
前記分類装置は、サポートベクトルマシンであることを特徴とする請求項１３に記載のコンピュータ可読媒体。
【請求項２３】
ドキュメントの単語に対して、様々なスコアづけ技術からスコアを生成するステップと、
前記生成されたスコアから、前記ドキュメントにとって重要である単語を分類するようにトレーニングされた分類装置を使って、前記ドキュメントの重要単語を識別するステップと、
前記文に含まれる前記識別された重要単語に基づいて、前記ドキュメントの文の有意性を計算するステップとを含む方法によって、ドキュメントの有意な文を識別するための、コンピュータシステムを制御する命令を含むことを特徴とするコンピュータ可読媒体。
【請求項２４】
前記分類装置は、様々なスコアづけ技術から生成された、単語に対するスコアを有するトレーニング用ドキュメントを用いて、単語を重要度に基づいて分類するようにトレーニングされ、各スコアは、トレーニング用ドキュメントにとっての、単語の技術固有重要度を示すことを特徴とする請求項２３に記載のコンピュータ可読媒体。
【請求項２５】
前記計算された有意性に基づいて、文が、前記ドキュメントにとって有意であると示すステップを含むことを特徴とする請求項２３に記載のコンピュータ可読媒体。
【請求項２６】
前記ドキュメントの有意な文から、前記ドキュメントの要約を生成するステップを含むことを特徴とする請求項２３に記載のコンピュータ可読媒体。
【請求項２７】
前記スコアづけ技術は、Ｌｕｈｎ方式であることを特徴とする請求項２３に記載のコンピュータ可読媒体。
【請求項２８】
前記スコアづけ技術は、ドキュメントの様々なキーワードを識別し、前記識別されたキーワードに基づいて、文の有意性を計算することを特徴とする請求項２３に記載のコンピュータ可読媒体。
【請求項２９】
スコアづけ技術は、ドキュメントの単語を、前記ドキュメント中での前記単語の出現頻度に基づいて、キーワードとして識別することを特徴とする請求項２８に記載のコンピュータ可読媒体。
【請求項３０】
スコアづけ技術は、ドキュメントの単語を、前記ドキュメントのタイトルに基づいて、キーワードとして識別することを特徴とする請求項２８に記載のコンピュータ可読媒体。
【請求項３１】
スコアづけ技術は、ドキュメントの単語を、固有表現である前記単語に基づいて、キーワードとして識別することを特徴とする請求項２８に記載のコンピュータ可読媒体。
【請求項３２】
ドキュメントは、複数のポストを含み、スコアづけ技術は、ドキュメントの単語を、現在のポストの単語が、以前のポストに出現するかどうかに基づいて、キーワードとして識別することを特徴とする請求項２８に記載のコンピュータ可読媒体。
【請求項３３】
文の前記有意性は、Ｌｕｈｎのアルゴリズムを用いて計算されることを特徴とする請求項２８に記載のコンピュータ可読媒体。
【請求項３４】
前記ドキュメントは、電子メールメッセージであることを特徴とする請求項２３に記載のコンピュータ可読媒体。
【請求項３５】
前記分類装置は、サポートベクトルマシンであることを特徴とする請求項２３に記載のコンピュータ可読媒体。
【請求項３６】
ドキュメントの文の有意性を計算するコンピュータシステムであって、
単語を含む文に対して、様々な文スコアづけ技術から生成されたスコアを入力し、重要度に基づいた、前記単語の分類を出力する、重要度に基づく単語の分類装置と、
前記ドキュメントの文に対して、様々な文スコアづけ技術のための、前記ドキュメントにとっての、前記文の有意性のスコアを生成するコンポーネントと、
前記単語を含む文の、前記生成されたスコアを入力する前記分類装置を使って、前記ドキュメントの単語を、重要と分類するコンポーネントと、
文の中に含まれる、重要と分類された前記単語に基づいて、前記ドキュメントにとっての前記文の有意性を計算する、文にスコアづけ技術を適用するコンポーネントとを備えることを特徴とするコンピュータシステム。
【請求項３７】
前記スコアづけ技術は、Ｌｕｈｎ方式であることを特徴とする請求項３６に記載のコンピュータシステム。
【請求項３８】
特徴ベクトルによって表される、単語の重要度の多様なスコアを表す特徴ベクトルに基づいて、前記単語が重要であるか、それとも重要でないかを示す分類装置を提供するステップであって、各スコアは、単語の前記重要度をスコアづけするのに用いられた異なる技術を表すステップと、
ドキュメントの単語を表すための特徴ベクトルを生成するステップと、
前記生成された特徴ベクトルに、前記分類装置を適用することによって、前記単語を分類するステップとを含む方法によって、ドキュメントの重要な単語を識別するための、コンピュータシステムを制御する命令を含むことを特徴とするコンピュータ可読媒体。
【請求項３９】
トレーニング用ドキュメントの単語に対して、特徴ベクトルおよび重要度インジケータのペアを生成するステップであって、前記特徴ベクトルの特徴は、単語の重要度にスコアづけする様々な技術を表すステップと、
前記生成された特徴ベクトルおよび重要度インジケータのペアに基づいて、前記分類装置をトレーニングするステップとを含む方法によって、ドキュメントの単語を、前記ドキュメントにとっての重要度に基づいて分類するような分類装置を生成するための、コンピュータシステムを制御する命令を含むことを特徴とするコンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は概して、ドキュメントの要約に関し、詳細には、ドキュメント中の有意な文（ｓｉｇｎｉｆｉｃａｎｔ  ｓｅｎｔｅｎｃｅ）の識別に関する。
【背景技術】
【０００２】
インターネットにより、ユーザは、たとえば電子メールメッセージ、ウェブページ、メモ、設計仕様書、電子書籍など、何百万もの電子ドキュメントにアクセスすることができる。こうした多数のドキュメントのせいで、ユーザは、興味のあるドキュメントを見つけにくい場合がある。ユーザは、１つのドキュメントを見つけるために、複数の検索用語を検索エンジンに提出する場合がある。検索エンジンは、検索用語に関連し得るドキュメントを識別し、次いで、そうしたドキュメントの指示を検索結果として提示する。検索結果が提示されると、ドキュメントが本当に興味のあるものかどうか、ユーザが直ちに判定することができるように、検索エンジンは、各ドキュメントの要約を提供しようと試み得る。一部のドキュメントには、検索エンジンによって使用することができる抄録または要約セクションがあり得る。しかし、多くのドキュメントには、抄録も要約もない。検索エンジンは、このようなドキュメント用に、要約を自動的に生成することができる。
【０００３】
ドキュメントの自動要約は、ユーザが自分の電子メールメッセージを処理するのを補助するのに用いることもできる。多くのユーザが、毎日数百通の電子メールメッセージを受信する。ユーザは、各電子メールメッセージにアクセスし処理するのに非常に時間を浪費し得る。実際、多数の電子メールメッセージのせいで、ユーザは、有意性がより低いどの電子メールメッセージよりも迅速な対応を必要とし得る重要な電子メールメッセージを識別しにくい場合がある。一部の電子メールシステムは、最近届いたメッセージを列挙するとき、メッセージの最初の１行または２行を表示して、ユーザが電子メールメッセージのトピックを識別するのを補助することができる。さらに、セル電話など、表示領域が小さいコンピューティングデバイスは、メッセージ全体を一度に効果的に表示することができないので、電子メールメッセージを最初の１行または２行に短縮することができる。しかし、メッセージの最初の１行または２行は、メッセージの効果的な要約とはなり得ない。
【０００４】
【非特許文献１】H.P. Luhn, The Automatic Creation of Literature Abstracts, 2 IBM J. of Res. & Dev. No. 2, 159-65 (April 1958)
【非特許文献２】http://research.microsoft.com/~jplatt/smo.html
【非特許文献３】Zechner, C., "Fast Generation of Abstracts from General Domain Text Corpora by Extracting Relevant Sentences," Proceedings of the 16th International Conference on Computational Linguistics, pp. 986-989 (1996)
【非特許文献４】Himmelman, D. and Chu, J., "An Automatic Abstracting Program Employing Stylo-Statistical Techniques and Hierarchical Data Indexing," Proceedings of the 16th ACM National Meeting (1961)
【発明の開示】
【発明が解決しようとする課題】
【０００５】
ドキュメントの効果的な要約を自動的に生成する技術を実現することが望ましいであろう。このような効果的な要約は、ユーザが、興味あるドキュメントを識別し、電子メールメッセージを編成し、表示空間が限られているデバイスにドキュメントを表示することなどを助ける。
【課題を解決するための手段】
【０００６】
ドキュメント中の文の有意性（ｓｉｇｎｉｆｉｃａｎｃｅ）を計算する方法およびシステムを提供する。要約システムは、ドキュメントの文の有意性を計算し、最も有意な文を、そのドキュメントの要約として選択する。要約システムは、文の中に含まれるドキュメントの「重要」単語に基づいて、文の有意性を計算する。要約システムは、トレーニングシステムおよび分類システムを含む。トレーニングシステムは、ドキュメントの単語を、ドキュメントにとってのその重要度によって分類するように分類装置をトレーニングするのに使われる。分類装置がトレーニングされると、分類システムは、ドキュメントの重要単語を識別するのに使うことができる。要約システムは次いで、文が含む重要単語に基づいて、ドキュメントの有意な文を識別し、有意な文を、そのドキュメントの要約として選択するのに使うことができる。
【発明を実施するための最良の形態】
【０００７】
ドキュメント中の文の有意性を計算する方法およびシステムを提供する。一実施形態では、要約システムは、ドキュメントの文の有意性を計算し、最も有意な文を、そのドキュメントの要約として選択する。要約システムは、文の中に含まれるドキュメントの「重要」単語に基づいて、文の有意性を計算する。要約システムは、様々なスコアづけ技術（ｓｃｏｒｉｎｇ  ｔｅｃｈｎｉｑｕｅｓ）を用いて、ドキュメントの単語の重要度を計算し、次いで、スコアを合成して、単語を、重要または重要でないと分類する。要約システムは、トレーニングシステムおよび分類システムを含む。トレーニングシステムは、ドキュメントの単語を、ドキュメントにとってのその重要度によって分類するように分類装置をトレーニングするのに使われる。分類装置（ｃｌａｓｓｉｆｉｅｒ）がトレーニングされると、分類システムは、ドキュメントの重要単語を識別するのに使うことができる。要約システムは次いで、文が含む重要単語に基づいて、ドキュメントの有意な文を識別し、有意な文を、そのドキュメントの要約として選択するのに使うことができる。
【０００８】
分類装置をトレーニングするために、トレーニングシステムは、多様なスコアづけ技術を利用して、１組のトレーニング用ドキュメントの単語の重要度をスコアづけする。したがって、ドキュメントの単語は、各スコアづけ技術ごとに１つのスコアをもつ特徴ベクトルによって表すことができる。たとえば、あるトレーニング用ドキュメントに、「電話」という単語がある場合、トレーニングシステムは、４通りのスコアづけ技術を利用して、０．５、０．４、０．３、および０．５というスコアを生成することができる。トレーニングシステムは次いで、（０．５、０．４、０．３、０．５）の特徴ベクトルによって、「電話」という単語を表す。トレーニングシステムは次いで、「電話」という単語の、ドキュメントにとっての重要度の指示を受け取る。たとえば、ある人が、ドキュメントを吟味し、「電話」という単語がドキュメントにとって重要であるか、それとも重要でないかを示すことができる。トレーニングシステムは、トレーニング用ドキュメントの単語に対する特徴ベクトルおよび重要度インジケータのペアを含むトレーニングデータを生成する。トレーニングシステムは次いで、単語を、その特徴ベクトルに基づいて重要または重要でないと分類するように、トレーニングデータを使って分類装置をトレーニングする。重要度に基づいてドキュメントの単語を後で分類するために、分類システムは、スコアづけ技術を利用して、単語に対する特徴ベクトルを生成する。分類システムは次いで、分類装置を使って、単語の重要度を、その特徴ベクトルに基づいて分類する。
【０００９】
一実施形態では、要約システムは、Ｌｕｈｎのアルゴリズム（Ｌｕｈｎベースアルゴリズム）を用いて、ドキュメントの文の有意性を計算することができる。Ｌｕｈｎのアルゴリズムは、文の中に含まれる、ドキュメントのキーワードに基づいて、ドキュメントにとっての文の有意性を計算する。具体的には、Ｌｕｈｎのアルゴリズムは、単独ではいくつかの非キーワードに過ぎないキーワードで挟まれた、文の一部分を識別する。Ｌｕｈｎのアルゴリズムによって計算された、文の有意性は、挟まれた部分におけるキーワードの密度を反映するスコアである。Ｌｕｈｎのアルゴリズムは、文のスコアを、挟まれた部分に含まれるキーワードの数の二乗を、挟まれた部分にある単語の数で割った比として計算することができる。（たとえば、非特許文献１を参照）。要約システムは、分類装置によって重要と識別された単語を、Ｌｕｈｎのアルゴリズムのためのキーワードとして使う。要約システムは次いで、スコアによって示される、ドキュメントにとって最も有意である文を、そのドキュメントの要約として選択する。
【００１０】
一実施形態では、要約システムは、単語に対する特徴ベクトルを生成するのに利用されるスコアづけ技術において、Ｌｕｈｎのアルゴリズムも用いる。スコアづけ技術は、Ｌｕｈｎのアルゴリズムによって使用するためのキーワードを選択するのに用いられる基準に基づいて異なり得る。たとえば、あるスコアづけ技術は、ドキュメントにおける単語の頻度に基づいて、キーワードを選択することができ、別のスコアづけ技術は、ドキュメントのタイトルからキーワードを選択することができる。キーワードが選択されると、各スコアづけ技術は、同様に動作し得る。スコアづけ技術は、技術固有基準（ｔｅｃｈｎｉｑｕｅ−ｓｐｅｃｉｆｉｃ  ｃｒｉｔｅｒｉｏｎ）によって選択されたキーワードを用いてドキュメントの文の有意性を計算するのに、Ｌｕｈｎのアルゴリズムを用いる。たとえば、あるスコアづけ技術は、「セルラー」、「電話」、および「長距離」という、技術固有キーワードを選択することができ、別のスコアづけ技術は、「セルラー」および「電話」という、技術固有キーワードを選択することができる。キーワードの組が異なるので、各スコアづけ技術は、１つの文に対して、異なる有意性スコアを計算し得る。たとえば、「セルラーおよび長距離電話システムは、シームレスな長距離サービスを提供するように統合されている」という文は、一方のキーワードの組が使われたときは０．５という有意性スコアを有し、他方のキーワードの組が使われるときは０．３というスコアを有し得る。スコアづけ技術は次いで、文の中の技術固有キーワードの有意性スコアを、スコアづけ技術によって計算された、その文の有意性スコアに設定する。たとえば、頻度に基づくスコアづけ技術は、「セルラー」、「電話」、および「長距離」という、そのキーワードのスコアを０．５に設定することができ、タイトルに基づくスコアづけ技術は、「セルラー」および「電話」という、そのキーワードのスコアを０．３に設定することができる。要約システムは、「セルラー」に対する特徴ベクトルを（０．５、０．３）に、「電話」の場合は（０．５、０．３）に、「長距離」の場合は（０．５、０）に設定することができる。トレーニングシステムは、分類装置をトレーニングするためのトレーニングデータに対して特徴ベクトルを使い、分類システムは、キーワードを、ドキュメントにとって重要または重要でないと識別するのに特徴ベクトルを使う。キーワードは、様々な文に含めることができるので、１つのキーワードが、複数の特徴ベクトルを有し得る。トレーニングモードにあるとき、トレーニングシステムは、１つのキーワードに対して複数の特徴ベクトルを使って、分類装置をトレーニングすることができる。分類モードにあるとき、分類装置は、あるキーワードを、キーワード用の１つの特徴ベクトルに基づいて重要と分類し、別の特徴ベクトルに基づいて、重要でないと分類することができる。このような場合、分類システムは、規則（たとえば、多数決、圧倒的多数決、または全員一致）を用いて、そのキーワードが重要であるか、それとも重要でないか決定することができる。
【００１１】
一実施形態では、要約システムは、ドキュメントの文の有意性を計算するためのＬｕｈｎのアルゴリズムの適用に用いるための、ドキュメントのキーワードを選択するのに、様々な基準を用いることができる。要約システムは、ドキュメントのキーワードを識別するのに、頻度に基づく基準を用いることができる。要約システムは、ドキュメント中での各単語の頻度を計算し、ドキュメントのキーワードとなる、一定の頻度範囲内にある単語を選択することができる。頻度範囲の使用により、重要単語となるにはあまりにも頻繁に出現し（たとえば、「ｔｈｅ」）、またはあまりにもまれにしか出現しない（たとえば、ただ一度の出現）単語を排除することができる。たとえば、あるドキュメントが１０００語を含み、「電話」という単語がそのドキュメント中に２０回出現する場合、その単語の頻度は、０．０２（すなわち、２０／１０００）となり得る。頻度範囲は、たとえば０．０１と０．０３の間に静的に設定することも、ドキュメントの計算された頻度に基づいて動的に設定することもできる。頻度範囲は、たとえば、一定の数のキーワードだけを含むように、動的に設定することができる。要約システムは、ドキュメントのキーワードを選択するのに、タイトルに基づく基準を用いることができる。タイトルに基づく基準は、ドキュメントのタイトルの非ストップワードを、キーワードとして選択することができる。たとえば、ドキュメントのタイトルが、「長距離電話サービスの分析」である場合、キーワードは、「分析」、「長距離」、「電話」、および「サービス」となる。ドキュメントが電子メールメッセージの場合、メッセージのサブジェクト行を、タイトルとして使うことができる。要約システムは、キーワードを選択するのに、固有表現基準（ｎａｍｅｄ−ｅｎｔｉｔｙ  ｃｒｉｔｅｒｉｏｎ）を用いることができる。固有表現（ｎａｍｅｄ−ｅｎｔｉｔｙ）とは、時間、数、場所、人名、会社名など、ある特定のクラスのエンティティに対応するものとして識別することができる、ドキュメント中の単語である。たとえば、ミーティングへの勧誘を含む電子メールメッセージは、ミーティングの時間および場所という固有表現をもつことができる。要約システムは、キーワードを選択するのに、スレッドに基づく基準を用いることができる。電子メールメッセージおよび討議グループなど、様々なドキュメントは、電子メールメッセージへの返信または討議グループへの追加が、いくつかの投稿のスレッド中の現在の投稿を表し得るという点で、スレッドに基づき得る。スレッドに基づくドキュメントの現在の投稿が、以前の投稿で使われた単語を使っている場合、その単語が、ドキュメントにとって重要となり得る。スレッドに基づく基準は、以前の投稿にも出現した、現在の投稿に出現する単語（すなわち、繰り返される単語）からキーワードを選択する。
【００１２】
一実施形態では、要約システムは、サポートベクトルマシン分類装置を使って、キーワードを、重要または重要でないと分類する。サポートベクトルマシンは、トレーニングデータに基づいて、起こり得る入力の空間内で超曲面（ｈｙｐｅｒ−ｓｕｒｆａｃｅ）を見つけることによって動作する。超曲面は、超曲面に対する肯定例（ｐｏｓｉｔｉｖｅ  ｅｘａｍｐｌｅ）および反例（ｎｅａｇｔｉｖｅ  ｅｘａｍｐｌｅ）のうち最も近いものの間の距離を最大にすることによって、肯定例（たとえば、特徴ベクトルおよび重要なペア）を、反例（たとえば、特徴ベクトルおよび重要でないペア）から分離しようと試みる。こうすることにより、トレーニングデータと類似しているが同一でないデータを正しく分類できるようになる。サポートベクトルマシンをトレーニングするのに、様々な技術を利用することができる。ある技術では、大規模な二次計画問題を、分析的に解決することができる一連の小規模二次計画問題に分解する逐次式最小最適化（Ｓｅｑｕｅｎｔｉａｌ  Ｍｉｎｉｍａｌ  Ｏｐｔｉｍｉｚａｔｉｏｎ）アルゴリズムを用いる。（逐次式分野最適化については、たとえば非特許文献２を参照）。あるいは、要約システムは、キーワードを分類するのに、線形回帰、ロジスティック回帰、および他の回帰技術を用いることもできる。
【００１３】
図１は、一実施形態における要約システムのコンポーネントを示すブロック図である。要約システム１００は、分類装置トレーニングコンポーネント１０１、有意文識別コンポーネント１０２、特徴ベクトル生成コンポーネント１０３、文スコアづけコンポーネント１０４、文有意性計算コンポーネント１０５、および分類装置１０６を含む。分類装置トレーニングコンポーネントは、トレーニング用ドキュメントを入力し、特徴ベクトル生成コンポーネントを呼び出して、キーワードおよび特徴ベクトルのペアを生成し、次いで、キーワードの重要度を入力する。トレーニングデータは、トレーニング用ドキュメントのキーワードに対する特徴ベクトルおよび重要度インジケータのペアを含む。分類装置トレーニングコンポーネントは次いで、トレーニングデータを使って、分類装置をトレーニングする。特徴ベクトル生成コンポーネントは、各トレーニング用ドキュメントに対して、文スコアづけコンポーネントを呼び出して、各スコアづけ技術のためのトレーニング用ドキュメントの各文ごとに有意性スコアを計算する。文スコアづけコンポーネントは、特有のキーワード選択基準を用いるスコアづけ技術を実装する。文スコアづけコンポーネントは、ドキュメントの技術固有キーワードを選択し、文有意性計算コンポーネントを呼び出して、技術固有キーワードに基づいて、トレーニング用ドキュメントの文に対する有意性スコアを計算する。文有意性計算コンポーネントは、Ｌｕｈｎのアルゴリズムを用いることができる。分類装置がトレーニングされた後、有意文識別コンポーネントが、ドキュメントの有意な文を識別するのに使われる。有意文識別コンポーネントは、特徴ベクトル生成コンポーネントを呼び出して、重要または重要でないと分類されるべき、ドキュメントのキーワードに対する特徴ベクトルを生成する。有意文識別コンポーネントは次いで、各特徴ベクトルごとに分類装置を呼び出して、各特徴ベクトルのキーワードを、重要または重要でないと分類する。ドキュメントのキーワードが分類された後、有意文識別コンポーネントは、重要なキーワードを渡す文有意性計算コンポーネントを呼び出して、ドキュメントの文の有意性を計算する。要約システムは、最も有意である文を、そのドキュメントの要約として選択することができる。分類装置は、特徴ベクトルの分類を実施する。一実施形態では、分類装置は、サポートベクトルマシンである。ただし、Ｎａｉｖｅ  Ｂａｙｅｓｉａｎ、線形回帰、ロジスティック回帰、およびｋ−最近傍（「ｋＮＮ」）など、様々なタイプの分類装置を使うことができることが、当業者には理解されよう。潜在的意味索引づけ（Ｌａｔｅｎｔ  Ｓｅｍａｎｔｉｃ  Ｉｎｄｅｘｉｎｇ）および監視下要約（Ｓｕｐｅｒｖｉｓｅｄ  Ｓｕｍｍａｒｉｚａｔｉｏｎ）など、Ｌｕｈｎのスコアづけ技術以外のスコアづけ技術を利用することができることも当業者には理解されよう。（たとえば、非特許文献３および非特許文献４も参照）。
【００１４】
本要約システムが実装されるコンピューティングデバイスは、中央処理装置、メモリ、入力デバイス（たとえば、キーボードおよびポインティングデバイス）、出力デバイス（たとえば表示デバイス）、ならびに記憶デバイス（たとえばディスクドライブ）を含み得る。メモリおよび記憶デバイスは、要約システムを実現する命令を含み得るコンピュータ可読媒体である。さらに、データ構造およびメッセージ構造は、格納することも、通信リンク上の信号などのデータ伝送媒体を介して伝送することもできる。インターネット、ローカルエリアネットワーク、ワイドエリアネットワーク、または二地点間ダイアルアップ接続など、様々な通信リンクを使うことができる。
【００１５】
本要約システムは、パーソナルコンピュータ、サーバコンピュータ、ハンドヘルドまたはラップトップ型デバイス、マルチプロセッサシステム、マイクロプロセッサベースのシステム、プログラム可能な家電製品、ネットワークＰＣ、ミニコンピュータ、メインフレームコンピュータ、上記のシステムまたはデバイスを含む様々な動作環境で実装することができる。
【００１６】
本要約システムは、１つまたは複数のコンピュータまたは他のデバイスによって実行される、プログラムモジュールなどのコンピュータ実行可能命令という一般的な状況において説明することができる。概して、プログラムモジュールは、特定のタスクを実施しまたは特定の抽象データタイプを実装するルーチン、プログラム、オブジェクト、コンポーネント、データ構造などを含む。通常、プログラムモジュールの機能は、様々な実施形態において、所望に応じて組み合わせることも、分散することもできる。
【００１７】
図２は、一実施形態における有意文識別コンポーネントの処理を示すフロー図である。このコンポーネントは、ドキュメントを渡され、そのドキュメント中で最も有意な文の指示を返す。ブロック２０１で、このコンポーネントは、特徴ベクトル生成コンポーネントを呼び出して、ドキュメントのキーワードに対する特徴ベクトルを生成する。ブロック２０２〜２０４で、コンポーネントは、特徴ベクトルに関連づけられたキーワードを重要または重要でないと分類するための、各特徴ベクトルに対する分類装置の呼出しをループさせる。ブロック２０２で、コンポーネントは、次の特徴ベクトルを選択する。判断ブロック２０３で、特徴ベクトルがすべて選択済みの場合、コンポーネントは、ブロック２０５で継続し、それ以外の場合、コンポーネントは、ブロック２０４で継続する。ブロック２０４で、コンポーネントは、選択された特徴ベクトルに対して、分類装置を呼び出し、次いで、ブロック２０２にループして、次の特徴ベクトルを選択する。１つのキーワードが、相異なる特徴ベクトルをもっているせいで、相矛盾する重要度インジケータを有する場合、コンポーネントは、多数決規則などの規則を用いて、キーワードを分類することができる。ブロック２０５で、コンポーネントは、文有意性計算コンポーネントを呼び出して、ドキュメントの各文ごとに、重要と分類されているキーワードを使って有意性スコアを生成する。ブロック２０６で、コンポーネントは、有意性スコアが最も高い文を、ドキュメントの要約として選択し、次いで、完了する。
【００１８】
図３は、一実施形態における特徴ベクトル生成コンポーネントの処理を示すフロー図である。このコンポーネントは、トレーニングモードまたは分類モードにあるときに呼び出され、トレーニング用ドキュメントまたは要約されるべきドキュメントを渡される。コンポーネントは、ドキュメントのキーワードに対する、キーワードおよび特徴ベクトルのペアを返す。コンポーネントは、各スコアづけ技術の選択と、そのスコアづけ技術を用いた、文の有意性を計算するためのコンポーネントの呼出しとをループさせる。ブロック３０１〜３０３で、コンポーネントは、スコアづけ技術を用いた文の有意性の計算をループさせる。４つのスコアづけ技術が利用される場合、各文が、４つのスコアを有することになる。ブロック３０１で、コンポーネントは、次のスコアづけ技術を選択する。判断ブロック３０２で、スコアづけ技術がすべて選択済みの場合、コンポーネントは、ブロック３０４で継続し、それ以外の場合、コンポーネントは、ブロック３０３で継続する。ブロック３０３で、コンポーネントは、文スコアづけコンポーネントを呼び出して、スコアづけ技術を用いて技術固有ドキュメントの文の有意性を計算する。コンポーネントは次いで、ブロック３０１にループして、次のスコアづけ技術を選択する。ブロック３０４で、コンポーネントは、キーワード特徴ベクトル生成コンポーネントを呼び出して、ドキュメントの各キーワードに対する特徴ベクトルを生成する。コンポーネントは次いで、戻る。
【００１９】
図４は、一実施形態におけるキーワード特徴ベクトル生成コンポーネントの処理を示すフロー図である。このコンポーネントは、渡されたドキュメントの文の選択と、各スコアづけ技術のための、その文のキーワードの選択とをループさせる。選択された各キーワードごとに、コンポーネントは次いで、キーワードおよび特徴ベクトルのペアを出力する。特徴ベクトルは、各スコアづけ技術によって計算された、選択された文に対する有意性スコアを含む。ブロック４０１で、コンポーネントは、ドキュメントの次の文を選択する。判断ブロック４０２で、ドキュメントの文がすべて選択済みの場合、コンポーネントは戻り、それ以外の場合、コンポーネントは、ブロック４０３で継続する。ブロック４０３で、コンポーネントは、次のスコアづけ技術を選択する。判断ブロック４０４で、選択された文に対してスコアづけ技術がすべて選択済みの場合、コンポーネントは、ブロック４０１にループして、次の文を選択し、それ以外の場合、コンポーネントは、ブロック４０５で継続する。ブロック４０５で、コンポーネントは、選択されたスコアづけ技術に合わせて、選択された文の次のキーワードを選択する。判断ブロック４０６で、キーワードがすべて選択済みの場合、コンポーネントは、ブロック４０３にループして、次のスコアづけ技術を選択し、それ以外の場合、コンポーネントは、ブロック４０７で継続する。判断ブロック４０７で、選択されたキーワードがその文の中にある場合、コンポーネントは、ブロック４０８で継続し、それ以外の場合、コンポーネントは、ブロック４０５にループして、次のキーワードを選択する。ブロック４０８で、コンポーネントは、キーワードおよび特徴ベクトルのペアを出力する。コンポーネントは次いで、ブロック４０５にループして、次のキーワードを選択する。
【００２０】
図５は、一実施形態における文有意性計算コンポーネントの処理を示すフロー図である。このコンポーネントは、文を含むドキュメントとともに、そのドキュメントのキーワードを渡される。コンポーネントは次いで、Ｌｕｈｎのアルゴリズムを適用して、各文の有意性を計算する。ブロック５０１で、コンポーネントは、次の文を選択する。判断ブロック５０２で、文がすべて選択済みの場合、コンポーネントは戻り、それ以外の場合、コンポーネントは、ブロック５０３で継続する。ブロック５０３で、コンポーネントは、文の次のキーワードを選択する。判断ブロック５０４で、文のキーワードがすべて選択済みの場合、コンポーネントは、ブロック５０７で継続し、それ以外の場合、コンポーネントは、ブロック５０５で継続する。判断ブロック５０５で、選択されたキーワードと最後に選択されたキーワードの間の隔たりが、単語の限度より大きい場合、コンポーネントは、ブロック５０７で継続して、括弧づけされたキーワードに基づいて、選択された文の有意性を計算し、それ以外の場合、コンポーネントは、ブロック５０６で継続する。ブロック５０６で、コンポーネントは、キーワードの括弧を調節し、次いで、ブロック５０３にループして、文の次のキーワードを選択する。ブロック５０７で、コンポーネントは、括弧内のキーワードの数をカウントする。ブロック５０８で、コンポーネントは、括弧内の単語の数をカウントする。ブロック５０９で、コンポーネントは、選択された文の有意性を、キーワード数の二乗を括弧内の単語の数で割ったものに設定する。コンポーネントは次いで、ブロック５０１にループして、次の文を選択する。
【００２１】
図６は、一実施形態における分類装置トレーニングコンポーネントの処理を示すフロー図である。このコンポーネントは、トレーニングセット中の各ドキュメントに対するキーワードおよび特徴ベクトルのペアの生成と、次いで、キーワードおよび特徴ベクトルのペアの組の中の各キーワードに対する重要度インジケータの入力とをループさせる。コンポーネントは次いで、トレーニングセット中のドキュメントすべてに対して生成された特徴ベクトルおよび重要度インジケータのペアを使って、分類装置をトレーニングする。ブロック６０１で、コンポーネントは、次のトレーニング用ドキュメントを選択する。判断ブロック６０２で、トレーニング用ドキュメントがすべて選択済みの場合、コンポーネントは、ブロック６０５で継続し、それ以外の場合、コンポーネントは、ブロック６０３で継続する。ブロック６０３で、コンポーネントは、特徴ベクトル生成コンポーネントを呼び出して、選択されたトレーニング用ドキュメントに対して、キーワードおよび特徴ベクトルのペアを生成する。ブロック６０４で、コンポーネントは、各キーワードが、選択されたドキュメントにとって重要かどうかという指示を、（たとえば、ある人から）入力する。コンポーネントは次いで、ブロック６０１にループして、次のトレーニング用ドキュメントを選択する。ブロック６０５で、コンポーネントは、特徴ベクトルおよび重要度インジケータのペアを使って、分類装置をトレーニングし、次いで、戻る。
【００２２】
図７は、一実施形態における、頻度に基づくスコアづけ技術の処理を示すフロー図である。このコンポーネントは、ドキュメントを渡され、単語の頻度に基づいてドキュメントのキーワードを識別し、ドキュメントの文の有意性を計算する。ブロック７０１で、コンポーネントは、ドキュメント中の各単語をカウントする。ブロック７０２で、コンポーネントは、ドキュメントの次の単語を選択する。判断ブロック７０３で、単語がすべて選択済みの場合、コンポーネントは、ブロック７０６で継続し、それ以外の場合、コンポーネントは、ブロック７０４で継続する。判断ブロック７０４で、単語の頻度が、あるキーワードの範囲内である場合、コンポーネントは、ブロック７０５で継続し、それ以外の場合、コンポーネントは、ブロック７０２にループして、ドキュメントの次の単語を選択する。ブロック７０５で、コンポーネントは、選択された単語に、キーワードとして印をつけ、次いで、ブロック７０２にループして、ドキュメントの次の単語を選択する。ブロック７０６で、コンポーネントは、文有意性計算コンポーネントを呼び出して、ドキュメントの文の有意性を、識別されたキーワードを用いて計算する。コンポーネントは次いで、戻る。
【００２３】
図８は、一実施形態における、タイトルに基づくスコアづけ技術の処理を示すフロー図である。このコンポーネントは、ドキュメントを渡され、ドキュメントのタイトルからキーワードを識別し、ドキュメントの文の有意性を計算する。ブロック８０１で、コンポーネントは、タイトルの非ストップワードに、キーワードとして印をつける。ブロック８０２で、コンポーネントは、文有意性計算コンポーネントを呼び出して、ドキュメントの文の有意性を、識別されたキーワードを用いて計算する。コンポーネントは次いで、戻る。
【００２４】
図９は、一実施形態における、固有表現に基づくスコアづけ技術の処理を示すフロー図である。このコンポーネントは、ドキュメントを渡され、固有表現をキーワードとして識別し、ドキュメントの文の有意性を、キーワードに基づいて計算する。ブロック９０１で、このコンポーネントは、ドキュメントの固有表現を識別するためのコンポーネントを呼び出す。ブロック９０２で、コンポーネントは、固有表現に、キーワードとして印をつける。ブロック９０３で、コンポーネントは、文有意性計算コンポーネントを呼び出して、ドキュメントの文の有意性を、識別されたキーワードを用いて計算する。コンポーネントは次いで、戻る。
【００２５】
図１０は、一実施形態における固有表現識別コンポーネントの処理を示すフロー図である。このコンポーネントは、ドキュメントを渡され、ドキュメントの固有表現の一覧を返す。ブロック１００１で、コンポーネントは、ドキュメントの次の単語を選択する。判断ブロック１００２で、単語がすべて選択済みの場合、コンポーネントは戻り、それ以外の場合、コンポーネントは、ブロック１００３で継続する。判断ブロック１００３〜１００５で、コンポーネントは、選択された単語が固有表現（たとえば、時間、場所、または人名）であるかどうか調べる。固有表現である場合、ブロック１００６で、コンポーネントは、選択された単語に、それが固有表現であると印をつける。コンポーネントは次いで、ブロック１００１にループして、ドキュメントの次の単語を選択する。
【００２６】
図１１は、一実施形態における、ポストの繰返しに基づくスコアづけ技術の処理を示すフロー図である。このコンポーネントは、スレッドに基づくドキュメントを渡され、以前のポストにおいて単語が繰り返されている、現在のポスト中にある単語を識別し、ドキュメントの文の有意性を、識別された単語に基づいて計算する。ブロック１１０１で、コンポーネントは、ドキュメントの以前のポストにおいて単語が繰り返されている、現在のポストの単語を識別する。ブロック１１０２で、コンポーネントは、識別された単語に、それがキーワードであると印をつける。ブロック１１０３で、コンポーネントは、文有意性計算コンポーネントを呼び出して、ドキュメントの文の有意性を、識別されたキーワードを用いて計算する。コンポーネントは次いで、戻る。
【００２７】
説明のために、要約システムの特定の実施形態を本明細書において説明したが、本発明の精神および範囲から逸脱することなく、様々な修正形態を行うことができることが当業者には理解されよう。たとえば、キーワードがドキュメントにとって重要かどうかを示すためのスコアを生成するのに、多くの様々なスコアづけ技術を利用することができることが、当業者には理解されよう。一例として、ドキュメントに、キーワードのメタデータがある場合、要約システムは、メタデータに基づくスコアづけ技術のために、特徴ベクトルに別の特徴を追加することができる。単語が、キーワードメタデータの中にある場合、その単語には、非常に高いスコアを与えることができる。あるいは、メタデータのキーワードは、上述したように、Ｌｕｈｎのアルゴリズムによって、文の有意性にスコアづけし、次いで、文のキーワードにスコアづけするのに使うことができる。また、スコアづけ技術の様々な組合せを用いることができる。たとえば、スコアづけされるドキュメントが、スレッドに基づかない場合、スレッドに基づくスコアづけ技術は用いられない。したがって、本発明は、添付の特許請求の範囲以外によっては限定されない。
【図面の簡単な説明】
【００２８】
【図１】一実施形態における要約システムのコンポーネントを示すブロック図である。
【図２】一実施形態における有意文識別コンポーネントの処理を示すフロー図である。
【図３】一実施形態における特徴ベクトル生成コンポーネントの処理を示すフロー図である。
【図４】一実施形態におけるキーワード特徴ベクトル生成コンポーネントの処理を示すフロー図である。
【図５】一実施形態における文有意性計算コンポーネントの処理を示すフロー図である。
【図６】一実施形態における分類装置トレーニングコンポーネントの処理を示すフロー図である。
【図７】一実施形態における、頻度に基づくスコアづけ技術の処理を示すフロー図である。
【図８】一実施形態における、タイトルに基づくスコアづけ技術の処理を示すフロー図である。
【図９】一実施形態における、固有表現に基づくスコアづけ技術の処理を示すフロー図である。
【図１０】一実施形態における固有表現識別コンポーネントの処理を示すフロー図である。
【図１１】一実施形態における、ポストの繰返しに基づくスコアづけ技術の処理を示すフロー図である。
【符号の説明】
【００２９】
１００  要約システム
１０１  分類装置トレーニング
１０２  有意文識別
１０３  特徴ベクトル生成
１０４  文のスコアづけ
１０５  文有意性計算
１０６  分類装置
【図１】
2006059352.tif 000003
【図２】
2006059352.tif 000004
【図３】
2006059352.tif 000005
【図４】
2006059352.tif 000006
【図５】
2006059352.tif 000007
【図６】
2006059352.tif 000008
【図７】
2006059352.tif 000009
【図８】
2006059352.tif 000010
【図９】
2006059352.tif 000011
【図１０】
2006059352.tif 000012
【図１１】
2006059352.tif 000013
【外国語明細書】
2006059352000001.pdf