(57)【要約】【課題】  ドキュメントの関連性を決定し、情報検索活動を支援するための、自動化された学習プロシージャを適用するシステムおよび方法を提供する。【解決手段】  システムは、高い関連性があるドキュメントの肯定的テストケースとして使用すべき、人が選択した１組のアイテムを受け取るストレージコンポーネントを含む。トレーニングコンポーネントは、肯定的テストケースとしての、人が選択したこのアイテムと、否定的テストケースとしての１つまたは複数の他のアイテムを用いて少なくとも１つの分類機構をトレーニングして、クエリから独立したモデルを提供する。ここでこの他のアイテムは、例えば統計的な探索によって選択する。【選択図】  図１
2005222532.tif 000002
【特許請求の範囲】
【請求項１】
機械学習アプローチを実施してドキュメントの関連性を決定するシステムであって、
肯定的テストケースとして使用すべき、人または機械が選択した１組のアイテムを受け取るストレージコンポーネントと、
肯定的テストケースとしての前記人または機械が選択したアイテム、および否定的テストケースとしての１つまたは複数の他のアイテムを用いて少なくとも１つの分類機構をトレーニングしてクエリから独立したモデルを提供するトレーニングコンポーネントと
を備えることを特徴とするシステム。
【請求項２】
前記否定的テストケースは、統計的探索によって選択されることを特徴とする請求項１に記載のシステム。
【請求項３】
前記トレーニング済みの分類機構は、新しい肯定的ケースを選択する際に個人を助けるために使用されることを特徴とする請求項１に記載のシステム。
【請求項４】
前記トレーニング済みの分類機構は、統計ベースの探索から得られたドキュメントをフィルタするために使用されることを特徴とする請求項１に記載のシステム。
【請求項５】
前記フィルタの出力は、肯定的ケースが否定的ケースの前に格付けされるように格付けされることを特徴とする請求項３に記載のシステム。
【請求項６】
前記出力は、それらが肯定的ケースであるという確率に従って格付けされることを特徴とする請求項４に記載のシステム。
【請求項７】
前記ストレージコンポーネントは、ユーザにとって関心のある関連サイト、ドキュメント、またはデータアイテムのログを含むことを特徴とする請求項１に記載のシステム。
【請求項８】
前記ストレージコンポーネントは、集中ストアについての、または、ウェブサイト、ドキュメントのコレクション、百科事典、ローカルデータソース、リモートデータソースなど分散ソースからの情報を含むことを特徴とする請求項７に記載のシステム。
【請求項９】
前記分類機構は、前記ストレージコンポーネント中のデータを自動的に分析して、ユーザインターフェースと対話することができる１つまたは複数のツールを支援するために使用されることを特徴とする請求項１に記載のシステム。
【請求項１０】
前記ツールは、管理ツール、編集ツール、および格付けツールのうちの少なくとも１つを含むことを特徴とする請求項９に記載のシステム。
【請求項１１】
前記ツールは、オンライン方式およびオフライン方式のうちの少なくとも一方で使用されることを特徴とする請求項９に記載のシステム。
【請求項１２】
前記分類機構を肯定的テストデータおよび否定的テストデータに従ってトレーニングして、ドキュメント、または有用な情報の他のサイトを示唆するリンクなどからアイテムの関連性を決定することを特徴とする請求項１に記載のシステム。
【請求項１３】
機械学習分類機構をトレーニングするための１組の手動で選択されるドキュメントまたはアイテムをさらに含むことを特徴とする請求項１２に記載のシステム。
【請求項１４】
前記分類機構を新しい用語に適用して最善策または関連ドキュメントを識別することを特徴とする請求項１２に記載のシステム。
【請求項１５】
様々なトレーニングの反復にわたって新しいモデルをブートストラップし、より正確な情報検索活動のために使用される学習表現の成長モデルを実施するステップをさらに含むことを特徴とする請求項１２に記載のシステム。
【請求項１６】
編集者によって手動で選択される最善策をさらに含むことを特徴とする請求項１５に記載のシステム。
【請求項１７】
ユーザが閲覧または検索するのに十分に関心があると考える可能性が高いタイプのドキュメントまたはアイテムを表示する可能性を最大化するコンポーネントをさらに含むことを特徴とする請求項１６に記載のシステム。
【請求項１８】
前記分類機構は、以下の学習技法、すなわちサポートベクトルマシン（ＳＶＭ）、ナイーブベイズ、ベイズネット、判定ツリー、類似ベース、ベクトルベース、隠しマルコフモデル、または他の学習技法のうちの少なくとも１つを含むことを特徴とする請求項１に記載のシステム。
【請求項１９】
情報の後処理を実施して、ユーザまたは管理者に対するドキュメントまたはサイトの関連性を決定するコンポーネントをさらに含むことを特徴とする請求項１に記載のシステム。
【請求項２０】
前記後処理は、所定の確率しきい値による格付けを含み、関連性についてのより高い確率を有するアイテムは、より低い確率を有するアイテムの前に提示されることを特徴とする請求項１９に記載のシステム。
【請求項２１】
表示アイテムに追加されてドキュメントまたはサイトの関連性または重要度を示す明示的な注釈をさらに含むことを特徴とする請求項１９に記載のシステム。
【請求項２２】
請求項１に記載の前記トレーニングコンポーネントおよび前記ストレージコンポーネントを実施するためのコンピュータ読取り可能命令が記憶されていることを特徴とするコンピュータ読取り可能媒体。
【請求項２３】
データ用語についてのトレーニングセットを決定する手段と、
前記トレーニングセットを自動的に分類する手段と、
前記分類済みのトレーニングセットから新しいアイテムを決定する手段と、
情報検索要求に従って前記新しいアイテムを提示する手段と
を備えることを特徴とするコンピュータベースの情報検索システム。
【請求項２４】
前記分類されたトレーニングセットをテストする手段をさらに備えることを特徴とする請求項２３に記載のシステム。
【請求項２５】
自動化された情報検索を実施する方法であって、
ｎを整数として、データログからｎ個のクエリを処理するステップと、
前記ｎ個のクエリから関連候補を識別するステップと、
分類機構をトレーニングして後続の探索活動のための他の関連候補を識別するステップと
を含むことを特徴とする方法。
【請求項２６】
１つの情報が、所与のクエリまたはトピックについて提示することが望ましいか否かを判定する分析を編集者に転送するステップをさらに含むことを特徴とする請求項２５に記載の方法。
【請求項２７】
可能性のあるドキュメントまたはサイトのリストから関連候補を抽出するステップと、最善策を他の統計的格付けの前に自動的に配置するステップとをさらに含むことを特徴とする請求項２５に記載の方法。
【請求項２８】
あるドキュメントが関連する確率によって結果を再格付けするステップをさらに含み、各ドキュメントは、ダウンロードされ、用語は、前記ドキュメント中に現れる用語について抽出され、ルックアップされることを特徴とする請求項２５に記載の方法。
【請求項２９】
分類すべき少なくとも１つのカテゴリを決定するステップをさらに含むことを特徴とする請求項２５に記載の方法。
【請求項３０】
トレーニングデータセットのサブセットを使用して前記分類済みのカテゴリをテストするステップをさらに含むことを特徴とする請求項２９に記載の方法。
【請求項３１】
関連性カテゴリについてのトレーニングデータセットに関連した第１のデータフィールドと、
前記関連性カテゴリに属する新しい１組のデータアイテムに関連した第２のデータフィールドと、
前記新しい１組のデータアイテムについての確率格付けに関連した第３のデータフィールドと
を含む、データ構造が記憶されていることを特徴とするコンピュータ読取り可能媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一般にコンピュータシステムに関し、より詳細には、自動化された分類技法を使用して、情報を探索するユーザ、および／またはかかる情報を編成する管理者が効率的な情報検索を実施するシステムおよび方法に関する。
【背景技術】
【０００２】
探索または情報検索システムは、ユーザがあるトピックに関する所望の情報を見出すことができる一般的なツールである。探索エンジンまたは他の探索システムをしばしば使用して、ユーザはユーザが作成のクエリ（ｑｕｅｒｙ）を指示して所望の情報を見つける。あいにく、ユーザには特定のクエリをどのようにして書き、または作成するかについて確信がもてないこともあり、あるいはクエリがあいまいなこともあるので、多くの無関係のファイルが検索される場合には、これがしばしばフラストレーションをもたらすことがある。これによって、しばしばユーザは、検索された探索結果を妥当なファイル数になるまで洗練するためにクエリを絶えず修正しなければならない。
【発明の開示】
【発明が解決しようとする課題】
【０００３】
このジレンマの一例としては、探索システムの入力クエリフィールドに単語またはフレーズをタイプ入力し、可能性のある候補として数千個のファイル、またはインターネットの場合には数百万のウェブサイトを検索することが珍しくはない。検索結果の多くが、共通の要素、用語またはフレーズを共有することもあるが主題の事項におけるコンテキスト上の類似性がほとんどまたはまったくないこともあるので、大量の検索された候補の意味を理解するため、ユーザは、しばしば他の単語の組合せで試みてこのリストをさらに絞り込むことになる。このアプローチは、このユーザにとってもこの探索を実施するシステムにとっても不正確であり時間がかかる。不正確さは、ユーザが関心のない、数百万ではないにしても数千の無関係のファイル／サイトの検索において示される。可能性があるが無関係なファイルを求めて大量のデータベースを探索する際に、時間およびシステム処理もまた犠牲にされる。
【０００４】
ユーザに対して表示されるこれらのドキュメントが、関連性に従って順序付けられ、最も関連性の高いドキュメントが最初に表示されようにすることが重要であることは、情報検索（ＩＲ）の分野において一般的に合意されている。会社の企業ドメイン内の探索など、大量のドキュメントのコレクションについての探索を含む一部の用途においては、編集者が、最も一般的な探索用語を再検討し、これらのクエリ用語に応答して将来表示すべきドキュメントを選択する。例えば、編集者は、ユーザが経験する共通の問題に対する解決方法を選択することができる。理解されるように、数百または数千の用語を人手で処理することは、時間がかかり非効率となる可能性がある。
【課題を解決するための手段】
【０００５】
以下では、本発明の簡略化された概要を提示して本発明の一部態様の基本的な理解を提供している。この概要は、本発明の広範囲にわたる全体像ではない。本発明のキー／クリティカル要素を識別し、または本発明の範囲を示すことは意図していない。そのただ１つの目的は、後で提示するさらに詳細な説明に対する前置きとして簡略化された形式で本発明の一部の概念を提示することにある。
【０００６】
本発明は、肯定的テストデータおよび否定的テストデータに従ってトレーニングして、ドキュメントや、他サイトの有用な情報を示唆するリンクなどからアイテムの関連性を決定する１つまたは複数の学習方法を介して情報の検索および管理を実施するシステムおよび方法に関する。
【０００７】
一態様においては、本発明では、１組の手動で選択されたドキュメントまたは（「最善策（ｂｅｓｔ  ｂｅｔ）」と呼ばれる）アイテムを使用して機械学習テキスト分類機構がトレーニングされる。この分類機構は、手動選択または機械選択された最善策（すなわち、肯定的ケース）と、従来技術の統計的な探索によって選択された他のドキュメント（すなわち、否定的ケース）を処理して、何が最善策ドキュメントを識別するかというモデルを構築することができる。トレーニングした後に、この分類機構（または複数の分類機構）およびこのモデルを新しいクエリ用語に適用して最善策ドキュメントを識別することができる。これは、様々なトレーニングの反復にわたって新しいモデルをブートストラップし、より正確な情報検索活動のために使用することができる学習表現の成長モデルを実行することを含んでいる。
【０００８】
一実施例の態様において、この分類機構は、いくつかのアプリケーションのうちの１つにおいて使用することができる。これは、例えばオフラインシナリオにおいて最善策を選択する際に編集者を助けるツールを含むことができる。オンラインの実施例においては、非最善策、すなわち重要度がより低いと決定されたアイテムより以前に「最善策」を配置し、表示し、または格付けして、フィルタを従来の統計的探索の出力上で実行することができる。代わりに、すべてのドキュメントを、それらのドキュメントが最善策であるという確率に従って格付けすることができる。これらのシナリオおよび他のシナリオのどの効果も、最上位に格付けされたドキュメントの正確さ（すなわち、関連性）を増大させることである。
【０００９】
本発明は、情報の管理および検索を助ける様々な異なる方法に従って実施することができる。例えば、探索アナリストまたは管理者は、分類ツールを用いてテスト探索を実行し、次いで最善策または関連性の格付けについての示唆を受け、関連する最善策についてのサイトまたはリンクを選択することができる。オンライン状況においては、探索サイトの最終エンドユーザに、最上位結果リストまたは格付けされた結果リストを提供することができる。したがって、クエリから独立した分類を使用して所与のコンテキストにおける最善／最上の関連サイトが決定される。
【００１０】
ブートストラッピングについては、システムには最初に、人が選択した最善策を提供することができる。このトレーニングデータは、各反復においてこの新しいモデルから導き出された機械が示唆する最善策および人が検証した最善策を使用して、各トレーニングの反復を用いて補強することができる。最善策は、すべての各コンテンツを検討した編集者によって手動で選択することもでき、または、例えばどのドキュメントをユーザが選択する傾向にあるかを観察することによってそれらのアイテムがたぶん最善であることをシステムが推論していることもある。後者の場合には、本発明では、ユーザが閲覧し検索するのに十分関心があると考える可能性が高いタイプのドキュメントまたはアイテムを表示する可能性を最大にすることが可能である。
【００１１】
前述の目的および関連する目的を実現するために、本発明のある例示の態様について以下の説明および添付図面に関連して本明細書中で説明している。これらの態様は、本発明を実行することができ、そのすべてを本発明によって包含しようと意図する様々な方法を示している。本発明の他の利点および新規の特徴は、図面と併せて考察する際に本発明の以下の詳細な説明から明らかになろう。
【発明を実施するための最良の形態】
【００１２】
本発明は、ドキュメントの関連性を決定し、情報検索活動を支援するための自動化された学習プロシージャを適用したシステムおよび方法に関する。一態様においては、機械学習アプローチを実施してドキュメントの関連性を決定するシステムが提供される。このシステムは、肯定的テストケースとして使用すべき、１組の人が選択したアイテムおよび／または機械が選択したアイテムを受け取るストレージコンポーネントを含んでいる。トレーニングコンポーネントは、肯定的テストケースとしての人が選択したアイテム（または機械が選択したアイテム）と、否定的テストケースとしての１つまたは複数の他のアイテムを用いて少なくとも１つの分類機構をトレーニングして、クエリから独立したモデルを提供しており、ここでこれら他のアイテムは、例えば統計的な探索によって選択することが可能である。また、このトレーニングされた分類機構を使用して新しい肯定的ケースを選択する際に個人を助けることができ、またはこの分類機構を利用して統計ベースの探索をフィルタすることができる。このフィルタの出力は、必要に応じて肯定的ケースが否定的ケースより以前に格付けされるように格付けすることが可能であり、または明示的な指標を関連性または重要性を示す戻された結果に追加することもできる。これらの出力は、必要に応じてそれらが肯定的ケースであるという確率に従って格付けすることもできる。
【００１３】
本出願において使用されているように、用語「コンポーネント」、「分類機構」、「モデル」、「システム」などは、コンピュータに関連したエンティティ、すなわちハードウェア、ハードウェアとソフトウェアの組合せ、ソフトウェア、または実行中のソフトウェアを意味することを意図している。例えば、コンポーネントは、それだけには限定されないが、プロセッサ上で実行されるプロセス、プロセッサ、オブジェクト、実行可能ファイル、実行スレッド、プログラム、および／またはコンピュータとすることができる。例としては、サーバ上で実行されるアプリケーションも、このサーバも共にコンポーネントとすることが可能である。１つまたは複数のコンポーネントは、プロセスおよび／または実行スレッドの内部に存在することができ、コンポーネントは、１台のコンピュータ上に局在し、または２台以上のコンピュータ間に分散し、あるいはその両方とすることができる。また、これらのコンポーネントは、様々なデータ構造が記憶されている様々なコンピュータ読取り可能媒体から実行することができる。これらのコンポーネントは、１つまたは複数のデータパケット（例えば、ローカルシステム中、分散システム中、および／またはインターネットなどのネットワーク上で、この信号を介して他のシステムを伴って他のコンポーネントと情報をやりとりする１つのコンポーネントからのデータ）を有する信号によるなど、ローカルプロセスおよび／またはリモートプロセスを介して情報をやりとりすることができる。
【００１４】
最初に図１を参照すると、クエリから独立したモデルおよびシステム１００が、本発明の一態様に従って示されている。このシステム１００は、データストア１２０中に記憶されたデータを分析してクエリから独立したモデルを提供する１つまたは複数の分類機構１１０を含んでいる。かかるデータは、ユーザにとって関心のある関連サイト、ドキュメント、他のデータアイテムなどのログ（長い間に集められたデータ）を含むことが可能である。このデータストア１２０は、集中ストア（例えば、ｃｏｍｐａｎｙ．ｃｏｍ）についての、または様々なウェブサイト、ドキュメントのコレクション、百科事典などの分散型ソースからの情報を含むことが可能である。この分類機構１１０を使用してこのストア中のデータを自動的に分析して、ユーザインターフェース１４０と対話することができる１つまたは複数のツール１３０を支援する。
【００１５】
一実施例においては、これらのツール１３０は、ユーザが情報を求めて探索する場合に関連サイトを選択してそのユーザに提示する際に管理者を支援する編集ツールを含むこともある。これらのサイトは、そのユーザにとって最も可能性の高いコンテキストまたは重要度（すなわち、最善策）の形で提示されるサイトの格付けリストを含むことができ、ここで、可能性をこの分類機構１１０から決定することができる。別のツール１３０は、分類機構１１０による決定された格付けまたは情報のカテゴリ化に基づいてアイテムの重要度を決定するオンラインユーザまたはエンドユーザを支援できる格付けツールを含むことが可能である。
【００１６】
一般に、この分類機構を肯定的テストデータおよび否定的テストデータに従ってトレーニングして、ドキュメントや、他の有用情報サイトを示唆するリンクなどからのアイテムの関連性を決定する。一態様においては、これは、機械学習テキスト分類機構１１０（または分類機構）をトレーニングする１組の手動選択されたドキュメントまたは（最善策と呼ばれる）アイテムを含んでいる。この分類機構１１０は、データストア１２０に記憶される、手動選択または機械選択された最善策（すなわち、肯定的ケース）と、従来の統計的探索（すなわち、否定的ケース）によって選択された他のドキュメントを処理することができる。トレーニングの後、この分類機構１１０を新しいクエリ用語に対して適用して最善策または関連ドキュメントを識別することができる。これは、様々なトレーニングの反復にわたって新しいモデルをブートストラップし、以下でより詳細に説明するさらに正確な情報検索活動のために使用することができる学習表現の成長モデルを実施することを含んでいる。
【００１７】
一実施例においては、この分類機構１１０は、いくつかのアプリケーションのうちの１つで利用することができる。これは、例えばオフラインシナリオ中で最善策を選択する際に編集者または機械を助けるツール１３０を含むことができる。オンラインの実施例またはユーザクエリの実施例においては、非最善策、すなわち重要度がより低いと決定されたアイテムより以前に「最善策を」配置し、表示し、または格付けして、フィルタ（図示せず）を従来の統計的探索の出力上で実行することができる。代わりに、すべてのドキュメントまたはそのサブセットを、それらのドキュメントが最善策であるという確率に従って格付けすることができる。これらのシナリオおよび他のシナリオのどの効果も、最上位に格付けされたドキュメントの正確さ（すなわち、関連性）を増大させることである。
【００１８】
ユーザインターフェース１４０を使用して、データストア１２０を必要に応じて更新し、変更し、または修正することもでき、分類された結果を分析し、処理し、受け取ることもできる。このインターフェース１４０は、システム１００を用いて動作を実施する複数の構成可能な寸法、形状、カラー、テキスト、データおよびサウンドを有する構成可能なアイコン、ボタン、スライダ、入力ボックス、選択オプション、メニュー、タブなどの態様を含むことが可能な１つまたは複数のディスプレイオブジェクト（図示せず）を有するディスプレイ（図示せず）を含むことができる。さらに、本発明の１つまたは複数の態様を調整し構成するための複数の他の入力またはコントロールを含む１つまたは複数のユーザ入力（図示せず）を提供することができる。これは、システム１００の動作に影響を与え動作を修正する、マウス、キーボード、スピーチ入力、ウェブサイト、ブラウザ、リモートウェブサービス、および／またはマイクロフォン、カメラ入力、ビデオ入力など他のデバイスからのユーザコマンドを受け取る工程を含むことができる。
【００１９】
この分類機構１１０は、複数の技法に従って実施することができる。本発明の一態様によれば、よく理解されているＳＶＭ（Ｓｕｐｐｏｒｔ  Ｖｅｃｔｏｒ  Ｍａｃｈｉｎｅサポートベクトルマシン）が、この分類機構として使用される。ナイーブベイズ（Ｎａｉｖｅ  Ｂａｙｅｓ）、ベイズネット（Ｂａｙｅｓ  Ｎｅｔ）、判定ツリー、類似ベース、ベクトルベース、隠しマルコフモデル（Ｈｉｄｄｅｎ  Ｍａｒｋｏｖ  Ｍｏｄｅｌ）、および／または他の学習方法などの他の分類機構方法も使用できることを理解されたい。ＳＶＭの方法は、学習フェーズ、またはトレーニングフェーズを介して構成される。分類機構は、入力アトリビュートベクトルｘ＝（ｘ１，ｘ２，ｘ３，ｘ４，ｘｎ）を入力がクラスに属するという信頼度（ｃｏｎｆｉｄｅｎｃｅ）にマッピングするファンクションである（すなわち、ｆ（ｘ）＝ｃｏｎｆｉｄｅｎｃｅ（ｃｌａｓｓ））。トピックの分類の場合には、アトリビュートは、クエリ（例えば、スピーチの一部分、キー用語の存在）において単語から導き出されたクエリまたは他のドメイン特有のアトリビュートにおける単語であり、これらのクラスは、カテゴリまたは関心域である。ＳＶＭおよび他の学習アプローチの重要な態様は、ラベル付けされたインスタンスのトレーニングセットを使用して分類ファンクションを自動的に学習することである。
【００２０】
トレーニングセットは、特定のトピックについて照会するために使用される潜在要素および／または実際の要素、あるいは要素の組合せ（例えば単語またはフレーズ）を示す用語１ないし用語Ｎのサブセットを含むこともある。各用語は、１つまたは複数のトピック（例えば、（Ｑ１，Ｔ２，Ｔ３，Ｔ９）、（Ｑ７，Ｔ２，Ｔ６）、（Ｑ２，Ｔ５））に関連付けることができる。学習中に、入力フィーチャ（ｉｎｐｕｔ  ｆｅａｔｕｒｅ）をクラスの信頼度にマッピングするファンクションが学習される。したがって、モデルを学習した後に、各トピックは、入力フィーチャの重み付けされたベクトルとして表現される。用語、クエリおよび／またはトピックの他の実施も可能であることに留意されたい。例えば、別の一般化を使用してトピックおよびサブトピックについてのクエリに対してだけでなく、ターゲットコンテンツおよび／またはターゲットドキュメントに関連する生テキストに対してもトレーニングすることができる。換言すれば、システムには数個のクエリしか供給されないが複数の生テキストが提供され、さらにクエリだけでなく生テキストも後で追加してこのシステムを改善することもできる。
【００２１】
トピックの分類については、２進数フィーチャ値（例えば、ある単語があるトピック中で生ずるか、または生じないか）、または実数値フィーチャ（例えば、ある単語が重要度重みｒで生ずる）がしばしば使用されることがある。トピックのコレクションが多数の一意的な用語を含むこともあるので、機械学習技法をトピックのカテゴリ化に適用する際にフィーチャの選択が一般的に使用される。フィーチャ数を減少させるために、フィーチャは、全体的な頻度カウントに基づいて除去し、次いでこのカテゴリに対する適合に基づいてより少ないフィーチャ数に従って選択することができる。カテゴリに対する適合は、相互情報、情報ゲイン、カイ２乗および／または他の任意の統計選択技法を介して決定することができる。この場合には、これらのより小さな記述が、ＳＶＭに対する入力としての役割を果たす。線形ＳＶＭは、適切な一般化の正確さを提供し、高速な学習を提供することに留意されたい。他のクラスの線形ＳＶＭは、多項式分類機構およびラジアル基底関数を含んでおり、本発明と共に利用することもできる。
【００２２】
ＳＶＭを含めて多くの学習方法では、カテゴリごとのモデルは、フィーチャ重みベクトルｗ（例えば、ｗ１、ｗ２、．．．ｗｖ）として表現することができる。したがって、カテゴリごとに学習された重みベクトルが存在する。この重みが学習される場合、新しいクエリは、ｘとｗの点乗積を計算することによって分類され、ここでｗは、各カテゴリについての学習された重みベクトルであり、ｘは、新しいクエリを表すベクトルである。Ｓ字型ファンクションがこのＳＶＭの出力を確率に変換するために提供されることもある。確率は、カテゴリまたはクラス上での比較可能なスコアを提供する。
【００２３】
ＳＶＭは、関数形式がトレーニング以前に定義されるパラメータ化ファンクションである。ＳＶＭは１組の例からこのファンクションを適合させることになるので、ＳＶＭをトレーニングするには、一般にラベル付けされたトレーニングセットを必要とする。このトレーニングセットは、１組のＥ個の例から構成され、Ｅは整数である。各例は、入力ベクトルｘと、この入力ベクトルがカテゴリ中にあるかどうかを記述するカテゴリラベルｙから構成される。カテゴリごとに、Ｅ個の例でトレーニングされたＳＶＭ中には、Ｅ個の自由パラメータが存在する。これらのパラメータを見出すためには、ＱＰ（ｑｕａｄｒａｔｉｃ  ｐｒｏｇｒａｍｍｉｎｇ二次計画法）問題がよく理解されているように解かれる。このＱＰ問題を解くためには複数のよく知られている技法が存在する。これらの技法は、逐次最小最適化（Ｓｅｑｕｅｎｔｉａｌ  Ｍｉｎｉｍｕｍ  Ｏｐｔｉｍｉｚａｔｉｏｎ）技法、ならびにチャンキング（ｃｈｕｎｋｉｎｇ）などの他の技法を含むこともある。
【００２４】
次に図２を参照すると、実施例のドキュメント再格付けプロセス２００が、本発明の一態様に従って示されている。これは、ユーザまたは管理者に対するドキュメントまたはサイトの関連性を決定する情報の後処理を含むことが可能である。この態様においては、２１０においてアイテム、ドキュメント、ログ、用語などのデータが検索され、２２０において前述の分類技法に従って自動的に格付けされる。２３０において関連性があるさらに高い確率を有するアイテムが、２４０において格付けの低いアイテムより以前にユーザに対して表現される。かかる格付けは、所定の確率しきい値に従って実現することができ、ここでは、関連性があるさらに高い確率を有するアイテムが、より低い確率のアイテムより以前に提示される。しかし、確率による暗黙の格付けの代わりに明示的な注釈を表示アイテムに追加してドキュメントまたはサイトの関連性、あるいは重要度を示す（例えば、ドキュメントの関連性を示すカラー、数字、記号を使用する）ことができる。
【００２５】
図３および４は、本発明の一態様によるモデリングおよびトレーニングプロセスを示す流れ図である。説明を簡潔にする目的で、これらの方法を、一連の動作として示し説明しているが、本発明によれば一部の動作が、本明細書中に示され説明される順序とは異なる順序で、または他の動作と同時に、あるいはその両方で行うことができるように、本発明は動作の順序によって限定されることがないことを理解し認識されたい。例えば、方法が、代わりに状態図などにおける一連の相互に関連する状態またはイベントとして表現することができることが当業者には理解し認識されよう。さらに、必ずしもすべての図に示した動作が本発明による方法を実施するために必要とされないこともある。
【００２６】
図３に戻ると、実施例のモデリングプロセス３００が、本発明の一態様に従って示されている。３１０において、最善策のドキュメントまたはサイトの本質を引き出しまたは決定するために使用される少なくとも１つのテキスト分類機構が構築される。ステップ３２０において、分析するためのテストデータストアが選択される。例えば、これは、様々なトピックまたは用語を有する専用ドメインを含み、または様々なローカルデータベースまたはリモートデータベース上に分散した複数のドメインを含むことができる。３３０において、１つまたは複数のカテゴリが、このドメイン（例えば、共同体、ダウンロード、パートナー、製品情報、サポート、技術、トレーニング、企業情報など）から選択される。３４０において、少なくとも１つの分類機構が各カテゴリに割り当てられて各カテゴリ内の最善策の特徴が学習される。ステップ３５０において、知られているトレーニングデータセットを使用してこのカテゴリ分類機構をトレーニングしテストしており、これについては、図４に関して以下でより詳細に説明している。
【００２７】
図４は、本発明の一態様による実施例のトレーニングおよびテストプロセス４００を示している。４１０へ進むと、データベースからの用語は、トレーニングデータセットとテストデータセットに分割される（例えば８０％の用語がトレーニングに使用され、２０％の用語が分類機構をテストするために使用される）。４２０において、カテゴリごとおよび用語ごとの最上位結果ドキュメントが抽出される（例えば最上位の１０ドキュメントを抽出する）。４３０において、この各カテゴリ分類機構が、（例えば単語フィーチャの使用を介して）４２０の抽出結果上でトレーニングされる。次いで４４０において、前述のトレーニングデータをこのトレーニング済みの分類機構によって分析して分類機構の正確さを決定する。例えば、これには、この分類機構が決定するようなカテゴリの正確さに対する以下のテーブル中などにおけるベースライン推定値の間の比較を含むことが可能である。
【００２８】
【表１】
2005222532.tif 000003
【００２９】
図５は、本発明の一態様によるサイト格付けのための例示のユーザインターフェース５００を示している。この態様では、５１０において探索用語の一例（例えば、ｂｌａｓｔｅｒ  ｗｏｒｍ）が、本発明に従って、適合されたデータサイトにサブミットされる。このサイトは、様々なカテゴリ５２０および５３０に分割することができる。これらの各カテゴリ中の結果５４０、５４１などは、この所望の用語に関連したより多くの情報を提供するサイトに対する最善策リンクを含むことができる。図６は、本発明の一態様によるオンライン格付けのための例示のユーザインターフェース６００を示している。この点で、このインターフェース６００は、ユーザがサブミットするクエリ用語６２０に従って、カテゴリ６１０中のドキュメントをランク付けする。以上で指摘したように、これは、このインターフェース６００上での暗黙の順序付けを含むことが可能であり、ここでは、より関連性の高いドキュメントが、他のドキュメントよりも前に提示される。
【００３０】
図７は、本発明の一態様による実施例のアプリケーション７００を示している。このアプリケーション７００は、１つまたは複数の可能な使用シナリオを含んでいるが、他のアプリケーションも使用できることを理解されたい。７１０において、１つのケースは、以前には最善策分析に従って処理されたことがないクエリ、およびこれらのクエリに関連したドキュメントに対して適用される。７２０において、オフライン処理は、ログから最上位のｎ個のクエリを処理する工程（ｎは整数である）、これらのクエリについての探索結果を取得する工程、これらの結果の中から最善策候補を識別する工程、および１つの情報が所与のクエリまたはトピックについて提示することが望ましいか否かを判定する編集者にこの分析結果を転送する工程を含むことができる。７３０において、１つのオンラインプロセスは、可能性のあるドキュメントまたはサイトのリストから最善策を抽出する工程、およびこれら可能性のあるアイテムの統計的処理など他の技法の前にこの最善策を自動的に配置する工程を含むことができる。７４０において、オンライン技法はまた、アイテムが最善策であるという確率によって結果を再格付けする工程を含むこともできる。
【００３１】
図８を参照すると、本発明の様々な態様を実施するための例示の環境８１０は、コンピュータ８１２を含んでいる。このコンピュータ８１２は、処理装置８１４、システムメモリ８１６、およびシステムバス８１８を含んでいる。このシステムバス８１８は、それだけには限定されないが、このシステムメモリ８１６を含むシステムコンポーネントをこの処理装置８１４に結合している。この処理装置８１４は、入手可能な様々なプロセッサのうちのどれでもよい。デュアルマイクロプロセッサアーキテクチャおよび他のマルチプロセッサアーキテクチャを処理装置８１４として使用することもできる。
【００３２】
このシステムバス８１８は、それだけには限定されないが、１６ビットバス、ＩＳＡ（Ｉｎｄｕｓｔｒｉａｌ  Ｓｔａｎｄａｒｄ  Ａｒｃｈｉｔｅｃｔｕｒｅ業界標準アーキテクチャ）、ＭＳＡ（Ｍｉｃｒｏ−Ｃｈａｎｎｅｌ  Ａｒｃｈｉｔｅｃｔｕｒｅマイクロチャネルアーキテクチャ）、ＥＩＳＡ（Ｅｘｔｅｎｄｅｄ  ＩＳＡ拡張ＩＳＡ）、ＩＤＥ（Ｉｎｔｅｌｌｉｇｅｎｔ  Ｄｒｉｖｅ  Ｅｌｅｃｔｒｏｎｉｃｓインテリジェントドライブエレクトロニクス）、ＶＬＢ（ＶＥＳＡ  Ｌｏｃａｌ  ＢｕｓＶＥＳＡローカルバス）、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ  Ｃｏｍｐｏｎｅｎｔ  Ｉｎｔｅｒｃｏｎｎｅｃｔ周辺コンポーネント相互接続）、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓユニバーサルシリアルバス）、ＡＧＰ（Ａｄｖａｎｃｅｄ  Ｇｒａｐｈｉｃｓ  Ｐｏｒｔアドバンストグラフィックスポート）、ＰＣＭＣＩＡ（Ｐｅｒｓｏｎａｌ  Ｃｏｍｐｕｔｅｒ  Ｍｅｍｏｒｙ  Ｃａｒｄ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ａｓｓｏｃｉａｔｉｏｎパーソナルコンピュータメモリカード国際協会）バス、およびＳＣＳＩ（Ｓｍａｌｌ  Ｃｏｍｐｕｔｅｒ  Ｓｙｓｔｅｍｓ  Ｉｎｔｅｒｆａｃｅスモールコンピュータシステムズインターフェース）を含めて様々な使用可能なバスアーキテクチャのどれかを使用したメモリバスもしくはメモリコントローラ、周辺バスもしくは外部バス、および／またはローカルバスを含めていくつかのタイプのバス構造のうちのどれでも使用することができる。
【００３３】
このシステムメモリ８１６は、揮発性メモリ８２０および不揮発性メモリ８２２を含んでいる。起動中などコンピュータ８１２内の要素間で情報を転送する基本ルーチンを含むＢＩＯＳ（ｂａｓｉｃ  ｉｎｐｕｔ／ｏｕｔｐｕｔ  ｓｙｓｔｅｍ基本入出力システム）は、不揮発性メモリ８２２に記憶される。例として、限定するものではないが、不揮発性メモリ８２２は、ＲＯＭ（ｒｅａｄ  ｏｎｌｙ  ｍｅｍｏｒｙ読取り専用メモリ）、ＰＲＯＭ（ｐｒｏｇｒａｍｍａｂｌｅ  ＲＯＭプログラム可能ＲＯＭ）、ＥＰＲＯＭ（ｅｌｅｃｔｒｉｃａｌｌｙ  ｐｒｏｇｒａｍｍａｂｌｅ  ＲＯＭ電気的プログラム可能ＲＯＭ）、ＥＥＰＲＯＭ（ｅｌｅｃｔｒｉｃａｌｌｙ  ｅｒａｓａｂｌｅ  ＲＯＭ電気的消去可能ＲＯＭ）、またはフラッシュメモリを含むことができる。揮発性メモリ８２０は、ＲＡＭ（ｒａｎｄｏｍ  ａｃｃｅｓｓ  ｍｅｍｏｒｙランダムアクセスメモリ）を含んでおり、これは外部キャッシュメモリとしての役割を果たす。例として限定するものではないが、ＲＡＭは、ＳＲＡＭ（Ｓｔａｔｉｃ  ＲＡＭスタティックＲＡＭ）、ＤＲＡＭ（ｄｙｎａｍｉｃ  ＲＡＭダイナミックＲＡＭ）、ＳＤＲＡＭ（Ｓｙｎｃｈｒｏｎｏｕｓ  ＤＲＡＭシンクロナスＤＲＡＭ）、ＤＤＲ  ＳＤＲＡＭ（ｄｏｕｂｌｅ  ｄａｔａ  ｒａｔｅ  ＳＤＲＡＭダブルデータレートＳＤＲＡＭ）、ＥＳＤＲＡＭ（ｅｎｈａｎｃｅｄ  ＳＤＲＡＭ）、ＳＬＤＲＡＭ（Ｓｙｎｃｈｌｉｎｋ  ＤＲＡＭシンクリンクＤＲＡＭ）、ＤＲＲＡＭ（ｄｉｒｅｃｔ  Ｒａｍｂｕｓ  ＲＡＭダイレクトラムバスＲＡＭ）などの多くの形態で使用可能である。
【００３４】
コンピュータ８１２はまた、着脱可能／着脱不能な、揮発性／不揮発性のコンピュータストレージ媒体も含んでいる。図８は、例えばディスクストレージ８２４を示している。ディスクストレージ８２４は、それだけには限定されないが、磁気ディスクドライブ、フロッピー（登録商標）ディスクドライブ、テープドライブ、Ｊａｚドライブ、Ｚｉｐドライブ、ＬＳ−１００ドライブ、フラッシュメモリカード、またはメモリスティックのようなデバイスを含んでいる。さらに、ディスクストレージ８２４は、それだけには限定されないが、ＣＤ−ＲＯＭ（ｃｏｍｐａｃｔ  ｄｉｓｋ  ＲＯＭコンパクトディスクＲＯＭ）デバイス、ＣＤ−Ｒ（ＣＤ  ｒｅｃｏｒｄａｂｌｅＣＤ記録可能）ドライブ、ＣＤ−ＲＷ（ＣＤ  ｒｅｗｒｉｔａｂｌｅＣＤ書換え可能）ドライブ、またはＤＶＤ−ＲＯＭ（ｄｉｇｉｔａｌ  ｖｅｒｓａｔｉｌｅ  ｄｉｓｋ  ＲＯＭデジタル多用途ディスクＲＯＭ）ドライブを含めて、分離して、または他のストレージ媒体と組み合わせてストレージ媒体を含むことが可能である。システムバス８１８に対するこのディスクストレージデバイス８２４の接続を実施するためにインターフェース８２６などの着脱可能または着脱不能なインターフェースが一般に使用される。
【００３５】
図８は、ユーザと、適切な動作環境８１０中に記述される基本的なコンピュータリソースとの間の仲介の役割を果たすソフトウェアを記述していることを理解されたい。かかるソフトウェアは、オペレーティングシステム８２８を含んでいる。ディスクストレージ８２４上に記憶することができるオペレーティングシステム８２８は、コンピュータシステム８１２のリソースを制御し割り付ける役割を果たす。システムアプリケーション８３０は、システムメモリ８１６またはディスクストレージ８２４に記憶されたプログラムモジュール８３２およびプログラムデータ８３４を介してオペレーティングシステム８２８によるリソースの管理を利用している。本発明は、様々なオペレーティングシステム、またはオペレーティングシステムの組合せを用いて実施できることを理解されたい。
【００３６】
ユーザは、１つ（または複数）の入力デバイス８３６を介してコマンドまたは情報をコンピュータ８１２に入力する。入力デバイス８３６は、それだけには限定されないが、マウス、トラックボール、スタイラス、タッチパッド、キーボード、マイクロフォン、ジョイスティック、ゲームパッド、衛星パラボラアンテナ、スキャナ、ＴＶチューナカード、デジタルカメラ、デジタルビデオカメラ、ウェブカメラなどを含んでいる。これらおよび他の入力デバイスは、１つ（または複数）のインターフェースポート８３８を経由してシステムバス８１８を介して処理装置８１４に接続される。１つ（または複数）のインターフェースポート８３８は、例えば、シリアルポート、パラレルポート、ゲームポート、およびユニバーサルシリアルバス（ＵＳＢ）を含んでいる。１つ（または複数）の出力デバイス８４０は、１つ（または複数）の入力デバイス８３６と同じタイプのポートの一部を使用する。したがって、例えばＵＳＢポートを使用してコンピュータ８１２に入力を提供し、コンピュータ８１２から出力デバイス８４０へと情報を出力することができる。他の出力デバイス８４０のうちでもとりわけモニタ、スピーカ、およびプリンタのような特別なアダプタを必要とするいくつかの出力デバイス８４０があることを示すために、出力アダプタ８４２が設けられている。この出力アダプタ８４２は、例として限定するものではないが、この出力デバイス８４０とシステムバス８１８の間の接続の手段を提供するビデオカードおよびサウンドカードを含んでいる。他のデバイスおよび／またはデバイスのシステムが１台（または複数台）のリモートコンピュータ８４４など入力機能も出力機能も提供することに留意されたい。
【００３７】
コンピュータ８１２は、１台（または複数台）のリモートコンピュータ８４４など、１台または複数台のリモートコンピュータへの論理接続を使用してネットワーク環境で動作することが可能である。この１台（または複数台）のリモートコンピュータ８４４は、パーソナルコンピュータ、サーバ、ルータ、ネットワークＰＣ、ワークステーション、マイクロプロセッサベースの家電、ピアデバイスまたは他の共通ネットワークノードなどとすることが可能であり、一般にコンピュータ８１２に対して説明した要素の多くまたはすべてを含んでいる。簡潔にする目的のために、１台（または複数台）のリモートコンピュータ８４４と共に１つのメモリストレージデバイス８４６しか示されていない。１台（または複数台）のリモートコンピュータ８４４は、ネットワークインターフェース８４８を介してコンピュータ８１２に論理的に接続され、次いで通信接続８５０を経由して物理的に接続される。ネットワークインターフェース８４８は、ＬＡＮ（ｌｏｃａｌ−ａｒｅａ  ｎｅｔｗｏｒｋローカルエリアネットワーク）やＷＡＮ（ｗｉｄｅ  ａｒｅａ  ｎｅｔｗｏｒｋワイドエリアネットワーク）などの通信ネットワークを包含している。ＬＡＮ技術は、ＦＤＤＩ（Ｆｉｂｅｒ  Ｄｉｓｔｒｉｂｕｔｅｄ  Ｄａｔａ  Ｉｎｔｅｒｆａｃｅファイバ分散データインターフェース）、ＣＤＤＩ（Ｃｏｐｐｅｒ  Ｄｉｓｔｒｉｂｕｔｅｄ  Ｄａｔａ  Ｉｎｔｅｒｆａｃｅカッパー分散データインターフェース）、イーサネット（登録商標）（Ｅｔｈｅｒｎｅｔ（登録商標））／ＩＥＥＥ８０２．３、トークンリング（Ｔｏｋｅｎ  Ｒｉｎｇ）／ＩＥＥＥ８０２．５などを含んでいる。ＷＡＮ技術は、それだけには限定されないが、ポイントツーポイントリンク、ＩＳＤＮ（Ｉｎｔｅｇｒａｔｅｄ  Ｓｅｒｖｉｃｅｓ  Ｄｉｇｉｔａｌ  Ｎｅｔｗｏｒｋｓ統合サービスデジタルネットワーク）のような回路交換網およびその変形形態、パケット交換網、およびＤＳＬ（Ｄｉｇｉｔａｌ  Ｓｕｂｓｃｒｉｂｅｒ  Ｌｉｎｅｓデジタル加入者線）を含んでいる。
【００３８】
１つ（または複数）の通信接続８５０は、ネットワークインターフェース８４８をバス８１８に接続するために使用されるハードウェア／ソフトウェアのことを言及している。通信接続８５０は、明確に示すためにコンピュータ８１２の内部に示されるが、これはコンピュータ８１２の外部にあることも可能である。ネットワークインターフェース８４８に接続するために必要なこのハードウェア／ソフトウェアは、例示の目的にすぎないが、通常の電話グレードのモデム、ケーブルモデムおよびＤＳＬモデム、ＩＳＤＮアダプタ、ならびにイーサネット（登録商標）カードを含むモデムなど内蔵技術および外付け技術を含んでいる。
【００３９】
図９は、本発明が対話することができる一例のコンピューティング環境９００の概略的なブロック図である。このシステム９００は、１つまたは複数のクライアント９１０を含んでいる。このクライアント９１０は、ハードウェアおよび／またはソフトウェア（例えば、スレッド、プロセス、コンピューティングデバイス）とすることが可能である。このシステム９００はまた、１つまたは複数のサーバ９３０も含んでいる。この１つ（または複数）のサーバ９３０はまた、ハードウェアおよび／またはソフトウェア（例えば、スレッド、プロセス、コンピューティングデバイス）とすることが可能である。このサーバ９３０は、スレッドを格納して例えば本発明を使用することによって変換を実施することが可能である。クライアント９１０とサーバ９３０の間の１つの可能性のある通信は、２つ以上のコンピュータプロセス間で伝送されるようになっているデータパケットの形式とすることができる。システム９００は、１つ（または複数）のクライアント９１０と１つ（または複数）のサーバ９３０の間で通信を実施するために使用することができる通信フレームワーク９５０を含んでいる。１つ（または複数）のクライアント９１０は、１つまたは複数のクライアントデータストア９６０に動作可能に接続され、このストアを使用して１つ（または複数）のクライアント９１０にローカルな情報を記憶することができる。同様に、１つ（または複数）のサーバ９３０は、１つまたは複数のサーバデータストア９４０に動作可能に接続され、このストアを使用してサーバ９３０にローカルな情報を記憶することができる。
【００４０】
以上で説明してきた内容は、本発明の実施例を含んでいる。本発明を説明する目的でコンポーネントまたは方法のあらゆる考えられる組合せを記述することはもちろん不可能であるが、本発明のさらに多くの組合せおよび置換が可能であることが当業者には理解されよう。したがって、本発明は、添付の特許請求の範囲の趣旨および範囲内に含まれるかかるすべての変更形態、修正形態および変形形態を包含することを意図している。さらに、用語「含む（ｉｎｃｌｕｄｅｓ）が詳細な説明または特許請求の範囲で使用される限り、「含む（ｃｏｍｐｒｉｓｉｎｇ）」が請求項において転換語として使用されたとき解釈されるように、かかる用語は、用語「含む（ｃｏｍｐｒｉｓｉｎｇ）」と同様に包括的な意味をもつことを意図している。
【図面の簡単な説明】
【００４１】
【図１】本発明の一態様による、クエリから独立したモデルおよびシステムの概略的なブロック図である。
【図２】本発明の一態様によるドキュメント格付けプロセスの一実施例を示す図である。
【図３】本発明の一態様によるモデリングプロセスの一実施例を示す流れ図である。
【図４】本発明の一態様によるトレーニングおよびテストプロセスの一実施例を示す図である。
【図５】本発明の一態様による、サイト格付けのためのユーザインターフェースの一例を示す図である。
【図６】本発明の一態様による、オンライン格付けのためのユーザインターフェースの一例を示す図である。
【図７】本発明の一態様によるアプリケーションの実施例を示す図である。
【図８】本発明の一態様による適切な動作環境を示す概略的なブロック図である。
【図９】本発明が対話することができるコンピューティング環境の一例の概略的なブロック図である。
【符号の説明】
【００４２】
８１４  処理装置
８１６  システムメモリ
８２０  揮発性
８２２  不揮発性
８２４  ディスクストレージ
８２６  インターフェース
８２８  オペレーティングシステム
８３０  アプリケーション
８３２  モジュール
８３４  データ
８３６  入力デバイス
８３８  インターフェースポート
８４０  出力デバイス
８４２  出力アダプタ
８４４  リモートコンピュータ
８４６  メモリストレージ
８４８  ネットワークインターフェース
８５０  通信接続
【図１】
2005222532.tif 000004
【図２】
2005222532.tif 000005
【図３】
2005222532.tif 000006
【図４】
2005222532.tif 000007
【図５】
2005222532.tif 000008
【図６】
2005222532.tif 000009
【図７】
2005222532.tif 000010
【図８】
2005222532.tif 000011
【図９】
2005222532.tif 000012
【外国語明細書】
2005222532000001.pdf