(57)【要約】
2008541223.tif 000002
【特許請求の範囲】
【請求項１】
サーチ結果内の諸文書にわたる文脈要約情報を決定する方法であって、
ａ）  一組の文書へクエリーを適用するステップと、
ｂ）  一致する文書を識別するステップを含み、また、
特徴とする追加のステップとして、
ｃ）  前記一致する文書について前記各々の文書のクエリー依存サブセクションを選択するステップと、
ｄ）  前記文書サブセクションに関連する文書特性を選択するステップと、
ｅ）  結果のセットにわたり、前記文書特性について要約情報を計算するステップとを含む前記方法。
【請求項２】
前記クエリーに対応する文書用語の位置に関する近接性を計算することにより、前記クエリー依存サブセクションを決定し、また、前記計算された近接性により、前記文書の１つまたはそれ以上の決定されたサブセクションを選択することを特徴とする請求項１記載の方法。
【請求項３】
前記文書の意味構造に応答して、前記近接性計算を遂行することを特徴とする請求項２記載の方法。
【請求項４】
ばらばらかまたは部分的に重複する均等なサイズのパッセージへ前記元の文書を分解することにより、前記１つまたはそれ以上の所定のサブセクションを計算することを特徴とする請求項２記載の方法。
【請求項５】
決定された文書サブセクションと入力テキストの全文コンテンツによるリッチクエリーとの間の類似性測度を計算することにより、一致文書を識別することを特徴とする請求項２記載の方法。
【請求項６】
同一の一致を得るために言語学的に正規化された形式、同義語または経験的に引き出される用語の相関を照合することにより、対応する用語を計算することを特徴とする請求項２記載の方法。
【請求項７】
属性／値ペアをエンコードする階層構造として前記文書を表現することを特徴とする請求項１記載の方法。
【請求項８】
ＸＭＬを使用して前記階層構造を表現することを特徴とする請求項７記載の方法。
【請求項９】
ＸＰａｔｈまたはＸＱｕｅｒｙにより前記クエリー依存サブセクションを特定することを特徴とする請求項８記載の方法。
【請求項１０】
各文書の意味構造を発見してエンコードするために、前記文書のセットのインデックス・タイム分析を遂行することを特徴とする請求項１記載の方法。
【請求項１１】
前記意味構造が、タイトル、章、ビジュアル・ブロック、段落、文および実体情報を含むことを特徴とする請求項１０記載の方法。
【請求項１２】
前記文書サブセクションと各文書特性を注釈する文書範囲との間の重複分析に応答して、文書サブセクションと文書特性の間の関係を設立することを特徴とする請求項１記載の方法。
【請求項１３】
前記文書内のポイント位置、前記文書内の区間位置およびＸＭＬサブ構造の内の少なくとも１つの文書特性を注釈する範囲を前記文書内に含むことを特徴とする請求項１２記載の方法。
【請求項１５】
前記文書特性の中に個人名、会社名、場所、頭字語、日付、ファイル名、ＵＲＬ、電話番号、郵便番号、Ｅメール・アドレス、大学、新聞、価格情報、製品情報、数値特性および株式テロップの少なくとも１つの認識された実体を含むことを特徴とする請求項１記載の方法。
【請求項１５】
前記要約情報計算内に前記既存の認識された実体についての頻度情報を含むことを特徴とする請求項１４記載の方法。
【請求項１６】
前記文書セットのスピーチ分析の一部分に応答する手段により、前記文書特性を計算することを特徴とする請求項１記載の方法。
【請求項１７】
前記要約情報計算処理の基礎として、文書特性のフル形式と正規化された基本形式の両方を使用することを特徴とする請求項１記載の方法。
【請求項１８】
要約情報計算に使用される前記結果セット内の全ての一致文書を含むことを特徴とする請求項１記載の方法。
【請求項１９】
要約情報計算に使用される前記結果セット内の最高の関連点数を有する所与の数の一致文書を含むことを特徴とする請求項１記載の方法。
【請求項２０】
要約情報計算に使用される前記結果セット内の最高の関連点数を有する所与の数の抽出された文書サブセクションを含むことを特徴とする請求項１記載の方法。
【請求項２１】
数字的特性について前記要約情報統計的特性を含むことを特徴とする請求項１記載の方法。
【請求項２２】
前記統計的特性の中に最大値、最小値、平均値、分散、順序統計量、分布変数およびヒストグラムの内の少なくとも１つを含むことを特徴とする請求項２１記載の方法。
【請求項２３】
前記要約情報の中に文書特性値の頻度分析を含むことを特徴とする請求項１記載の方法。
【請求項２４】
前記文書特性値を階層構造に組織し、前記頻度分析が、前記属性値階層内の親ノードへ、頻度カウントを集約することを特徴とする請求項２３記載の方法。
【請求項２５】
階層構造を使用して用語構造を表現することを特徴とする請求項２５記載の方法。
【請求項２６】
選択された文書特性の監視または非監視のクラスタリングのためのアルゴリズムにより前記要約情報を計算することを特徴とする請求項１記載の方法。
【請求項２７】
前記文書特性内に前記文書の１つまたはそれ以上のテキスト・サブセクションを含み、前記１つまたはそれ以上のサブセクション内の個別の用語に対して前記クラスタリング・アルゴリズムが応答することを特徴とする請求項２６記載の方法。
【請求項２８】
前記文書特性が多次元属性を含み、関連する多次元空間内における類似性を定義する距離測度に対して、前記要約計算が応答することを特徴とする請求項１記載の方法。
【請求項２９】
前記多次元属性が位置を表現することを特徴とする請求項２８記載の方法。
【請求項３０】
オントロジーにおけるノードを指示するために前記文書特性を少なくとも１つを使用し、オントロジー表現にわたる出現を関連させることによるコンセプトの分析を前記要約情報計算が含むことを特徴とする請求項１記載の方法。
【請求項３１】
前記要約情報の所望の特性に基づいて、前記一致文書および前記文書サブセクションのサブセットを、ユーザが選択できるようにすることにより、文脈ナビゲーションを生成することを特徴とする請求項１記載の方法。
【請求項３２】
ユーザ・プロファイル、クエリーに関連する位置、時間、ユーザ・セッション、サイト・ナビゲーション履歴、およびクエリー特性の内の少なくとも１つに応答する規則によって、ナビゲーション・オプションとして表現される文書特性を選択することを特徴とする請求項３１記載の方法。
【請求項３３】
文脈文書特性の自動化分析測定および特定の文脈文書特性についての許容値の限定における潜在的情報利得に応答して、ナビゲーション・オプションとして提示される文書特性を選択することを特徴とする請求項３１記載の方法。
【請求項３４】
クエリーにより暗示される興味の文書特性を識別することと、
クエリー内のキー・コンセプトと用語を識別することとに基づいて、
自動的に修正されるクエリーを使用して、自然言語クエリーに解答することを特徴とする請求項１記載の方法。
【請求項３５】
＜人物＞実体を認識するための「誰」クエリーをマッピングすること、
＜位置＞実体を認識するための「どこ」クエリーをマッピングすることおよび
＜日付／時間＞実体を認識するための＜いつ＞クエリーをマッピングすること、
の内の少なくとも１つを、暗示された文書特性の識別のために使用することを特徴とする請求項３４記載の方法。
【請求項３６】
前記クエリーに暗示される直接回答を含み得る文書特性を識別することと、
文書特性とクエリーコンセプトの間の事実関係を保証する局地化された文書サブセクションを選択することと、
前記事実関係を保証する文書サブセクションにわたり、暗示される文書特性について要約情報を計算することと、に基づいた質問回答能力を含むことを特徴とする請求項１記載の方法。
【請求項３７】
前記局地化された文書サブセクションとして文を使用することを特徴とする請求項３６記載の方法。
【請求項３８】
目標とする関係についての既知のパターンが検出される文法分析により、前記局地化された文書サブセクションを識別することを特徴とする請求項３６記載の方法。
【請求項３９】
クエリーコンセプトと文書特性の間の事実関係を保証する文書サブセクション内のユーザクエリーに関係する文書特性を識別することと、
前記識別された文書特性について支配的な値を識別することおよび、
前記識別された文書特性と関連の支配的な値とに応答する修正された方法により前記ユーザクエリーを評価することとに基づく、
クエリー曖昧性除去を含むことを特徴とする請求項１記載の方法。
【請求項４０】
前記識別された文書特性と前記関連の支配的な値に応答してのサーチ結果の提示を含むことを特徴とする請求項３９記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、サーチ結果内の諸文書にわたる文脈要約情報を決定する方法に関し、また、一組の文書へクエリーするステップおよび一致する文書を識別するステップを含む。
【０００２】
特に、本発明は、文書リポジトリーから項目または文書を抽出するためにユーザクエリーが使用される、情報検索方法と手段に関する。本明細書を通じて、用語「文書」は、サーチ可能なあらゆる実体を指示するために使用され、従って、例えばテキスト文書、データベース記録、またはＸＭＬ構造を意味する。
【背景技術】
【０００３】
データベースとサーチ・エンジンの両方の技術における先行技術システムは、文書に特性を関連させて、結果セットにわたる要約情報を計算するように設計されてきた。この解決方法は、文書に構造が全くないか、または限られた構造しかない場合に、適用可能である。これの一例が財務記録であって、あるクエリーがある所与のユーザからの取引を選択し、その要約情報は全ての取引の総合計である。もう１つの例は買い物サーチであって、そこである文書がｍｐ３プレーヤまたはテレビ画面などの製品を表示する。価格とメーカはこの場合典型的な文書特性であって、関連要約情報はユーザクエリーおよび利用可能なメーカの配給により選択される製品ついての典型的な製品価格ヒストグラムを生成する。
【０００４】
一層複雑な文書構造については、要約情報についての先験的な技術は、かなりの制限を有する。たとえば、大きなＰＤＦ文書が第５頁のクエリー要求に一致するとき、第２３７頁の特定コンセプトについて話すかもしれない。このユーザクエリーとコンセプトの間の実際の関係がある可能性はこの場合非常に低いということである。文書内部の文脈または事実のレベルについての能力よりもよりも、むしろ要約情報を計算する能力を供給すれば、抽出される要約情報の品質レベルが大きく改善されるであろうと考えられる。
【発明の開示】
【発明が解決しようとする課題】
【０００５】
本発明の目的は、結果セットにわたる文脈要約情報を計算するための一般的な枠組みを提供すること、クエリーと文書特性の間のより多くの事実関係を使用して、検索される情報に応用される分析処理、サーチ処理およびナビゲーション処理の大きな改良を達成することである。
【課題を解決するための手段】
【０００６】
上記の目的は、さらなる特徴と利点と共に本発明による方法で実現されるが、その方法の特徴は、一致文書について各文書のクエリー依存サブセクションを選択するステップと、この文書サブセクションに関連する文書特性を選択するステップと、結果セットにわたる文書特性についての要約情報を計算するステップとを含む。
【０００７】
本発明の１つの有利な実施例は、ユーザが効果的に探索し結果セットを絞り込むことができるようにするナビゲーション・システムに関する。この場合、文脈要約情報は、エンド・ユーザのためのナビゲーション・オプションを選択し構築するための基礎として使用されるが、このナビゲーション・オプションは、クエリーコンセプトに文脈的に関係する結果セット内のキー特性を示す。
【０００８】
本発明のもう１つの有利な実施例は、自然言語クエリーに解答することに関する。この場合、自然言語クエリーは、要点の文書特性を特定する構造化フォーマットに書き直される。文脈要約情報がこの特性にわたり計算されて、高品質と目標結果を構築するために使用される。
【０００９】
本発明のさらなる有利な実施例は、質問回答能力に関する。文書を返送することに加えて、クエリーが分析されて、クエリーに対する実際の回答を含み得る文書特性が検出される。それから残りのクエリーコンセプトに対して事実上関係するこれら特性について、文脈要約情報が計算される。この結果の文脈要約情報は、単一の回答を有するクエリーおよびある範囲の回答候補のあるクエリーの両方について、解答への基礎として使用される。
【００１０】
本発明のさらなる実施例は、クエリーの曖昧性除去のために使用され、そこでは、ユーザクエリーのあり得る解釈を理解するために、文脈要約情報が使用される。
【００１１】
本発明の追加的な特徴の利点は、添付の従属請求項から明らかになる。
【実施例】
【００１２】
一般に本発明は、サーチ結果における諸文書にわたる文脈要約情報を計算する手段と動作に関する。本発明は、文書内の局所的な構造を文書特性に関連させる種々な方法を教示する。本発明はまた、文書内の局所的構造を選択するために、どのようにクエリーを使用できるかについて教示する。この目的のために、局所的文書特性とユーザクエリーの間の関係を計算する方法が開示される。この能力は、文脈要約情報を計算するために使用され、そこで局所的文書特性は文脈的方法において結果セットにわたりプロファイルされる。計算された文脈要約情報は、多数の分析処理および関連ビジュアリゼーション方式についての価値ある洞察を含む。
【００１３】
本発明の１つの実施例は、クエリー目的と目標文書特性の間の強力な関連を確実にするために、文脈的方法における結果にわたり要約情報を計算することに関する。もう１つの実施例は、文脈要約情報に基づいて改良されたナビゲーション・システムをどのように構築できるかを教示する。もう１つの実施例は、自然言語クエリーの取り扱いをどのように改良できるかについて、クエリー書き直しと文脈要約情報を使用する。もう１つの実施例は特定の分析を使用して、クエリーの目標とする文書特性を決定し、これを文脈要約計算に組み合わせて、クエリー回答のための改良された情報の基礎を生成する。もう１つの実施例は、クエリーの曖昧性を除去するために、構築された文脈要約情報をどのように使用できるかを教示する。
【００１４】
図１は、サーチ・エンジンの典型的な主要構成要素を示す。１０１は、コンテンツリポジトリーを図示し、そこで、コンテンツはサーチ・エンジンへ能動的にプッシュされるかまたはデータ・コネクタを介してサーチ・エンジンへプルされる。典型的なリポジトリーは、データベース、ＩｎｆｏｒｍａｔｉｃａなどのようなＥＴＬツールを介して利用可能なソース、ＸＭＬフォーマットされたあらゆるリポジトリー、ファイル・サーブからのファイル、ウエブ・サーバからのファイル、文書管理システム、コンテンツ管理システム、Ｅメール・システム、通信システム、コラボレーション・システム、およびオーディオ、画像およびビデオのようなリッチ・メディアを含む。文書は、コンテンツＡＰＩ１２０を介してサーチ・エンジンへ提出される。続いて、コンテンツはコンテンツ分析ステージ１０３で分析されて、それにより改善されたサーチおよび発見動作のためにコンテンツが用意される。典型的にこのステージの出力は、入力文書のＸＭＬ表現である。コンテンツ分析の出力は、コア・サーチ・エンジン１０９へ供給するために使用される。コア・サーチ・エンジンは、典型的に分散的方法でサーバのファームにわたり展開され、それにより文書の大きなセットおよび高いクエリー負荷を処理できるようにされる。コア・サーチ・エンジンは、ユーザ要求を受け付けて一致文書のリストを生成することができる。文書の順序付けは、クエリーに関する所与の文書の尤もらしい重要度を測定する関係モデルにより通常決定される。その上、コア・サーチ・エンジンが、文書特性についての要約情報のような結果セットについて、追加のメタ・データを生成できる。代わりにコンテンツ分析ステージの出力を、警告エンジン１０５へフィードすることができる。警告エンジンは、一組のクエリーを記憶していて、所定文書入力を受け入れ済みであるクエリーを決定できる。サーチ・エンジンは、多数の異なったクライアントまたはアプリケーションからアクセスされることができる。１０９および１１０は、モバイルおよびコンピュータ・ベースのクライアントアプリケーションを図示する。それらのクライアントが、サーチ・エンジンクエリーＡＰＩ１０８へ要求を出す。サーチ・エンジンは、典型的にクエリー１０６を分析し、絞り込む手段を有し、それにより導かれたクエリーが一層有意義な情報を抽出するように構成される。最後に、コア・サーチ・エンジン１０４からの出力は、典型的にさらに分析されて、クライアント１０９および１１０に使用される情報またはビジュアリゼーションを生成する。
【００１５】
図２は、文書にグローバルに関連する属性についての要約情報を計算するために、先行技術のシステムがどのように設計されてきたかを図示する。２０１は、サンプル入力文書を図示する。入力文書のコンテンツ分析１０３は、入力文書に関連する多くのグローバル属性を引き出すために使用できる。図２は、分類法における割り当てられたカテゴリ２０２、識別されたコンセプト２０３、人物および大学などの識別された実体２０４、および所与の大学２０６で働いている所与の人物のようなインデックス・タイムにおいて発見される静的な事実又は関係などのいくつかの例を与える。グローバル文書特性は、引き続き文書ＩＤ２０７と関連付けられ、そしてこの情報は、分析、ナビゲーションおよびビジュアリゼーション２０８を含むアプリケーションの大きなセットのために使用される。
【００１６】
図３は、先行技術のシステムがグローバル文書特性のために文書要約情報をどのように計算するかを図示する。クエリーは、最初に評価されてＮ個の一致文書の一組を返す。それから、関連モデルが使用されて、クエリー（Ｄ１＞Ｄ２＞..ＤＮ）に関して最も価値あるものから最も価値のないものまで文書を格付けする。典型的に最高格付け文書の所与の番号はクライアントに返されて、結果ページを構築するために使用される。この文書に関連する属性は、元のコンテンツリポジトリーからのメタデータまたはコンテンツ分析１０３の内部で発見済みのメタデータの両方であり得る。要約情報は、一定数の最高格付け文書に基づいて計算されるか、またはクエリーを満足する全てのＮ個の文書に基づいて計算される。図２、図３および図４は、頻度、ヒストグラムおよび統計的パラメータなど要約情報のいくつかの例を図示する。
【００１７】
図４は、典型的な先行技術のシナリオにおいて、分析および分類の目的で、構造化データとテキストから抽出された特性を、ビジネス・インテリジェンス・アプリケーションが、どのように組み合わせるかを図示する。入力テキスト４０１が分析されて文書ベクトル４０３を生成し、そこで文書内のキー用語とコンセプトが重みを割り当てられ、テキストの多元的表現内の次元として扱われる。単一値分解または基本構成要素分析４０４がしばしば使用されて、モデルの複雑性を減少させ、後続の分析のために直交した情報を獲得する。テキストがこの方法で純粋に構造化された表現４０５に変換され、これは、いずれかの構造化メタデータ４０２と組み合わされて、一般に伝統的な分類、予測モデルまたは分析的処理のための基礎を生成することができる。
【００１８】
図５は、グローバル文書レベル上の先行技術の要約計算に関連する重要な問題を図示する。第１の例は、クエリー「ブリザード（Ｂｌｉｚｚａｒｄ）」が「カナダ（Ｃａｎａｄａ）」、「西欧（Ｗｅｓｔｅｒｎ  Ｅｕｒｏｐｅ）」、「マサチューセッツ（Ｍａｓｓａｃｈｕｓｅｔｔｓ）」、「ピッツバーグ（Ｐｉｔｔｓｂｕｒｇｈ）」、「ドイツ（Ｇｅｒｍａｎｙ）」、「ガンタナモ湾（Ｇｕａｎｔａｎａｍｏ  Ｂａｙ）」および「マリブ（Ｍａｌｉｂｕ）」を含む多数の地理的位置にどのようにリンクするかを例示する。「マサチューセッツ（Ｍａｓｓａｃｈｕｓｅｔｔｓ）」は「ブリザード（Ｂｌｉｚｚａｒｄ）」クエリー用語と実際に関係するが、他の全てはクエリー「ブリザード（Ｂｌｉｚｚａｒｄ）」と同じ文書に偶然に現れるだけである。図２および図３で説明した要約情報を計算する先行技術の方法は、誤った地理的要約情報の全てを含み、また、要約情報の後続の使用の全てがこの高度な雑音の構成要素により影響される。これの一例は、ナビゲーションの経験であり、そこでユーザは要約情報のビジュアリゼーションから希望する特性値を識別する。図５は、また本発明の教示による文脈的な方法を図示し、実際に関係する文書特性にクエリーを結びつける。クエリー「反テロリズム（ｃｏｕｎｔｅｒｔｅｒｒｏｒｉｓｍ）」は、意味的な文書サブセクションを選択する。同様に地理的実体などの文書特性を、文書内部の位置または範囲に関連させることができる。従って、この例では「ガンタナモ湾（Ｇｕａｎｔａｎａｍｏ  Ｂａｙ）」および「ドイツ（Ｇｅｒｍａｎｙ）」のみが、クエリーに文脈的に関係する文書特性として抽出される。クエリーと文書特性の間のこの文脈関係分析は、誤った関連の雑音要素を劇的に削減し、従って抽出された文脈情報の品質は、高くなる。要約情報に基づく全ての後続の分析またはビジュアリゼーション・ステップは、対応する正確性の改良を享受する。
【００１９】
図１で説明したように、分析されるコンテンツは、データベース、ＩｎｆｏｒｍａｔｉｃａのようなＥＴＬツールを介して利用可能なソース、あらゆるＸＭＬフォーマットされたリポジトリー、ファイル・サーブからのファイル、ウエブ・サーバからのファイル、文書管理システム、コンテンツ管理システム、Ｅメール・システム、通信システム、コラボレーション・システム、およびオーディオ、画像およびビデオなどのリッチ・メディアを含む多数のソースから来る。これらのデータ・ソースの多くは、ターゲット・コンテンツ分析１０３を実行することにより、要約情報の効率的な計算のためにさらに改良することができる。図６は、タイトル、所属などの暗黙のビジュアル構造を含む論文の例示的な入力を図示する。コンテンツ分析ステージ１０３の内部で自動化手段が展開して、語彙、文法的パターン、フォーマッティングおよびビジュアル・レイアウトに応答する規則を使用することにより、意味的構造を認識することができる。図７は、図６からの入力情報がどのように分析されて、タイトル部７０１、著者部７０２、所属部７０３、アブストラクト７０４などの情報の意味的ブロックへ、テキストが分解されることを示す。図８は、グローバル特性の一例を図示し、そこで、分類法からのカテゴリが文書に与えられる。８０１は、階層的分類法の一例を示し、図はそうした分類法がどのように管理され更新され熟練されるかについて、典型的なユーザ・フロント・エンドを示している。
【００２０】
図９は、パート・オブ・スピーチ（ｐａｒｔ−ｏｆ−ｓｐｅｅｃｈ）分析により、テキスト・コンテンツがどのように分析されて、この文書内の用語の最もふさわしい文法的解釈が決定できるかを示す。そうした分析の出力は、名詞／名詞表現のような汎用文書特性を識別するために使用できる。さらなる分析は、文脈の方法において高度に目標を定めた文書属性をエンコードできる特定の用語、コンセプトまたは表現パターンへ、汎用文法解釈を向けることができる。図１０は、「ｍｅｄｉｃａｌ」カテゴリ割り当てのようなグローバル属性を、どのようにして入力文書に関連させるかを示す。さらに、３つの例示的な実体が元の文書の文脈内に識別される。図１０は、著者名１００２、研究所１００３、および科学コンセプト１０４などが、元の入力文書内でどのように識別済みであるかを図示する。
【００２１】
図７は、入力テキストをどのように分解して、アプリケーションに特定の意味的構造にするかを図示する。図１１は、タイトル、章、ビジュアル・ブロック、段落、文などの汎用意味コンセプトおよび実体情報を、どのようにして自動的に識別できるかを図示する。図１１は、段落内部の複数の文・セグメント１１０３および文構造内部に位置する種々の実体１１０４による、１つの文書の段落分解を図示する。意味的分解は、実体認識のために利用可能な種々の技法に加えて、文の切れ目および段落の切れ目などトークンの識別のような単純な要素を使用できる。文法にエンコードされた一層精密なパターンをテキストに突き合わせることも可能であり、文法内のテキスト・ノード間の一致関係を使用して、文書の文脈的分解を生成することができる。図１２はこれの例を示し、ここで単純な文法１２０２が使用されて、入力テキスト１２０１を分析して、文法構造に一致するキー・テキスト・セグメント１２０３を識別する。
【００２２】
文脈要約情報は、クエリーコンセプト発生の文脈的一致と、文書特性の位置を要求する。したがって、高品質の抽出は、文書内の対応する用語とコンセプトの堅牢な識別を実行するために、クエリーが適切に正規化されていることを要求する。図１３は、具体的な例において種々な言語学的技法がどのように使用されて、ユーザのクエリーを書き直しし、正規化し、または拡張するかを図示する。この分析は、典型的にクエリー分析モジュール１０６内で起り、修正されたクエリーを生成し、修正されたクエリーは、引き続きコア・サーチ・エンジン１０４へ送られる。
【００２３】
図１４は、一般にどのように文書分析とクエリー分析が推敲されて、文脈要約情報を可能にするかを図示する。この図はまた、自然言語クエリーの処理を、文脈要約情報へのアクセスにより、どのように改良できるかを図示する。入力文書１４０２が段落１４１０へ分解され、１４１０はさらに文１４０８へ分解される。文の内部では、特定値１４０６および１４０７を有する文書特性として、範囲がマークされる。これら文書特性は、フル／オリジナル形式および関連のベース形式の両方で記録することができる。図１４は、これの２つの例を図示する。１４０９は、日付がオリジナル形式（Ｍａｒｃｈ  ２００２）および正規化されたベース形式（２００２−０３−ＸＸ）の両方で記録される。正規化されたベース形式は、プロファイリング、範囲探索および要約情報の堅牢な発生を単純化する。同様な方法により認識される認識可能な文書特性の例には、人物名、会社名、場所、頭字語、日付、ファイル名、ＵＲＬ、電話番号、郵便番号、Ｅメール・アドレス、大学、新聞、価格情報、製品情報、番号特性、株式テロップが含まれる。文書特性は、文書内の所与の位置、文書内の間隔または範囲、文書のＸＭＬ表現の構造のいずれかに関連させることができる。
【００２４】
図１４は、１４０１において、どのように自然言語クエリーを書き直して、文脈要約情報を活用して正確性を改良できるかを図示する。入力クエリーの例「ウクライナでいつ選挙が行われたか？（Ｗｈｅｎ  ｈａｓ  Ｕｋｒａｉｎｅ  ｈａｄ  ｅｌｅｃｔｉｏｎｓ？）」が、「ウクライナ（Ｕｋｒａｉｎｅ）」と「選挙（ｅｌｅｃｔｉｏｎｓ）」のようなキー・コンセプトへ分解される。クエリー内の「いつ（Ｗｈｅｎ）」節はまたユーザが日付を求めていることを示すので、クエリーを構造化クエリーに書き直すことができ、そこでコンセプト「ウクライナ（Ｕｋｒａｉｎｅ）」と「選挙（ｅｌｅｃｔｉｏｎ（ｓ））」の間の事実関係、および同時に日付の言及が構造化クエリーへ書き直される。したがって１つの例示的な評価が、同一文の中に認識される「ウクライナ（Ｕｋｒａｉｎｅ）」、単数または複数の選挙、および日付の実体を含む全ての文を抽出することになる。これら文にわたり、要約情報が未知の日付特性について構成される。最後に「ウクライナ（Ｕｋｒａｉｎｅ）」および「選挙（ｅｌｅｃｔｉｏｎ（ｓ））」と共に事実上で起り得る日付の値が要約情報から生成される。この出力は、明白な候補を特定して、これまたはこれらを可能性のある回答としてエンド・ユーザに提示するために使用できる。こうして、文脈要約情報を使用することによりクエリー回答システムを効率的に構築できる。代わりに、可能性のある日付の値の範囲を、エンド・ユーザへ比較的に提示することが可能になり、したがって、そこで焦点を当てるべき事実関係のある日付の値をユーザが選択できる文脈ナビゲーション経験を可能とする。
【００２５】
文脈要約情報は、クエリーについて特別に関係のある文書サブセクションの識別を要求する。これを計算できる１つの方法は、文書内の近接性分析（ｐｒｏｘｉｍｉｔｙ  ａｎａｌｙｓｉｓ）に基づく。１つまたはそれ以上のクエリー用語／コンセプトが一致する文書内の用語の位置が最初に識別される。この一致は、同一性、言語学的正規化、同義語、または経験的に導かれる用語の相関のいずれかであり得る。この近接性分析は、これらの文書位置から一定のオフセット距離を有するサブセクションを選択できる。文書の意味的構造もまた、関係ある文書サブセクションの計算において、文または段落のような意味的構造の保存を確実にするために使用される。この分析はまた、種々の文書位置との重みを関係づけ、従ってこれらの位置に関する文書特性を重み付けることにより、文脈情報の後続の計算を改良することができる。文書サブセクションを計算する第２の方法は、文書をインデックス・タイムにおいてサブセクションの一組へ分割することである。典型的に同一サイズのサブセクションを選択するかまたは文書段落のような意味的構造へサブセクションを整列することにより、これを実行できる。文書テーマは、異なった文／段落にわたり通ることができるので、計算済みのサブセクションをスライディング・ウインドウの方法で重ねられるようにするのがしばしば便利でもある。
【００２６】
ＸＰａｔｈおよびＸＱｕｅｒｙは、文書サブセクションを明示的に選択し、したがってまた、これらサブセクションに関係する文書特性を選択するのに使用できる構造化クエリー言語の例である。一般に文脈要約情報の計算は、文書・サブセクションＤ→ｑ（Ｄ）のクエリー従属選択を必要とする。注意すべきは、ｑ（Ｄ）は、大きな文書にわたり選択された文のような多数の非連続的文書セクションからなり得ることである。Ｄは一致する文書を示し、ｑ（Ｄ）はＤの選択されたサブセクションである。この文書に関連する全てのトークンと属性のうち、ｑ（Ｄ）に属するトークンと属性のみが文脈要約情報を計算するために使用される。ｐはクエリー従属文書サブセクション：ｐεｑ（Ｄ）内の文書特性とする。メンバーシップ計算ｐεｑ（Ｄ）はまた、第一に文書特性に文書サブセクションを関連させることにも基づく。したがって、ある文書が一組の文書特性｛ｐＩ｝を有すると考えることができ、そこで各特性が関連文書サブセクションｐＩ（Ｄ）を有する。注意すべきは、位置実体のような文書特性の種々のインスタンスは、この枠組み内で別々に取り扱われなければならないことであり、その理由は、それらが典型的に文書内の異なった位置関係を有するからである。したがって、メンバーシップ・テストｐεｑ（Ｄ）は、ｑ（Ｄ）がｐＩ（Ｄ）と交差すれば、その場合だけｐεｑ（Ｄ）はｐεｑ（Ｄ）として遂行される。ｑ（Ｄ）およびｐＩ（Ｄ）の両方が関連の重みを有し、この重みが、バイナリのメンバーシップ・テストｐεｑ（Ｄ）を、ｑ（Ｄ）およびｐＩ（Ｄ）に応答する重みｗ（ｐＩ）で置換えることを可能にする。重みｗ（ｐＩ）は、たとえば文脈要約情報の計算において、バイナリ選択のための置き換えとして使用されて、事実関係の感度とグラデーションを改良することができる。
【００２７】
図３は、文脈要約情報の計算を図示するために同様に使用できる。ＤＩが一致文書を示し、またｐｒｓがｒ番目の文書特性のＳ番目の発生を表現すると仮定する。これらの値は、文書特性ｐｒについての文脈要約情報の計算に含まれていて、この場合Ｐｒｓ（Ｄ）とｑ（Ｄ）が交差するようなインスタンスに限定される。その上、前に説明したように選択された文書特性の関係を量化するために重みを計算することができる。非文脈要約情報に関しては、全体の結果セットにわたり、最も高い格付けの文書の一定のセットにわたり、または最も高い格付けの文書サブセクションの一定のセットにわたり、集合が実行される。
【００２８】
文脈要約情報は、数的属性について統計的情報を含み得る。これの例には、最大値、最小値、平均値、分散、順序統計量、分布変数およびヒストグラムを含む。頻度計算を、離散値を有する全ての属性に応用できる。頻度要約情報はまた、分類法などの階層構造について、親ノードが全ての子カテゴリの総発生数を示すような方法で計算できる。この結果の分類法のカウントは、分類法のビジュアル表示を実際に関係のあるカテゴリに限定して、適当な粒度レベルにおいて分類法を露出できる。文脈要約情報を発生するための数的特性およびテキスト特性に対して、監視クラスタリングと非監視クラスタリングの両方を適用できる。これの一例は、緯度、経度、位置ベクトルのような多次元ベクトルである文書特性である。文脈要約情報を計算する基礎としてオントロジーをも使用できる。オントロジーは、コンセプトが関連するグラフ構造のような表現を有する。諸特性をこの表現において識別し、またオントロジー表現にわたり分析を遂行することにより、キーコンセプトが、結果のセット内の支持情報に基づき一層よく理解され関連付けられ得る。
【００２９】
図１５は、典型的なＸＭＬ入力を図示する。この文書は階層的方法により表現され、また、他のいずれかの特性と同様に、任意のレベルにおいてテキストの特性をエンコードできる。ＸＰａｔｈおよびＸＱｕｅｒｙは、特定の特性を有する文書およびサブ文書を識別するのに使用できる構造化クエリー言語の例である。この例において、たとえば話者がクレオパトラ（Ｃｌｅｏｐａｔｒａ）であって、またシーザー（Ｃａｅｓａｒ）を示す行があるスピーチを探すことができる。図１５に示すＸＭＬ構造は、入力文書の構造であるか、または、いずれかのタイプのコンテンツについてコンテンツ分析ステップ１０３で計算されてエンコードされる構造であり得る。
【００３０】
本発明の重要な１つの実施例は、クエリーに実際に関係ある文書特性に分析を限定することにより、結果セットについての要約情報の正確さを改良することである。この改良要約情報は、より高品質の諸特性とコンテンツ発見に利用可能な特性値および結果セットのナビゲーションにより、ナビゲーション経験を強化するのに使用できる。図１６は、サーチ結果１６０２に加えて、名前サーチ１６０１がどのように要約情報を使用してナビゲートして、結果セットを探索するかを示す。１６０３は関係する名前を示し、１６０４は名前に関連する地理的位置を示し、１６０５はファースト・ネームの可能な解釈を示し、最後に１６０６は姓の可能な解釈を示す。高度に組織されたデータベースにおいては、このタイプの要約情報をグローバル文書属性に基づいて計算できる。文脈要約情報は、より大きなテキスト文書内に「隠された」名前、アドレスおよび電話番号についてさえ類似の経験を可能にする。
【００３１】
文脈要約情報を使用するナビゲーション経験は、非文脈要約情報についてのコンセプトを再利用して展開することもできるし、また、文書特性値に対して増加した事実関係を明示的に活用することもできる。ユーザ・プロファイル、ユーザ位置、日付／時間、ユーザ・セッション特徴、サイト・ナビゲーション履歴および最も重要にはクエリー特性、に応答して規則を構成することにより、構成エンジンを構築して、ビジュアル経験を制御することができる。その上、一致する文書のセットについてのキー情報を含む文書特性を、自動化手段が計算できる。これら文書特性の各々をさらに分析して、許容される値のセットをユーザに限定させることにより、潜在的な最大情報利得を有する特性を決定することができる。頻度分布エントロピーは、この分析を支持する数学的測定の一例である。たとえば、９９９の赤の例と１つのブルーの例を有する色特性は、エンド・ユーザのためのナビゲーション・オプションとして小さな付加価値を提供する。これらの要素を組み合わせることにより、効果的なナビゲーション経験がダイナミックにクエリーに依存する方法で構築でき、文脈要約情報に基づいて結果セットにわたりキー特性を強調して、ユーザがさらに結果セットを発見したり絞り込むことを可能にする。
【００３２】
図１７は、文脈方法で要約情報を計算することにより得られる正確さの大きな改良を示す。この例において、百科事典からの４００．０００の文書が文書セットとして使用されている。クエリー「サッカー（ｓｏｃｃｅｒ）」が、１７０１で使用され、文書を選択し一致する文書で識別される個人名について非文脈要約情報を遂行する。これらの名前の大部分は、文書セット内で頻繁に指摘される全くポピュラーな名前であり、それらは「サッカー（ｓｏｃｃｅｒ）」を言及するより大きな文書内でも共に起る。他方「サッカー（ｓｏｃｃｅｒ）」クエリーとこれら個人の大部分の間には事実関係が何もない。１７０２と１７０３は、文脈分析が段落レベルおよび文レベルへ限定されたときの改善された正確さを示す。文レベルのメニュにおいて、全ての個人名はクエリー項目「サッカー（ｓｏｃｃｅｒ）」と強い事実関係があり、サッカー・プレーヤーとしても知られている。
【００３３】
図１８は、図１７と同一ポイントを別のクエリーについて図示する。非文脈要約情報１８０１は、クエリーとは事実関係がない多くの名前を生成する。文脈要約情報１８０２、１８０３は、クエリーに対して密接な関係がある名前を生成する。
【００３４】
図１９は、文脈要約情報がどのようにしてクエリーのときにダイナミックな事実または関係を生成するかを示す。ダイナミックな事実が情報検索問題の範囲内で非常に強力な機構を表現し、静的な事実に関連して必要な管理を大きく削減する。静的な事実は、典型的にコンテンツ分析ステージ１０３内のインデックス・タイムにおいて、入力文書内でモデル化され、識別される。図１９の例では「月（Ｍｏｏｎ）」関係がモデル化されて、惑星土星（Ｓａｔｕｒｎ）と土星の月であるタイタン（Ｔｉｔａｎ）の間の関係を識別するために使用される。したがって、タイタン（Ｔｉｔａｎ）へのクエリーは、そうした事実を、関係するコンセプトと実体に関する情報を検索し分析するために使用する。この静的な事実アプローチは、高い粒度のコンテンツ・モデル化を必要とし、正確な維持には多くの場合非常に高くなる。代わりに、文書特性が、より粗い粒度のレベルで識別でき、また文書内部で文脈的にエンコードできる。この例において、アップ・フロント・モデル化が惑星に限定され、したがって「土星（Ｓａｔｕｒｎ）」１９０１は、入力テキスト内部で識別される。この場合文書リポジトリーの構成においてモデル化されていない「タイタン（Ｔｉｔａｎ）」をユーザが探しているが、しかし、ユーザ・コンセプト（タイタン（Ｔｉｔａｎ））と、コンテンツ・コンセプト（土星（Ｓａｔｕｒｎ））の間の事実関係がクエリーの時に検出される。したがって、文脈要約情報に基づいて得られる静的事実に類似した能力であって、しかし、はるかに少ないアップ・フロント・モデル化の利点と、サーチクエリーを介してユーザにより導かれる新しいコンセプトの完全な理解能力とを有するものが得られる。
【００３５】
図２０、図２１および図２２は、文脈要約情報を支持する文書内部の実際の事実へ戻る精密なナビゲーション経験とリンクの両方を生成するために、文脈要約情報がどのように計算され使用されるかの３つの例を図示する。図２０において、クエリーが構成されて、用語「ｉＰＯＤ」および認識された会社実態２００１の両方を含む文を識別する。文脈要約情報は、ｉＰＯＤ製品２００２に対して種々な会社がしばしば実際に関係する頻度を示すナビゲーション・メニュを生成するために使用される。更に、これら会社の各々について指示する事実のセットを抽出できる。この場合、たとえばＢＭＷが含まれている理由は、「“ＢＭＷ  ｓｅｌｌｓ  ａｎ  ａｃｃｅｓｓｏｒｙ  ｗｈｉｃｈ  ａｌｌｏｗｓ  ｄｒｉｖｅｒｓ  ｏｆ  ｗｈｅｅｌ  ｃｏｎｔｒｏｌｓ”」と述べているのが発見されたというダイナミックな事実のためである。同様に図２１は、用語「スキャンダル（ｓｃａｎｄａｌ）」と認識された会社実体２１０１の両方を含む文を構成し識別するクエリーを図示する。「スキャンダル（ｓｃａｎｄａｌ）」２１０２に対して、種々の会社がどれだけしばしば事実関係するかの頻度を示すナビゲーション・メニュを生成するために、文脈要約情報が使用される。更に、これらの会社の各々について支持する事実のセットが抽出できる。この場合、たとえばエンロン（Ｅｎｒｏｎ）が含まれるが、その理由は「“Ｍａｎｙ  ｏｆ  ｔｈｅ  ｄｏｃｕｍｅｎｔｓ  ｉｎ  ｔｈｅ  Ｅｎｒｏｎ  ａｃｃｏｕｎｔａｎｃｙ  ｓｃａｎｄａｌ  ｗｅｒｅ  ｆｅｄ  ｔｈｒｏｕｇｈ  ｔｈｅ  ｓｈｒｅｄｄｅｒ  ｔｈｅ  ｗｒｏｎｇ  ｗａｙ，  ｍａｋｉｎｇ  ｔｈｅｍ  ｅａｓｉｅｒ  ｔｏ  ｒｅａｓｓｅｍｂｌｅ”」と述べているダイナミックな事実が発見されたからである。最後に、図２２はもう少し複雑な例を示し、そこでは用語「合併（ｍｅｒｇｅｒ）」を含む文を識別するように構成されたクエリーがあり、認識された会社実体および価格属性２２０１への記述がある。文脈要約情報は、価格２２０２により量化される合併に対して、事実関係のある種々の会社が、どれだけしばしば関係するかの頻度を示すナビゲーション・メニュを生成するために使用される。更に、それらの会社の各々について、支持する事実のセットを抽出できる。この場合、たとえばボーイング社（Ｂｏｅｉｎｇ）が含まれるが、その理由は「“Ｉｎ  Ｄｅｃｅｍｂｅｒ  １９９９  Ｂｏｅｉｎｇ  ｍａｄｅ  ａ  ＄１３  ｂｉｌｌｉｏｎ  ｔａｋｅｏｖｅｒ  ｏｆｆｅｒ  ｆｏｒ  ＭｃＤｏｎｎｅｌｌ  Ｄｏｕｇｌａｓ  ａｎｄ  ｔｈｅ  ｍｅｒｇｅｒ  ｂｅｃａｍｅ  ｏｆｆｉｃｉａｌ  ｔｈｅ  ｆｏｌｌｏｗｉｎｇ  ｙｅａｒ”」と述べるダイナミックな事実が発見されたためである。
【００３６】
本発明の１つの実施例は、クエリーの曖昧性除去である。図２３は、クエリーの背後にある意図を理解して、複数の意図の解釈が可能であるならば、クエリーの曖昧性を除去するために文脈要約情報が使用される例を図示する。この例は、モバイル・サーチからのものであり、そこでユーザは「毒物（ｔｏｘｉｃ）」２３０１についてサーチした。簡単なサーチ・エンジンは、グリーンピースのホームページが毒物を指摘し、一般に良好と見られるサイトであるから、ベストであると決定するかも知れない。図２３は、サーチ・エンジンが構造化クエリーを使用して、ユーザのクエリーと文書リポジトリー内部にモデル化済みのコンセプトとの間の事実関係をどのように発見するかを示す。２３０２は、ユーザのクエリーに事実関係のある文書特性のタイプを識別する自動化クエリーを図示する。この場合文脈要約情報は、クエリーに事実関係のあることが経験的に発見される、事前にモデル化された文書特性のタイプを識別する。モバイル・サーチからの一例として、これは、音楽アーチスト（ｍｕｓｉｃ  ａｒｔｉｓｔｓ）と呼ばれる実体を生成するかも知れない。既にクエリーの意図は、発見済みになっている。複数の意図が存在するならば、２以上の文書特性が、この分析の候補として現れる。第２にクエリーが実行されて、自動発見された音楽アーチスト実体２３０４からクエリー用語に最も高頻度に事実関係のある値が決定される。この例は「ブリトニー・スピアーズ（Ｂｒｉｔｎｅｙ  Ｓｐｅａｒｓ）」を示すが、それは「毒物（ｔｏｘｉｃ）」が、たまたま彼女の歌２３０５の１つのタイトルだったからである。舞台裏で２つの自動化クエリーが、この方法により未知のユーザクエリーと内容においてモデル化されたキー・コンセプトとの間の関係を設立した。意図の２以上の解釈により、複数の特性および／または複数の支配的特性値が発見できた。クエリーが、音楽アーチスト「ブリトニー・スピアーズ（Ｂｒｉｔｎｅｙ  Ｓｐｅａｒｓ）」に事実関係があることがわかると、サーチ結果として非常に特別のオプションをユーザに提供することができる。図２３は、ブリトニー・スピアーズ（Ｂｒｉｔｎｅｙ  Ｓｐｅａｒｓ）に関係する特定の呼び出し音またはコンテンツの発見２３０６が提供されるダウンロード・アクションの２つの例を図示する。
【００３７】
図２４は、入力テキスト２４０１がＸＭＬ構造２４０３として、どのように表現されるかを示し、そこで、意味構造と文書特性は文脈の方法によりクエリーに関係付けられるようにエンコードされている。この図は、意味構造と文書特性の両方を注釈するためにオフセット範囲が使用される例を示す。
【００３８】
図２５は、クエリー書き直し規則のいくつかの例を示し、クエリーのパターン・クラスが識別されて、クエリー表現から演繹された特性により文書内部の意味構成要素を識別する構造化クエリーへ書き直される。質問−回答は、そうしたクエリー書き直しと本発明が教示する文脈要約情報とを組み合わせることにより実施できる。この例において、「いつ」および「どこで」のクエリーがマップし直されて、日付と場所についての文脈要約情報が計算される。この関連は、文書内部の事実関係内で行われ、クエリーにより暗示される他のキー・コンセプトまたは意図を維持する。
【００３９】
先行技術は、テキスト入力を分析することにより、諸実体の間の関係を捉える方法を説明する。本発明は、クエリーコンセプトと事実関係のある文書特性との間の関係をクエリーの時に検出することにより、異なった一層高度な解決方法を追及する。本発明の方法と手段はダイナミックなまたはクエリー時の分析を供給し、これは、事実関係の発見の能力を著しく強化すると共に、広範な事前のモデル化とデータ分析の必要を削減する。
【００４０】
いくつかの実施例を参照して本発明を説明してきたが、当業者に理解されるように、本発明の範囲から離れることなく種々の変更がなされ得るし均等物を置換えることができる。その上、本発明の範囲から離れることなく本発明の教示に対して特定の状況または資材を修正することができる。したがって、本発明は開示された特定の実施例に限定されることを意図するのではなく、添付の特許請求の範囲に入る全ての実施例を本発明が含むことを意図している。
【図面の簡単な説明】
【００４１】
本発明の例示的な実施例の上記の詳細な開示において本発明を詳細に議論してきたが、下記の添付図面と共に読めば一層良く理解される。
【図１】例示的なサーチ・エンジン・アーキテクチャのブロック図を示す。
【図２】グローバル文書レベル・カテゴリ、コンセプト、実体および事実をある文書と関連させて、これをナビゲーションおよび分析の目的に使用するための先行技術の解決方法。
【図３】種々の方法において、結果のセットにわたりグローバル文書レベル特性をどのように要約できるか。
【図４】構造化データおよび非構造化データのグローバル特性をどのように組み合わせて分析課題に適した数字的表現を生成するか。
【図５】クエリーと文書特性の間の文脈的関連がどのようにクエリーと検出された特性に無関係な関連を除去するか。
【図６】テキスト・データと、ビジュアル・フォーマッティング要素を含む例示的な入力テキスト。
【図７】図６の例示的なテキストを、どのようにして意味的サブセクションへ自動的に分解できるか。
【図８】典型的な分類法構造および分類法特性管理のための例示的なシステム。
【図９】入力テキストに対して最も尤度の高い文法表現を発見するスピーチ・タッギングの一部分。
【図１０】図６の例示的なテキストをどのように自動的に分析して、カテゴリのようなグローバル特性と文書の文脈内に局在する特性の両方を識別するか。
【図１１】テキストを意味的に分解して、文の内部に局在する特性により、複数の文を含む段落にすること。
【図１２】文法的手段により、どのように入力テキストを分析してキー・パターン、意味的セグメントおよびテキスト内部の実体を検出できるかの例。
【図１３】言語学的技法により、あるクエリーをどのように分析し正規化して、正規化された用語により後続の再呼び出しおよび／またはサーチの正確さを改良できるか。
【図１４】意味構造内に埋め込まれた文書特性によるテキストの意味的分解、および意味的文書構造および関連特性を使用して、自然言語のクエリーを構造化クエリーに変換するための解決方法の両方を示す。
【図１５】ＸＭＬとしてフォーマットされた例示的なテキスト。
【図１６】結果セットにわたる要約情報をどのように使用してナビゲーション経験を可能にできるか。
【図１７】文脈要約計算は、抽出された文書特性の正確さと事実レベルをどのように改良するか。
【図１８】図１７と同様に、文脈要約計算は、抽出された文書特性の正確さと事実レベルをどのように改良するか。
【図１９】インデックス・タイムにおいてモデル化された静的事実または関係と、ユーザ・コンセプトがクエリータイムにおいて文脈の方法で文書特性へ事実で関係づけられた動的事実または関係との間の相違。
【図２０】文脈要約情報計算とサーチされる文書からの支持事実の表示を遂行するためにどのように構造化クエリーが仕様されるか。
【図２１】別の例により、図２０と同じことを示す。
【図２２】別の例により、図２０と同じことを示す。
【図２３】ユーザクエリーを、あらかじめモデル化された文書特性へ関係付けることにより、クエリーの曖昧性除去がどのように遂行されるか。
【図２４】種々の文書特性または意味構造について入力テキストを意味的に構造化し、また、文書範囲を関係付けることの可能な方法。
【図２５】目標とする文脈要約情報の計算を可能にするクエリーの書き直し規則のいくつかの例。
【図１】
2008541223.tif 000003
【図２】
2008541223.tif 000004
【図３】
2008541223.tif 000005
【図４】
2008541223.tif 000006
【図５】
2008541223.tif 000007
【図６】
2008541223.tif 000008
【図７】
2008541223.tif 000009
【図８】
2008541223.tif 000010
【図９】
2008541223.tif 000011
【図１０】
2008541223.tif 000012
【図１１】
2008541223.tif 000013
【図１２】
2008541223.tif 000014
【図１３】
2008541223.tif 000015
【図１４】
2008541223.tif 000016
【図１５】
2008541223.tif 000017
【図１６】
2008541223.tif 000018
【図１７】
2008541223.tif 000019
【図１８】
2008541223.tif 000020
【図１９】
2008541223.tif 000021
【図２０】
2008541223.tif 000022
【図２１】
2008541223.tif 000023
【図２２】
2008541223.tif 000024
【図２３】
2008541223.tif 000025
【図２４】
2008541223.tif 000026
【図２５】
2008541223.tif 000027
【手続補正書】
【提出日】平成18年12月5日(2006.12.5)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
サーチ結果内の諸文書にわたる文脈要約情報を決定する方法であって、
ａ）  一組の文書へクエリーを適用するステップと、
ｂ）  一致する文書を識別するステップを含み、また、
特徴とする追加のステップとして、
ｃ）  前記一致する文書について前記各々の文書のクエリー依存サブセクションを選択するステップと、
ｄ）  前記文書サブセクションに関連する文書特性を選択するステップと、
ｅ）  結果のセットにわたり、前記文書特性について要約情報を計算するステップとを含む前記方法。
【請求項２】
前記クエリーに対応する文書用語の位置に関する近接性を計算することにより、前記クエリー依存サブセクションを決定し、また、前記計算された近接性により、前記文書の１つまたはそれ以上の決定されたサブセクションを選択することを特徴とする請求項１記載の方法。
【請求項３】
前記文書の意味構造に応答して、前記近接性計算を遂行することを特徴とする請求項２記載の方法。
【請求項４】
ばらばらかまたは部分的に重複する均等なサイズのパッセージへ前記元の文書を分解することにより、前記１つまたはそれ以上の所定のサブセクションを計算することを特徴とする請求項２記載の方法。
【請求項５】
決定された文書サブセクションと入力テキストの全文コンテンツによるリッチクエリーとの間の類似性測度を計算することにより、一致文書を識別することを特徴とする請求項２記載の方法。
【請求項６】
同一の一致を得るために言語学的に正規化された形式、同義語または経験的に引き出される用語の相関を照合することにより、対応する用語を計算することを特徴とする請求項２記載の方法。
【請求項７】
属性／値ペアをエンコードする階層構造として前記文書を表現することを特徴とする請求項１記載の方法。
【請求項８】
ＸＭＬを使用して前記階層構造を表現することを特徴とする請求項７記載の方法。
【請求項９】
ＸＰａｔｈまたはＸＱｕｅｒｙにより前記クエリー依存サブセクションを特定することを特徴とする請求項８記載の方法。
【請求項１０】
各文書の意味構造を発見してエンコードするために、前記文書のセットのインデックス・タイム分析を遂行することを特徴とする請求項１記載の方法。
【請求項１１】
前記意味構造が、タイトル、章、ビジュアル・ブロック、段落、文および実体情報を含むことを特徴とする請求項１０記載の方法。
【請求項１２】
前記文書サブセクションと各文書特性を注釈する文書範囲との間の重複分析に応答して、文書サブセクションと文書特性の間の関係を設立することを特徴とする請求項１記載の方法。
【請求項１３】
前記文書内のポイント位置、前記文書内の区間位置およびＸＭＬサブ構造の内の少なくとも１つの文書特性を注釈する範囲を前記文書内に含むことを特徴とする請求項１２記載の方法。
【請求項１４】
前記文書特性の中に個人名、会社名、場所、頭字語、日付、ファイル名、ＵＲＬ、電話番号、郵便番号、Ｅメール・アドレス、大学、新聞、価格情報、製品情報、数値特性および株式テロップの少なくとも１つの認識された実体を含むことを特徴とする請求項１記載の方法。
【請求項１５】
前記要約情報計算内に前記既存の認識された実体についての頻度情報を含むことを特徴とする請求項１４記載の方法。
【請求項１６】
前記文書セットのスピーチ分析の一部分に応答する手段により、前記文書特性を計算することを特徴とする請求項１記載の方法。
【請求項１７】
前記要約情報計算処理の基礎として、文書特性のフル形式と正規化された基本形式の両方を使用することを特徴とする請求項１記載の方法。
【請求項１８】
要約情報計算に使用される前記結果セット内の全ての一致文書を含むことを特徴とする請求項１記載の方法。
【請求項１９】
要約情報計算に使用される前記結果セット内の最高の関連点数を有する所与の数の一致文書を含むことを特徴とする請求項１記載の方法。
【請求項２０】
要約情報計算に使用される前記結果セット内の最高の関連点数を有する所与の数の抽出された文書サブセクションを含むことを特徴とする請求項１記載の方法。
【請求項２１】
数字的特性について前記要約情報統計的特性を含むことを特徴とする請求項１記載の方法。
【請求項２２】
前記統計的特性の中に最大値、最小値、平均値、分散、順序統計量、分布変数およびヒストグラムの内の少なくとも１つを含むことを特徴とする請求項２１記載の方法。
【請求項２３】
前記要約情報の中に文書特性値の頻度分析を含むことを特徴とする請求項１記載の方法。
【請求項２４】
前記文書特性値を階層構造に組織し、前記頻度分析が、前記属性値階層内の親ノードへ、頻度カウントを集約することを特徴とする請求項２３記載の方法。
【請求項２５】
階層構造を使用して用語構造を表現することを特徴とする請求項２５記載の方法。
【請求項２６】
選択された文書特性の監視または非監視のクラスタリングのためのアルゴリズムにより前記要約情報を計算することを特徴とする請求項１記載の方法。
【請求項２７】
前記文書特性内に前記文書の１つまたはそれ以上のテキスト・サブセクションを含み、前記１つまたはそれ以上のサブセクション内の個別の用語に対して前記クラスタリング・アルゴリズムが応答することを特徴とする請求項２６記載の方法。
【請求項２８】
前記文書特性が多次元属性を含み、関連する多次元空間内における類似性を定義する距離測度に対して、前記要約計算が応答することを特徴とする請求項１記載の方法。
【請求項２９】
前記多次元属性が位置を表現することを特徴とする請求項２８記載の方法。
【請求項３０】
オントロジーにおけるノードを指示するために前記文書特性を少なくとも１つを使用し、オントロジー表現にわたる出現を関連させることによるコンセプトの分析を前記要約情報計算が含むことを特徴とする請求項１記載の方法。
【請求項３１】
前記要約情報の所望の特性に基づいて、前記一致文書および前記文書サブセクションのサブセットを、ユーザが選択できるようにすることにより、文脈ナビゲーションを生成することを特徴とする請求項１記載の方法。
【請求項３２】
ユーザ・プロファイル、クエリーに関連する位置、時間、ユーザ・セッション、サイト・ナビゲーション履歴、およびクエリー特性の内の少なくとも１つに応答する規則によって、ナビゲーション・オプションとして表現される文書特性を選択することを特徴とする請求項３１記載の方法。
【請求項３３】
文脈文書特性の自動化分析測定および特定の文脈文書特性についての許容値の限定における潜在的情報利得に応答して、ナビゲーション・オプションとして提示される文書特性を選択することを特徴とする請求項３１記載の方法。
【請求項３４】
クエリーにより暗示される興味の文書特性を識別することと、
クエリー内のキー・コンセプトと用語を識別することとに基づいて、
自動的に修正されるクエリーを使用して、自然言語クエリーに解答することを特徴とする請求項１記載の方法。
【請求項３５】
＜人物＞実体を認識するための「誰」クエリーをマッピングすること、
＜位置＞実体を認識するための「どこ」クエリーをマッピングすることおよび
＜日付／時間＞実体を認識するための＜いつ＞クエリーをマッピングすること、
の内の少なくとも１つを、暗示された文書特性の識別のために使用することを特徴とする請求項３４記載の方法。
【請求項３６】
前記クエリーに暗示される直接回答を含み得る文書特性を識別することと、
文書特性とクエリーコンセプトの間の事実関係を保証する局地化された文書サブセクションを選択することと、
前記事実関係を保証する文書サブセクションにわたり、暗示される文書特性について要約情報を計算することと、に基づいた質問回答能力を含むことを特徴とする請求項１記載の方法。
【請求項３７】
前記局地化された文書サブセクションとして文を使用することを特徴とする請求項３６記載の方法。
【請求項３８】
目標とする関係についての既知のパターンが検出される文法分析により、前記局地化された文書サブセクションを識別することを特徴とする請求項３６記載の方法。
【請求項３９】
クエリーコンセプトと文書特性の間の事実関係を保証する文書サブセクション内のユーザクエリーに関係する文書特性を識別することと、
前記識別された文書特性について支配的な値を識別することおよび、
前記識別された文書特性と関連の支配的な値とに応答する修正された方法により前記ユーザクエリーを評価することとに基づく、
クエリー曖昧性除去を含むことを特徴とする請求項１記載の方法。
【請求項４０】
前記識別された文書特性と前記関連の支配的な値に応答してのサーチ結果の提示を含むことを特徴とする請求項３９記載の方法。
【手続補正書】
【提出日】平成20年1月7日(2008.1.7)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
サーチ結果内の諸文書にわたる文脈要約情報を決定する方法であって、前記方法は、
ａ）  一組の文書へクエリーを適用するステップと、
ｂ）  一致する文書を識別するステップを含み、また、
前記方法の特徴とする追加のステップとして、
ｃ）  前記一致する文書について前記各々の文書のクエリー依存サブセクションを選択するステップと、
ｄ）  前記文書サブセクションに関連する文書特性を選択するステップと、
ｅ）  すくなくとも１つの前記一致文書を含む結果のセットにわたり、前記文書特性について要約情報を計算するステップとを含む前記方法。
【請求項２】
前記クエリーに対応する文書用語の位置に関する近接性を計算することにより、前記少なくとも１つのクエリー依存サブセクションを決定し、前記文書の意味構造に応答して前記計算を遂行し、前記計算された近接性により前記少なくとも１つの決定されたサブセクションを選択し、ばらばらまたは部分的に重なり合う均等サイズのパッセージへ前記元の文書を分解することにより前記１つまたはそれ以上の決定されたサブセクションを特に計算することを特徴とする請求項１記載の方法。
【請求項３】
決定された文書サブセクションと入力テキストの全文コンテンツによるリッチクエリーとの間の類似性測度を計算すること、または同一の一致を得るために言語学的に正規化された形式、同義語または経験的に引き出される用語の相関を照合することで対応する用語を計算することにより、一致文書を識別することを特徴する請求項２記載の方法。
【請求項４】
特性および／または値ペアをエンコードして階層構造として前記文書を表現すること、好ましくはＸＭＬを使用して前記階層構造を表現すること、そしてそのとき好ましくはＸＰａｔｈまたはＸＱｕｅｒｙにより前記クエリー依存サブセクションを特定することを特徴とする請求項１記載の方法。
【請求項５】
各文書の意味構造を発見してエンコードするために、前記文書のセットのインデックス・タイム分析を遂行すること、および前記意味構造内に、タイトル、章、ビジュアル・ブロック、段落、文および実体情報の内の少なくとも１つを含むことを特徴とする請求項１記載の方法。
【請求項６】
２つまたはそれ以上の文書サブセクションおよび各文書特性を注釈する文書範囲の間の重なり合い分析、前記重なり合い分析の結果に応答する文書サブセクションと文書特性の間の関連付けを遂行し、文書特性を注釈する前記文書範囲内に、前記文書内のポイント位置、前記文書内の間隔位置、およびＸＭＬサブ構造の内の少なくとも１つを含むことを特徴とする請求項１記載の方法。
【請求項７】
前記文書特性の中に個人名、会社名、位置、頭字語、日付、ファイル名、ＵＲＬ、電話番号、郵便番号、Ｅメール・アドレス、大学、新聞、価格情報、製品情報、数値特性および株式テロップの少なくとも１つの認識された実体を含み、また好ましくは前記要約情報計算内に前記既存の認識された実体についての頻度情報を含むことを特徴とする請求項１記載の方法。
【請求項８】
前記文書セットのスピーチ分析の一部分に応答する手段により、前記文書特性を計算することを特徴とする請求項１記載の方法。
【請求項９】
前記要約情報計算処理の基礎として、文書特性のフル形式と正規化された基本形式の両方を使用することを特徴とする請求項１記載の方法。
【請求項１０】
要約情報計算に使用される前記結果セット内の全ての一致文書を含み、または要約情報計算に使用される前記結果セット内の最高の関連点数を有する所与の数の一致文書の１つ、または要約情報計算に使用される前記結果セット内の最高の関連点数を有する所与の数の抽出された文書サブセクション、または両方を含むことを特徴とする請求項１記載の方法。
【請求項１１】
数字的特性について前記要約情報統計的特性を含み、前記統計的特性が最大値、最小値、平均値、分散、順序統計量、分布変数およびヒストグラムの内の少なくとも１つを含むことを特徴とする請求項１記載の方法。
【請求項１２】
前記要約情報の中に文書特性値の頻度分析を含み、前記文書特性値を階層構造に組織し、前記頻度分析が前記属性値階層内の親ノードへ頻度カウントを集約し、それにより前記階層構造が好ましくは用語構造を表現することを特徴とする請求項１記載の方法。
【請求項１３】
選択された文書特性の監視または非監視のクラスタリングのためのアルゴリズムにより前記要約情報を計算し、前記文書特性は好ましくは前記文書特性内に前記文書の１つまたはそれ以上のテキスト・サブセクションを含み、それから前記クラスタリング・アルゴリズムが前記１つまたはそれ以上のサブセクション内の個別の用語に対して応答し、または前記要約計算に、関連の多次元空間内で類似性を定義する距離測度に応答させ、前記文書特性は、位置を表現する多次元属性を含み、またオプションとしてオントロジーにおけるノードを指示するために前記文書特性を少なくとも１つを使用し、オントロジー表現にわたる出現を関連させることによるコンセプトの分析を前記要約情報計算が含むことを特徴とする請求項１記載の方法。
【請求項１４】
前記要約情報の所望の特性に基づいて、前記一致文書および前記文書サブセクションのサブセットを、ユーザが選択できるようにすることにより、文脈ナビゲーションを実現し、ユーザ・プロファイル、クエリーに関連する位置、時間、ユーザ・セッション、サイト・ナビゲーション履歴、およびクエリー特性の内の少なくとも１つに応答する規則によって、ナビゲーション・オプションとして表現される文書特性の選択に基づいて、または文脈文書特性の自動化分析測定および特定の文脈文書特性についての許容値の限定における潜在的情報利得に応答して、ナビゲーション・オプションとして提示される文書特性を選択することを特徴とする請求項１記載の方法。
【請求項１５】
前記クエリーに暗示される直接回答を含み得る文書特性を識別すること、または
文書特性とクエリーコンセプトの間の事実関係を保証する局地化された文書サブセクションを選択すること、および
前記事実関係を保証する文書サブセクションにわたり、暗示される文書特性について要約情報を計算すること、のうち少なくとも１つに基づいた質問回答能力を含み、前記局地化された文書サブセクションは好ましくは文であり、好ましくは目標とする関係についての既知のパターンがそこで検出される文法分析により、前記局地化された文書サブセクションを識別することを特徴とする請求項１記載の方法。
【請求項１６】
クエリーコンセプトと文書特性の間の事実関係を保証する文書サブセクション内のユーザクエリーに関係する文書特性を識別すること、または
前記識別された文書特性について支配的な値を識別すること、または
前記識別された文書特性と関連の支配的な値とに応答する修正された方法により前記ユーザクエリーを評価して、それから好ましくは、前記識別された文書特性と前記関連の支配的な値に応答してのサーチ結果の提示することの内の少なくとも１つによるクエリー曖昧性除去を含むことを特徴とする請求項１記載の方法。
【請求項１７】
クエリーにより暗示される興味の文書特性を識別すること、または
クエリー内のキー・コンセプトと用語を識別することのうち少なくとも１つに基づいて、
自動的に修正されるクエリーを使用して、自然言語クエリーに解答し、
＜人物＞実体を認識するための「誰」クエリーをマッピングすること、
＜位置＞実体を認識するための「どこ」クエリーをマッピングすることおよび
＜日付／時間＞実体を認識するための＜いつ＞クエリーをマッピングすること、
の内の少なくとも１つを、前記暗示される文書特性の識別のために使用することを特徴とする請求項１記載の方法。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【書類名】明細書
【発明の名称】諸文書にわたる文脈要約情報の決定方法
【０００１】
本発明は、サーチ結果内の諸文書にわたる文脈要約情報を決定する方法に関し、前記方法は、一組の文書へクエリーするステップと、一致する文書を識別するステップとを含む。
【０００２】
特に、本発明は、文書リポジトリーから項目または文書を抽出するためにユーザクエリーが使用される、情報検索方法と手段に関する。本明細書を通じて、用語「文書」は、サーチ可能なあらゆる実体を指示するために使用され、従って、例えばテキスト文書、データベース記録、またはＸＭＬ構造を意味する。
【背景技術】
【０００３】
データベースとサーチ・エンジンの両方の技術における先行技術システムは、文書に特性を関連させて、結果セットにわたる要約情報を計算するように設計されてきた。この解決方法は、文書に構造が全くないか、または限られた構造しかない場合に、適用可能である。これの一例が財務記録であって、あるクエリーがある所与のユーザからの取引を選択し、その要約情報は全ての取引の総合計である。もう１つの例は買い物サーチであって、そこである文書がｍｐ３プレーヤまたはテレビ画面などの製品を表示する。価格とメーカはこの場合典型的な文書特性であって、関連要約情報はユーザクエリーおよび利用可能なメーカの配給により選択される製品ついての典型的な製品価格ヒストグラムを生成する。
【０００４】
一層複雑な文書構造については、要約情報についての先験的な技術は、かなりの制限を有する。たとえば、大きなＰＤＦ文書が第５頁のクエリー要求に一致するとき、第２３７頁の特定コンセプトについて話すかもしれない。このユーザクエリーとコンセプトの間の実際の関係がある可能性はこの場合非常に低いということである。文書内部の文脈または事実のレベルについての能力よりもよりも、むしろ要約情報を計算する能力を供給すれば、抽出される要約情報の品質レベルが大きく改善されるであろうと考えられる。
【発明の開示】
【発明が解決しようとする課題】
【０００５】
本発明の目的は、結果セットにわたる文脈要約情報を計算するための一般的な枠組みを提供すること、クエリーと文書特性の間のより多くの事実関係を使用して、検索される情報に応用される分析処理、サーチ処理およびナビゲーション処理の大きな改良を達成することである。
【課題を解決するための手段】
【０００６】
上記の目的は、さらなる特徴と利点と共に本発明による方法で実現されるが、その方法の特徴は、一致文書について各文書のクエリー依存サブセクションを選択するステップと、この文書サブセクションに関連する文書特性を選択するステップと、前記一致文書の少なくとも１つを含む結果セットにわたる文書特性についての要約情報を計算するステップとを含む。
【０００７】
本発明の方法の１つの有利な実施例は、ユーザ・プロファイル、クエリーに関連する位置、時間、ユーザ・セッション、サイト・ナビゲーション履歴、およびクエリー特性の内の少なくとも１つに応答する規則によりナビゲーション・オプションとして提示される文書特性の選択に基づき、または文脈文書属性の存在の自動測定と特定文脈文書特性の許容値の限定におけるポテンシャル情報利得とを測定する自動化分析に応答して、前記要約情報の所望の特性に基づいて一致文書と一致文書のサブセクションをユーザが選択できるようにして、文脈ナビゲーションを実現する。
【０００８】
本発明の方法のもう１つの実施例は、クエリーにより暗示される直接回答を含み得る文書特性を識別すること、または文書特性とクエリーコンセプトの間の事実関係を保証する局地化された文書特性を選択すること、および前記事実関係を保証する文書サブセクションにわたり前記暗示された文書特性について要約情報を計算することとを含み、また前記局地化された文書サブセクションは好ましくは文であり、前記局地化された文書サブセクションを文法的分析により識別し、この文法的分析において目標とする関係について既知のパターンが検出される。
【０００９】
本発明の方法のさらなる実施例は、クエリーコンセプトと文書特性の間の事実関係を保証する文書サブセクション内で、少なくとも１つの一致文書特性がユーザクエリーに関係することによるクエリー曖昧性除去を提供し、前記識別された文書特性について支配値を識別し、または前記識別された文書特性と前記関連の支配値に応答する修正された方法でユーザを評価し、それから好ましくは前記識別された文書特性および前記関連の支配値に応答してサーチ結果を提示する。
【００１０】
本発明の方法のなおさらなる実施例は、
クエリーにより暗示される興味の文書特性を識別すること、または
クエリー内のキー・コンセプトと用語を識別することのうち少なくとも１つに基づいて、
自動的に修正されるクエリーを使用して、自然言語クエリーに解答し、
＜人物＞実体を認識するための「誰」クエリーをマッピングすること、
＜位置＞実体を認識するための「どこ」クエリーをマッピングすることおよび
＜日付／時間＞実体を認識するための＜いつ＞クエリーをマッピングすること、
の内の少なくとも１つを、前記暗示される文書特性の識別のために使用することを含む。
【００１１】
本発明の追加的な特徴の利点は、添付の従属請求項から明らかになる。
【実施例】
【００１２】
一般に本発明は、サーチ結果における諸文書にわたる文脈要約情報を計算する手段と動作に関する。本発明は、文書内の局所的な構造を文書特性に関連させる種々な方法を教示する。本発明はまた、文書内の局所的構造を選択するために、どのようにクエリーを使用できるかについて教示する。この目的のために、局所的文書特性とユーザクエリーの間の関係を計算する方法が開示される。この能力は、文脈要約情報を計算するために使用され、そこで局所的文書特性は文脈的方法において結果セットにわたりプロファイルされる。計算された文脈要約情報は、多数の分析処理および関連ビジュアリゼーション方式についての価値ある洞察を含む。
【００１３】
本発明の１つの実施例は、クエリー目的と目標文書特性の間の強力な関連を確実にするために、文脈的方法における結果にわたり要約情報を計算することに関する。もう１つの実施例は、文脈要約情報に基づいて改良されたナビゲーション・システムをどのように構築できるかを教示する。もう１つの実施例は特定の分析を使用して、クエリーの目標とする文書特性を決定し、これを文脈要約計算に組み合わせて、クエリー回答のための改良された情報の基礎を生成する。もう１つの実施例は、クエリーの曖昧性を排除するために、構築された文脈要約情報をどのように使用できるかを教示する。もう１つの実施例は、クエリー再書込みと文脈要約情報を使用して、自然言語クエリーをどのように取り扱えるかを改良する。
【００１４】
図１は、サーチ・エンジンの典型的な主要構成要素を示す。１０１は、コンテンツリポジトリーを図示し、そこで、コンテンツはサーチ・エンジンへ能動的にプッシュされるかまたはデータ・コネクタを介してサーチ・エンジンへプルされる。典型的なリポジトリーは、データベース、ＩｎｆｏｒｍａｔｉｃａなどのようなＥＴＬツールを介して利用可能なソース、ＸＭＬフォーマットされたあらゆるリポジトリー、ファイル・サーブからのファイル、ウエブ・サーバからのファイル、文書管理システム、コンテンツ管理システム、Ｅメール・システム、通信システム、コラボレーション・システム、およびオーディオ、画像およびビデオのようなリッチ・メディアを含む。文書は、コンテンツＡＰＩ１２０を介してサーチ・エンジンへ提出される。続いて、コンテンツはコンテンツ分析ステージ１０３で分析されて、それにより改善されたサーチおよび発見動作のためにコンテンツが用意される。典型的にこのステージの出力は、入力文書のＸＭＬ表現である。コンテンツ分析の出力は、コア・サーチ・エンジン１０９へ供給するために使用される。コア・サーチ・エンジンは、典型的に分散的方法でサーバのファームにわたり展開され、それにより文書の大きなセットおよび高いクエリー負荷を処理できるようにされる。コア・サーチ・エンジンは、ユーザ要求を受け付けて一致文書のリストを生成することができる。文書の順序付けは、クエリーに関する所与の文書の尤もらしい重要度を測定する関係モデルにより通常決定される。その上、コア・サーチ・エンジンが、文書特性についての要約情報のような結果セットについて、追加のメタ・データを生成できる。代わりにコンテンツ分析ステージの出力を、警告エンジン１０５へフィードすることができる。警告エンジンは、一組のクエリーを記憶していて、所定文書入力を受け入れ済みであるクエリーを決定できる。サーチ・エンジンは、多数の異なったクライアントまたはアプリケーションからアクセスされることができる。１０９および１１０は、モバイルおよびコンピュータ・ベースのクライアントアプリケーションを図示する。それらのクライアントが、サーチ・エンジンクエリーＡＰＩ１０８へ要求を出す。サーチ・エンジンは、典型的にクエリー１０６を分析し、絞り込む手段を有し、それにより導かれたクエリーが一層有意義な情報を抽出するように構成される。最後に、コア・サーチ・エンジン１０４からの出力は、典型的にさらに分析されて、クライアント１０９および１１０に使用される情報またはビジュアリゼーションを生成する。
【００１５】
図２は、文書にグローバルに関連する属性についての要約情報を計算するために、先行技術のシステムがどのように設計されてきたかを図示する。２０１は、サンプル入力文書を図示する。入力文書のコンテンツ分析１０３は、入力文書に関連する多くのグローバル属性を引き出すために使用できる。図２は、分類法における割り当てられたカテゴリ２０２、識別されたコンセプト２０３、人物および大学などの識別された実体２０４、および所与の大学２０６で働いている所与の人物のようなインデックス・タイムにおいて発見される静的な事実又は関係などのいくつかの例を与える。グローバル文書特性は、引き続き文書ＩＤ２０７と関連付けられ、そしてこの情報は、分析、ナビゲーションおよびビジュアリゼーション２０８を含むアプリケーションの大きなセットのために使用される。
【００１６】
図３は、先行技術のシステムがグローバル文書特性のために文書要約情報をどのように計算するかを図示する。クエリーは、最初に評価されてＮ個の一致文書の一組を返す。それから、関連モデルが使用されて、クエリー（Ｄ１＞Ｄ２＞..ＤＮ）に関して最も価値あるものから最も価値のないものまで文書を格付けする。典型的に最高格付け文書の所与の番号はクライアントに返されて、結果ページを構築するために使用される。この文書に関連する属性は、元のコンテンツリポジトリーからのメタデータまたはコンテンツ分析１０３の内部で発見済みのメタデータの両方であり得る。要約情報は、一定数の最高格付け文書に基づいて計算されるか、またはクエリーを満足する全てのＮ個の文書に基づいて計算される。図２、図３および図４は、頻度、ヒストグラムおよび統計的パラメータなど要約情報のいくつかの例を図示する。
【００１７】
図４は、典型的な先行技術のシナリオにおいて、分析および分類の目的で、構造化データとテキストから抽出された特性を、ビジネス・インテリジェンス・アプリケーションが、どのように組み合わせるかを図示する。入力テキスト４０１が分析されて文書ベクトル４０３を生成し、そこで文書内のキー用語とコンセプトが重みを割り当てられ、テキストの多元的表現内の次元として扱われる。単一値分解または基本構成要素分析４０４がしばしば使用されて、モデルの複雑性を減少させ、後続の分析のために直交した情報を獲得する。テキストがこの方法で純粋に構造化された表現４０５に変換され、これは、いずれかの構造化メタデータ４０２と組み合わされて、一般に伝統的な分類、予測モデルまたは分析的処理のための基礎を生成することができる。
【００１８】
図５は、グローバル文書レベル上の先行技術の要約計算に関連する重要な問題を図示する。第１の例は、クエリー「ブリザード（Ｂｌｉｚｚａｒｄ）」が「カナダ（Ｃａｎａｄａ）」、「西欧（Ｗｅｓｔｅｒｎ  Ｅｕｒｏｐｅ）」、「マサチューセッツ（Ｍａｓｓａｃｈｕｓｅｔｔｓ）」、「ピッツバーグ（Ｐｉｔｔｓｂｕｒｇｈ）」、「ドイツ（Ｇｅｒｍａｎｙ）」、「ガンタナモ湾（Ｇｕａｎｔａｎａｍｏ  Ｂａｙ）」および「マリブ（Ｍａｌｉｂｕ）」を含む多数の地理的位置にどのようにリンクするかを例示する。「マサチューセッツ（Ｍａｓｓａｃｈｕｓｅｔｔｓ）」は「ブリザード（Ｂｌｉｚｚａｒｄ）」クエリー用語と実際に関係するが、他の全てはクエリー「ブリザード（Ｂｌｉｚｚａｒｄ）」と同じ文書に偶然に現れるだけである。図２および図３で説明した要約情報を計算する先行技術の方法は、誤った地理的要約情報の全てを含み、また、要約情報の後続の使用の全てがこの高度な雑音の構成要素により影響される。これの一例は、ナビゲーションの経験であり、そこでユーザは要約情報のビジュアリゼーションから希望する特性値を識別する。図５は、また本発明の教示による文脈的な方法を図示し、実際に関係する文書特性にクエリーを結びつける。クエリー「反テロリズム（ｃｏｕｎｔｅｒｔｅｒｒｏｒｉｓｍ）」は、意味的な文書サブセクションを選択する。同様に地理的実体などの文書特性を、文書内部の位置または範囲に関連させることができる。従って、この例では「ガンタナモ湾（Ｇｕａｎｔａｎａｍｏ  Ｂａｙ）」および「ドイツ（Ｇｅｒｍａｎｙ）」のみが、クエリーに文脈的に関係する文書特性として抽出される。クエリーと文書特性の間のこの文脈関係分析は、誤った関連の雑音要素を劇的に削減し、従って抽出された文脈情報の品質は、高くなる。要約情報に基づく全ての後続の分析またはビジュアリゼーション・ステップは、対応する正確性の改良を享受する。
【００１９】
図１で説明したように、分析されるコンテンツは、データベース、ＩｎｆｏｒｍａｔｉｃａのようなＥＴＬツールを介して利用可能なソース、あらゆるＸＭＬフォーマットされたリポジトリー、ファイル・サーブからのファイル、ウエブ・サーバからのファイル、文書管理システム、コンテンツ管理システム、Ｅメール・システム、通信システム、コラボレーション・システム、およびオーディオ、画像およびビデオなどのリッチ・メディアを含む多数のソースから来る。これらのデータ・ソースの多くは、ターゲット・コンテンツ分析１０３を実行することにより、要約情報の効率的な計算のためにさらに改良することができる。図６は、タイトル、所属などの暗黙のビジュアル構造を含む論文の例示的な入力を図示する。コンテンツ分析ステージ１０３の内部で自動化手段が展開して、語彙、文法的パターン、フォーマッティングおよびビジュアル・レイアウトに応答する規則を使用することにより、意味的構造を認識することができる。図７は、図６からの入力情報がどのように分析されて、タイトル部７０１、著者部７０２、所属部７０３、アブストラクト７０４などの情報の意味的ブロックへ、テキストが分解されることを示す。図８は、グローバル特性の一例を図示し、そこで、分類法からのカテゴリが文書に与えられる。８０１は、階層的分類法の一例を示し、図はそうした分類法がどのように管理され更新され熟練されるかについて、典型的なユーザ・フロント・エンドを示している。
【００２０】
図９は、パート・オブ・スピーチ（ｐａｒｔ−ｏｆ−ｓｐｅｅｃｈ）分析により、テキスト・コンテンツがどのように分析されて、この文書内の用語の最もふさわしい文法的解釈が決定できるかを示す。そうした分析の出力は、名詞／名詞表現のような汎用文書特性を識別するために使用できる。さらなる分析は、文脈の方法において高度に目標を定めた文書属性をエンコードできる特定の用語、コンセプトまたは表現パターンへ、汎用文法解釈を向けることができる。図１０は、「ｍｅｄｉｃａｌ」カテゴリ割り当てのようなグローバル属性を、どのようにして入力文書に関連させるかを示す。さらに、３つの例示的な実体が元の文書の文脈内に識別される。図１０は、著者名１００２、研究所１００３、および科学コンセプト１０４などが、元の入力文書内でどのように識別済みであるかを図示する。
【００２１】
指摘のように、図７は、入力テキストをどのように分解して、アプリケーションに特定の意味的構造にするかを図示する。図１１は、タイトル、章、ビジュアル・ブロック、段落、文などの汎用意味コンセプトおよび実体情報を、どのようにして自動的に識別できるかを図示する。図１１は、段落内部の複数の文・セグメント１１０３および文構造内部に位置する種々の実体１１０４による、１つの文書の段落分解を図示する。意味的分解は、実体認識のために利用可能な種々の技法に加えて、文の区切りおよび段落の区切りなどのトークンの識別のような単純な要素を使用できる。文法にエンコードされた一層精密なパターンをテキストに突き合わせることも可能であり、文法内のテキスト・ノードの間の一致関係を使用して、文書の文脈的分解を生成することができる。図１２はこれの例を示し、ここで単純な文法１２０２が使用されて、入力テキスト１２０１を分析して、文法構造に一致するキー・テキスト・セグメント１２０３を識別する。
【００２２】
文脈要約情報は、クエリーコンセプト発生の文脈的一致と、文書特性の位置を要求する。したがって、高品質の抽出は、文書内の対応する用語とコンセプトの堅牢な識別を実行するために、クエリーが適切に正規化されていることを要求する。図１３は、具体的な例において種々な言語学的技法がどのように使用されて、ユーザのクエリーを書き直しし、正規化し、または拡張するかを図示する。この分析は、典型的にクエリー分析モジュール１０６内で起り、修正されたクエリーを生成し、修正されたクエリーは、引き続きコア・サーチ・エンジン１０４へ送られる。
【００２３】
図１４は、一般にどのように文書分析とクエリー分析が推敲されて、文脈要約情報を可能にするかを図示する。この図はまた、自然言語クエリーの処理を、文脈要約情報へのアクセスにより、どのように改良できるかを図示する。入力文書１４０２が段落１４１０へ分解され、１４１０はさらに文１４０８へ分解される。文の内部では、特定値１４０６および１４０７を有する文書特性として、範囲がマークされる。これら文書特性は、フル／オリジナル形式および関連のベース形式の両方で記録することができる。図１４は、これの２つの例を図示する。１４０９は、日付がオリジナル形式（Ｍａｒｃｈ  ２００２）および正規化されたベース形式（２００２−０３−ＸＸ）の両方で記録される。正規化されたベース形式は、プロファイリング、範囲探索および要約情報の堅牢な発生を単純化する。同様な方法により認識される認識可能な文書特性の例には、人物名、会社名、場所、頭字語、日付、ファイル名、ＵＲＬ、電話番号、郵便番号、Ｅメール・アドレス、大学、新聞、価格情報、製品情報、番号特性、株式テロップが含まれる。文書特性は、文書内の所与の位置、文書内の間隔または範囲、文書のＸＭＬ表現の構造のいずれかに関連させることができる。
【００２４】
好ましくは、本発明の１つの実施例において、自然言語クエリーを書き直して重要関心事の文書特性を特定する構造的フォーマットにすることができる。文脈要約情報をこれらの特性にわたり計算することができ、高品質で目標を絞った結果を構築するのに使用できる。
図１４は、１４０１において、どのように自然言語クエリーを書き直して、文脈要約情報を活用して正確性を改良できるかを図示する。入力クエリーの例「ウクライナでいつ選挙が行われたか？（Ｗｈｅｎ  ｈａｓ  Ｕｋｒａｉｎｅ  ｈａｄ  ｅｌｅｃｔｉｏｎｓ？）」が、「ウクライナ（Ｕｋｒａｉｎｅ）」と「選挙（ｅｌｅｃｔｉｏｎｓ）」のようなキー・コンセプトへ分解される。クエリー内の「いつ（Ｗｈｅｎ）」節はまたユーザが日付を求めていることを示すので、クエリーを構造化クエリーに書き直すことができ、そこでコンセプト「ウクライナ（Ｕｋｒａｉｎｅ）」と「選挙（ｅｌｅｃｔｉｏｎ（ｓ））」の間の事実関係、および同時に日付の言及が構造化クエリーへ書き直される。したがって１つの例示的な評価が、同一文の中に認識される「ウクライナ（Ｕｋｒａｉｎｅ）」、単数または複数の選挙、および日付の実体を含む全ての文を抽出することになる。これら文にわたり、要約情報が未知の日付特性について構成される。最後に「ウクライナ（Ｕｋｒａｉｎｅ）」および「選挙（ｅｌｅｃｔｉｏｎ（ｓ））」と共に事実上で起り得る日付の値が要約情報から生成される。この出力は、明白な候補を特定して、これまたはこれらを可能性のある回答としてエンド・ユーザに提示するために使用できる。こうして、文脈要約情報を使用することによりクエリー回答システムを効率的に構築できる。代わりに、可能性のある日付の値の範囲を、エンド・ユーザへ比較的に提示することが可能になり、したがって、そこで焦点を当てるべき事実関係のある日付の値をユーザが選択できる文脈ナビゲーション経験を可能とする。
【００２５】
文脈要約情報は、クエリーについて特別に関係のある文書サブセクションの識別を要求する。これを計算できる１つの方法は、文書内の近接性分析（ｐｒｏｘｉｍｉｔｙ  ａｎａｌｙｓｉｓ）に基づく。１つまたはそれ以上のクエリー用語／コンセプトが一致する文書内の用語の位置が最初に識別される。この一致は、同一性、言語学的正規化、同義語、または経験的に導かれる用語の相関のいずれかであり得る。この近接性分析は、これらの文書位置から一定のオフセット距離を有するサブセクションを選択できる。文書の意味的構造もまた、関係ある文書サブセクションの計算において、文または段落のような意味的構造の保存を確実にするために使用される。この分析はまた、種々の文書位置との重みを関係づけ、従ってこれらの位置に関する文書特性を重み付けることにより、文脈情報の後続の計算を改良することができる。文書サブセクションを計算する第２の方法は、文書をインデックス・タイムにおいてサブセクションの一組へ分割することである。典型的に同一サイズのサブセクションを選択するかまたは文書段落のような意味的構造へサブセクションを整列することにより、これを実行できる。文書テーマは、異なった文／段落にわたり通ることができるので、計算済みのサブセクションをスライディング・ウインドウの方法で重ねられるようにするのがしばしば便利でもある。
【００２６】
ＸＰａｔｈおよびＸＱｕｅｒｙは、文書サブセクションを明示的に選択し、したがってまた、これらサブセクションに関係する文書特性を選択するのに使用できる構造化クエリー言語の例である。一般に文脈要約情報の計算は、文書・サブセクションＤ→ｑ（Ｄ）のクエリー従属選択を必要とする。注意すべきは、ｑ（Ｄ）は、大きな文書にわたり選択された文のような多数の非連続的文書セクションからなり得ることである。Ｄは一致する文書を示し、ｑ（Ｄ）はＤの選択されたサブセクションである。この文書に関連する全てのトークンと属性のうち、ｑ（Ｄ）に属するトークンと属性のみが文脈要約情報を計算するために使用される。ｐはクエリー従属文書サブセクション：ｐεｑ（Ｄ）内の文書特性とする。メンバーシップ計算ｐεｑ（Ｄ）はまた、第一に文書特性に文書サブセクションを関連させることにも基づく。したがって、ある文書が一組の文書特性｛ｐＩ｝を有すると考えることができ、そこで各特性が関連文書サブセクションｐＩ（Ｄ）を有する。注意すべきは、位置実体のような文書特性の種々のインスタンスは、この枠組み内で別々に取り扱われなければならないことであり、その理由は、それらが典型的に文書内の異なった位置関係を有するからである。したがって、メンバーシップ・テストｐεｑ（Ｄ）は、ｑ（Ｄ）がｐＩ（Ｄ）と交差すれば、その場合だけｐεｑ（Ｄ）はｐεｑ（Ｄ）として遂行される。ｑ（Ｄ）およびｐＩ（Ｄ）の両方が関連の重みを有し、この重みが、バイナリのメンバーシップ・テストｐεｑ（Ｄ）を、ｑ（Ｄ）およびｐＩ（Ｄ）に応答する重みｗ（ｐＩ）で置換えることを可能にする。重みｗ（ｐＩ）は、たとえば文脈要約情報の計算において、バイナリ選択のための置き換えとして使用されて、事実関係の感度とグラデーションを改良することができる。
【００２７】
前記の図３は、文脈要約情報の計算を図示するために、同様に使用できる。ＤＩが一致文書を示し、またｐｒｓがｒ番目の文書特性のＳ番目の発生を表現すると仮定する。これらの値は、文書特性ｐｒについての文脈要約情報の計算に含まれていて、この場合Ｐｒｓ（Ｄ）とｑ（Ｄ）が交差するようなインスタンスに限定される。その上、前に説明したように選択された文書特性の関係を量化するために重みを計算することができる。非文脈要約情報に関しては、全体の結果セットにわたり、最も高い格付けの文書の一定のセットにわたり、または最も高い格付けの文書サブセクションの一定のセットにわたり、集合が実行される。
【００２８】
文脈要約情報は、数的属性について統計的情報を含み得る。これの例には、最大値、最小値、平均値、分散、順序統計量、分布変数およびヒストグラムを含む。頻度計算を、離散値を有する全ての属性に応用できる。頻度要約情報はまた、分類法などの階層構造について、親ノードが全ての子カテゴリの総発生数を示すような方法で計算できる。この結果の分類法のカウントは、分類法のビジュアル表示を実際に関係のあるカテゴリに限定して、適当な粒度レベルにおいて分類法を露出できる。文脈要約情報を発生するための数的特性およびテキスト特性に対して、監視クラスタリングと非監視クラスタリングの両方を適用できる。これの一例は、緯度、経度、位置ベクトルのような多次元ベクトルである文書特性である。文脈要約情報を計算する基礎としてオントロジーをも使用できる。オントロジーは、コンセプトが関連するグラフ構造のような表現を有する。諸特性をこの表現において識別し、またオントロジー表現にわたり分析を遂行することにより、キーコンセプトが、結果のセット内の支持情報に基づき一層よく理解され関連付けられ得る。
【００２９】
図１５は、典型的なＸＭＬ入力を図示する。この文書は階層的方法により表現され、また、他のいずれかの特性と同様に、任意のレベルにおいてテキストの特性をエンコードできる。ＸＰａｔｈおよびＸＱｕｅｒｙは、特定の特性を有する文書およびサブ文書を識別するのに使用できる構造化クエリー言語の例である。この例において、たとえば話者がクレオパトラ（Ｃｌｅｏｐａｔｒａ）であって、またシーザー（Ｃａｅｓａｒ）を示す行があるスピーチを探すことができる。図１５に示すＸＭＬ構造は、入力文書の構造であるか、または、いずれかのタイプのコンテンツについてコンテンツ分析ステップ１０３で計算されてエンコードされる構造であり得る。
【００３０】
本発明の重要な１つの実施例は、クエリーに実際に関係ある文書特性に分析を限定することにより、結果セットについての要約情報の正確さを改良することである。この改良要約情報は、より高品質の諸特性とコンテンツ発見に利用可能な特性値および結果セットのナビゲーションにより、ナビゲーション経験を強化するのに使用できる。図１６は、サーチ結果１６０２に加えて、名前サーチ１６０１がどのように要約情報を使用してナビゲートして、結果セットを探索するかを示す。１６０３は関係する名前を示し、１６０４は名前に関連する地理的位置を示し、１６０５はファースト・ネームの可能な解釈を示し、最後に１６０６は姓の可能な解釈を示す。高度に組織されたデータベースにおいては、このタイプの要約情報をグローバル文書属性に基づいて計算できる。文脈要約情報は、より大きなテキスト文書内に「隠された」名前、アドレスおよび電話番号についてさえ類似の経験を可能にする。
【００３１】
有利な実施例において、本発明は、ユーザが効果的に探索して結果セットを絞り込めるようにするナビゲーション・システムを実現することにより、文脈ナビゲーションの可能性を提供する。この場合、文脈情報は、クエリーコンセプトに文脈的に関係した結果セット内の重要特性、を例示するエンド・ユーザ・ナビゲーション・オプションを、選択し構築するための基礎として使用される。
文脈要約情報を使用するナビゲーション経験は、非文脈要約情報についてのコンセプトを再利用して展開することもできるし、また、文書特性値に対して増加した事実関係を明示的に活用することもできる。ユーザ・プロファイル、ユーザ位置、日付／時間、ユーザ・セッション特徴、サイト・ナビゲーション履歴および最も重要にはクエリー特性、に応答して規則を構成することにより、構成エンジンを構築して、ビジュアル経験を制御することができる。その上、一致する文書のセットについてのキー情報を含む文書特性を、自動化手段が計算できる。これら文書特性の各々をさらに分析して、許容される値のセットをユーザに限定させることにより、潜在的な最大情報利得を有する特性を決定することができる。頻度分布エントロピーは、この分析を支持する数学的測定の一例である。たとえば、９９９の赤の例と１つのブルーの例を有する色特性は、エンド・ユーザのためのナビゲーション・オプションとして小さな付加価値を提供する。これらの要素を組み合わせることにより、効果的なナビゲーション経験がダイナミックにクエリーに依存する方法で構築でき、文脈要約情報に基づいて結果セットにわたりキー特性を強調して、ユーザがさらに結果セットを発見したり絞り込むことを可能にする。
【００３２】
図１７は、文脈方法で要約情報を計算することにより得られる正確さの大きな改良を示す。この例において、百科事典からの４００．０００の文書が文書セットとして使用されている。クエリー「サッカー（ｓｏｃｃｅｒ）」が、１７０１で使用され、文書を選択し一致する文書で識別される個人名について非文脈要約情報を遂行する。これらの名前の大部分は、文書セット内で頻繁に指摘される全くポピュラーな名前であり、それらは「サッカー（ｓｏｃｃｅｒ）」を言及するより大きな文書内でも共に起る。他方「サッカー（ｓｏｃｃｅｒ）」クエリーとこれら個人の大部分の間には事実関係が何もない。１７０２と１７０３は、文脈分析が段落レベルおよび文レベルへ限定されたときの改善された正確さを示す。文レベルのメニュにおいて、全ての個人名はクエリー項目「サッカー（ｓｏｃｃｅｒ）」と強い事実関係があり、サッカー・プレーヤーとしても知られている。
【００３３】
図１８は、図１７と同一ポイントを別のクエリーについて図示する。非文脈要約情報１８０１は、クエリーとは事実関係がない多くの名前を生成する。文脈要約情報１８０２、１８０３は、クエリーに対して密接な関係がある名前を生成する。
【００３４】
図１９は、文脈要約情報がどのようにしてクエリーのときにダイナミックな事実または関係を生成するかを示す。ダイナミックな事実が情報検索問題の範囲内で非常に強力な機構を表現し、静的な事実に関連して必要な管理を大きく削減する。静的な事実は、典型的にコンテンツ分析ステージ１０３内のインデックス・タイムにおいて、入力文書内でモデル化され、識別される。図１９の例では「月（Ｍｏｏｎ）」関係がモデル化されて、惑星土星（Ｓａｔｕｒｎ）と土星の月であるタイタン（Ｔｉｔａｎ）の間の関係を識別するために使用される。したがって、タイタン（Ｔｉｔａｎ）へのクエリーは、そうした事実を、関係するコンセプトと実体に関する情報を検索し分析するために使用する。この静的な事実アプローチは、高い粒度のコンテンツ・モデル化を必要とし、正確な維持には多くの場合非常に高くなる。代わりに、文書特性が、より粗い粒度のレベルで識別でき、また文書内部で文脈的にエンコードできる。この例において、アップ・フロント・モデル化が惑星に限定され、したがって「土星（Ｓａｔｕｒｎ）」１９０１は、入力テキスト内部で識別される。この場合文書リポジトリーの構成においてモデル化されていない「タイタン（Ｔｉｔａｎ）」をユーザが探しているが、しかし、ユーザ・コンセプト（タイタン（Ｔｉｔａｎ））と、コンテンツ・コンセプト（土星（Ｓａｔｕｒｎ））の間の事実関係がクエリーの時に検出される。したがって、文脈要約情報に基づいて得られる静的事実に類似した能力であって、しかし、はるかに少ないアップ・フロント・モデル化の利点と、サーチクエリーを介してユーザにより導かれる新しいコンセプトの完全な理解能力とを有するものが得られる。
本発明の好ましい実施例において、文書特性とクエリーコンセプトの間に一層正確な関係を形成することにより、質問回答能力を拡張することができる。それからサブセクションにわたり文脈要約情報を計算することにより、文書特性とクエリーの間の関係を得ることができる。局地化されたサブセクションは好ましくは文レベルであり、それから文法的分析により識別を有利に実現できる。文書を返すことに加えて、クエリーもまた分析され、クエリーに対する実際の回答を含む文書特性が検出される。それから文脈要約情報は、残りのクエリーコンセプトに事実関係のある文脈内で、これらの特性について計算される。その結果の文脈要約情報は、単一の回答を有するクエリーと、ある範囲の回答の候補を有するクエリーの両方に答えるための基礎として、使用できる。
【００３５】
文脈要約情報を一層正確で同時的なものにするための対策における基礎であって、また、上記の図１４の議論に関して指摘されたようなクエリーについて、結果の文書サブセクションの識別を供給するものにより、これから図２０、図２１および図２３により、文脈要約情報を支持する文書内部の実際の事実へ戻る精密なナビゲーション経験とリンクの両方を生成するために文脈要約情報がどのように計算され使用されるかの３つの例を図解する。図２０において、クエリーが構成されて、用語「ｉＰＯＤ」および認識された会社実態２００１の両方を含む文を識別する。文脈要約情報は、ｉＰＯＤ製品２００２に対して種々な会社がしばしば実際に関係する頻度を示すナビゲーション・メニュを生成するために使用される。更に、これら会社の各々について指示する事実のセットを抽出できる。この場合、たとえばＢＭＷが含まれている理由は、「“ＢＭＷ  ｓｅｌｌｓ  ａｎ  ａｃｃｅｓｓｏｒｙ  ｗｈｉｃｈ  ａｌｌｏｗｓ  ｄｒｉｖｅｒｓ  ｏｆ  ｗｈｅｅｌ  ｃｏｎｔｒｏｌｓ”」と述べているのが発見されたというダイナミックな事実のためである。同様に図２１は、用語「スキャンダル（ｓｃａｎｄａｌ）」と認識された会社実体２１０１の両方を含む文を構成し識別するクエリーを図示する。「スキャンダル（ｓｃａｎｄａｌ）」２１０２に対して、種々の会社がどれだけしばしば事実関係するかの頻度を示すナビゲーション・メニュを生成するために、文脈要約情報が使用される。更に、これらの会社の各々について支持する事実のセットが抽出できる。この場合、たとえばエンロン（Ｅｎｒｏｎ）が含まれるが、その理由は「“Ｍａｎｙ  ｏｆ  ｔｈｅ  ｄｏｃｕｍｅｎｔｓ  ｉｎ  ｔｈｅ  Ｅｎｒｏｎ  ａｃｃｏｕｎｔａｎｃｙ  ｓｃａｎｄａｌ  ｗｅｒｅ  ｆｅｄ  ｔｈｒｏｕｇｈ  ｔｈｅ  ｓｈｒｅｄｄｅｒ  ｔｈｅ  ｗｒｏｎｇ  ｗａｙ，  ｍａｋｉｎｇ  ｔｈｅｍ  ｅａｓｉｅｒ  ｔｏ  ｒｅａｓｓｅｍｂｌｅ”」と述べているダイナミックな事実が発見されたからである。最後に、図２２はもう少し複雑な例を示し、そこでは用語「合併（ｍｅｒｇｅｒ）」を含む文を識別するように構成されたクエリーがあり、認識された会社実体および価格属性２２０１への記述がある。文脈要約情報は、価格２２０２により量化される合併に対して、事実関係のある種々の会社が、どれだけしばしば関係するかの頻度を示すナビゲーション・メニュを生成するために使用される。更に、それらの会社の各々について、支持する事実のセットを抽出できる。この場合、たとえばボーイング社（Ｂｏｅｉｎｇ）が含まれるが、その理由は「“Ｉｎ  Ｄｅｃｅｍｂｅｒ  １９９９  Ｂｏｅｉｎｇ  ｍａｄｅ  ａ  ＄１３  ｂｉｌｌｉｏｎ  ｔａｋｅｏｖｅｒ  ｏｆｆｅｒ  ｆｏｒ  ＭｃＤｏｎｎｅｌｌ  Ｄｏｕｇｌａｓ  ａｎｄ  ｔｈｅ  ｍｅｒｇｅｒ  ｂｅｃａｍｅ  ｏｆｆｉｃｉａｌ  ｔｈｅ  ｆｏｌｌｏｗｉｎｇ  ｙｅａｒ”」と述べるダイナミックな事実が発見されたためである。
【００３６】
本発明のもう１つの好ましい実施例において、クエリーの曖昧性を除去することが目標である。そのとき文脈要約情報は、ユーザクエリーの可能な解釈を理解するために使用される。図２３で、クエリーの背後にある意図を理解して、複数の意図の解釈が可能であるならば、クエリーの曖昧性を除去するために文脈要約情報が使用される例が図示されている。この例は、モバイル・サーチからのものであり、そこでユーザは「毒物（ｔｏｘｉｃ）」２３０１についてサーチした。簡単なサーチ・エンジンは、グリーンピースのホームページが毒物を指摘し、一般に良好と見られるサイトであるから、ベストであると決定するかも知れない。図２３は、サーチ・エンジンが構造化クエリーを使用して、ユーザのクエリーと文書リポジトリー内部にモデル化済みのコンセプトとの間の事実関係をどのように発見するかを示す。２３０２は、ユーザのクエリーに事実関係のある文書特性のタイプを識別する自動化クエリーを図示する。この場合文脈要約情報は、クエリーに事実関係のあることが経験的に発見される、事前にモデル化された文書特性のタイプを識別する。モバイル・サーチからの一例として、これは、音楽アーチスト（ｍｕｓｉｃ  ａｒｔｉｓｔｓ）と呼ばれる実体を生成するかも知れない。既にクエリーの意図は、発見済みになっている。複数の意図が存在するならば、２以上の文書特性が、この分析の候補として現れる。第２にクエリーが実行されて、自動発見された音楽アーチスト実体２３０４からクエリー用語に最も高頻度に事実関係のある値が決定される。この例は「ブリトニー・スピアーズ（Ｂｒｉｔｎｅｙ  Ｓｐｅａｒｓ）」を示すが、それは「毒物（ｔｏｘｉｃ）」が、たまたま彼女の歌２３０５の１つのタイトルだったからである。舞台裏で２つの自動化クエリーが、この方法により未知のユーザクエリーと内容においてモデル化されたキー・コンセプトとの間の関係を設立した。意図の２以上の解釈により、複数の特性および／または複数の支配的特性値が発見できた。クエリーが、音楽アーチスト「ブリトニー・スピアーズ（Ｂｒｉｔｎｅｙ  Ｓｐｅａｒｓ）」に事実関係があることがわかると、サーチ結果として非常に特別のオプションをユーザに提供することができる。図２３は、ブリトニー・スピアーズ（Ｂｒｉｔｎｅｙ  Ｓｐｅａｒｓ）に関係する特定の呼び出し音またはコンテンツの発見２３０６が提供されるダウンロード・アクションの２つの例を図示する。
【００３７】
図２４は、意味構造と文書特性の両方を注釈するために、オフセット範囲が使用されている例を示す。例えば入力テキスト２４０１はＸＭＬ構造２４０３として表現され、そこで意味構造と文書特性は、それらが文脈的方法で相関できるようにエンコードされる。
【００３８】
図１４の議論に関して前述したように、自然言語によるクエリーを書き直して、文脈要約情報の正確さを改良することができる。本発明の好ましい実施例において、例えば「誰」、「どこ」、「どのように」の使用により、それぞれ人、位置、および時間（日付）に関する実体を認識できるようになるように自動的に修正することにより、クエリーを自然言語で回答できる。
図２５は、クエリー書き直し規則のいくつかの例を示し、クエリーのパターン・クラスが識別されて、クエリー表現から演繹された特性により文書内部の意味構成要素を識別する構造化クエリーへ書き直される。質問−回答は、そうしたクエリー書き直しと本発明が教示する文脈要約情報とを組み合わせることにより実施できる。この例において、「いつ」および「どこで」のクエリーがマップし直されて、日付と場所についての文脈要約情報が計算される。この関連は、文書内部の事実関係内で行われ、クエリーにより暗示される他のキー・コンセプトまたは意図を維持する。
【００３９】
先行技術は、テキスト入力を分析することにより、諸実体の間の関係を捉える方法を説明する。本発明は、クエリーコンセプトと事実関係のある文書特性との間の関係をクエリーの時に検出することにより、異なった一層高度な解決方法を追及する。本発明の方法と手段はダイナミックなまたはクエリー時の分析を供給し、これは、事実関係の発見の能力を著しく強化すると共に、広範な事前のモデル化とデータ分析の必要を削減する。
【００４０】
いくつかの実施例を参照して本発明を説明してきたが、当業者に理解されるように、本発明の範囲から離れることなく種々の変更がなされ得るし均等物を置換えることができる。その上、本発明の範囲から離れることなく本発明の教示に対して特定の状況または資材を修正することができる。したがって、本発明は開示された特定の実施例に限定されることを意図するのではなく、添付の特許請求の範囲に入る全ての実施例を本発明が含むことを意図している。
【図面の簡単な説明】
【００４１】
本発明の例示的な実施例の上記の詳細な開示において本発明を詳細に議論してきたが、下記の添付図面と共に読めば一層良く理解される。
【図１】例示的なサーチ・エンジン・アーキテクチャのブロック図を示す。
【図２】グローバル文書レベル・カテゴリ、コンセプト、実体および事実をある文書と関連させて、これをナビゲーションおよび分析の目的に使用するための先行技術の解決方法。
【図３】種々の方法において、結果のセットにわたりグローバル文書レベル特性をどのように要約できるか。
【図４】構造化データおよび非構造化データのグローバル特性をどのように組み合わせて分析課題に適した数字的表現を生成するか。
【図５】クエリーと文書特性の間の文脈的関連がどのようにクエリーと検出された特性に無関係な関連を除去するか。
【図６】テキスト・データと、ビジュアル・フォーマッティング要素を含む例示的な入力テキスト。
【図７】図６の例示的なテキストを、どのようにして意味的サブセクションへ自動的に分解できるか。
【図８】典型的な分類法構造および分類法特性管理のための例示的なシステム。
【図９】入力テキストに対して最も尤度の高い文法表現を発見するスピーチ・タッギングの一部分。
【図１０】図６の例示的なテキストをどのように自動的に分析して、カテゴリのようなグローバル特性と文書の文脈内に局在する特性の両方を識別するか。
【図１１】テキストを意味的に分解して、文の内部に局在する特性により、複数の文を含む段落にすること。
【図１２】文法的手段により、どのように入力テキストを分析してキー・パターン、意味的セグメントおよびテキスト内部の実体を検出できるかの例。
【図１３】言語学的技法により、あるクエリーをどのように分析し正規化して、正規化された用語により後続の再呼び出しおよび／またはサーチの正確さを改良できるか。
【図１４】意味構造内に埋め込まれた文書特性によるテキストの意味的分解、および意味的文書構造および関連特性を使用して、自然言語のクエリーを構造化クエリーに変換するための解決方法の両方を示す。
【図１５】ＸＭＬとしてフォーマットされた例示的なテキスト。
【図１６】結果セットにわたる要約情報をどのように使用してナビゲーション経験を可能にできるか。
【図１７】文脈要約計算は、抽出された文書特性の正確さと事実レベルをどのように改良するか。
【図１８】図１７と同様に、文脈要約計算は、抽出された文書特性の正確さと事実レベルをどのように改良するか。
【図１９】インデックス・タイムにおいてモデル化された静的事実または関係と、ユーザ・コンセプトがクエリータイムにおいて文脈の方法で文書特性へ事実で関係づけられた動的事実または関係との間の相違。
【図２０】文脈要約情報計算とサーチされる文書からの支持事実の表示を遂行するためにどのように構造化クエリーが仕様されるか。
【図２１】別の例により、図２０と同じことを示す。
【図２２】別の例により、図２０と同じことを示す。
【図２３】ユーザクエリーを、あらかじめモデル化された文書特性へ関係付けることにより、クエリーの曖昧性除去がどのように遂行されるか。
【図２４】種々の文書特性または意味構造について入力テキストを意味的に構造化し、また、文書範囲を関係付けることの可能な方法。
【図２５】目標とする文脈要約情報の計算を可能にするクエリーの書き直し規則のいくつかの例。