(57)【要約】【課題】質問句と応答句との間にかなりの量の語彙的な変動及び文法的な変動がある場合であっても、質問に回答することを可能にする。【解決手段】テキストをテキスト部分に分割し、テキスト部分ごとに構成要素構造を決定し、テキスト部分ごとに機能構造を決定し、線形化転換規則を決定し、前記線形化転換規則に基づいて、各機能構造の特徴付け述語トリプルを決定する。指定エンティティ、共参照、語彙的エントリ、意味論的−構造的関係、属性及び単語間の部分・全体関係（ｍｅｔｒｏｎｙｍｉｃ）情報の内の少なくとも１つを含む導出特徴を各テキスト部分から抽出し、前記構成要素構造、前記特徴付け述語トリプル、及び前記導出特徴に基づいて、テキスト部分ごとに標準化された表現を決定し、前記テキスト部分の前記標準化された表現に基づいて、構造インデックスを決定する。【選択図】図３
2007087401.tif 000002
【特許請求の範囲】
【請求項１】
テキストを取り出す入出力手段と、
線形化規則を記憶する線形化規則記憶構造部と、
取り出された前記テキストをテキスト部分に分割するプロセッサと、
前記テキスト部分の構成要素構造を決定する構成要素構造決定手段と、
前記テキスト部分の機能構造を決定する機能構造決定手段と、
特徴付け述語トリプルを決定するために、前記機能構造に、前記線形化規則記憶構造から線形化規則を適用する特徴付け述語トリプル決定手段と、
指定エンティティ、共参照、語彙的エントリ、意味論的−構造的関係、属性及び単語間の部分・全体関係情報の少なくとも１つを、前記テキスト部分から抽出する導出特徴抽出手段と、
前記構成要素構造、前記特徴付け述語トリプル、導出特徴に基づいて、前記テキスト部分の標準化された表現を生成し、構造自然言語インデックス記憶構造に該表現を記憶するインデックス手段と、
を備える自然言語テキストのインデクシングシステム。
【請求項２】
前記プロセッサが前記テキストを文に分割する、請求項１に記載の自然言語テキストのインデクシングシステム。
【請求項３】
前記機能構造がゼロックス言語環境を使用して決定される、請求項１に記載の自然言語テキストのインデクシングシステム。
【請求項４】
前記線形化規則が、受身化の標準化、二重目的語構造の標準化、及び冗長な情報の破棄、の内の少なくとも１つを、前記機能構造において実行する、請求項３に記載の自然言語テキストのインデクシングシステム。
【請求項５】
標準化された形式の語彙的エントリの変動が、全ワードの意味、各ワードの意味の全同義語、ワードの意味ごとに与えられるオントロジーの集合での全上位語、ワードの意味ごとの第１レベルの上位語、を含む、請求項１に記載の自然言語テキストのインデクシングシステム。
【請求項６】
情報がワードネットオントロジーから抽出される、請求項５に記載の自然言語テキストのインデクシングシステム。
【請求項７】
質問を取り出す入出力手段と、
前記質問を質問タイプに分類する質問分類手段と、
線形化規則を記憶する線形化規則記憶構造部と、
前記質問の構成要素構造を決定する構成要素構造決定手段と、
前記質問の機能構造を決定する機能構造決定手段と、
特徴付け述語トリプルを決定するために、前記機能構造に、前記線形化規則記憶構造から線形化規則を適用する特徴付け述語トリプル決定手段と、
指定エンティティ、共参照、語彙的エントリ、意味論的−構造的関係、属性及び単語間の部分・全体関係情報の内の少なくとも１つを、前記質問から抽出する導出特徴抽出手段と、
前記構成要素構造、前記特徴付け述語トリプル及び導出特徴に基づいて、前記質問の標準的な表現を生成するインデックス手段であって、プロセッサが前記質問の標準的な表現を取り出された構造自然言語インデックス記憶構造のエントリに突き合せる、インデックス手段と、
生成文法、及び、前記構造自然言語インデックス記憶構造の一致するエントリの特徴付け述語トリプル及び構成要素構造の少なくとも一方、に基づいて、応答を生成し、該応答を表示する生成手段と、
を備える構造自然言語インデックスを探索するための質問テンプレート生成システム。
【請求項８】
前記機能構造がゼロックス言語環境を使用して決定される、請求項７に記載の質問テンプレート生成システム。
【請求項９】
前記線形化規則が、受身化の標準化、二重目的語構造の標準化、及び冗長な情報の破棄の内の少なくとも１つを、前記機能構造において実行する、請求項８に記載の質問テンプレート生成システム。
【請求項１０】
テキストをテキスト部分に分割し、
テキスト部分ごとに構成要素構造を決定し、
テキスト部分ごとに機能構造を決定し、
線形化転換規則を決定し、
前記線形化転換規則に基づいて、各機能構造の特徴付け述語トリプルを決定し、
指定エンティティ、共参照、語彙的エントリ、意味論的−構造的関係、属性及び単語間の部分・全体関係情報の内の少なくとも１つを含む導出特徴を各テキスト部分から抽出し、
前記構成要素構造、前記特徴付け述語トリプル、及び前記導出特徴に基づいて、テキスト部分ごとに標準化された表現を決定し、
前記テキスト部分の前記標準化された表現に基づいて、構造インデックスを決定する、
自然言語テキストのインデクシング方法。
【請求項１１】
前記テキストが文に分割される、請求項１０に記載の自然言語テキストのインデクシング方法。
【請求項１２】
前記機能構造がゼロックス言語環境を使用して決定される、請求項１０に記載の自然言語テキストのインデクシング方法。
【請求項１３】
前記線形化転換規則が、受身化の標準化、二重目的語構造の標準化、及び冗長な情報の破棄の少なくとも１つを、前記機能構造において実行する、請求項１２に記載の自然言語テキストのインデクシング方法。
【請求項１４】
標準化された形式の語彙的エントリの変動が、全ワードの意味、各ワードの意味の全同義語、ワードの意味ごとに与えられたオントロジーの集合での全上位語、ワードの意味ごとの該第１のレベルの上位語、を含む、請求項１１に記載の自然言語テキストのインデクシング方法。
【請求項１５】
情報がワードネットオントロジーから抽出される、請求項１４に記載の自然言語テキストのインデクシング方法。
【請求項１６】
質問の構成要素構造を決定し、
前記質問の機能構造を決定し、
線形化転換規則を決定し、
前記線形化転換規則に基づいて、各機能構造の特徴付け述語トリプルを決定し、
指定エンティティ、共参照、語彙的エントリ、意味論的−構造的関係、属性及び単語間の部分・全体関係情報の内の少なくとも１つを含む、導出特徴を前記質問から抽出し、
前記構成要素構造、前記特徴付け述語トリプル、及び前記導出特徴に基づいて、前記質問の標準化された表現を決定し、
前記質問の前記標準化された表現及び質問タイプに基づいて、標準化された形式について標準化された形式の構造インデックスを探索し、
生成文法、及び、一致するエントリの何れかの前記特徴付け述語トリプル及び前記構成要素構造の内の少なくとも１つ、に基づいて、応答を生成する、
構造自然言語インデックスを探索するための質問テンプレート生成方法。
【請求項１７】
前記機能構造がゼロックス言語環境を使用して決定される、請求項１６に記載の質問テンプレート生成方法。
【請求項１８】
前記線形化転換規則が、受身化の標準化、二重目的語構造の標準化、及び冗長情報の破棄の内の少なくとも１つを、前記機能構造において実行する、請求項１７に記載の方法。
【請求項１９】
テキストをテキスト部分に分割するステップと、
テキスト部分ごとに構成要素構造を決定するステップと、
テキスト部分ごとに機能構造を決定するステップと、
線形化転換規則を決定するステップと、
前記線形化転換規則に基づいて、各機能構造の特徴付け述語トリプルを決定するステップと、
指定エンティティ、共参照、語彙的エントリ、意味論的−構造的関係、属性及び単語間の部分・全体関係情報の内の少なくとも１つを含む導出特徴を、各テキスト部分から抽出するステップと、
前記構成要素構造、前記特徴付け述語トリプル、及び前記導出特徴に基づいて、テキスト部分ごとに標準化された表現を決定するステップと、
前記テキスト部分の標準化された表現に基づいて、構造インデックスを決定するステップと、
を含む自然言語テキストへ構造インデックスを付ける機能をプロセッサに実行させるプログラム。
【請求項２０】
質問の構成要素構造を決定するステップと、
前記質問の機能構造を決定するステップと、
線形化転換規則を決定するステップと、
前記線形化転換規則に基づいて、各機能構造の特徴付け述語トリプルを決定するステップと、
指定エンティティ、共参照、語彙的エントリ、意味論的−構造的関係、属性及び単語間の部分・全体関係情報の少なくとも１つを含む導出特徴を、前記質問から抽出するステップと、
前記構成要素構造、前記特徴付け述語トリプル、及び前記導出特徴に基づいて、前記質問の標準化された表現を決定するステップと、
前記質問の標準化された表現及び質問タイプに基づいて、標準化された形式について標準化された形式の構造インデックスを探索するステップと、
生成文法、及び、任意の一致するエントリの前記特徴付け述語トリプル及び前記構成要素構造の少なくとも１つ、に基づいて、応答を生成するステップと、
を含む自然言語テキストの構造インデックスを探索する機能をプロセッサに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は情報検索(information retrieval)に関する。詳細には、本発明は、自然言語テキストのインデクシングシステム、構造自然言語インデックスを探索するための質問テンプレート生成システム、自然言語テキストのインデクシング方法、構造自然言語インデックスを探索するための質問テンプレート生成方法、自然言語テキストへ構造インデックスを付ける機能をプロセッサに実行させるプログラム、自然言語テキストの構造インデックスを探索する機能をプロセッサに実行させるプログラムに関する。
【背景技術】
【０００２】
従来のインデクシングシステムは、通常、テキスト文書中のワードの出現(presence)及び再出現(recurrence)をカウントすることにより機能する。他の従来のインデクシングシステムは概念間の緩やかな意味論相関を計算し、インデックスを付ける。通常、キーワードの集合を含む文書を選択することにより、大きな文書集合体から情報が抽出される。いくつかのケースでは、正確な句の探索を使用して、またはスライドウィンドウ等のファジーな方法によって、用語近接関係性が照会時に使用される。これらの従来の手法はあるユーザのニーズを満たすかもしれない。しかしながら、これらの従来の手法は、概念、エンティティ、イベント間で取得される関係に関する、より複雑且つ意味論に動機付けられる制約を満たす正確な情報を抽出することはできない（例えば、非特許文献１、２）。
【０００３】
【非特許文献１】フール、Ｎら（FUHR, N. et al.）、「文書インデクシング及び確率モデルに基づいて重み付けした用語の探索の最適化（"Optimizing Document Indexing and Search Term Weighting Based on Probabilistic Models"）」、TREC、１９９２年
【非特許文献２】ウィッテン、Ｉ．Ｈ．ら（WITTEN, I.H. et al.）、「ギガバイトを管理する（"Managing Gigabytes"）」、モルガンカウフマン出版（Morgan Kaufmann Publishers）、１９９９年
【非特許文献３】ポラニら(Polanyi et al)、「規則ベース会話構文分析手法（Ａ  Ｒｕｌｅ  Ｂａｓｅｄ  Ａｐｐｒｏａｃｈ  ｔｏ  Ｄｉｓｃｏｕｒｓｅ  Ｐａｒｓｉｎｇ）」、米国マサチューセッツ州ケンブリッジ（Ｃａｍｂｒｉｄｇｅ  ＭＡ  ＵＳＡ）、会話及びダイアログに関する第５回ＳＩＧＤＩＡＬワークショップ会議録（Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  ｔｈｅ  ５ｔｈ  ＳＩＧＤＩＡＬ  Ｗｏｒｋｓｈｏｐ  ｉｎ  Ｄｉｓｃｏｕｒｓｅ  ａｎｄ  Ｄｉａｌｏｇｕｅ）、２００４年５月１日、１０８〜１１７ページ
【発明の開示】
【発明が解決しようとする課題】
【０００４】
本発明の課題は、質問句と応答句との間にかなりの量の語彙的な変動及び文法的な変動がある場合であっても、質問に回答することを可能にすることである。
【課題を解決するための手段】
【０００５】
自然言語テキストの効率的な構造インデクシングのためのシステム及び方法は、構文構造、代名詞追跡、指定エンティティ検出及び語彙意味論に基づいて、自然言語のステートメントを標準形式に変換する。本発明によるシステム及び方法は、多様なレベルでの語彙変動及び文法変動にロバストに対処し、テキストの中で言語学的に表される高水準の概念の説明の複数の表現を明らかにする。プレインデクシングは、純粋に用語に基づいた検索システムに相当する照会処理効率を提供する。情報抽出のため、自然言語の質問に応答するため、の文書及び文章の検索は、さらに高次の構造情報のための文書にインデックスを付けることにより改善される。コーパスの中のテキストはテキスト部分に分割される。構文構造、指定エンティティ、共参照情報及びフラグメントの言語属性(speech attribution of the fragments)が決定される。構文構造、指定エンティティ、共参照情報及びフラグメントの言語属性は、効率的なインデクシングのために線形形式に平板化された、構文的に及び意味論的に相互接続される情報である。テキスト部分の構成要素構造、平坦化された構文的−意味論的相互接続情報、及び、指定エンティティ、共参照、語彙エントリ、意味論的−構造的関係、属性及び単語間の部分・全体関係(meronymic)情報を抽出することにより得られる導出特徴に基づいて、標準形式は決定される。本発明によるシステム及び方法は質問句と応答句との間の語彙の変動と文法的な変動とに対処することができる。動詞から派生した名詞の意味論的な構造と主題的な構造とに関する語彙リソースが採掘され、質問または照会の構文的構造から逸脱する変動を明らかにするためにコーパスの中で相互インデックスを付けられる。
【０００６】
本発明の第１の態様は、自然言語テキストのインデクシングシステムであって、テキストを取り出す入出力手段と、線形化規則を記憶する線形化規則記憶構造部と、取り出された前記テキストをテキスト部分に分割するプロセッサと、前記テキスト部分の構成要素構造を決定する構成要素構造決定手段と、前記テキスト部分の機能構造を決定する機能構造決定手段と、特徴付け述語トリプルを決定するために、前記機能構造に、前記線形化規則記憶構造から線形化規則を適用する特徴付け述語トリプル決定手段と、指定エンティティ、共参照、語彙的エントリ、意味論的−構造的関係、属性及び単語間の部分・全体関係（ｍｅｒｏｎｙｍｉｃ）情報の少なくとも１つを、前記テキスト部分から抽出する導出特徴抽出手段と、前記構成要素構造、前記特徴付け述語トリプル、導出特徴に基づいて、前記テキスト部分の標準化された表現を生成し、構造自然言語インデックス記憶構造に該表現を記憶するインデックス手段と、を備える。
【０００７】
本発明の第２の態様は、第１の態様の自然言語テキストのインデクシングシステムであって、前記プロセッサが前記テキストを文に分割する。
【０００８】
本発明の第３の態様は、第１の態様の自然言語テキストのインデクシングシステムであって、前記機能構造がゼロックス言語環境（Ｘｅｒｏｘ  Ｌｉｎｇｕｉｓｔｉｃ  Ｅｎｖｉｒｏｎｍｅｎｔ）を使用して決定される。
【０００９】
本発明の第４の態様は、第３の態様の自然言語テキストのインデクシングシステムであって、前記線形化規則が、受身化の標準化、二重目的語構造の標準化、及び冗長な情報の破棄、の内の少なくとも１つを、前記機能構造において実行する。
【００１０】
本発明の第５の態様は、第１の態様の自然言語テキストのインデクシングシステムであって、標準化された形式の語彙的エントリの変動が、全ワードの意味、各ワードの意味の全同義語、ワードの意味ごとに与えられるオントロジーの集合での全上位語、ワードの意味ごとの第１レベルの上位語、を含む。
【００１１】
本発明の第６の態様は、第５の態様の自然言語テキストのインデクシングシステムであって、情報がワードネット（ＷｏｒｄＮｅｔ）オントロジーから抽出される。
【００１２】
本発明の第７の態様は、構造自然言語インデックスを探索するための質問テンプレート生成システムであって、質問を取り出す入出力手段と、前記質問を質問タイプに分類する質問分類手段と、線形化規則を記憶する線形化規則記憶構造部と、前記質問の構成要素構造を決定する構成要素構造決定手段と、前記質問の機能構造を決定する機能構造決定手段と、特徴付け述語トリプルを決定するために、前記機能構造に、前記線形化規則記憶構造から線形化規則を適用する特徴付け述語トリプル決定手段と、指定エンティティ、共参照、語彙的エントリ、意味論的−構造的関係、属性及び単語間の部分・全体関係（ｍｅｒｏｎｙｍｉｃ）情報の内の少なくとも１つを、前記質問から抽出する導出特徴抽出手段と、前記構成要素構造、前記特徴付け述語トリプル及び導出特徴に基づいて、前記質問の標準的な表現を生成するインデックス手段であって、プロセッサが前記質問の標準的な表現を取り出された構造自然言語インデックス記憶構造のエントリに突き合せる、インデックス手段と、生成文法、及び、前記構造自然言語インデックス記憶構造の一致するエントリの特徴付け述語トリプル及び構成要素構造の少なくとも一方、に基づいて、応答を生成し、該応答を表示する生成手段と、を備える。
【００１３】
本発明の第８の態様は、第７の態様の質問テンプレート生成システムであって、前記機能構造がゼロックス言語環境（Ｘｅｒｏｘ  Ｌｉｎｇｕｉｓｔｉｃ  Ｅｎｖｉｒｏｎｍｅｎｔ）を使用して決定される。
【００１４】
本発明の第９の態様は、第８の態様の質問テンプレート生成システムであって、前記線形化規則が、受身化の標準化、二重目的語構造の標準化、及び冗長な情報の破棄の内の少なくとも１つを、前記機能構造において実行する。
【００１５】
本発明の第１０の態様は、自然言語テキストのインデクシング方法であって、テキストをテキスト部分に分割し、テキスト部分ごとに構成要素構造を決定し、テキスト部分ごとに機能構造を決定し、線形化転換規則を決定し、前記線形化転換規則に基づいて、各機能構造の特徴付け述語トリプルを決定し、指定エンティティ、共参照、語彙的エントリ、意味論的−構造的関係、属性及び単語間の部分・全体関係（ｍｅｔｒｏｎｙｍｉｃ）情報の内の少なくとも１つを含む導出特徴を各テキスト部分から抽出し、前記構成要素構造、前記特徴付け述語トリプル、及び前記導出特徴に基づいて、テキスト部分ごとに標準化された表現を決定し、前記テキスト部分の前記標準化された表現に基づいて、構造インデックスを決定する。
【００１６】
本発明の第１１の態様は、第１０の態様の自然言語テキストのインデクシング方法であって、前記テキストが文に分割される。
【００１７】
本発明の第１２の態様は、第１０の態様の自然言語テキストのインデクシング方法であって、前記機能構造がゼロックス言語環境を使用して決定される。
【００１８】
本発明の第１３の態様は、第１２の態様の自然言語テキストのインデクシング方法であって、前記線形化転換規則が、受身化の標準化、二重目的語構造の標準化、及び冗長な情報の破棄の少なくとも１つを、前記機能構造において実行する。
【００１９】
本発明の第１４の態様は、第１１の態様の自然言語テキストのインデクシング方法であって、標準化された形式の語彙的エントリの変動が、全ワードの意味、各ワードの意味の全同義語、ワードの意味ごとに与えられたオントロジーの集合での全上位語、ワードの意味ごとの該第１のレベルの上位語、を含む。
【００２０】
本発明の第１５の態様は、第１４の態様の自然言語テキストのインデクシング方法であって、情報がワードネット（ＷｏｒｄＮｅｔ）オントロジーから抽出される。
【００２１】
本発明の第１６の態様は、構造自然言語インデックスを探索するための質問テンプレート生成方法であって、質問の構成要素構造を決定し、前記質問の機能構造を決定し、線形化転換規則を決定し、前記線形化転換規則に基づいて、各機能構造の特徴付け述語トリプルを決定し、指定エンティティ、共参照、語彙的エントリ、意味論的−構造的関係、属性及び単語間の部分・全体関係（ｍｅｒｏｎｙｍｉｃ）情報の内の少なくとも１つを含む、導出特徴を前記質問から抽出し、前記構成要素構造、前記特徴付け述語トリプル、及び前記導出特徴に基づいて、前記質問の標準化された表現を決定し、前記質問の前記標準化された表現及び質問タイプに基づいて、標準化された形式について標準化された形式の構造インデックスを探索し、生成文法、及び、一致するエントリの何れかの前記特徴付け述語トリプル及び前記構成要素構造の内の少なくとも１つ、に基づいて、応答を生成する。
【００２２】
本発明の第１７の態様は、第１６の態様の質問テンプレート生成方法であって、前記機能構造がゼロックス言語環境を使用して決定される。
【００２３】
本発明の第１８の態様は、第１７の態様の質問テンプレート生成方法であって、前記線形化転換規則が、受身化の標準化、二重目的語構造の標準化、及び冗長情報の破棄の内の少なくとも１つを、前記機能構造において実行する。
【００２４】
本発明の第１９の態様は、自然言語テキストへ構造インデックスを付ける機能をプロセッサに実行させるプログラムであって、テキストをテキスト部分に分割するステップと、テキスト部分ごとに構成要素構造を決定するステップと、テキスト部分ごとに機能構造を決定するステップと、線形化転換規則を決定するステップと、前記線形化転換規則に基づいて、各機能構造の特徴付け述語トリプルを決定するステップと、指定エンティティ、共参照、語彙的エントリ、意味論的−構造的関係、属性及び単語間の部分・全体関係（ｍｅｒｏｎｙｍｉｃ）情報の内の少なくとも１つを含む導出特徴を、各テキスト部分から抽出するステップと、前記構成要素構造、前記特徴付け述語トリプル、及び前記導出特徴に基づいて、テキスト部分ごとに標準化された表現を決定するステップと、前記テキスト部分の標準化された表現に基づいて、構造インデックスを決定するステップと、を含む。
【００２５】
本発明の第２０の態様は、自然言語テキストの構造インデックスを探索する機能をプロセッサに実行させるプログラムであって、質問の構成要素構造を決定するステップと、前記質問の機能構造を決定するステップと、線形化転換規則を決定するステップと、前記線形化転換規則に基づいて、各機能構造の特徴付け述語トリプルを決定するステップと、指定エンティティ、共参照、語彙的エントリ、意味論的−構造的関係、属性及び単語間の部分・全体関係（ｍｅｒｏｎｙｍｉｃ）情報の少なくとも１つを含む導出特徴を、前記質問から抽出するステップと、前記構成要素構造、前記特徴付け述語トリプル、及び前記導出特徴に基づいて、前記質問の標準化された表現を決定するステップと、前記質問の標準化された表現及び質問タイプに基づいて、標準化された形式について標準化された形式の構造インデックスを探索するステップと、生成文法、及び、任意の一致するエントリの前記特徴付け述語トリプル及び前記構成要素構造の少なくとも１つ、に基づいて、応答を生成するステップと、を含む。
【発明の効果】
【００２６】
本発明は、テキストをテキスト部分に分割し、テキスト部分ごとに構成要素構造を決定し、テキスト部分ごとに機能構造を決定し、線形化転換規則を決定し、前記線形化転換規則に基づいて、各機能構造の特徴付け述語トリプルを決定し、指定エンティティ、共参照、語彙的エントリ、意味論的−構造的関係、属性及び単語間の部分・全体関係（ｍｅｔｒｏｎｙｍｉｃ）情報の内の少なくとも１つを含む導出特徴を各テキスト部分から抽出し、前記構成要素構造、前記特徴付け述語トリプル、及び前記導出特徴に基づいて、テキスト部分ごとに標準化された表現を決定し、前記テキスト部分の前記標準化された表現に基づいて、構造インデックスを決定するようにしているので、質問句と応答句との間にかなりの量の語彙的な変動及び文法的な変動がある場合であっても、質問に回答することを可能にする。
【発明を実施するための最良の形態】
【００２７】
自然言語テキストの効率的な構造的自然言語インデクシングのためのシステム及び方法が説明される。該システム及び方法は、類似した概念が表される方法における多くの種類の文法的な変動及び語彙的な変動に関わりなく適切に機能することができる、文法的に且つ語彙的にロバストな様式で、自然言語テキストの構造的自然言語インデックスを生成する。変動性が許容されているため、質問と応答との間の重大な構文上の変動及び語彙的な変動に関わりなく正しい答えを識別することができる。
【００２８】
本発明による１つの例示的な実施形態では、テキストは分析可能な部分に分解され、分析され、種々の構文的情報、語彙的情報及び共参照情報で注釈を付けられる。十分に構造化されたデータは、平坦化され、効率的にインデックスを付けられる。このように、効率的にインデックスを付けることができ、既存のトークンベースインデクシングエンジンで照会することができる標準形式に、言語学的な分析により、テキストを変換するために、本システム及び方法が提供される。多様なレベルで語彙的な変動及び文法的な変動をロバストに処理することによって、本発明によるシステム及び方法は、概念の間の高水準の関係をテキストの中で言語学的に表現できる多くの方法を明らかにする。本発明による情報検索及び質問応答の実施形態では、質問は標準的中間表現に対応する照会に変換される。該照会は、所望される情報を含む可能性が高いフラグメントの、制限された、相互に高い関連を有する集合を返す。再ランク付け及びマッチングプロセスは、ｎ個の最も適切な候補を選択すること、ユーザの質問に対する応答を抽出すること、の少なくとも一方を行う。
【００２９】
計算要求の大部分はインデクシングプロセスに取り込まれる。多様な例示的な実施形態では、インデクシングプロセスはオフラインで実施されるため、さらに容易にスケーリングされ、並行処理され、文書インデクシングが実現可能であり、検索の効率が高速インデクシングより強く評価される、機密文書及び法律上の文書あるいはビジネス文書の中規模から大規模の集合体について、該手法を比類なく適切にする。本発明によるシステム及び方法は、計算フロントローディング方式であるため、迅速に回答を返す。
【００３０】
自然言語質問応答（Ｎａｔｕｒａｌ  Ｌａｎｇｕａｇｅ  Ｑｕｅｓｔｉｏｎ  Ａｎｓｗｅｒｉｎｇ）は最近幅広く注目され、一方では、アナリスト及びインテリジェンスコミュニティのニーズ及び要請により、他方では、デジタル化されたテキストアーカイブに記憶された情報をコンピュータユーザにとって有用にする場合のテキスト探索の商業的な重要性の増加により、進歩している。
【００３１】
質問応答システムは、通常、文書インデクシングコンポーネント、質問分析コンポーネント、照会コンポーネント及び応答再ランキング・抽出コンポーネントから構成されている。
【００３２】
本発明のシステム及び方法は、質問に応じた文書の検索を容易にする。本発明によるシステム及び方法は、質問句と応答句との間にかなりの量の語彙的な変動及び文法的な変動がある場合に、質問に回答することを可能にする。本発明のシステム及び方法は指定エンティティを追跡することと、引用される資料の前方照応のリンク及び属性を決定することと、に備える。文書のさらに高次の構造情報が分析される。多様な例示的な実施形態では、コーパスの中のテキストが文などの部分に分割されるときに、文書の分析が行われる。各部分は、構文的情報、指定エンティティ、共参照情報、及び言語属性情報等の導出された特徴について分析される。導出され相互接続された構文的特徴及び意味論的特徴は、効率的なインデクシングのために線形化される。
【００３３】
１つの例示的な実施形態では、本発明による該システム及び方法はＦＸパロアルトラボラトリー社（ＦＸ  Ｐａｌｏ  Ａｌｔｏ  Ｌａｂｏｒａｔｏｒｙ  Ｉｎｃ．）で開発された富士ゼロックスアクティブドキュメントアーカイブ（Ｆｕｊｉ−Ｘｅｒｏｘ  Ａｃｔｉｖｅ  Ｄｏｃｕｍｅｎｔ  Ａｒｃｈｉｖｅ（ＡＤＡ））文書管理システム上で実現される。アクティブドキュメントアーカイブのアーキテクチャは、文書についての注釈が経時的に成長するように、文書を動的注釈サービスによって充実させることができる。徐々に増加することにより充実させた注釈またはメタ情報の集合は、利用可能となるように、他のサービスに対するまたはユーザに対する配布に使用できる。１つの例示的な実施形態では、構造自然言語インデクシングシステム及び方法だけではなく、ＰＡＬＱｕｅｓｔ質問応答システム（ＰＡＬＱｕｅｓｔ  Ｑｕｅｓｔｉｏｎ  Ａｎｓｗｅｒｉｎｇ  Ｓｙｓｔｅｍ）のデータ分析及び前処理も、アクティブドキュメントアーカイブサービスとして実現される。
【００３４】
アクティブドキュメントアーカイブは、経時的な大規模文書アーカイブからの情報抽出において、優雅に性能が強化されたモデルを使用する。文書が、相当量の前処理を実行できたほど十分に長くアーカイブの一部であった場合、指定エンティティ抽出、参照決定等を含むより洗練された検索手法を使用することができる。それ以外の場合、検索プロセスは、最近追加された文書について、用語をベースにしたインデクシング及び照会を含む、より簡略な標準検索技法に依存する。したがって、ＰＡＬＱｕｅｓｔシステムに初期に提出される同様の照会は、既存の標準的な従来の質問応答情報検索ベースのシステムに相当する結果を返すであろう。より豊富な注釈でさらに多くの文書が解析され、インデックスが付けられるにつれ、ますます優れた検索結果がアーカイブに入れられる。
【００３５】
アクティブドキュメントアーカイブアーキテクチャは、このようにして、新しい分析サービス及び照会サービスの追加に適応する、ロバストで進化する文書集合体の生成を可能にする。アクティブドキュメントアーカイブアーキテクチャは、大量の公に利用可能ではない文書が維持される大企業または政府機関での配備に特に適している。これらの価値の高い従来のアーカイブの中の文書は、通常、グーグル（Ｇｏｏｇｌｅ）等のシステムを支える使用に基づいたリンク構造をサポートしない。したがって、この種の集合体の中の文書からの情報にアクセスする必要があるユーザは、その非公開且つ接続（リンク）されていない性質のために、現在利用可能な探索システムの利益を得ていない。これらの従来のアーカイブのユーザは、グーグル及び他の従来の情報検索システムで見られるように、照会に対する候補応答をランク付けるために、文書のコンテンツと文書の注目度との間の相互依存の種類に依存しないロバストな方法を必要とする。本発明によるシステム及び方法によりカバーされる自然言語処理技法に基づいたインデクシングの方法は、これらの価値の高い文書の集合体にとって、グーグル型の検索に勝る重要な進展である。
【００３６】
構造自然言語インデクシングプロセスは以下のように構造化されている。すなわち、初期には、インデックスを構築する際に使用される異なるタイプの情報を抽出するために、コーパス中の文書が前処理される。第１段階では、ＦＸＰＡＬ文境界検出器（ＦＸＰＡＬ  Ｓｅｎｔｅｎｃｅ  Ｂｏｕｎｄａｒｙ  Ｄｅｔｅｃｔｏｒ）（ＦＸＳＢＤ）等の文境界検出器を使用して文の境界を特定するために、セグメンテーションが適用される。文の境界検出については、非特許文献３にさらに記載されている。
【００３７】
ＦＸＳＢＤは例示的な実施形態の１つとして使用されるが、最大エントロピー統計セグメンテーションシステム及び他のセグメンテーションシステムも、本発明の範囲から逸脱することなく、テキストを分割するために使用できることが明らかであろう。
【００３８】
続いて、各フラグメント及び文は、ゼロックス言語環境（Ｘｅｒｏｘ  Ｌｉｎｇｕｉｓｔｉｃ  Ｅｎｖｉｒｏｎｍｅｎｔ）（ＸＬＥ）のディープシンボリックパーサ（ｄｅｅｐ  ｓｙｍｂｏｌｉｃ  ｐａｒｓｅｒ）等の効率的なディープシンボリックパーサによって構文分析される。ＸＬＥのディープシンボリックパーサは、節の中のどのエンティティが主語(subject)であるのか、どれが目的語(objects)であるのか、等についての情報を利用可能とする述語・項情報で各文に注釈を付ける、英語の大規模カバレージの語彙機能文法の効率的な実現を提供する。ＸＬＥ用の複数の並列的な文法が種々の異なる言語において開発中であり、またＰＡＬＱｕｅｓｔを構成するコンポーネントの大部分が言語に無関係な様式で動作するので、本発明のシステム及び方法は日本語等の他の言語に容易に拡張され得ることは明らかである。
【００３９】
最後に、エンティティ抽出（Ｅｎｔｉｔｙ  Ｅｘｔｒａｃｔｏｎ）コンポーネントはテキストを分析し、指定エンティティ（人、場所及び組織）、時間−句（日付−時刻及び期間(time durations)）、職種、及び組織所属についての追加の情報で、テキストに注釈を付ける。各分析コンポーネントはアクティブドキュメントアーカイブアーキテクチャ内で稼働するため、インデクシングプロセスの結果は、全てのエンティティまたは１つの文書中のテキスト位置に追加された構文的情報の効率的な検索を可能にする相互参照情報で、豊富に注釈が付けられたテキストの集合である。処理されたデータのこの特徴により、反応性(responsiveness)を失うことなく、検索プロセスが候補文または節についての豊富な言語学的な情報に依存することを可能にする。
【００４０】
我々がシステムを試験するために構築したテストコーパスは、富士ゼロックス（Ｆｕｊｉ−Ｘｅｒｏｘ）社内回覧用企業雑誌「クロスポイント（ＣｒｏｓｓＰｏｉｎｔ）」から抽出された原文のままの５０の記事から構成された。前処理段階の間に、文境界検出器を使用して、各文書は文等のテキスト部分に分割された。文書が分割された後、各部分はＸＬＥのディープシンボリックパーサを使用して構文分析された。各部分について、最も可能性の高い構文分析が選択され、テキスト部分と３種類の構造とが関連付けられた。
【００４１】
選ばれた構文分析についての深い（ｄｅｅｐ）構文的情報を含む機能構造。該機能構造は、述語・項構造情報、時間及び相のデータ(temporal and aspectual data)及び何らかの意味論的情報を含む。例えば、引用補助句及び場所の付加詞、方向の付加詞、及び時間の付加詞の違いについての意味論的情報。
【００４２】
屈折情報(inflectional information)及び元の文のトークンの順序を保つ構成要素ツリー構造。該構成要素ツリーは、生成側の文法の表層(surface)文字列生成コンポーネントを使用する生成が不成功である場合に、応答を生成する際に使用される。
【００４３】
文に関連して生成され、記憶される形式「特徴（引数、引数）(feature(argument, argument))」の述語のトリプル（三重）関係の集合。例えば、文が「ジョンが歩く（Ｊｏｈｎ  ｗａｌｋｓ）」である場合、１つのトリプルはＳＵＢＪ（歩く、ジョン）(SUBJ(walk, John))である可能性がある。これらのトリプルは、ＸＬＥ等の言語処理環境の転換コンポーネントによって導出される。トリプルは言語処理環境により生成される構文分析に線形化規則を適用することによって生成される。例えば、例示的なＸＬＥインプリメンテーションの元のｆ構造の中の同じエンティティを指す引数が、共参照付与を反映するために、識別子でマークされる。トリプルは、インデックス記憶構造に記憶される構文分析のフィンガープリントすなわち特徴を形成する。トリプルはＸＬＥが返す全ての情報を含んでいないが、類似した文の小さな集合の１つとして構文分析された文を特徴付けるには十分である。
【００４４】
本発明による多様な他の例示的な実施形態では、ファーストｎ−ベスト構文分析(first n-best parses)が使用される。ｎ−ベスト構文分析からの構造的情報は凝縮され、正規化され、構造自然言語インデックス記憶メモリの中に記憶される。分析されたテキスト部分に含まれる情報と分析された質問との間のヌルではない交差は、一致が存在することを示し、返すことができる。
【００４５】
ある例示的な実施形態では、線形化規則は、トリプル表現に含まれるＳＵＢＪ、ＯＢＪ、ＯＢＪ−ＴＨＥＴＡ、ＯＢＬ、ＡＤＪＵＮＣＴ、ＰＯＳＳ、ＣＯＭＰ及びＸＣＯＭＰの特徴を選択する。ｆ構造で直接的に発生しない追加の導出される特徴は、ワードネット（ＷｏｒｄＮｅｔ）ルックアップの間に、品詞（ＰＯＳ）情報を追跡するためにインデックス記憶構造の中に組み込まれる。
【００４６】
オプションの指定エンティティ抽出プロセスは、可能な限り多くの関連情報を抽出し、タグを付けるために多くの異なる戦略を使用する。多様な例示的な実施形態では、オプションの指定エンティティ情報が代名詞のための候補指示対象を特定するために使用される。抽出された指定エンティティ情報は、質問に対して考えられる応答を特定するために使用される。
【００４７】
一つの例示的な実施形態では、（クラスＰＥＲＳＯＮ（人）、ＯＲＧＡＮＩＺＡＴＩＯＮ（組織）、及びＬＯＣＡＴＩＯＮ（場所）の）指定エンティティの集合は、共参照情報と共に抽出され、特定される。返された共参照情報は、三人称単数の人称代名詞（彼、彼女）を、クラスＰＥＲＳＯＮの過去に特定された指定エンティティについて決定する。他の関連する指定エンティティも特定され、注釈付けされる。
【００４８】
テキストの各部分にＸＬＥ生成ｆ構造等の言語学的な構造を使用すると、「〜なので(since)」、「〜とき(when)」、「〜まで（ｕｎｔｉｌ）」、「〜まで（ｔｉｌｌ）」、「〜前(before)」、及び「〜後(after)」により導入される全ての従属節は、考えられる日付・時刻(Date/Time)タイプの指定エンティティとしてマークされる。（「３時に」においてのような）特徴ＴＩＭＥでＸＬＥによって特定されるトークン、及び序数によって変更される時間単位の名詞（日、月、時、等）を含むトークン、を含む時間の前置詞句が抽出される。
【００４９】
「午前９：００から９：３０まで(from 9:00 to 9:30 am)」等の形式「から(from)＋［へ、まで(to, until)］」の表現だけではなく、基数によって修正される時間単位名詞を含む句も継続期間とみなされる。
【００５０】
パーサにより返される構造は、場所として認識される特定のトークンについての何らかの指定エンティティ情報を含む。本発明による１つの例示的な実施形態では、ＸＬＥを活用して、ＰＳＥＭ特徴により、方向の前置詞句及び場所の前置詞句がマークされ、追加のＬＯＣＡＴＩＯＮ（場所）エンティティとしてタグが付けられる。
【００５１】
「ジムベーカー博士、最高経営責任者、ＦＸＰＡＬ（Ｄｒ．Ｊｉｍ  Ｂａｋｅｒ、Ｃｈｉｅｆ  Ｅｘｅｃｕｔｉｖｅ  Ｏｆｆｉｃｅｒ、ＦＸＰＡＬ）」等の個人の職業上の所属に属する表現が特定される。端的に言うと、過去の指定エンティティタグ付きパスから、ＰＥＲＳＯＮエンティティとＯＲＧＡＮＩＺＡＴＩＯＮ（組織）エンティティとの間の括弧の句が特定されるとき、ＯＲＧＡＮＩＺＡＴＩＯＮはＥＭＰＬＯＹＥＲ（雇用主）としてタグが付けられ、括弧の句はＪＯＢ−ＴＩＴＬＥ（職名）としてタグが付けられる。
【００５２】
本発明のある態様による構造自然言語インデックスを構築する上で、各文は別々にインデックスが付けられ、多くの異なるフィールドに関連情報を含む。インデックスの複数のフィールドは、特殊化された照会を各フィールドで独立して実行できるようにする。コンテンツフィールドは文の中の全てのワードの語幹形式を含む。加えて、テキスト部分から導出される対応するトリプルを有する導出される文法的特徴（ＧＦ）ごとにフィールドが生成される。例えば、フィールドは、対応するトリプルＧＦ（ｐ１、ｐ２）があるように、述語ｐ１及びｐ２に基づいたトークンＴ１及びＴ２の一連の組を含む。
【００５３】
各トークンは、１）トリプルの中で発生するような文字述語、２）述語が代名詞であり、先行詞が公知である場合、先行詞（彼または彼女についての共参照が注釈付けられ、三人称複数代名詞、及び、他の文法的に目立つ構成要素がインデックスに追加される）、３）文字述語のワードネットシンセット（ＷｏｒｄＮｅｔ  ｓｙｎｓｅｔ）及びより少ない重みと関連付けられた先行詞、４）各々が漸次的に減少する重みに関連付けられている、分類法の上部まで再帰的な文字述語の全てのシンセットの上位語、５）第１レベル上位語の重みに等しい重みと関連付けられている、文字述語の第１レベル上位語シンセット、から構成される。
【００５４】
「ＳＵＢＪ（ｐａｓｓ，ｇｉｒｌ）（渡す、女の子）」が記憶されている場合、少なくとも１つの意味では、「ｇｉｖｅ（与える）」は「ｐａｓｓ（渡す）」と同義語であり、「ｃｈｉｌｄ（子供）」は「ｇｉｒｌ（女の子）」の上位語であるため、「ＳＵＢＪ（ｇｉｖｅ，ｃｈｉｌｄ）（与える、子供）」の探索でヒットが発生するだろう。これは、人が気まぐれに第１レベル上位語を既定のワードの同義語として使用するためになされる。これはまたワードネット（ＷｏｒｄＮｅｔ）分類法の異なる分岐での語彙項目の間で識別する際にも利用されることがある細かすぎる粒度から派生し得る。本発明の１つの例示的な実施形態では、構造自然言語インデックス記憶構造インデックスはルシーン(Lucene)トークンベースのエンジンによって生成される。各トリプルは、各トークンが非同義語を包含するために同じ位置でインデックスが付けられる全ての項目（１）から（５）を含む、２複合(two-complex)トークン文字列としてインデックスを付けられる。
【００５５】
導出される機能の文法的特徴フィールドに加えて、指定エンティティ追跡情報及び共参照追跡情報も一連の追加導出特徴フィールドでインデックスを付けられる。逐語的指定エンティティ句が副ｆ構造インデックスに対するポインタと共にインデックスを付けられる別個のフィールド（企業、人、日付−時刻、場所、継続時間、雇用者、職名）の第１のセットに、指定エンティティは記憶される。会話構造理論（Ｄｉｓｃｏｕｒｓｅ  Ｓｔｒｕｃｔｕｒｅ  Ｔｈｅｏｒｙ）等の他の言語学的な注釈(notation)及び処理環境も、本発明の範囲から逸脱することなく使用できる。生成コンポーネントを照会するための応答を生成するため、及び構成要素構造の副部分を適合させるため、にインデックスを使用することができる。
【００５６】
最後に、引用及び報告される言語のケースは別個に処理される。構文分析される文ごとに、我々は「ｓａｙ（言う）」等の伝達動詞の使用を追跡し、構文上の主語のようなエージェントエンティティまたは話者エンティティとして特定されるときのその指示対象にインデックスを付ける。節の目的語は通常通りにインデックスを付けられ、引用された文脈から該目的語を抽出する。引用符の配置をヒューリスティックに監視することにより、引用された文のシーケンスは同じ話者に属している。報告される言語として識別される文ごとに、話者エンティティは話者フィールドに記憶される。加えて、第１人称代名詞の各発生は、話者についての情報が主格、目的格、または所有格の形式で符号化されるかを、引用された資料の話者に対して決定する。
【００５７】
これらのフィールドに加えて、完全な文書の用語ベクトルは各テキスト部分と関連付けられている。これにより、インデックスは、速度と記憶効率とを保ちながらも照会の中でのワードの影響に関して類似した文の間の主要点の差異を明らかにできるようにする。１つの例示的な実施形態では、用語ベクトルに対するポインタが記憶され、完全なテキストの代わりに各テキスト部分と関連付けられている。したがって、インデックス記憶構造の中のルックアップの結果は、候補応答文のランク付けされた集合である。
【００５８】
別の例示的な実施形態では、用語頻度ベクトルは、文書中のワードに対応する潜在的意味論的インデクシング（Ｌａｔｅｎｔ  Ｓｅｍａｎｔｉｃ  Ｉｎｄｅｘｉｎｇ）ベクトル（ＳＶＤ（単一値分解）が集合体全体に適用された後の用語ベクトルのデュアル）で置換される。これにより文（質問）と考えられる応答の候補が選ばれた文書との間のより適切な意味論的類似検出が可能になる。
【００５９】
質問に応答する際、構造自然言語インデクシングのためのシステム及び方法において、まず、質問がＸＬＥのパーサ等のパーサを使用して構文分析される。コーパス文書からの文の場合と同様に、関連するトリプルの集合が構文分析結果から導出される。指定エンティティ情報および時間を暗示する「いつ(when)」、継続時間を暗示する「どのくらい長く(how long)」、人を暗示する「誰(who)」等の質問の種類からの情報。この導出された情報は、質問の中のワードと結合され、ルシーン等のデータベースから最適一致を取り出すために使用される。照会の結果は、（１）どれほどよくワード及び質問の叙述的な構造に一致するのか、及び２）質問の検出された種類により必要とされるような特定の指定エンティティ、によって順序付けられる文のリストである。考えられる候補のこの集合はワードの発生を単に求めることによって返されるものより著しく小さい傾向があり、このようにして検索段階の質問−応答マッチングプロセスの一部を捕捉する。
【００６０】
過去に記憶され、インデックスにリンクされた対応する完全構文分析は、結果が返される順序で配置されるあらゆる文について調べられる。候補文の構文分析構造は、ｗｈ−ターゲットが候補応答で識別可能であるかどうかを判断するために、質問の構文分析構造とマッチングされる。識別可能である場合、対応する下位ｆ構造が抽出され、ＸＬＥの生成コンポーネントは対応する応答を生成するために呼び出される。生成に失敗すると、一致するｆ構造に対応するテキスト部分のＸＬＥ構文分析の構成要素（ｃ−）構造の中のオリジナルのワードが抽出され、返される。
【００６１】
質問タイプは該質問の言語学的な分析から抽出される情報に従って分類される。異なるタイプの質問は、指定されたカテゴリ、質問の特定のタイプを特定したことによる質問生成に適用される制約、を割り当てるために使用される証拠と関連付けられる。加えて、質問ターゲットが埋め込まれた引用文脈内にある場合には、質問はマークされ（例えば、「最終決定が下されたとＸはいつ言ったのか」）、照会では話者フィールドも必要とされる。誰かの報告する言語（「ＸがＹについて何を言ったのか」）についての実質的な質問について、照会は報告される主語に関してさらに制約される。
【００６２】
質問が構文分析されると、照会はそのタイプ及び特性に従って生成される。一般的な照会は、一連の結合された節または分離された節から構成される。節の各々は、フィールドと、インデックス中で検出されるべき用語または句と、を指定する。これらの節は求められている構文上の及び叙述（述語）的な特性を捕捉する。例えば、「ＦＸは２００５年度投資家会合をどこで開催したのか」等の質問は、以下の簡略化された照会を生じさせるであろう。テキスト部分が時間または場所と関連付けられたインデックスでエンティティを生成し、インデックスエンティティ情報が指定エンティティ抽出から導出される場合、エンティティ情報は値「＿ＦＩＬＬＥＤ」と関連付けられている。値はこの種の時間情報または場所情報の可用性を効率的に示すためにインデックスの中に記憶される。
ＦＸは２００５年度投資家会合を開催する(FX hold 2005 investor meet)
＋ＯＢＪ：「会議  開催」(+OBJ: "hold meeting")
＋ＳＵＢＪ：「開催  ＦＸ」(+SUBJ: "hold FX")
ＰＯＳＳ：「ＦＸ  会議」(POSS: "FX meeting")
＋場所：＿ＦＩＬＬＥＤ(+location: _FILLED)
【００６３】
照会は、それぞれの考えられる応答が満たさなければならない構文的及び叙述（述語）的制約の多くを組み込んでいるが、構造自然言語インデックスは、その線形トークンベースのために、非常に高速で候補結果の非常に小さな集合の検索を容易にし、質問と応答との間の大量の語彙的な可変性を可能にする。
【００６４】
前記例のケースでは、代名詞「その」はその先行詞「ＦＸ」に決定される。決定された代名詞はトリプルＰＯＳＳ（ＦＸ，ｉｔ）について照会に代入される。（それらにインデックスを付ける上での）候補応答と質問とをこの中間叙述表現に変換することは、引数構造を局所的に未修正のまま残す、受身化と分裂構築等のすでにかなりの量の構文上の変動を明らかにしていることに注意することが重要である。ｉｔ−分裂等の構造を不必要に複雑化する質問の特定の構造も正規化される。「ジョンがルークから購入したものは何か」のような質問は、「ジョンはルークから何を購入したのか」が生じるであろうのと同じ形式に標準化される。制約ＯＢＬ、及びＰＯＳＳは、質問の中にそれらが存在することは全ての満足のいく答えで必ずしも維持されないので緩和されている。例えば文
２００５年、ＦＸは福岡で年次投資家会合を開催した
(In 2005, FX held the annual investor meeting in Fukuoka)
は、質問に明確に答え、所有格帰属が理解される。前記照会中のＰＯＳＳ節が必須節ではないことに注意する。これにより、より厳密にオリジナル構造に一致する文のランクを押し上げる一方で、適切な応答が見失われないことが確実になる。インデクシングシステムの語彙的な柔軟性も追加レベルの変動を明らかにし、候補応答としての以下の文に適合するであろう。
＊ＦＸはその年次投資家会合を福岡で行った
(FX had its annual investor meeting at Fukuoka)
＊富士ゼロックス（ＦｕｊｉＸｅｒｏｘ）の２００５年度投資家会合は福岡で開催された
(FujiXerox's 2005 investor meeting was held at Fukuoka)
＊ＦＸが２００５年度投資家会合を開催した静養所は福岡にあった。
(It was at Fukuoka, the corporate retreat, that FX held its 2005 annual investor meeting)
＊２００５年、富士ゼロックス（ＦｕｊｉＸｅｒｏｘ）は日本の御殿場にある静養所で、年次投資家会合を開催した
(In 2005, Fuji-Xerox held its annual investor gathering at the corporate retreat, in Gotemba, Japan)
【００６５】
加えて、照会の中の全ての取り除かれた内容語は各テキスト部分のコンテンツフィールドと、テキスト部分と共に記憶される用語ベクトルと、の両方と相互に関連し、それらをそれらが属していたオリジナルの文書に関連付ける。これは、現在インデックスが付けられた引数構造の一部ではない、節の付加詞または前置詞の付加詞の質問により厳密に似たワード（のランク）を押し上げる。それは、従来のＩＲ（情報検索）の観点から、質問に「より類似の」文書から出現するテキスト部分の主要点（のランク）も押し上げる。
【００６６】
候補応答文から質問に対する応答を抽出しようとする際に、該質問の構文上の構造は候補の構文上の構造と比較される。該比較プロセスは、主節のルート動詞述語から疑問代名詞（ｗｈ−ワード）までの構文上の依存性チェーンを分析する。第１に、（依存性トリプルで正規化された）質問の構造は、ｗｈ−ワードの文法的な機能を特定するために分析される。例えば、「ジョンは何を購入したのか」では、ｗｈ−ワードは動詞ｂｕｙ（購入する）の直接目的語として機能する。次に、候補のｆ構造は、ｗｈ−ワードを支配する動詞に対応する述語に遭遇するまで、あるいは考えられる全てのリンクが横断されるまで、横断される。横断の各ステップで、質問からの文法的な情報が候補における文法的な情報と一貫しているように実行される。１）形態統語的トリプルが同一であるとき、２）形態統語的トリプルが同義語的語彙関係、上位語的語彙関係及び単語間の部分・全体の語彙関係と同等であるとき、あるいは３）形態統語的トリプルが、ｉｔ−分裂構造等の符号化された等価則のセットに従って同等であるとき、に一貫性が満たされる。
【００６７】
各構造を通る横断は、１）構文上の構成要素が候補応答において検出されることにより示されるヒット（該構成要素が、候補応答において、ｗｈ−ワードが質問において果たしたのと同じ文法的な役割を果たす）、あるいは２）マッチングプロセス中に決定された対応がないことによって示されるヒットなし、のどちらかまで実行される。ヒットなしが示される場合、候補は次の１つについて廃棄される。
【００６８】
ヒットが成功した場合には、特定された構成要素のための内部インデックスがｆ構造から抽出され、二層化された戦略を使用して構文的に適格な応答を生成するために使用される。まず、構文分析文法を「遡って」稼働するＸＬＥ生成コンポーネントが、正しい応答として特定される下位ｆ構造からの表層形式を生成するために照会される。適格な構成要素の句は構文分析されたテキスト部分から生成される。このプロセスが失敗する、あるいは応答に対応する適格な下位ｆ構造を決定することができない、ケースでは、候補応答のｃ構造内の位置を決定するために、応答の識別子が使用される。決定された位置に対応するオリジナルの文の下位（副）部分が応答として抽出される。これは、オリジナルの構文分析が断片的な構文分析であったときに必要となる可能性がある。多様な他の例示的な実施形態では、システムが応答に対応する特定の下位構成要素を決定することに失敗するときに、完全なテキスト部分が応答として返される。
【００６９】
「ＷＨＥＲＥ（どこ）」、「ＷＨＯ（誰）」、「ＨＯＷ＿ＬＯＮＧ（どのくらいの期間）」、及び「ＷＨＥＮ（いつ）」等の応答のカテゴリを制約する質問の場合、指定エンティティタグ付け段階、注釈付けされた候補応答からの情報が、抽出された副構成要素のカテゴリが質問タイプによって要求されるカテゴリに一致する質問に対する候補応答の集合を制約するために使用される。これらのケースでは、質問の文法的構造と候補応答との間で適切な一致が決定されると、候補応答は、特定の質問タイプによって要求されるクラスの指定エンティティについて探索される。これらは、テキスト部分のｆ構造の中の文法的な指定エンティティ情報を指すインデックス情報と共に、候補と関連付けられるインデックス記憶構造レコードのための追加の指定エンティティ関係フィールドに記憶される。例えば、
ジョンは１９９４年の１２月上旬に自分のジャガーをマークに売却した
(John sold his Jaguar to Mark in early December 1994)
【００７０】
指定エンティティタグ付けの間、時間句として「１９９４年１２月」が認識され、句は、最も近い埋め込まれた付加詞を指す識別子と共に、ＤＡＴＥＴＩＭＥフィールドの中でインデックスを付けられるか、あるいは補足句「１９９４年の１２月上旬に」がインデックスに記憶されるであろう。質問「ジョンの車はいつ売却されたのか」を処理する上で、以下の照会が作成される。
＋ＰＯＳＳ（Ｊｏｈｎ，ｃａｒ（ジョン、車））
＋ＯＢＪ（ｓｅｌｌ，ｃａｒ（売却、車））
＋ＤＡＴＥＴＩＭＥ：＿ｆｉｌｌｅｄ
【００７１】
この照会は語彙的に柔軟なインデックスと文の間の代名詞決定とにより、正しい応答に一致する。［＋ＤＡＴＥＴＩＭＥ：＿ｆｉｌｌｅｄ］節は、返される候補応答が、タイプＤＡＴＥＴＩＭＥであると認識されたあるエンティティを示すことを要求する。該「＿ｆｉｌｌｅｄ」値は、あるエンティティが指定エンティティフィールドにも含まれるときは常に、インデックス記憶構造に追加される一般的なトークンである。したがって、「ジョンは１９９４年１２月上旬に自分のジャガーをマークに売却した」のような文が返される。文「ジョンはお金を必要としたために、自分の車をマークに売った」は、「ＤＡＴＥＴＩＭＥ：＿ｆｉｌｌｅｄ」制約と一致せず、したがって質問に一致するものとして選択されないであろう。図９は、マッチングプロセスがさまざまなタイプの質問についてどのように異なるのかを示し、ＨＯＷ（どのようにして）質問とＷＨＹ（なぜ）質問等のより複雑な質問に対する応答に近似するために使用される語彙的な且つ言語学的なヒントを指定する。
【００７２】
一般的には、返される候補の数は、どのくらいの数の強制的な制約が照会を構成するのかに応じて変化する。しかしながら、特殊な質問タイプの場合、より緩和した照会が可能にされる。また、部分・全体関係制約等の候補に関する特定タイプの制約は、現在照会時には実行されない。どの車を「ジョンが購入」したのか等の質問は、ジャガーと車（よい車！）、及び、「ジャガー」と家（それほどよくない）の間の関係に関して評価される、「ジョンはジャガーを購入した」及び「ジョンは家を購入した」等の候補を要求する。このようなケースでは、（簡略化された）照会ＳＵＢＪ：「ｂｕｙ  Ｊｏｈｎ（購入  ジョン）」は我々に両方とも返すであろう。これはワードネット（ＷｏｒｄＮｅｔ）ルックアップを介した候補の再ランキング、評価時間により決定される。
【００７３】
ＸＬＥにより生成されたトリプルは、異なるトリプルを共にリンクするために、相互参照インデックスを付けているが、これらの種類の制約は、ＳＱＬ照会で可能であるように、単純なトークベースの照会では容易に実行されない。したがって、例えば、文「買った車をメアリーがジョンに見せた後、彼は新しいボートを購入した」は、人称代名詞及び関係代名詞を決定した後に以下を生じさせるであろう。
ＳＵＢＪ（ｂｕｙ，Ｊｏｈｎ（購入、ジョン））
ＯＢＪ（ｂｕｙ，ｃａｒ（購入、車））
ＳＵＢＪ（ｓｈｏｗ，Ｍａｒｙ（提示、メアリー））
ＯＢＬ（ｓｈｏｗ，Ｊｏｈｎ（提示、ジョン））
ＯＢＪ（ｓｈｏｗ，ｃａｒ（提示、車））
ＳＵＢＪ（ｂｕｙ，Ｍａｒｙ（購入、メアリー））
ＯＢＪ（ｂｕｙ，ｃａｒ（購入、車））
【００７４】
これまで概略されてきた標準化（ｃａｎｏｎｉｚａｔｉｏｎ）及びインデクシングプロセスの１つの重大な制限は、受身化、分裂等を明らかにされた文法的な変換の集合を除き、質問の文法的な構造と応答の文法的な構造とが叙述的に類似していなければならないという点である。叙述的な類似性は以下のとおりに定義される。特定の補語を伴う動詞が文中で使用されると、叙述的に類似した文には、文法的に同等な位置に、元の補語の語彙的な変形で補足されるその動詞の語彙的な変形が含まれる。名詞化された構造及び意味論的に同等な句の間で多数の他の自然に発生する変形は、叙述的な類似性を尊重しない。したがって、質問と応答との間により大きな可変性を包含するためには、インデクシングプロセスは名詞化を正しく明らかにするために拡張される。名詞化は動詞として通常符号化されるであろう情報が、代わりに、該動詞のアクションを表現する名詞の形で符号化される文法的な構築である。したがって、インデクシングにおける名詞化を明らかにすると、同じ起こり得る事態を表現する一方で、大幅に異なる構文上の方法で表現する文の間で意味論的なリンクを提供する方向で対処する。
【００７５】
以下の例を考える。
２００５年のワールドシリーズでのレッドソックスの勝利は
バンビーノの呪いを終わらせた
(The Red Sox's victory of the World Series in 2005
ended the Curse of the Bambino)
名詞化を処理する何らかの方法を使用しない場合、「誰が２００５年のワールドシリーズに勝ったのか」等の、動詞由来名詞「勝利」の叙述的な態様に特権を与える質問に、この文を適合させる効果的な方法はない。同様に、動詞由来名詞を動名詞で置換することは正当であるが（例えば、「勝利」の代わりに「勝つこと」に置換すること）、「レッドソックスが２００５年のワールドシリーズで勝ったことにより何が起きたのか」等の質問に回答するのは依然として困難であろう。このため、動詞由来名詞に基づいた名詞ベースの構築は、導出する動詞の叙述的な態様が強調され、インデックスの中で明白にされるように、分析され、インデックスが付けられる。
【００７６】
これを行うためには、注釈付きのコーパスデータの２つのセットが相互参照される。一実施形態では、ノムレックス（ＮＯＭＬＥＸ）データ等の名詞化語彙は導出する動詞で名詞を注釈し、名詞のための考えられる下位カテゴリ化情報と、動詞の下位カテゴリ化情報と、は相互に参照される。例えば、名詞「昇進(promotion)」のエントリから、（「ジムの昇進(Jim's promotion)」においてのように）名詞の所有格の修正により主語または動詞「昇進する(promote)」の目的語のどちらかを一致させることができるが、該２つの間の選択は前置詞「ｏｆ」により導入される追加の前置詞補語の存在に依存する。したがって、「ジムのＣＥＯへの昇進(Jim's promotion to CEO)」はＯＢＪ（ｐｒｏｍｏｔｅ，Ｊｉｍ（昇進、ジム））を暗示するのに対し、「ジムによるシニアＶＰへのアランの昇進(Jim's promotion of Alan to senior VP))」はＳＵＢＪ（ｐｒｏｍｏｔｅ，Ｊｉｍ（昇進、ジム））とＯＢＪ（ｐｒｏｍｏｔｅ，Ａｌａｎ、（昇進、アラン））を暗示する。あるケースでは、関係する動詞のフレームの中で名詞句の補語が果たす主題役に関して依然として不明瞭さがある可能性がある。以下の文を考える。
蒸気船の発明は１７８３年に遡る。
(The steamboat's invention dates back to 1783)
ロバートフルトンの発明が世界に革命をもたらした。
(Robert Fulton's invention revolutionized the world)
「ロバートフルトン」が発明者である一方で、「蒸気船」が発明されている目的物であることは明らかである。このような情報を抽出し、構文上の役割があいまいである名詞補語を示すテキストに正しく構造上インデックスを付けるために、それらの語彙的意味論的な特性という点で補語を説明する、動詞と名詞とについての名詞化語彙と下位カテゴリ化データとの間の相互参照が決定される。例えば、「発明する」の下位カテゴリ化フレームは、エージェント(agent)が人または組織のどちらかでなければならないのに対し、ペイシェント(patient)は抽象的な概念または実体的なオブジェクトである必要があることを示している。このようなケースを正しく明確化するために、補語の特性と特徴が、各補語について正しいフレームと主題役を決定するために、指定エンティティタグ付けと辞書編集資源によって認識され、名詞化語彙及び下位カテゴリ化データからの下位カテゴリ化情報と相互参照される。テキストは、通常の手法で、標準化された表現に構造的インデックスを付けられる。
【００７７】
図１は、本発明の一態様による例示的な構造自然言語インデクシングシステムの概要である。通信がイネーブルされたパーソナルコンピュータ３００は、通信リンク９９を介して、構造的インデックスシステム１００及び文書リポジトリ２００に接続される。
【００７８】
構造的自然言語インデクシングシステム（構造的インデックスシステム）１００は文書リポジトリ２００から文書を取り出す。各文書はテキスト部分に分割される。該テキスト部分の言語学的表現を生成するために、言語学的な分析が実行される。ＸＬＥを活用する多様な例示的な実施形態では、言語学的表現はｆ構造である。
【００７９】
ｆ構造と呼ばれる該テキスト部分の関係特性の集合を生成するために、線形化転換規則が該言語学的表現に適用される。導出特徴の集合を作成するために、転換規則セットが平坦化されたｆ構造に適用される。該導出特徴は、指定エンティティ、共参照、語彙的エンティティ、構造的意味論的関係、話者属性及びｆ構造で特定される単語間の部分・全体関係情報を含んでよいが、これらに限定されない。構造的インデックスを形成するために、各テキスト部分の表現は、平坦化されたｆ構造及び導出特徴と関連付けられる。
【００８０】
質問テキストは、通信がイネーブルされたパーソナルコンピュータ３００から、ユーザによって入力される。質問は通信リンク９９を介して構造的自然言語インデックスシステム１００に転送される。質問は質問部分に分割される。平坦化されたｆ構造及び導出特徴が生成される。照会が質問タイプによって分類される。構造的インデックスが付けられたコーパスから質問に対する候補応答を選択するために、質問タイプ、平坦化されたｆ構造及び導出特徴が使用される。文法的な応答は、選択された候補応答と関連付けられたｆ構造の主要な部分からテキストを生成することによって、生成される。文法的な応答の生成が失敗すると、構成要素構造のいくつかまたは全てが応答として返される。文法的な応答は通信リンク９９を介して、通信がイネーブルされたパーソナルコンピュータ３００に返される。
【００８１】
図２は本発明によるテキストの構造的自然言語インデクシングのための例示的な方法のフローチャートである。プロセスはステップＳ１００で始まり、テキストが決定されるステップＳ１００に進む。
【００８２】
テキストはファイルシステムから選択されるか、キーボードから入力されるか、あるいは任意の他の公知の方法または今後開発される入力方法を使用して入力される。テキストが決定された後、制御はステップＳ１２０に進む。テキストはステップＳ１２０で部分に分割される。例えば、本発明による例示的な一実施形態では、テキストは文境界検出器を使用して文に分割される。テキストが部分に分割された後、制御はステップＳ１３０に進む。
【００８３】
ステップ１３０では、各テキスト部分の機能構造が決定される。機能構造は、ＸＬＥ等の言語処理環境のパーサを使用して決定される。ＸＬＥのパーサは文を構文分析し、ｆ構造と呼ばれるコンパクトな機能構造に結果を符号化する。ｆ構造が決定された後、制御はステップＳ１４０に進む。
【００８４】
ステップＳ１４０では、テキスト部分の構成要素構造が決定される。構成要素構造は、テキスト部分を再構築するために、十分な構成要素及び順序付けの情報を含む。制御はステップＳ１５０に進む。
【００８５】
ステップＳ１５０では、線形化転換規則が決定される。本発明による一実施形態では、線形化規則は、ｆ構造に作用できるＸＬＥ転換規則である。線形化転換規則はｆ構造等の機能構造の平坦化された表現を生成する。線形化転換規則が決定された後、制御はステップＳ１５０に進む。
【００８６】
ステップＳ１６０では、線形化転換規則が、テキスト部分を特徴付ける平坦化ｆ構造と呼ばれる述語特徴付けトリプルを生成するために、機能構造に適用される。制御はステップＳ１７０に進む。ステップＳ１７０では、指定エンティティ、共参照、語彙的エントリ、構造的−意味論的関係、話者属性及び単語間の部分・全体関係情報等の導出特徴情報がテキスト部分から抽出される。多様な実施形態で、導出特徴はテキスト部分に作用するパーサから得られる。
【００８７】
例えば、指定エンティティは、場所、個人名または組織名、頭字語、日付または時間、時間長または継続期間を記述する。共参照情報は、前方照応代名詞、ワード、または句の発生について考えられる先行詞の集合を含む。語彙的エントリは、語彙データベース、リソースまたは百科事典にあると考えられる句である。構造的−意味論的関係情報は、（ＰＥＲＳＯＮ、ＪＯＢ、ＯＲＧＡＮＩＺＡＴＩＯＮ（人、仕事、組織））パターン等の近接する、連語が構成される、あるいはそれ以外の場合、構造的に関係付けられているワードまたは句の間の意味論的な関係を表す特定のパターンを含む。
【００８８】
話者追跡及び引用属性情報は、報告される言語及び句読法の分析とジャンル規約の分析、文またはそれ以外の場合定義される言語の断片が属する個人または組織、及び、類似した構文上の構造と関連付けられる特定のワードまたは動詞の存在を含む。単語間の部分・全体関係情報は、ワードの意味、上位語、及び、品詞情報を提供するワードネット（ＷｏｒｄＮｅｔ）等の語彙リソースから決定される上位語を含む。導出特徴情報が決定された後、制御はステップＳ１８０に進む。ステップＳ１８０では、構成要素構造、特徴付けトリプル、及び導出特徴が、構造自然言語インデックス構造において、テキスト部分と関連付けられる標準レコードを生成するために使用される。構造自然言語インデックスが生成された後、制御はステップＳ１９０に進み、プロセスは終了する。
【００８９】
図３は、本発明の一態様による例示的な構造自然言語インデクシングシステムである。通信がイネーブルされたパーソナルコンピュータ３００は、通信リンク９９を介して構造インデックスシステム１００及び文書リポジトリ２００に接続される。
【００９０】
構造自然言語インデクシングシステム１００のプロセッサ１５は、通信リンク９９を介して、通信がイネーブルされたパーソナルコンピュータ３００のユーザによって入力される質問を取り出すために、入出力部５を活性化する。プロセッサ１５は質問の構成要素構造を決定するために構成要素構造決定部３５を活性化する。多様な例示的な実施形態で、構成要素構造決定部３５は、質問をトークン化し、元の質問を再構築できるようにするほど十分にトークンの順序付けを決定するパーサである。パーサ１５はメモリ１０に結果として生じる構成要素構造を記憶する。
【００９１】
質問から、指定エンティティ、共参照、語彙的エントリ、構造的−意味論的関係、話者属性、及び単語間の部分・全体関係特徴情報を抽出するために、プロセッサ１５によって導出特徴抽出部２０が活性化される。導出特徴はメモリ１０に記憶される。
【００９２】
プロセッサ１５は、質問の機能構造を決定するために、機能構造決定部３０を活性化する。例えば、多様な実施形態で、ＸＬＥパーサが質問についてｆ構造タイプの機能構造を生成するために使用される。ｆ構造は質問の多様な読み方（reading）を単一の表現に効率的に符号化する。プロセッサ１５は特徴付け述語トリプル決定部４０を活性化する。特徴付け述語トリプル決定部４０は線形化転換規則記憶構造５０から線形化転換規則の集合を取り出す。線形化転換規則は決定された機能構造に適用される。線形化転換規則は、機能構造の中の代名詞及び他の先行詞を決定し、質問を特徴付けるトリプルの集合を選択する。
【００９３】
プロセッサ１５は、構成要素構造及び導出特徴をメモリ１０から取り出し、特徴付け述語トリプルとそれらを結合し、結果として生じる標準的な質問をメモリ１０に記憶する。質問のタイプは、質問タイプ分類部５５を活性化することにより決定される。プロセッサ１５は、メモリ１０に記憶されている標準的な形式及び質問タイプに基づいて、標準的な質問を生成するために、インデックス部４５を活性化する。
【００９４】
プロセッサ１５は、標準的な質問及び質問タイプに適合する構造自然言語インデックス記憶構造２５から標準的なエントリを選択する。プロセッサ１５は、一致する標準的なエントリに基づいて応答を生成するために生成部６０を活性化する。１つの例示的な実施形態では、応答は、生成文法を一致するエントリの特徴付け述語トリプルに適用することにより生成される。応答生成が失敗すると、一致するエントリに関連付けられた構成要素構造のいくつかまたは全てが応答として返される。
【００９５】
過去に記憶された構造自然言語インデックスが、コーパス文書をテキスト部分に分割することにより生成されることは明らかであろう。対応する標準的な形式のテキスト部分は、前述されたように各部を適用することにより決定される。結果として生じる標準的な形式及び関連付けられたテキスト形式は、構造自然言語インデックスに入れられ、構造自然言語記憶構造２５に保存される。
【００９６】
図４は本発明の一態様による構造インデックスを探索する例示的な方法のフローチャートである。プロセスはステップＳ２００で開始し、ステップＳ２１０に進む。ステップＳ２１０で、自然言語質問が決定される。質問は、キーボードからの入力、音声認識システム、光学式文字認識、テキストの部分を強調すること、任意の他の公知の入力または選択方法、今後開発される入力又は選択方法等に基づいて決定されてよい。質問が決定された後、制御はステップＳ２２０に進む。
【００９７】
ステップＳ２２０では、質問のタイプが決定され、追加の特徴が導出される。制御はステップＳ２３０に進む。ステップＳ２３０では、質問の機能構造が決定される。１つの例示的な実施形態では、ＸＬＥ環境がｆ構造タイプの機能構造を生成するために使用される。ｆ構造は質問によって表現される考えられる意味のコンパクトな符号化を提供する。質問の機能構造が決定された後、制御はステップＳ２４０に進む。
【００９８】
ステップＳ２４０では、質問の構成要素構造が決定される。多様な例示的な実施形態では、構成要素構造は言語処理環境のパーサを使用して質問を構文分析することにより決定される。制御はステップＳ２５０に進む。
【００９９】
線形化転換規則がステップＳ２５０で決定される。線形化転換規則はｆ構造のような機能構造の平坦化された表現を生成する。線形化転換規則が決定された後、制御はステップＳ２６０に続行する。
【０１００】
ステップＳ２６０では、線形化転換規則が、質問を特徴付ける平坦化されたｆ構造と呼ばれる述語特徴付けトリプルを生成するために機能構造に適用される。制御はステップＳ２７０に進む。ステップＳ２７０では、指定エンティティ、共参照、語彙的エントリ、構造的−意味論的関係、話者属性及び単語間の部分・全体関係情報等の導出情報が、質問から抽出される。多様な実施形態で、導出特徴は質問に作用するパーサから得られる。
【０１０１】
導出特徴情報が決定された後、制御はステップＳ２８０に進む。ステップＳ２８０では、構成要素構造、特徴付けトリプル、及び導出特徴が、質問と関連付けられる標準的な質問レコードを生成するために使用される。制御はステップＳ２９０に進む。
【０１０２】
ステップＳ２９０では、構造自然言語インデックスが選択される。構造自然言語インデックスは、照会される文書リポジトリに関連付けられた過去に生成された構造自然言語インデックスである。結果は、特徴付け述語トリプル、質問タイプ及び導出特徴に基づいて構造自然言語インデックスから選択される。制御はステップＳ３００に進む。
【０１０３】
ステップＳ３００では、応答が選択された結果から生成される。多様な例示的な実施形態で、応答は、結果と関連付けられた機能構造の一部に生成文法を適用することによって生成される。プロセスが失敗すると、結果と関連付けられている構成要素構造の全てまたは一部が返される。応答が生成された後、制御は、応答がユーザに表示されるステップＳ３１０に進むが、ステップＳ３１０は必須ではない。制御はステップＳ３２０に進み、プロセスは終了する。
【０１０４】
図５は、本発明による構造自然言語インデックスの生成の概要である。テキスト１０００はテキスト部分１０１０に分割される。ディープシンボリック処理、構文分析、他の方法が構成要素構造１０４０を生成するために使用される。構成要素構造は、元のテキスト部分の再構築を可能にするために十分な順序付け情報だけではなく、テキスト部分の要素も含む。
【０１０５】
テキスト部分１０１０も、ＸＬＥのパーサ等の言語処理システムにより処理される。結果として生じる機能構造１０２０は文の意味論的な意味を反映する。線形化転換規則セットが機能構造１０２０に適用される。線形化転換規則は、階層機能構造を、特徴付け述語トリプル１０３０が選択される述語トリプルに平坦化する。導出特徴１０５０は、指定エンティティ抽出、語彙的エントリ、構造的−意味論的関係、話者属性、単語間の部分・全体関係情報等に基づいて決定される。標準的な形式１０６０が、構成要素構造１０４０、特徴付け述語トリプル１０３０、及び導出特徴１０５０に基づいて決定される。
【０１０６】
図６は、本発明の一態様による例示的な構造自然言語インデックス記憶構造４００である。例示的な構造自然言語インデックス記憶構造４００は、構成要素構造部分４１０と、特徴付け述語トリプル部分４２０と、導出特徴部分４３０と、から構成される。
【０１０７】
構成要素構造部分４１０は、順序付け情報と結合された元のテキストの構成要素または質問部分を含む。構成要素及び順序付け情報は、元のテキストまたは原文または質問部分を再構築するために使用される。本発明による多様な例示的な実施形態で、構成要素及び順序付け情報は、テキスト部分のディープシンボリック構文分析から得られる。しかしながら、構成要素構造情報を得る多様な他の方法が、本発明の範囲から逸脱することなく使用できることは明らかであろう。
【０１０８】
特徴付け述語トリプル部分４２０は、パーサにより生成される機能構造、すなわちｆ構造に線形化転換規則セットを適用することにより得られる平坦化された機能、すなわちｆ構造情報を含む。機能構造は大量の情報を符号化する階層構造である。機能構造の階層構造はあいまいな文から考えられる複数の生成を表現する。
【０１０９】
線形化規則は、ｆ構造の情報コンテンツを特徴付けるトリプルの集合を決定するために、ｆ構造に適用される。特徴付け述語トリプルは特徴付け述語トリプル部分４２０に記憶される。
【０１１０】
導出特徴部分４３０は、指定エンティティ、共参照、語彙的エンティティ（エントリ）、構造的−意味論的関係、話者属性及び単語間の部分・全体関係情報に基づいて、特徴を抽出するための転換規則の適用によって取得される特徴から構成される。これらの導出特徴はインデックス記憶構造４００の導出特徴部分に記憶される。例示的な構造自然言語インデックス記憶構造４００は、効率的に記憶され、インデックスが付けられる機能構造に含まれる情報の表現を提供する。
【０１１１】
本発明を前記に概略された例示的な実施形態に関連して説明してきたが、多くの代替策、変更及び変形が当業者にとって明らかになることが明白である。したがって、本発明の例示的な実施形態は、前述されたように、限定的ではなく、例示的であることを目的とする。多様な変更を本発明の精神と範囲を逸脱することなく加えることができる。
【０１１２】
図７は本発明の一態様による構造自然言語インデックス生成の概要である。ディープシンボリック処理、構文分析が質問１１００から構成要素構造１１４０を生成するために使用される。構成要素構造は、元の質問の再構築を可能にするほど十分な順序付け情報だけではなく、質問の要素を含む。
【０１１３】
質問１１００もＸＬＥのパーサ等の言語処理システムによって処理される。結果として生じる機能構造１１２０は質問の意味論的な意味を反映する。線形化転換規則の集合が機能構造１１２０に適用される。線形化転換規則は、特徴付け述語トリプル１１３０が選択される述語トリプルに階層機能構造を平坦化する。導出特徴１１３５は、指定エンティティ抽出、語彙的エントリ、構造的−意味論的関係、話者属性、単語間の部分・全体関係情報等に基づいて、機能構造１１２０から決定される。質問１１００は分類され、質問タイプ１１８０が決定される。標準的な質問１１５０が、構成要素構造１１４０、特徴付け述語トリプル１１３０、導出特徴１１３５、及び質問タイプ１１８０に基づいて、決定される。
【０１１４】
標準的な質問１１５０は、文書リポジトリに関連付けられる標準的な形式の過去に決定された集合に適用される。標準的な質問１１５０に一致する標準的な形式が応答１１７０を生成するために使用される。本発明による１つの例示的な実施形態では、生成文法が一致する標準的な形式に適用される。さらに他の実施形態では、質問タイプ制約が適用され、候補応答文の集合が生成される。生成プロセスが応答を生じさせることができない場合、一致する標準的な形式の構成要素構造の全てまたは部分が応答１１７０として返される。
【０１１５】
図８は、本発明の一態様に従って質問の言語学的な分析から抽出される情報に基づく例示的な質問タイプ分類を示す。異なる質問タイプが指定されたカテゴリを割り当てるために使用される証拠と関連付けられ、制約がその特定のタイプの質問を識別したことによって照会生成に適用される。質問ターゲットが埋め込まれた引用文脈内にある場合、質問は相応してマーキングされ（例えば、Ｘはいつ最終的な決定が下されたと言ったのか）、話者フィールドも照会で要求される。誰かの報告される言語（ＸがＹについて何を言ったのか）についての実質的な質問に対して、照会は報告されている主題に関してさらに制約される。
【０１１６】
図９は、さまざまなタイプの質問についてマッチングプロセスがどのように異なるのかを示す。
【０１１７】
図３に説明される構造自然言語インデックスシステム１００の各部５〜６０のそれぞれは、適切にプログラミングされた汎用コンピュータの部分として実現できる。代わりに、前記に概略が示された構造自然言語インデックスシステム１００の各部５〜６０は、ＡＳＩＣ内の物理的に別個のハードウェア回路として、あるいはＦＰＧＡ、ＰＤＬ、ＰＬＡまたはＰＡＬを使用して、あるいは離散論理素子、または離散回路素子を使用して実現できる。前記に概略を示された構造自然言語インデックスシステム１００の各部５〜６０のそれぞれが採るであろう特定の形式は設計上の選択であり、当業者にとって明白であり、予測可能である。
【０１１８】
さらに、構造自然言語インデックスシステム１００、前述された多様な部のそれぞれはソフトウェアルーチン、プログラミングされた汎用コンピュータ、特殊目的コンピュータ、マイクロプロセッサ等で稼働しているマネージャまたはオブジェクトとしてそれぞれ実現できる。この場合、構造自然言語インデックスシステム１００、前述された多様な部のそれぞれは、通信ネットワークに埋め込まれた１つまたは複数のルーチン、サーバに常駐するリソース、等としてそれぞれ実現できる。構造自然言語インデックスシステム１００及び前述された多様な部は、構造自然言語インデックスシステム１００を、ウェブサーバまたはクライアントデバイスのハードウェア及びソフトウェアのシステム等のソフトウェア・ハードウェアシステムに物理的に組み込むことによっても実現できる。
【０１１９】
図３に示されているように、メモリ１０及び構造自然言語インデックス記憶構造２５は、変更可能な、揮発性または不揮発性メモリ、または変更不可の、すなわち固定されたメモリの任意の適切な組み合わせを使用して実現できる。変更可能なメモリは、揮発性なのか、不揮発性なのかに関わりなく、静的または動的ＲＡＭ、フロッピー（登録商標）ディスクとディスクドライブ、書き込み可能または再書き込み可能光ディスクとディスクドライブ、ハードドライブ、フラッシュメモリ等の１つまたは複数を使用して実現できる。同様に、変更不可すなわち固定されたメモリは、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ＣＤ−ＲＯＭまたはＤＶＤ−ＲＯＭディスク等の光ＲＯＭディスク及びディスクドライブ等の１つまたは複数を使用して実現できる。本発明によるさらに多様な例示的な実施形態では、メモリ１０と構造自然言語インデックス記憶装置２５は、文書または情報リポジトリ、文書を記憶し、編成するための他の任意のシステムとして実現されてよい。メモリ１０と構造自然言語インデックス記憶構造２５は、通信リンクを介して埋め込まれても（データを入力されても）よいし、アクセスされてもよい。
【０１２０】
図１または図３に示される通信リンク９９はそれぞれ、直接ケーブル接続、ワイドエリアネットワークまたはローカルエリアネットワークを介しての接続、イントラネットを介しての接続、インターネットを介しての接続、または他の分散処理ネットワークまたはシステムを介しての接続を含む、通信装置を構造自然言語インデックスシステム１００に接続するための、任意の公知のまたは今後開発される装置またはシステムであってよい。一般的には、通信リンク９９は、装置を接続し、通信を促進するために使用することができる任意の公知のまたは今後開発される接続システムまたは構造であってよい。
【０１２１】
さらに、通信リンク９９はネットワークに対する結線されたリンクまたは無線リンクであってよいことが理解されなければならない。ネットワークは、ローカルエリアネットワーク、ワイドエリアネットワーク、イントラネット、インターネットまたは任意の他の分散処理記憶ネットワークであってよい。
【０１２２】
本発明は前記に概略された例示的な実施形態に関連して説明されてきたが、多くの代替策、変更及び変形が当業者に明らかになることは明白である。したがって、本発明の例示的な実施形態は、前述されたように、限定的ではなく例示的であることを目的とする。多様な変更を、本発明の精神と範囲を逸脱することなく加えることができる。
【０１２３】
図８の「フォーカス」列は、以下の内容を記載している。
●「ＷＨＯ」行
誰
●「ＷＨＡＴ」行
何、どれ
●「ＷＨＥＲＥ」行
どこ
●「ＷＨＥＮ」行
いつ、何＋時間関係句及び関連
●「ＨＯＷ＿ＬＯＮＧ」行
どのくらいの期間、どのくらいの数＋係数可能な時間に関係した名詞
●「ＨＯＷ＿ＭＡＮＹ」行
どのくらいの数
●「ＨＯＷ＿ＭＵＣＨ」行
どのくらいの量
●「ＨＯＷ」行
どのようにして
●「ＷＨＹ」行
なぜ
●「ＣＯＰＵＬＡ」行
何、誰、どのようにして＋連結詞
●「ＭＥＡＮＩＮＧ」行
Ｘは何を意味するか／表すか
●「ＴＩＴＬＥ」行
Ｘは何をするか、Ｘの［仕事、職名、地位・・・等］SYNは何か
●「ＥＭＰＬＯＹＥＲ」行
Ｘはどこで働くのか、Ｘの［雇用者、会社、雇用場所等］SYNは何か
【０１２４】
図８の「照会」列は、以下の内容を記載している。
●「ＷＨＯ」行
人々（！ＥＭＰＴＹ）
組織（！ＥＭＰＴＹ）
●「ＷＨＥＲＥ」行
場所（！ＥＭＰＴＹ）
組織（！ＥＭＰＴＹ）
●「ＷＨＥＮ」行
日付時間（！ＥＭＰＴＹ）
●「ＨＯＷ＿ＬＯＮＧ」行
継続時間（！ＥＭＰＴＹ）
●「ＴＩＴＬＥ」行
＋題名（！ＥＭＰＴＹ）
●「ＥＭＰＬＯＹＥＲ」行
＋雇用者（！ＥＭＰＴＹ）
【０１２５】
図９の「プリエンプション」列は、以下の内容を記載している。
●「ＷＨＯ」行
ｗｈ−ワードの同じ文法的な位置のＰＥＲＳＯＮ（人）またはＯＲＧＡＮＩＺＡＴＩＯＮ（組織）を探す
●「ＷＨＡＴ」行
正しい文法的な位置にある質問（どの車、どの映画等）の中のｗｈａｔ（何）の質により指定されるタイプのどれかを探す
可能なときには、サブタイプ情報を決定するためにワードネット（ＷｏｒｄＮｅｔ）、ドメインオントロジー、またはガイドブック（ｇａｚｅｔｔｅｅｒｓ）を使用する
●「ＷＨＥＲＥ」行
質問の述語構造に一致する文中のＬＯＣＡＴＩＯＮ（場所）またはＯＲＧＡＮＩＺＡＴＩＯＮ（組織）を探す
●「ＷＨＥＮ」行
質問の述語構造に一致する文中のＤＡＴＥＴＩＭＥ（日付時間）を探す
●「ＨＯＷ＿ＬＯＮＧ」行
質問の述語構造に一致する文中のＤＵＲＡＴＩＯＮ（継続時間）を探す
●「ＨＯＷ＿ＭＡＮＹ」行
基数によって修飾されるｗｈ−ワードの同じ文法的な位置のものを探す
●「ＨＯＷ＿ＭＵＣＨ」行
測定単位について基数、名詞によって修飾されるｗｈ−ワードの同じ文法的な位置のものを探す
●「ＨＯＷ」行
ｗｈ−ワードを支配する動詞にリンクされるＰＲＥＤを修正するＡＤＪＵＮＣＴ（付加詞）を探す
●「ＷＨＹ」行
質問の述語構造に一致する文の特定の付加詞句を探す
●「ＣＯＰＵＬＡ」行
ＣＯＰＵＬＡ＋ＤＥＧＲＥＥ＋ＰＲＯＰＥＲＴＹ（連結詞＋程度＋特性）構造（ジョンの背の高さは６フィートです）を通して、同じ特性の程度を指定する文と、質問（Ｘは何か＜−＞Ｘは・・・です／Ｙ）の構造または程度タイプの質問（どのくらい遠く、どのくらい高く等）を反映する文と、をマッチングする。定義タイプＣＯＰＵＬＡ質問について応答が検出されない場合、ウィキペディア（ＷｉｋｉＰｅｄｉａ）が考えられるエントリについて照会される。応答の位置が突き止められると、第１のパラグラフを応答として返す。
●「ＭＥＡＮＩＮＧ」行
応答は頭字語の拡大のための特定の標準的な表現に一致しなければならない
●「ＴＩＴＬＥ」行
特定のＰＥＲＳＯＮ（人）がインデックスに付けられたＴＩＴＬＥ（題名）を探す
●「ＥＭＰＬＯＹＥＲ」行
特定のＰＥＲＳＯＮ（人）についてインデックスが付けられるＥＭＰＬＯＹＥＲ（雇用者）を探す
【０１２６】
本願は、その全体を参照することにより、開示が本書に組み込まれる２００５年９月２３日に出願された仮特許出願番号第６０，７１９，８１７号の利益を主張する。
【図面の簡単な説明】
【０１２７】
【図１】本発明の一態様による例示的な構造自然言語インデクシングシステムの概要である。
【図２】本発明によるテキストの構造自然言語インデクシングのための例示的な方法のフローチャートである。
【図３】本発明の一態様による例示的な構造自然言語インデクシングシステムである。
【図４】本発明の一態様による構造インデックスを探索する例示的な方法のフローチャートである。
【図５】本発明による構造自然言語インデックスの生成の概要である。
【図６】本発明の一態様による例示的な構造自然言語インデックス記憶構造である。
【図７】本発明の一態様による構造自然言語インデックス生成の概要である。
【図８】本発明の一態様に従って質問の言語学的な分析から抽出される情報に基づく例示的な質問タイプの分類を示す。
【図９】マッチングプロセスがどのように異なるタイプの質問について異なるのかを示す。
【符号の説明】
【０１２８】
１５    プロセッサ
２０    導出特徴抽出部
３５    構成要素構造決定部
４０    特徴付け述語トリプル決定部
１００  構造的インデックスシステム
２００  文書リポジトリ
【図１】
2007087401.tif 000003
【図２】
2007087401.tif 000004
【図３】
2007087401.tif 000005
【図４】
2007087401.tif 000006
【図５】
2007087401.tif 000007
【図６】
2007087401.tif 000008
【図７】
2007087401.tif 000009
【図８】
2007087401.tif 000010
【図９】
2007087401.tif 000011