(57)【要約】【課題】統計処理型の質問応答における回答候補抽出の精度を向上させた質問応答システム、質問応答処理方法及び質問応答プログラムを提供する。【解決手段】学習モデル候補抽出部３２は、回答候補に対応する素性情報のうち、所定の素性情報を学習セットＤＢ１８に追加すべきものと決定する。再学習部３４及びテストセット評価部３６は、追加素性情報候補が追加された新たな学習モデル情報の評価を行う。精度監視部３８は、新たな学習モデル情報の回答候補抽出の精度と、テストセットＤＢ２０に保持されている元の学習モデル情報の回答候補抽出の精度とを比較し、素性削除処理部４０は、新たな学習モデル情報の回答候補抽出の精度が所定値以上向上している場合には、その新たな学習モデル情報を学習セットＤＢ１８に保持させたままとする。【選択図】図１
2007219955.tif 000002
【特許請求の範囲】
【請求項１】
プログラムに従って情報を処理する情報処理装置にて構成され、入力した検索質問文に応じて、検索対象文を含む知識源を検索して回答を得る質問応答システムであって、
前記検索質問文、該検索質問文に応じた前記知識源に含まれる検索対象文の検索により得られる検索結果の文、及び、該検索結果の文から抽出される前記検索質問文の回答となり得る回答候補の対応関係を表す素性情報の集合を保持する素性情報集合保持手段と、
前記検索質問文を解析して得られる該検索質問文の解析情報に基づいて前記知識源に含まれる検索対象文を検索して検索結果の文を取得し、前記素性情報保持手段により保持された素性情報集合に基づいて前記検索結果の文から前記検索質問文の回答となり得る回答候補を抽出する第１の回答候補抽出手段と、
前記検索質問文、前記第１の回答候補抽出手段により取得された検索結果の文、及び、前記第１の回答候補抽出手段により抽出された回答候補の対応関係を表す素性情報を生成する第１の素性情報生成手段と、
前記第１の素性情報生成手段により生成された素性情報が前記素性情報保持手段に保持された素性情報集合に追加された場合における該素性情報集合について、回答候補抽出の精度に関する所定の基準を満たすか否かを判定する精度判定手段と、
前記回答候補抽出の精度が前記所定の基準を満たしていると判定される場合に、前記第１の素性情報生成手段により生成された素性情報を前記素性情報保持手段に保持された素性情報集合に追加する第１の素性情報追加手段とを有することを特徴とする質問応答システム。
【請求項２】
前記検索質問文に対応する予め定められた検索ルールに基づいて前記知識源に含まれる検索対象文を検索して検索結果の文を取得し、該検索結果の文から前記検索質問文の回答となり得る回答候補を抽出する第２の回答候補抽出手段と、
前記第２の回答候補抽出手段により回答候補が抽出された場合に、前記検索質問文、前記第２の回答候補抽出手段により取得された検索結果の文、及び、前記第２の回答候補抽出手段により抽出された回答候補の対応関係を表す素性情報を生成する第２の素性情報生成手段と、
前記第２の素性情報生成手段により生成された素性情報を前記素性情報保持手段に保持された素性情報集合に追加する第２の素性情報追加手段とを有することを特徴とする請求項１に記載の質問応答システム。
【請求項３】
前記検索質問文、該検索質問文に応じた前記知識源に含まれる検索対象文の検索により得られる検索結果の文、及び、該検索結果の文から抽出される前記検索質問文の回答となり得る回答候補の対応関係を表す評価用素性情報の集合を保持する評価用素性情報集合保持手段を有し、
前記精度判定手段は、前記評価用素性情報集合保持手段に保持された評価用素性情報集合に基づく回答候補抽出の精度を表す値と、前記第１の素性情報生成手段により生成された素性情報が前記評価用素性情報集合保持手段に保持された評価用素性情報集合に追加された場合における該評価用素性情報集合に基づく回答候補抽出の精度を表す値とを比較し、
前記第１の素性情報追加手段は、前記第１の素性情報生成手段により生成された素性情報が前記評価用素性情報集合保持手段に保持された評価用素性情報集合に追加された場合における該評価用素性情報集合に基づく回答候補抽出の精度を表す値が、前記評価用素性情報集合保持手段に保持された評価用素性情報集合に基づく回答候補抽出の精度を表す値よりも大きい場合に、前記第１の素性情報生成手段により生成された素性情報を前記素性情報保持手段に保持された素性情報集合に追加することを特徴とする請求項２に記載の質問応答システム。
【請求項４】
前記評価用素性情報集合は、前記第２の素性情報生成手段により生成された素性情報の集合であることを特徴とする請求項３に記載の質問応答システム。
【請求項５】
プログラムに従って情報を処理する情報処理装置にて構成され、入力した検索質問文に応じて、検索対象文を含む知識源を検索して回答を得る質問応答システムであって、
前記検索質問文、該検索質問文に応じた前記知識源に含まれる検索対象文の検索により得られる検索結果の文、及び、該検索結果の文から抽出される前記検索質問文の回答となり得る回答候補の対応関係を表す素性情報の集合を保持する素性情報集合保持手段と、
前記検索質問文を解析して得られる該検索質問文の解析情報に基づいて前記知識源に含まれる検索対象文を検索して検索結果の文を取得し、前記素性情報保持手段により保持された素性情報集合に基づいて前記検索結果の文から前記検索質問文の回答となり得る回答候補を抽出する第１の回答候補抽出手段と、
前記検索質問文に対応する予め定められた検索ルールに基づいて前記知識源に含まれる検索対象文を検索して検索結果の文を取得し、該検索結果の文から前記検索質問文の回答となり得る回答候補を抽出する第２の回答候補抽出手段と、
前記第２の回答候補抽出手段により回答候補が抽出された場合に、前記検索質問文、前記第２の回答候補抽出手段により取得された検索結果の文、及び、前記第２の回答候補抽出手段により抽出された回答候補の対応関係を表す素性情報を生成する第２の素性情報生成手段と、
前記第２の素性情報生成手段により生成された素性情報を前記素性情報保持手段に保持された素性情報集合に追加する第２の素性情報追加手段とを有することを特徴とする質問応答システム。
【請求項６】
プログラムに従って情報を処理する情報処理装置にて構成され、入力した検索質問文に応じて、検索対象文を含む知識源を検索して回答を得る質問応答システムでの処理方法であって、
前記検索質問文を解析して得られる該検索質問文の解析情報に基づいて前記知識源に含まれる検索対象文を検索して検索結果の文を取得し、記憶装置に予め保持された、前記検索質問文、該検索質問文に応じた前記知識源に含まれる検索対象文の検索により得られる検索結果の文、及び、該検索結果の文から抽出される前記検索質問文の回答となり得る回答候補の対応関係を表す素性情報の集合に基づいて前記検索結果の文から前記検索質問文の回答となり得る回答候補を抽出する第１の回答候補抽出ステップと、
前記検索質問文、前記第１の回答候補抽出ステップにより取得された検索結果の文、及び、前記第１の回答候補抽出ステップにより抽出された回答候補の対応関係を表す素性情報を生成する第１の素性情報生成ステップと、
前記第１の素性情報生成ステップにより生成された素性情報が前記記憶装置に保持された素性情報集合に追加された場合における該素性情報集合について、回答候補抽出の精度に関する所定の基準を満たすか否かを判定する精度判定ステップと、
前記回答候補抽出の精度が前記所定の基準を満たしていると判定される場合に、前記第１の素性情報生成ステップにより生成された素性情報を前記記憶装置に保持された素性情報集合に追加する第１の素性情報追加ステップとを有することを特徴とする処理方法。
【請求項７】
前記検索質問文に対応する予め定められた検索ルールに基づいて前記知識源に含まれる検索対象文を検索して検索結果の文を取得し、該検索結果の文から前記検索質問文の回答となり得る回答候補を抽出する第２の回答候補抽出ステップと、
前記第２の回答候補抽出ステップにより回答候補が抽出された場合に、前記検索質問文、前記第２の回答候補抽出ステップにより取得された検索結果の文、及び、前記第２の回答候補抽出ステップにより抽出された回答候補の対応関係を表す素性情報を生成する第２の素性情報生成ステップと、
前記第２の素性情報生成ステップにより生成された素性情報を前記記憶装置に保持された素性情報集合に追加する第２の素性情報追加ステップとを有することを特徴とする請求項６に記載の処理方法。
【請求項８】
前記精度判定ステップは、記憶装置に予め保持された、前記検索質問文、該検索質問文に応じた前記知識源に含まれる検索対象文の検索により得られる検索結果の文、及び、該検索結果の文から抽出される前記検索質問文の回答となり得る回答候補の対応関係を表す評価用素性情報の集合に基づく回答候補抽出の精度を表す値と、前記第１の素性情報生成ステップにより生成された素性情報が前記記憶装置に保持された評価用素性情報集合に追加された場合における該評価用素性情報集合に基づく回答候補抽出の精度を表す値とを比較し、
前記第１の素性情報追加ステップは、前記第１の素性情報生成ステップにより生成された素性情報が前記記憶装置に保持された評価用素性情報集合に追加された場合における該評価用素性情報集合に基づく回答候補抽出の精度を表す値が、前記記憶装置に保持された評価用素性情報集合に基づく回答候補抽出の精度を表す値よりも大きい場合に、前記第１の素性情報生成ステップにより生成された素性情報を前記記憶装置に保持された素性情報集合に追加することを特徴とする請求項７に記載の処理方法。
【請求項９】
前記評価用素性情報集合は、前記第２の素性情報生成ステップにより生成された素性情報の集合であることを特徴とする請求項８に記載の処理方法。
【請求項１０】
プログラムに従って情報を処理する情報処理装置にて構成され、入力した検索質問文に応じて、検索対象文を含む知識源を検索して回答を得る質問応答システムでの処理方法であって、
前記検索質問文を解析して得られる該検索質問文の解析情報に基づいて前記知識源に含まれる検索対象文を検索して検索結果の文を取得し、記憶装置に予め保持された、前記検索質問文、該検索質問文に応じた前記知識源に含まれる検索対象文の検索により得られる検索結果の文、及び、該検索結果の文から抽出される前記検索質問文の回答となり得る回答候補の対応関係を表す素性情報の集合に基づいて前記検索結果の文から前記検索質問文の回答となり得る回答候補を抽出する第１の回答候補抽出ステップと、
前記検索質問文に対応する予め定められた検索ルールに基づいて前記知識源に含まれる検索対象文を検索して検索結果の文を取得し、該検索結果の文から前記検索質問文の回答となり得る第２の回答候補を抽出する第２の回答候補抽出ステップと、
前記第２の回答候補抽出ステップにより回答候補が抽出された場合に、前記検索質問文、前記第２の回答候補抽出ステップにより取得された検索結果の文、及び、前記第２の回答候補抽出ステップにより抽出された回答候補の対応関係を表す素性情報を生成する第２の素性情報生成ステップと、
前記第２の素性情報生成ステップにより生成された素性情報の集合を、前記記憶装置に保持された素性情報集合に追加する第２の素性情報追加ステップとを有することを特徴とする処理方法。
【請求項１１】
入力した検索質問文に応じて、検索対象文を含む知識源を検索して回答を得る質問応答システムを構成する情報処理装置にて実行可能なプログラムであって、
前記検索質問文を解析して得られる該検索質問文の解析情報に基づいて前記知識源に含まれる検索対象文を検索して検索結果の文を取得し、記憶装置に予め保持された、前記検索質問文、該検索質問文に応じた前記知識源に含まれる検索対象文の検索により得られる検索結果の文、及び、該検索結果の文から抽出される前記検索質問文の回答となり得る回答候補の対応関係を表す素性情報の集合に基づいて前記検索結果の文から前記検索質問文の回答となり得る回答候補を抽出する第１の回答候補抽出ステップと、
前記検索質問文、前記第１の回答候補抽出ステップにより取得された検索結果の文、及び、前記第１の回答候補抽出ステップにより抽出された回答候補の対応関係を表す素性情報を生成する第１の素性情報生成ステップと、
前記第１の素性情報生成ステップにより生成された素性情報が前記記憶装置に保持された素性情報集合に追加された場合における該素性情報集合について、回答候補抽出の精度に関する所定の基準を満たすか否かを判定する精度判定ステップと、
前記回答候補抽出の精度が前記所定の基準を満たしていると判定される場合に、前記第１の素性情報生成ステップにより生成された素性情報を前記記憶装置に保持された素性情報集合に追加する第１の素性情報追加ステップとを有することを特徴とするプログラム。
【請求項１２】
前記検索質問文に対応する予め定められた検索ルールに基づいて前記知識源に含まれる検索対象文を検索して検索結果の文を取得し、該検索結果の文から前記検索質問文の回答となり得る回答候補を抽出する第２の回答候補抽出ステップと、
前記第２の回答候補抽出ステップにより回答候補が抽出された場合に、前記検索質問文、前記第２の回答候補抽出ステップにより取得された検索結果の文、及び、前記第２の回答候補抽出ステップにより抽出された回答候補の対応関係を表す素性情報を生成する第２の素性情報生成ステップと、
前記第２の素性情報生成ステップにより生成された素性情報を前記記憶装置に保持された素性情報集合に追加する第２の素性情報追加ステップとを有することを特徴とする請求項１１に記載のプログラム。
【請求項１３】
前記精度判定ステップは、記憶装置に予め保持された、前記検索質問文、該検索質問文に応じた前記知識源に含まれる検索対象文の検索により得られる検索結果の文、及び、該検索結果の文から抽出される前記検索質問文の回答となり得る回答候補の対応関係を表す評価用素性情報の集合に基づく回答候補抽出の精度を表す値と、前記第１の素性情報生成ステップにより生成された素性情報が前記記憶装置に保持された評価用素性情報集合に追加された場合における該評価用素性情報集合に基づく回答候補抽出の精度を表す値とを比較し、
前記第１の素性情報追加ステップは、前記第１の素性情報生成ステップにより生成された素性情報が前記記憶装置に保持された評価用素性情報集合に追加された場合における該評価用素性情報集合に基づく回答候補抽出の精度を表す値が、前記記憶装置に保持された評価用素性情報集合に基づく回答候補抽出の精度を表す値よりも大きい場合に、前記第１の素性情報生成ステップにより生成された素性情報を前記記憶装置に保持された素性情報集合に追加することを特徴とする請求項１２に記載のプログラム。
【請求項１４】
前記評価用素性情報集合は、前記第２の素性情報生成ステップにより生成された素性情報の集合であることを特徴とする請求項１３に記載のプログラム。
【請求項１５】
入力した検索質問文に応じて、検索対象文を含む知識源を検索して回答を得る質問応答システムを構成する情報処理装置にて実行可能なプログラムであって、
前記検索質問文を解析して得られる該検索質問文の解析情報に基づいて前記知識源に含まれる検索対象文を検索して検索結果の文を取得し、記憶装置に予め保持された、前記検索質問文、該検索質問文に応じた前記知識源に含まれる検索対象文の検索により得られる検索結果の文、及び、該検索結果の文から抽出される前記検索質問文の回答となり得る回答候補の対応関係を表す素性情報の集合に基づいて前記検索結果の文から前記検索質問文の回答となり得る回答候補を抽出する第１の回答候補抽出ステップと、
前記検索質問文に対応する予め定められた検索ルールに基づいて前記知識源に含まれる検索対象文を検索して検索結果の文を取得し、該検索結果の文から前記検索質問文の回答となり得る第２の回答候補を抽出する第２の回答候補抽出ステップと、
前記第２の回答候補抽出ステップにより回答候補が抽出された場合に、前記検索質問文、前記第２の回答候補抽出ステップにより取得された検索結果の文、及び、前記第２の回答候補抽出ステップにより抽出された回答候補の対応関係を表す素性情報を生成する第２の素性情報生成ステップと、
前記第２の素性情報生成ステップにより生成された素性情報の集合を、前記記憶装置に保持された素性情報集合に追加する第２の素性情報追加ステップとを有することを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力した検索質問文に応じて、検索対象文を含む情報源を検索して回答を得る質問応答システム、該質問応答システムでの処理方法、及び、該質問応答システムを構成する情報処理装置にて実行可能なプログラムに関する。
【背景技術】
【０００２】
従来の質問応答システムには、大きくわけて２つのタイプが存在する。１つは、ルール型の質問応答システムと称されるものである。このルール型質問応答システムは、典型質問文パターンマッチング部及び回答検索部によって構成される。典型質問文パターンマッチング部は、知識源を検索して検索質問文に対する回答候補を抽出するためのルールに関する情報（ルール情報）を取得する。例えば、検索質問文「Ｘは何ですか？」に対する回答候補「Ａ」を抽出するためには、「ＡはＸです」や「ＸはＡです」等の文型パターンがルール情報として取得される（例えば、非特許文献１参照）。このルール情報は、人手によって設定される。回答検索部は、知識源を検索して、ルール情報で表される文型パターンに一致する文に含まれる回答候補を抽出する。
【０００３】
他の１つは、統計処理型の質問応答システムと称されるものである。この統計処理型質問応答システムは、質問解析部、情報検索部、回答抽出部及び根拠提示部により構成される（例えば、特許文献１参照）。質問解析部は、検索質問文から特徴語を抽出するとともに、当該検索質問文によって問われる対象を表す質問タイプの判定を行う。情報検索部は、特徴語を検索クエリとして用いて知識源を検索し、検索結果の文（パッセージ）を抽出する。回答抽出部は、このパッセージから回答候補を抽出し、根拠提示部は、回答候補を抽出した根拠を提示する。但し、パッセージに含まれる回答候補を抽出することは容易ではないため、人手によって設定される機械学習法の学習モデル情報を用いて回答候補を絞り込む技術が提案されている（例えば、特許文献２参照）。
【特許文献１】特開２００２−１３２８１１号公報
【特許文献２】特開２００４−９４５２１号公報
【非特許文献１】M.M. Soubbotin and S.M. Soubbotin著、「Use of Patterns for Detection of Likely Answer Strings」、A Systematic Approach、TREC、２００２年
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかし、上述した質問応答システムは、回答候補抽出の精度が低いという問題がある。具体的には、ルール型質問応答システムは、ルール情報で表される文型パターンに一致する文に含まれる回答候補は回答として相応しいものであるものの、当該ルール情報があらゆる検索質問文に対応するように網羅されていないことにより、回答候補の抽出漏れが生じる場合がある。一方、統計処理型質問応答システムでは、回答候補の抽出漏れは生じないものの、機械学習法の学習モデル情報があらゆる検索質問文に対応するように網羅されていないことにより、回答として相応しくないものまで回答候補としてしまう場合がある。
【０００５】
このような網羅性の問題を解決する方法として、ルール情報や学習モデル情報に、全ての検索質問文に対応するものを用意しておくことが考えられる。しかし、あらゆる検索質問文を予め推定することは困難であり、仮に推定することができたとしても多大なコストがかかってしまい、現実的ではない。
【０００６】
また、網羅性の問題を解決する別の方法として、ルール情報や学習モデル情報の自動更新が考えられる。しかし、従来の自動更新されたルール情報や学習モデル情報は、人手によって設定される場合と比較して信頼性が低く、自動更新によってむしろ回答候補抽出の精度を下げてしまう可能性がある。このため、統計処理型の質問応答を基本として、回答候補の抽出漏れを防ぎつつ、その回答候補抽出の精度を向上させることが要求されている。
【０００７】
本発明の目的は、上述した問題を解決するものであり、統計処理型の質問応答における回答候補抽出の精度を向上させた質問応答システム、質問応答処理方法及び質問応答プログラムを提供するものである。
【課題を解決するための手段】
【０００８】
本発明に係る、プログラムに従って情報を処理する情報処理装置にて構成され、入力した検索質問文に応じて、検索対象文を含む知識源を検索して回答を得る質問応答システムは、前記検索質問文、該検索質問文に応じた前記知識源に含まれる検索対象文の検索により得られる検索結果の文、及び、該検索結果の文から抽出される前記検索質問文の回答となり得る回答候補の対応関係を表す素性情報の集合を保持する素性情報集合保持手段と、前記検索質問文を解析して得られる該検索質問文の解析情報に基づいて前記知識源に含まれる検索対象文を検索して検索結果の文を取得し、前記素性情報保持手段により保持された素性情報集合に基づいて前記検索結果の文から前記検索質問文の回答となり得る回答候補を抽出する第１の回答候補抽出手段と、前記検索質問文、前記第１の回答候補抽出手段により取得された検索結果の文、及び、前記第１の回答候補抽出手段により抽出された回答候補の対応関係を表す素性情報を生成する第１の素性情報生成手段と、前記第１の素性情報生成手段により生成された素性情報が前記素性情報保持手段に保持された素性情報集合に追加された場合における該素性情報集合について、回答候補抽出の精度に関する所定の基準を満たすか否かを判定する精度判定手段と、前記回答候補抽出の精度が前記所定の基準を満たしていると判定される場合に、前記第１の素性情報生成手段により生成された素性情報を前記素性情報保持手段に保持された素性情報集合に追加する第１の素性情報追加手段とを有することを特徴とする。
【０００９】
この構成によれば、検索質問文と統計処理型の質問応答における検索結果の文及び回答候補との対応関係を表す素性情報については、その素性情報に基づく回答候補抽出の精度が良好である場合、換言すれば、回答候補が回答として相応しいものである場合に、精度情報集合に追加される。統計処理型の質問応答では、このように、精度情報集合を最適なものに再構築することによって、回答候補抽出の精度を向上させることが可能となる。
【００１０】
また、質問応答システムは、前記検索質問文に対応する予め定められた検索ルールに基づいて前記知識源に含まれる検索対象文を検索して検索結果の文を取得し、該検索結果の文から前記検索質問文の回答となり得る回答候補を抽出する第２の回答候補抽出手段と、前記第２の回答候補抽出手段により回答候補が抽出された場合に、前記検索質問文、前記第２の回答候補抽出手段により取得された検索結果の文、及び、前記第２の回答候補抽出手段により抽出された回答候補の対応関係を表す素性情報を生成する第２の素性情報生成手段と、前記第２の素性情報生成手段により生成された素性情報を前記素性情報保持手段に保持された素性情報集合に追加する第２の素性情報追加手段とを有するようにしてもよい。
【００１１】
この構成によれば、ルール型の質問応答における回答候補は、回答として相応しいものであるために、ルール型の質問応答において回答候補が抽出される場合には、検索質問文、ルール型の質問応答における検索結果の文及び回答候補の対応関係を表す素性情報については、そのまま精度情報集合に追加するとともに、検索質問文、統計処理型の質問応答における検索結果の文及び回答候補との対応関係を表す素性情報については、上述のように、その素性情報に基づく回答候補抽出の精度が良好である場合に素性情報集合に追加して統計処理型の質問応答に用いられるようにすることによって、回答候補抽出の精度を向上させることができる。ここで、回答候補の提示は、ルール型の質問応答及び統計処理型の質問応答のいずれかにおいて得られるものが提示されてもよく、双方が提示されてもよい。
【００１２】
また、質問応答システムは、前記検索質問文、該検索質問文に応じた前記知識源に含まれる検索対象文の検索により得られる検索結果の文、及び、該検索結果の文から抽出される前記検索質問文の回答となり得る回答候補の対応関係を表す評価用素性情報の集合を保持する評価用素性情報集合保持手段を有し、前記精度判定手段が、前記評価用素性情報集合保持手段に保持された評価用素性情報集合に基づく回答候補抽出の精度を表す値と、前記第１の素性情報生成手段により生成された素性情報が前記評価用素性情報集合保持手段に保持された評価用素性情報集合に追加された場合における該評価用素性情報集合に基づく回答候補抽出の精度を表す値とを比較し、前記第１の素性情報追加手段が、前記第１の素性情報生成手段により生成された素性情報が前記評価用素性情報集合保持手段に保持された評価用素性情報集合に追加された場合における該評価用素性情報集合に基づく回答候補抽出の精度を表す値が、前記評価用素性情報集合保持手段に保持された評価用素性情報集合に基づく回答候補抽出の精度を表す値よりも大きい場合に、前記第１の素性情報生成手段により生成された素性情報を前記素性情報保持手段に保持された素性情報集合に追加するようにしてもよい。
【００１３】
また、質問応答システムは、前記評価用素性情報集合が、前記第２の素性情報生成手段により生成された素性情報の集合であるようにしてもよい。
【００１４】
上述の通り、ルール型の質問応答における素性情報については、そのまま統計処理型の質問応答に用いられることができるものであるため、当該素性情報の集合を評価用素性情報の集合としても用いることにより、回答候補抽出の精度をより的確に判定することができる。
【００１５】
また、本発明に係る、プログラムに従って情報を処理する情報処理装置にて構成され、入力した検索質問文に応じて、検索対象文を含む知識源を検索して回答を得る質問応答システムは、前記検索質問文、該検索質問文に応じた前記知識源に含まれる検索対象文の検索により得られる検索結果の文、及び、該検索結果の文から抽出される前記検索質問文の回答となり得る回答候補の対応関係を表す素性情報の集合を保持する素性情報集合保持手段と、前記検索質問文を解析して得られる該検索質問文の解析情報に基づいて前記知識源に含まれる検索対象文を検索して検索結果の文を取得し、前記素性情報保持手段により保持された素性情報集合に基づいて前記検索結果の文から前記検索質問文の回答となり得る回答候補を抽出する第１の回答候補抽出手段と、前記検索質問文に対応する予め定められた検索ルールに基づいて前記知識源に含まれる検索対象文を検索して検索結果の文を取得し、該検索結果の文から前記検索質問文の回答となり得る回答候補を抽出する第２の回答候補抽出手段と、前記第２の回答候補抽出手段により回答候補が抽出された場合に、前記検索質問文、前記第２の回答候補抽出手段により取得された検索結果の文、及び、前記第２の回答候補抽出手段により抽出された回答候補の対応関係を表す素性情報を生成する第２の素性情報生成手段と、前記第２の素性情報生成手段により生成された素性情報を前記素性情報保持手段に保持された素性情報集合に追加する第２の素性情報追加手段とを有することを特徴とする。
【００１６】
この構成によれば、ルール型の質問応答における回答候補は、回答として相応しいものであるために、ルール型の質問応答において回答候補が抽出される場合には、検索質問文、ルール型の質問応答における検索結果の文及び回答候補の対応関係を表す素性情報については、そのまま精度情報集合に追加して統計処理型の質問応答に用いられるようにすることによって、回答候補抽出の精度を向上させることができる。
【００１７】
また、本発明に係る、プログラムに従って情報を処理する情報処理装置にて構成され、入力した検索質問文に応じて、検索対象文を含む知識源を検索して回答を得る質問応答システムでの処理方法は、前記検索質問文を解析して得られる該検索質問文の解析情報に基づいて前記知識源に含まれる検索対象文を検索して検索結果の文を取得し、記憶装置に予め保持された、前記検索質問文、該検索質問文に応じた前記知識源に含まれる検索対象文の検索により得られる検索結果の文、及び、該検索結果の文から抽出される前記検索質問文の回答となり得る回答候補の対応関係を表す素性情報の集合に基づいて前記検索結果の文から前記検索質問文の回答となり得る回答候補を抽出する第１の回答候補抽出ステップと、前記検索質問文、前記第１の回答候補抽出ステップにより取得された検索結果の文、及び、前記第１の回答候補抽出ステップにより抽出された回答候補の対応関係を表す素性情報を生成する第１の素性情報生成ステップと、前記第１の素性情報生成ステップにより生成された素性情報が前記記憶装置に保持された素性情報集合に追加された場合における該素性情報集合について、回答候補抽出の精度に関する所定の基準を満たすか否かを判定する精度判定ステップと、前記回答候補抽出の精度が前記所定の基準を満たしていると判定される場合に、前記第１の素性情報生成ステップにより生成された素性情報を前記記憶装置に保持された素性情報集合に追加する第１の素性情報追加ステップとを有することを特徴とする。
【００１８】
また、質問応答処理方法は、前記検索質問文に対応する予め定められた検索ルールに基づいて前記知識源に含まれる検索対象文を検索して検索結果の文を取得し、該検索結果の文から前記検索質問文の回答となり得る回答候補を抽出する第２の回答候補抽出ステップと、前記第２の回答候補抽出ステップにより回答候補が抽出された場合に、前記検索質問文、前記第２の回答候補抽出ステップにより取得された検索結果の文、及び、前記第２の回答候補抽出ステップにより抽出された回答候補の対応関係を表す素性情報を生成する第２の素性情報生成ステップと、前記第２の素性情報生成ステップにより生成された素性情報を前記記憶装置に保持された素性情報集合に追加する第２の素性情報追加ステップとを有するようにしてもよい。
【００１９】
また、質問応答処理方法は、前記精度判定ステップが、記憶装置に予め保持された、前記検索質問文、該検索質問文に応じた前記知識源に含まれる検索対象文の検索により得られる検索結果の文、及び、該検索結果の文から抽出される前記検索質問文の回答となり得る回答候補の対応関係を表す評価用素性情報の集合に基づく回答候補抽出の精度を表す値と、前記第１の素性情報生成ステップにより生成された素性情報が前記記憶装置に保持された評価用素性情報集合に追加された場合における該評価用素性情報集合に基づく回答候補抽出の精度を表す値とを比較し、前記第１の素性情報追加ステップが、前記第１の素性情報生成ステップにより生成された素性情報が前記記憶装置に保持された評価用素性情報集合に追加された場合における該評価用素性情報集合に基づく回答候補抽出の精度を表す値が、前記記憶装置に保持された評価用素性情報集合に基づく回答候補抽出の精度を表す値よりも大きい場合に、前記第１の素性情報生成ステップにより生成された素性情報を前記記憶装置に保持された素性情報集合に追加するようにしてもよい。
【００２０】
また、質問応答処理方法は、前記評価用素性情報集合が、前記第２の素性情報生成ステップにより生成された素性情報の集合であるようにしてもよい。
【００２１】
また、本発明に係る、プログラムに従って情報を処理する情報処理装置にて構成され、入力した検索質問文に応じて、検索対象文を含む知識源を検索して回答を得る質問応答システムでの処理方法は、前記検索質問文を解析して得られる該検索質問文の解析情報に基づいて前記知識源に含まれる検索対象文を検索して検索結果の文を取得し、記憶装置に予め保持された、前記検索質問文、該検索質問文に応じた前記知識源に含まれる検索対象文の検索により得られる検索結果の文、及び、該検索結果の文から抽出される前記検索質問文の回答となり得る回答候補の対応関係を表す素性情報の集合に基づいて前記検索結果の文から前記検索質問文の回答となり得る回答候補を抽出する第１の回答候補抽出ステップと、前記検索質問文に対応する予め定められた検索ルールに基づいて前記知識源に含まれる検索対象文を検索して検索結果の文を取得し、該検索結果の文から前記検索質問文の回答となり得る第２の回答候補を抽出する第２の回答候補抽出ステップと、前記第２の回答候補抽出ステップにより回答候補が抽出された場合に、前記検索質問文、前記第２の回答候補抽出ステップにより取得された検索結果の文、及び、前記第２の回答候補抽出ステップにより抽出された回答候補の対応関係を表す素性情報を生成する第２の素性情報生成ステップと、前記第２の素性情報生成ステップにより生成された素性情報の集合を、前記記憶装置に保持された素性情報集合に追加する第２の素性情報追加ステップとを有することを特徴とする。
【００２２】
また、本発明に係る、入力した検索質問文に応じて、検索対象文を含む知識源を検索して回答を得る質問応答システムを構成する情報処理装置にて実行可能なプログラムは、前記検索質問文を解析して得られる該検索質問文の解析情報に基づいて前記知識源に含まれる検索対象文を検索して検索結果の文を取得し、記憶装置に予め保持された、前記検索質問文、該検索質問文に応じた前記知識源に含まれる検索対象文の検索により得られる検索結果の文、及び、該検索結果の文から抽出される前記検索質問文の回答となり得る回答候補の対応関係を表す素性情報の集合に基づいて前記検索結果の文から前記検索質問文の回答となり得る回答候補を抽出する第１の回答候補抽出ステップと、前記検索質問文、前記第１の回答候補抽出ステップにより取得された検索結果の文、及び、前記第１の回答候補抽出ステップにより抽出された回答候補の対応関係を表す素性情報を生成する第１の素性情報生成ステップと、前記第１の素性情報生成ステップにより生成された素性情報が前記記憶装置に保持された素性情報集合に追加された場合における該素性情報集合について、回答候補抽出の精度に関する所定の基準を満たすか否かを判定する精度判定ステップと、前記回答候補抽出の精度が前記所定の基準を満たしていると判定される場合に、前記第１の素性情報生成ステップにより生成された素性情報を前記記憶装置に保持された素性情報集合に追加する第１の素性情報追加ステップとを有することを特徴とする。
【００２３】
また、質問応答プログラムは、前記検索質問文に対応する予め定められた検索ルールに基づいて前記知識源に含まれる検索対象文を検索して検索結果の文を取得し、該検索結果の文から前記検索質問文の回答となり得る回答候補を抽出する第２の回答候補抽出ステップと、前記第２の回答候補抽出ステップにより回答候補が抽出された場合に、前記検索質問文、前記第２の回答候補抽出ステップにより取得された検索結果の文、及び、前記第２の回答候補抽出ステップにより抽出された回答候補の対応関係を表す素性情報を生成する第２の素性情報生成ステップと、前記第２の素性情報生成ステップにより生成された素性情報を前記記憶装置に保持された素性情報集合に追加する第２の素性情報追加ステップとを有するようにしてもよい。
【００２４】
また、質問応答プログラムは、前記精度判定ステップが、記憶装置に予め保持された、前記検索質問文、該検索質問文に応じた前記知識源に含まれる検索対象文の検索により得られる検索結果の文、及び、該検索結果の文から抽出される前記検索質問文の回答となり得る回答候補の対応関係を表す評価用素性情報の集合に基づく回答候補抽出の精度を表す値と、前記第１の素性情報生成ステップにより生成された素性情報が前記記憶装置に保持された評価用素性情報集合に追加された場合における該評価用素性情報集合に基づく回答候補抽出の精度を表す値とを比較し、前記第１の素性情報追加ステップが、前記第１の素性情報生成ステップにより生成された素性情報が前記記憶装置に保持された評価用素性情報集合に追加された場合における該評価用素性情報集合に基づく回答候補抽出の精度を表す値が、前記記憶装置に保持された評価用素性情報集合に基づく回答候補抽出の精度を表す値よりも大きい場合に、前記第１の素性情報生成ステップにより生成された素性情報を前記記憶装置に保持された素性情報集合に追加するようにしてもよい。
【００２５】
また、質問応答プログラムは、前記評価用素性情報集合が、前記第２の素性情報生成ステップにより生成された素性情報の集合であるようにしてもよい。
【００２６】
また、本発明に係る、入力した検索質問文に応じて、検索対象文を含む知識源を検索して回答を得る質問応答システムを構成する情報処理装置にて実行可能なプログラムは、前記検索質問文を解析して得られる該検索質問文の解析情報に基づいて前記知識源に含まれる検索対象文を検索して検索結果の文を取得し、記憶装置に予め保持された、前記検索質問文、該検索質問文に応じた前記知識源に含まれる検索対象文の検索により得られる検索結果の文、及び、該検索結果の文から抽出される前記検索質問文の回答となり得る回答候補の対応関係を表す素性情報の集合に基づいて前記検索結果の文から前記検索質問文の回答となり得る回答候補を抽出する第１の回答候補抽出ステップと、前記検索質問文に対応する予め定められた検索ルールに基づいて前記知識源に含まれる検索対象文を検索して検索結果の文を取得し、該検索結果の文から前記検索質問文の回答となり得る第２の回答候補を抽出する第２の回答候補抽出ステップと、前記第２の回答候補抽出ステップにより回答候補が抽出された場合に、前記検索質問文、前記第２の回答候補抽出ステップにより取得された検索結果の文、及び、前記第２の回答候補抽出ステップにより抽出された回答候補の対応関係を表す素性情報を生成する第２の素性情報生成ステップと、前記第２の素性情報生成ステップにより生成された素性情報の集合を、前記記憶装置に保持された素性情報集合に追加する第２の素性情報追加ステップとを有することを特徴とする。
【発明の効果】
【００２７】
本発明によれば、検索質問文と統計処理型の質問応答における検索結果の文及び回答候補との対応関係を表す素性情報については、その素性情報に基づく回答候補抽出の精度が良好である場合に、精度情報集合に追加されるため、統計処理型の質問応答における回答候補抽出の精度を向上させることが可能となる。また、本発明によれば、検索質問文、ルール型の質問応答における検索結果の文及び回答候補の対応関係を表す素性情報については、そのまま精度情報集合に追加して統計処理型の質問応答に用いられるようにすることによって、当該統計処理型の質問応答における回答候補抽出の精度を向上させることができる。
【発明を実施するための最良の形態】
【００２８】
本発明の実施の形態について、図面を参照して具体的に説明する。図１は、質問応答システムの構成例を示す図である。同図に示す質問応答システム１００は、情報処理装置内に構成されるものであり、電子化された検索質問文に応じて、電子化された検索対象文を含むインターネット上の検索サイト等の知識源２００を検索して回答を得るものである。この質問応答システム１００は、質問入力部１０、典型質問文パターンマッチング部１２、回答検索部１４、素性抽出部１６、学習セットデータベース（ＤＢ）１８、テストセットＤＢ２０、質問解析部２２、情報検索部２４、評価部２６、回答抽出部２８、回答提示部３０、学習モデル候補抽出部３２、再学習部３４、テストセット評価部３６、精度監視部３８及び素性削除処理部４０により構成される。
【００２９】
これらのうち、典型質問文パターンマッチング部１２及び回答検索部１４によってルール型質問応答部５０が構成され、素性抽出部１６、学習セットＤＢ１８、質問解析部２２、情報検索部２４、評価部２６、回答抽出部２８及び回答提示部３０によって統計処理型質問応答部６０が構成され、学習セットＤＢ１８、テストセットＤＢ２０、学習モデル候補抽出部３２、再学習部３４、テストセット評価部３６、精度監視部３８及び素性削除処理部４０によってブートストラッピング処理部７０が構成される。これらルール型質問応答部５０、統計処理型質問応答部６０及びブートストラッピング処理部７０は、ＣＰＵとメモリによって構成され、ＣＰＵが所定のプログラムを実行することによって実現される。
【００３０】
以下、フローチャートを参照しつつ、質問応答システム１００の動作を説明する。図２は、質問応答システム１００の動作を示すフローチャートである。質問入力部１０は、例えばキーボードであり、ユーザの操作指示に応じて、自然言語文である検索質問文の文字列をルール型質問応答部５０内の典型質問文パターンマッチング部１２へ出力する。典型質問文パターンマッチング部１２は、検索質問文を入力したか否かを判定する（Ｓ１０１）。検索質問文を入力した場合、典型質問文パターンマッチング部１２は、その検索質問文に対する回答候補を知識源２００から抽出するためのルール情報を検索する（Ｓ１０２）。
【００３１】
具体的には、典型質問文パターンマッチング部１２は、予め人手によって設定されたルール情報を保持している。ルール情報は、例えば、「Ｘは｛何｜誰｜どこ｜いつ｜｝ですか？」という検索質問文について、回答候補「Ａ」を抽出するために、「ＡはＸです。」や「ＸはＡです」等の回答候補を含む文（パッセージ）の文型パターンや回答候補に関する情報が記述されたものである。典型質問文パターンマッチング部１２は、保持しているルール情報を検索し、入力した検索質問文に対応するものの取得を試みる。
【００３２】
次に、典型質問文パターンマッチング部１２は、入力した検索質問文に対応するルール情報を取得することができたか否かを判定する（Ｓ１０３）。ルール情報を取得することができた場合、典型質問文パターンマッチング部１２は、そのルール情報を検索質問文とともに回答検索部１４へ出力する。回答検索部１４は、ルール型質問応答（ＱＡ）処理を行う（Ｓ１０４）。具体的には、回答検索部１４は、知識源２００を検索して、ルール情報で表されるパッセージの文型パターンに一致する検索結果の文（パッセージ）を取得し、更に、ルール情報に含まれる回答候補に関する情報に基づいて、そのパッセージに含まれる回答候補の抽出を試みる。
【００３３】
次に、回答検索部１４は、回答候補を抽出することができたか否かを判定する（Ｓ１０５）。回答候補を抽出することができた場合、回答検索部１４は、その回答候補をユーザに提示すべくモニタ（図示せず）等に出力する（Ｓ１０６）。
【００３４】
また、回答検索部１４は、検索質問文、パッセージ及び回答候補を素性抽出部１６へ出力する。素性抽出部１６は、回答検索部１４からの検索質問文、パッセージ及び回答候補の対応関係を表す素性情報を生成する。素性情報の種類は、予め人手によって設定されており、素性抽出部１６は、その種別に応じた素性情報を生成する。更に、素性抽出部１６は、生成した素性情報を、後述する統計処理型質問応答処理において用いられる、素性情報の集合である機械学習法の学習モデル情報を保持する学習セットＤＢ１８及びテストセットＤＢ２０に追加する（Ｓ１０７）。
【００３５】
一方、Ｓ１０３においてルール情報を取得することができなかったと判定されたり、Ｓ１０５において回答候補を取得することができなかったと判定される場合、このことは、ルール型質問応答処理では、回答候補を得ることができなかったということを示している。この場合、典型質問文パターンマッチング部１２は、統計処理型質問応答処理を行わせるために、検索質問文を質問解析部２２へ出力する。
【００３６】
質問解析部２２、情報検索部２４、評価部２６及び回答抽出部２８は、質問解析部２２に検索質問文が入力されると、統計処理型質問応答（ＱＡ）処理を行う（Ｓ１０８）。以下、統計処理型質問応答処理の詳細を説明する。
【００３７】
質問解析部２２は、入力した検索質問文に対して、公知の形態素解析を施し、検索質問文から特徴語を抽出するとともに、当該検索質問文によって問われる対象を表す質問タイプの判定を行う。公知の形態素解析とは、例えば、茶筌（Chasen）（文献：松本裕治、北内啓、山下達雄、平野善隆、松田寛、高岡一馬、浅原正幸著、「日本語形態素解析システム  茶筌  version2.2.1  使用説明書」、奈良先端科学技術大学院大学、２０００年参照）等の日本語形態素解析である。ここで特徴語は、情報検索と質問タイプ判定に利用される単語になり得る名詞及び疑問詞である。また、質問タイプは、検索質問文の疑問詞と特徴語とに基づいて、人名、地名、組織名等に分類される質問の型を特定するものである。質問解析部２２は、質問タイプを判定するために、人名や組織名等が予め記述された定義辞書を備えている。質問タイプの判定には、人手によって設定された判定ルール（文献：Na S.,Kang S.,Lee J.著、「POSTECH Question-Answering Experiments at NTCIR-4 QAC」、Working Notes of NTCIR-4 Workshop、p.361-366、２００４年及び当該論文中の引用文献参照）が用いられる。質問解析部２２は、特徴語を情報検索部２４へ出力するとともに、検索質問文及び質問タイプを素性抽出部１６へ出力する。
【００３８】
情報検索部２４は、入力した特徴語に対応する検索式を生成し、当該検索式により知識源２００を検索して、検索結果の文（パッセージ）を取得する。検索式による知識源２００の検索は、特徴語のＡＮＤ検索が基本である。検索には、NamazuやGETAなどの既存の検索手法が利用される（Namazuについては、インターネット検索：http://www.namazu.org、GETAについてはインターネット検索：http://www.getaex.nii.ac.jp参照）。情報検索部２４は、取得したパッセージを評価部２６及び素性抽出部１６へ出力する。
【００３９】
素性抽出部１６は、質問解析部２２からの検索質問文及び質問タイプと、情報検索部２４からのパッセージ及び特徴語とを入力し、パッセージ内の特徴語の中から回答候補を抽出する。ここで、回答候補は、質問タイプと同じ分類体系に属する固有名の単語である。更に、素性抽出部１６は、検索質問文、パッセージ及び回答候補の対応関係を表す素性情報を生成し、その素性情報と回答候補とを評価部２６へ出力する。例えば、検索質問文をq、特徴語をTi（i=1,…,x）、回答候補をa、パッセージをpk（k=1,…,z）とすると、素性情報には、pk中にあるTiの総数、pk中のTiとaの距離、ΣpkのTiとaの共起頻度等の情報が含まれる。
【００４０】
評価部２６は、素性抽出部１６からの回答候補毎の素性情報について、予め学習セットＤＢ１８に保持されている学習モデル情報を用いて機械学習法による評価を行う。ここで、素性抽出部１６からの回答候補毎の素性情報と、学習セットＤＢ１８に保持されている学習モデル情報を構成する各素性情報のデータ構造は同一である。評価部２６は、この評価を示す値（評価値）、パッセージ及び回答候補を回答抽出部２８へ出力する。
【００４１】
なお、機械学習法とは、学習モデル情報を入力し、統計処理手法を用いることによって、あるデータの特徴を説明するための規則を出力する手法である。例えば、教師あり機械学習と称される機械学習法では、学習モデル情報を構成する各情報に、評価が付与されている。学習モデル情報内の各情報の特徴（素性）とその評価との対応規則を学習することによって、あるデータが与えられた場合に、その評価を予測することが可能となる。これまでに、ＭＥ（Maximum Entorpy）等の様々な教師あり機械学習手法が提案されている（文献：Fabrizio Sebaastiani著、「Machine Learning in Automated Text Categorization」、ACM Compurting Surveys Vol.34、No.1、p.1-47、２００２年及び当該論文中の引用文献を参照）。
【００４２】
回答抽出部２８は、入力したパッセージに含まれる回答候補の中から対応する素性情報の評価値が上位の所定数（既定値）を抽出する。具体的には、回答抽出部２８は、入力したパッセージに対して公知の形態素解析を施し、パッセージに含まれる固有名を抽出して、その固有名に対応する回答候補について、対応する素性情報の評価値が上位の所定数を抽出する。固有名の抽出とは、パッセージに含まれる人名、組織名、地名、数量を自動的に判別し、固有名として抽出することを指す（文献：山田寛康、工藤拓、松本裕治著、「Support Vector Machineを用いた日本語固有表現抽出」情報処理、Vol.43、No.1-5、２００２年及び当該論文中の引用文献を参照）。なお、固有名の分類体系と質問タイプとは整合が図られている。
【００４３】
次に、回答抽出部２８は、抽出した回答候補、当該回答候補に対応する素性情報、及び、当該素性情報の評価値を回答提示部３０へ出力する（Ｓ１０９）。回答提示部３０は、例えばモニタであり、回答候補をユーザに提示する。ユーザは、提示される回答候補の中から正解を選択する。
【００４４】
通常の統計処理型質問応答処理では、回答候補の提示により一連の処理が終了するが、本実施形態では、回答候補抽出の精度を向上させるべく、学習セットＤＢ１８に保持されている学習モデル情報の更新が行われる。以下、その詳細を説明する。
【００４５】
学習モデル候補抽出部３２は、回答候補に対応する素性情報のうち、所定の素性情報を学習セットＤＢ１８内の学習モデル情報に追加すべきものと決定する（Ｓ１１０）。具体的には、学習モデル候補抽出部３２は、回答提示部３０によって提示された回答候補のうち、ユーザによって正解として選択された回答候補を取得するとともに、回答抽出部２８によって抽出された回答候補、当該回答候補に対応する素性情報、及び、当該素性情報の評価値を、回答提示部３０を介して取得する。更に、学習モデル候補抽出部３２は、ユーザによって正解として選択された回答候補に対応する素性情報、評価値が最も高い素性情報、あるいは、評価値が最も高い素性情報と評価値が最も低い素性情報の組み合わせのいずれかを、学習セットＤＢ１８に追加すべき素性情報（追加素性情報候補）として決定する。決定された追加素性情報候補は、再学習部３４へ送られる。
【００４６】
再学習部３４及びテストセット評価部３６は、追加素性情報候補が追加された新たな学習モデル情報の評価（テストセット評価処理）を行う（Ｓ１１１）。具体的には、再学習部３４は、学習セットＤＢ１８から学習モデル情報を読み出し、当該学習モデル情報に追加素性情報候補を追加した新たな学習モデル情報を生成する。更に、再学習部３４は、新たな学習モデル情報を、テストセット評価部３６へ出力するとともに、元の学習モデル情報とは別のファイル名で学習セットＤＢ１８に保持させる。
【００４７】
テストセット評価部３６は、新たな学習モデル情報を用いた場合における回答候補抽出の精度と、テストセットＤＢ２０に保持されている元の学習モデル情報（評価用学習モデル情報）を用いた場合における回答候補抽出の精度とを算出する。回答候補抽出の精度としては、ＭＭＲ（Mean Reciprocal Rank）が用いられる。このＭＭＲは、自然言語の質問応答システムの評価を表すものとして代表的なものである。ＭＭＲの算出方法は、検索質問文毎に、当該検索質問文に対応して出現する回答候補のうち、正解の出現順位の逆数を求め、その値を全検索質問文にわたって平均したものであり、数値が大きいほど、回答候補抽出の精度が高いことを示す。例えば、検索質問文の数がｎ、検索質問文に対応して出現する回答候補のうち、正解の出現順位をＲａｎｋとすると、ＭＭＲは、
【数１】
2007219955.tif 000003
により算出される。算出された回答候補抽出の精度は、精度監視部３８へ送られる。
【００４８】
精度監視部３８は、新たな学習モデル情報の回答候補抽出の精度と、テストセットＤＢ２０に保持されている元の学習モデル情報の回答候補抽出の精度とを比較し、新たな学習モデル情報の回答候補抽出の精度がテストセットＤＢ２０に保持されている元の学習モデル情報の回答候補抽出の精度よりも所定値以上（例えばＭＭＲが０．０１以上）向上しているか否かを判定する（Ｓ１１２）。
【００４９】
新たな学習モデル情報の回答候補抽出の精度がテストセットＤＢ２０に保持されている元の学習モデル情報の回答候補抽出の精度よりも所定値以上向上していない場合、精度監視部３８は、素性削除処理部４０に対して、新たな学習モデル情報の削除を指示する。素性削除処理部４０は、この指示に従って、学習セットＤＢ１８に保持されている新たな学習モデル情報を削除する（Ｓ１１３）。これにより、その後の統計処理型質問応答処理においては、元の学習モデル情報、すなわち、追加素性情報候補が追加されていない学習モデル情報が用いられる。
【００５０】
一方、新たな学習モデル情報の回答候補抽出の精度がテストセットＤＢ２０に保持されている元の学習モデル情報の回答候補抽出の精度よりも所定値以上向上している場合には、学習セットＤＢ１８に保持されている新たな学習モデル情報の削除は行われず、その後の統計処理型質問応答処理においては、この新たな学習モデル情報、すなわち、追加素性情報候補が追加された学習モデル情報が用いられる。
【００５１】
以下、具体的な質問検索文を例に、質問応答システム１００の動作を説明する。まず、ルール型質問応答処理により回答候補が得られる第１の実施例について説明する。第１実施例においては、図３に示すように、質問応答システム１００のうち、質問入力部１０、典型質問文パターンマッチング部１２、回答検索部１４、素性抽出部１６、学習セットデータベース（ＤＢ）１８、テストセットＤＢ２０のみが用いられる。
【００５２】
典型質問文パターンマッチング部１２は、質問入力部１０からの検索質問文「ＩＳＯ（国際標準化機構）の本部はどこにありますか？」を入力すると、当該検索質問文に対応するルール情報の取得を試みる。ここでは、検索質問文の文型パターン「Ｘはどこにありますか？」に対応して、パッセージの文型パターン「ＸはＡに｛あります｜あり、｜ある｝」、回答候補が固有名であることを示す情報、及び、疑問詞が「どこ」に対応して回答候補が地名や組織名であることを示す情報がルール情報として取得される。なお、検索質問文及びパッセージの文型パターンにおける「Ｘ」並びに「Ａ」は、Ｎ単語以内からなる文字列であるとする。Ｎは任意に設定できる整数値である。
【００５３】
回答検索部１４は、知識源２００を検索して、ルール情報で表されるパッセージの文型パターンに一致するパッセージを取得する。ここでは、パッセージ１「ＩＳＯ国際標準化機構の本部は、スイスのジュネーブにあり、各国の国家を代表する…」及びパッセージ２「ＩＳＯ（国際標準化機構）の本部はスイスのジュネーブにあり、製品やサービスの国際取引のために科学技術や経済活動などの標準化を推進する機構です。」が取得されるものとする。
【００５４】
更に、回答検索部１４は、取得したパッセージから回答候補の抽出を試みる。ルール情報によれば、回答候補は固有名であり、その固有名は検索質問文の疑問詞が「どこ」であることに対応して地名や組織名である。従って、回答検索部１４は、固有名であり、且つ、地名又は組織名であるもの、すなわち、パッセージ１及び２ともに「スイスのジュネーブ」を回答候補として抽出する。素性抽出部１６は、抽出された回答候補「スイスのジュネーブ」、パッセージ１及び２、検索質問文「ＩＳＯ（国際標準化機構）の本部はどこにありますか？」に対応する素性情報を生成し、学習セットＤＢ１８及びテストセットＤＢ２０に保持させる。
【００５５】
次に、統計処理型質問応答処理により回答候補が得られる第２の実施例について説明する。第２実施例においては、図４に示すように、質問応答システム１００のうち、回答検索部１４以外の構成が用いられる。
【００５６】
典型質問文パターンマッチング部１２は、質問入力部１０からの検索質問文「２００５年の夏の甲子園で連覇を果たした高校はどこですか？」を入力すると、当該検索質問文に対応するルール情報の取得を試みる。
【００５７】
典型質問文パターンマッチング部１２によってルール情報が取得されなかった場合、質問解析部２２は、検索質問文から特徴語「２００５年」、「夏」、「甲子園」、「連覇」及び「高校」を抽出するとともに、疑問詞「どこ」と最も距離の近い特徴語「高校」に対応して、質問タイプを組織名と判定する。情報検索部２４は、質問解析部２２によって抽出された特徴語に対応する検索式を生成し、当該検索式により知識源２００を検索して、パッセージを取得する。ここでは、パッセージ１「第８７回全国高校野球選手権大会は、２００５年８月２０日、甲子園球場で決勝戦が行われ、駒大苫小牧高校（南北海道）が勝って、夏の大会２連覇を果たした。」及びパッセージ２「小倉中（福岡）以来５７年ぶりの大会２連覇を果たした。」が取得されるものとする。
【００５８】
素性抽出部１６は、情報検索部２４からのパッセージから回答候補を抽出する。回答候補は、質問タイプと同じ分類体系に属する固有名であり、パッセージ１に対応する回答候補は「駒大苫小牧高校」であり、パッセージ２に対応する回答候補は「小倉中」である。更に、素性抽出部１６は、質問解析部２２や情報検索部２４において得られた特徴語やパッセージを利用して素性情報を生成する。
【００５９】
評価部２６は、素性抽出部１６によって生成される回答候補毎の素性情報に対して、学習セットＤＢ１８に保持されている学習モデル情報を用いて機械学習による評価を行う。ここでは、回答候補「駒大苫小牧高校」に対応する素性情報の評価値が回答候補「小倉中」に対応する素性情報の評価値よりも高いものとする。
【００６０】
回答抽出部２８は、評価部２６において算出された評価値に基づいて、パッセージ１に含まれる回答候補「駒大苫小牧」を最も確からしい回答候補として抽出する。回答提示部３０は、この最も確からしい回答候補「駒大苫小牧高校」をユーザに提示する。なお、回答提示部３０は、回答候補の確からしさの順位付けに応じて、複数の回答候補を提示することも可能である。
【００６１】
学習モデル候補抽出部３２は、最も確からしい回答候補「駒大苫小牧高校」に対応する素性情報を、学習セットＤＢ１８内の学習モデル情報に追加すべきもの（追加素性情報候補）として決定する。再学習部３４は、学習セットＤＢ１８から学習モデル情報を読み出し、当該学習モデル情報に追加素性情報候補を追加した新たな学習モデル情報を生成する。テストセット評価部３６は、新たな学習モデル情報の回答候補抽出の精度であるＭＭＲと、テストセットＤＢ２０に保持されている元の学習モデル情報の回答候補抽出の精度であるＭＭＲとを算出する。
【００６２】
精度監視部３８は、新たな学習モデル情報の回答候補抽出の精度と、テストセットＤＢ２０に保持されている元の学習モデル情報の回答候補抽出の精度とを比較する。新たな学習モデル情報の回答候補抽出の精度がテストセットＤＢ２０に保持されている元の学習モデル情報の回答候補抽出の精度よりも所定値以上（例えばＭＭＲが０．０１以上）向上している場合には、その後の統計処理型質問応答処理において、新たな学習モデル情報、すなわち、追加素性情報候補が追加された学習モデル情報が用いられる。
【００６３】
このように、本実施形態の質問応答システム１００では、ルール型の質問応答における回答候補は、回答として相応しいものであるために、検索質問文、ルール型の質問応答におけるパッセージ及び回答候補の対応関係を表す素性情報については、そのまま機械学習法の学習モデル情報に追加して、その後の統計処理型の質問応答に用いられるようにする。一方、検索質問文、統計処理型の質問応答におけるパッセージ及び回答候補の対応関係を表す素性情報については、評価が良好である場合、換言すれば、回答候補が回答として相応しいものである場合に学習モデル情報に追加して、その後の統計処理型の質問応答に用いられるようにする。このように、学習モデル情報を最適なものに再構築することによって、統計処理型の質問応答における回答候補抽出の精度を向上させることができる。
【００６４】
また、ルール型の質問応答処理では、回答候補は回答として相応しいものであるものの、ルール情報に対応する検索質問文の数は必ずしも多くなく、回答候補の抽出漏れが生じて素性情報が更新されない可能性があるが、この場合には、統計処理型の質問応答処理によって回答候補が抽出され、その回答候補抽出の精度が良好であれば、対応する素性情報が学習モデル情報に追加される。すなわち、学習モデル情報が高頻度で再構築されるため、可能な限り迅速に学習モデル情報を最適なものに再構築することができる。
【００６５】
なお、上述した実施形態において、学習セットＤＢ１８が素性情報集合保持手段に、素性抽出部１６、質問解析部２２、情報検索部２４、評価部２６及び回答抽出部２８が第１の回答候補抽出手段に対応し、素性抽出部１６が第１の素性情報生成手段に対応し、学習モデル候補抽出部３２、再学習部３４、テストセット評価部３６、精度監視部３８及び素性削除処理部が精度判定手段及び第１の素性情報追加手段に対応する。また、典型質問文パターンマッチング部１２及び回答検索部１４が第２の回答候補抽出手段に対応し、素性抽出部１６が第２の素性情報生成手段及び第２の素性情報追加手段に対応する。また、テストセットＤＢ２０が評価用素性情報集合保持手段に対応する。
【００６６】
ところで、上述した実施形態では、ルール型質問応答処理において回答候補が抽出される場合に、検索質問文、ルール型の質問応答におけるパッセージ及び回答候補の対応関係を表す素性情報が学習モデル情報に追加されるとともに、統計処理型質問応答処理において回答候補が抽出される場合であって、且つ、検索質問文、統計処理型の質問応答におけるパッセージ及び回答候補の対応関係を表す素性情報の評価が良好である場合に、当該素性情報が学習モデル情報に追加されるようにしたが、検索質問文、ルール型の質問応答におけるパッセージ及び回答候補の対応関係を表す素性情報のみが学習モデル情報に追加されるようにしてもよい。この場合には、図２のフローチャートにおけるＳ１０１乃至Ｓ１０９の処理のみが行われる。
【００６７】
すなわち、典型質問文パターンマッチング部１２は、検索質問文を入力したか否かを判定し（Ｓ１０１）、検索質問文を入力した場合、その検索質問文に対する回答候補を知識源２００から抽出するためのルール情報を検索する（Ｓ１０２）。更に、典型質問文パターンマッチング部１２は、入力した検索質問文に対応するルール情報を取得することができたか否かを判定する（Ｓ１０３）。ルール情報を取得することができた場合、典型質問文パターンマッチング部１２は、そのルール情報を検索質問文とともに回答検索部１４へ出力する。回答検索部１４は、ルール型質問応答処理を行う（Ｓ１０４）。
【００６８】
次に、回答検索部１４は、ルール型質問応答処理によって回答候補を抽出することができたか否かを判定する（Ｓ１０５）。回答候補を抽出することができた場合、回答検索部１４は、その回答候補をユーザに提示すべくモニタ等に出力する（Ｓ１０６）。また、素性抽出部１６は、検索質問文、パッセージ及び回答候補の対応関係を表す素性情報を生成し、当該素性情報を、学習セットＤＢ１８及びテストセットＤＢ２０に追加する（Ｓ１０７）。
【００６９】
一方、Ｓ１０３においてルール情報を取得することができなかったと判定されたり、Ｓ１０５において回答候補を取得することができなかったと判定される場合、質問解析部２２、情報検索部２４、評価部２６及び回答抽出部２８は、統計処理型質問応答処理を行う（Ｓ１０８）。次に、回答抽出部２８は、統計処理型質問応答処理において抽出した回答候補、当該回答候補に対応する素性情報、及び、当該素性情報の評価値を回答提示部３０へ出力する（Ｓ１０９）。
【００７０】
上述したように、ルール型の質問応答における回答候補は、回答として相応しいものであるために、検索質問文、ルール型の質問応答におけるパッセージ及び回答候補の対応関係を表す素性情報のみを、そのまま機械学習法の学習モデル情報に追加して、その後の統計処理型の質問応答に用いられるようにすることによっても、学習モデル情報を最適なものに再構築して、統計処理型の質問応答における回答候補抽出の精度を向上させることができる。
【００７１】
また、例えば、知識源２００がいわゆるＦＡＱサイトである場合、当該ＦＡＱサイトには、検索質問文と回答候補が含まれるパッセージとが存在する。この場合、回答検索部１４は、いわゆるロボット検索を行って検索質問文とパッセージとを取得する。更に、回答検索部１４は、そのパッセージの文型パターンが検索質問文に対応するルール情報に一致するか否かを判定し、一致した場合には、回答である可能性の高い回答候補を得ることが可能となる。
【００７２】
この場合には、ユーザの操作指示に応じた検索質問文の入力がなくても、自動的に、素性抽出部１６によって素性情報が生成され、学習セットＤＢ１８に保持された学習モデル情報及びテストセットＤＢ２０に保持された評価用学習モデル情報が再構築されるため、可能な限り迅速に学習モデル情報を最適なものに再構築することができる。
【００７３】
また、回答検索部１４は、ユーザの操作指示に応じた検索質問文及び回答候補から別の検索質問文やパッセージを生成して知識源２００を検索することにより、回答候補の確かさらしさを検証するようにしてもよい。
【００７４】
例えば、回答検索部１４は、検索質問文「最古の木造建築物で有名な法隆寺はいつ建立ましたか？」と回答候補「６０７年」からパッセージ「最古の木造建築物で有名な法隆寺｛は｜が｜を｝６０７年（に）建立｛されました｜された｝」、「６０７年（に）最古の木造建築物で有名な法隆寺｛は｜が｜を｝１９８０年に建立｛されました｜された｝」、「有名な法隆寺｛は｜が｝６０７年（に）建立｛されました｜された｝」等を生成する。更に、回答検索部１４は、これらのパッセージを用いて、知識源２００を検索し、検索結果が存在すれば、回答候補「６０７年」が回答である可能性が高いと判断することができ、素性抽出部１６によって素性情報が生成され、学習セットＤＢ１８に保持された学習モデル情報及びテストセットＤＢ２０に保持された評価用学習モデル情報が再構築される。別の検索質問文を生成して知識源２００を検索する場合も同様である。
【００７５】
更に、回答検索部１４は、生成された別の検索質問文やパッセージに対応するルール情報を生成し、その後のルール型質問応答処理に使用可能とするようにしてもよい。あるいは、典型質問文パターンマッチング部１２が生成した別の検索質問文に対応するルール情報を検索することにより、ユーザの操作指示に応じた検索質問文に対応するルール情報を取得することができない場合においても、生成した別の検索質問文に対応するルール情報を取得することが可能となる。
【００７６】
また、評価部２６における素性情報の評価において、機械学習法の１つであるＳＶＭ（Support Vector Machine）の手法を用いるようにしても良い。この場合、評価部２６は、素性抽出部１６によって生成された素性情報を、正解（正例）に対応する素性情報と不正解（負例）に対応する素性情報とに分類して、回答候補が正例又は負例のいずれかであるかを判定する。これにより、予め負例に対応する素性情報も学習モデル情報の構築において考慮されるため、正例に対応する素性情報のみによって学習モデル情報の構築がなされる場合によりも、当該学習モデル情報を用いた回答候補の抽出の精度を更に向上させることが可能となる。
【００７７】
また、テストセットＤＢ２０に保持される評価用学習モデル情報を評価する手段を設けてもよい。この場合には、評価用学習モデル情報の品質を更に向上させることができる。
【産業上の利用可能性】
【００７８】
以上、説明したように、本発明に係る質問応答システム、質問応答処理方法及び質問応答プログラムによれば、統計処理型の質問応答における回答候補抽出の精度を向上させることができ、質問応答システム等として有用である。
【図面の簡単な説明】
【００７９】
【図１】質問応答システムの構成を示す図である。
【図２】質問応答システムの動作を示すフローチャートである。
【図３】第１実施例における質問応答システムの構成を示す図である。
【図４】第２実施例における質問応答システムの構成を示す図である。
【符号の説明】
【００８０】
１０  質問入力部
１２  典型質問文パターンマッチング部
１４  回答検索部
１６  素性抽出部
１８  学習セットＤＢ
２０  テストセットＤＢ
２２  質問解析部
２４  情報検索部
２６  評価部
２８  回答抽出部
３０  回答提示部
３２  学習モデル候補抽出部
３４  再学習部
３６  テストセット評価部
３８  精度監視部
４０  素性削除処理部
５０  ルール型質問応答部
６０  統計処理型質問応答部
７０  ブートストラッピング部
１００  質問応答システム
２００  知識源
【図１】
2007219955.tif 000004
【図２】
2007219955.tif 000005
【図３】
2007219955.tif 000006
【図４】
2007219955.tif 000007