(57)【特許請求の範囲】
【請求項１】
入力された質問文に対してノンファクトイド型の質問応答を行うための回答文を生成する質問応答装置であって、
前記入力された質問文に対する１つ以上の文からなる回答候補の集合を抽出する回答候補抽出手段と、
前記回答候補抽出手段によって抽出された前記回答候補の集合に含まれる前記回答候補の各々について、前記質問文と前記回答候補との組み合わせに対する、前記質問文と前記回答候補との内容の関連性に関する特徴量と、前記回答候補中の括弧の割合を示す特徴量とを含む特徴ベクトルを生成する特徴量生成手段と、
前記質問文と前記回答候補との組み合わせの各々について、予め学習された前記特徴ベクトルに含まれる各特徴量に対する重みと、前記特徴量生成手段によって生成された前記組み合わせに対する前記特徴ベクトルとに基づいて、スコアを算出するスコア算出手段と、
前記スコア算出手段によって算出されたスコアに従って、前記回答候補の集合をランキングするランキング手段と、
を含む質問応答装置。
【請求項２】
入力された質問文に対してノンファクトイド型の質問応答を行うための回答文を生成する質問応答装置であって、
前記入力された質問文に対する１つ以上の文からなる回答候補の集合を抽出する回答候補抽出手段と、
前記回答候補抽出手段によって抽出された前記回答候補の集合に含まれる前記回答候補の各々について、前記質問文と前記回答候補との組み合わせに対する、前記質問文と前記回答候補との内容の関連性に関する特徴量と、前記回答候補の一文字目が日本語であるか否かを示す特徴量とを含む特徴ベクトルを生成する特徴量生成手段と、
前記質問文と前記回答候補との組み合わせの各々について、予め学習された前記特徴ベクトルに含まれる各特徴量に対する重みと、前記特徴量生成手段によって生成された前記組み合わせに対する前記特徴ベクトルとに基づいて、スコアを算出するスコア算出手段と、
前記スコア算出手段によって算出されたスコアに従って、前記回答候補の集合をランキングするランキング手段と、
を含む質問応答装置。
【請求項３】
入力された質問文に対してノンファクトイド型の質問応答を行うための回答文を生成する質問応答装置であって、
前記入力された質問文に対する１つ以上の文からなる回答候補の集合を抽出する回答候補抽出手段と、
前記回答候補抽出手段によって抽出された前記回答候補の集合に含まれる前記回答候補の各々について、前記質問文と前記回答候補との組み合わせに対する、前記質問文と前記回答候補との内容の関連性に関する特徴量と、前記回答候補の最後の文字が句点であるか否かを示す特徴量とを含む特徴ベクトルを生成する特徴量生成手段と、
前記質問文と前記回答候補との組み合わせの各々について、予め学習された前記特徴ベクトルに含まれる各特徴量に対する重みと、前記特徴量生成手段によって生成された前記組み合わせに対する前記特徴ベクトルとに基づいて、スコアを算出するスコア算出手段と、
前記スコア算出手段によって算出されたスコアに従って、前記回答候補の集合をランキングするランキング手段と、
を含む質問応答装置。
【請求項４】
前記特徴量生成手段は、前記回答候補抽出手段によって抽出された前記回答候補の集合に含まれる前記回答候補の各々について、前記回答候補における文長、疑問詞の存在の有無、及び意味属性の存在の有無の少なくとも一つに関する特徴量を更に含む前記特徴ベクトルを生成する請求項１〜請求項３の何れか１項記載の質問応答装置。
【請求項５】
前記入力された質問文に基づいて、検索クエリを生成する検索クエリ生成手段と、
前記検索クエリ生成手段によって生成された検索クエリを用いて、Ｗｅｂに対して検索処理を行う検索手段とを更に含み、
前記回答候補抽出手段は、前記検索手段による検索処理によって得られた検索結果から、前記回答候補の集合を抽出し、
前記特徴量生成手段は、前記質問文の形態素解析結果と、前記回答候補の集合に含まれる前記回答候補の各々の形態素解析結果とに基づいて、前記組み合わせの各々の特徴ベクトルを生成する請求項１〜請求項４の何れか１項記載の質問応答装置。
【請求項６】
入力された質問文に対してノンファクトイド型の質問応答を行うための回答文の回答候補をランキングするためのランキングモデルを学習するモデル学習装置であって、
前記質問文に対する、１つ以上の文からなる正解の回答文及び正解でない回答文を記憶した質問応答データ記憶手段と、
前記質問応答データ記憶手段に記憶された前記回答文の各々について、前記質問文と前記回答文との組み合わせに対する、前記質問文と前記回答文との内容の関連性に関する特徴量と、前記回答文中の括弧の割合を示す特徴量とを含む特徴ベクトルを生成する特徴量生成手段と、
前記特徴量生成手段によって生成された前記回答文の各々に対する前記特徴ベクトルと、前記回答文の各々が正解であるか否かとに基づいて、前記特徴ベクトルに含まれる各特徴量に対する重みを前記ランキングモデルとして学習する学習手段と、
を含むモデル学習装置。
【請求項７】
入力された質問文に対してノンファクトイド型の質問応答を行うための回答文の回答候補をランキングするためのランキングモデルを学習するモデル学習装置であって、
前記質問文に対する、１つ以上の文からなる正解の回答文及び正解でない回答文を記憶した質問応答データ記憶手段と、
前記質問応答データ記憶手段に記憶された前記回答文の各々について、前記質問文と前記回答文との組み合わせに対する、前記質問文と前記回答文との内容の関連性に関する特徴量と、前記回答文の一文字目が日本語であるか否かを示す特徴量とを含む特徴ベクトルを生成する特徴量生成手段と、
前記特徴量生成手段によって生成された前記回答文の各々に対する前記特徴ベクトルと、前記回答文の各々が正解であるか否かとに基づいて、前記特徴ベクトルに含まれる各特徴量に対する重みを前記ランキングモデルとして学習する学習手段と、
を含むモデル学習装置。
【請求項８】
入力された質問文に対してノンファクトイド型の質問応答を行うための回答文の回答候補をランキングするためのランキングモデルを学習するモデル学習装置であって、
前記質問文に対する、１つ以上の文からなる正解の回答文及び正解でない回答文を記憶した質問応答データ記憶手段と、
前記質問応答データ記憶手段に記憶された前記回答文の各々について、前記質問文と前記回答文との組み合わせに対する、前記質問文と前記回答文との内容の関連性に関する特徴量と、前記回答文の最後の文字が句点であるか否かを示す特徴量とを含む特徴ベクトルを生成する特徴量生成手段と、
前記特徴量生成手段によって生成された前記回答文の各々に対する前記特徴ベクトルと、前記回答文の各々が正解であるか否かとに基づいて、前記特徴ベクトルに含まれる各特徴量に対する重みを前記ランキングモデルとして学習する学習手段と、
を含むモデル学習装置。
【請求項９】
前記特徴量生成手段は、前記質問応答データ記憶手段に記憶された前記回答文の各々について、前記回答文における文長、疑問詞の存在の有無、及び意味属性の存在の有無の少なくとも一つに関する特徴量を更に含む前記特徴ベクトルを生成する請求項６〜請求項８の何れか１項記載のモデル学習装置。
【請求項１０】
入力された質問文に対してノンファクトイド型の質問応答を行うための回答文を生成する質問応答装置における質問応答方法であって、
回答候補抽出手段によって、前記入力された質問文に対する１つ以上の文からなる回答候補の集合を抽出し、
特徴量生成手段によって、前記回答候補抽出手段によって抽出された前記回答候補の集合に含まれる前記回答候補の各々について、前記質問文と前記回答候補との組み合わせに対する、前記質問文と前記回答候補との内容の関連性に関する特徴量と、前記回答候補中の括弧の割合を示す特徴量とを含む特徴ベクトルを生成し、
スコア算出手段によって、前記質問文と前記回答候補との組み合わせの各々について、予め学習された前記特徴ベクトルに含まれる各特徴量に対する重みと、前記特徴量生成手段によって生成された前記組み合わせに対する前記特徴ベクトルとに基づいて、スコアを算出し、
ランキング手段によって、前記スコア算出手段によって算出されたスコアに従って、前記回答候補の集合をランキングする
質問応答方法。
【請求項１１】
入力された質問文に対してノンファクトイド型の質問応答を行うための回答文を生成する質問応答装置における質問応答方法であって、
回答候補抽出手段によって、前記入力された質問文に対する１つ以上の文からなる回答候補の集合を抽出し、
特徴量生成手段によって、前記回答候補抽出手段によって抽出された前記回答候補の集合に含まれる前記回答候補の各々について、前記質問文と前記回答候補との組み合わせに対する、前記質問文と前記回答候補との内容の関連性に関する特徴量と、前記回答候補の一文字目が日本語であるか否かを示す特徴量とを含む特徴ベクトルを生成し、
スコア算出手段によって、前記質問文と前記回答候補との組み合わせの各々について、予め学習された前記特徴ベクトルに含まれる各特徴量に対する重みと、前記特徴量生成手段によって生成された前記組み合わせに対する前記特徴ベクトルとに基づいて、スコアを算出し、
ランキング手段によって、前記スコア算出手段によって算出されたスコアに従って、前記回答候補の集合をランキングする
質問応答方法。
【請求項１２】
入力された質問文に対してノンファクトイド型の質問応答を行うための回答文を生成する質問応答装置における質問応答方法であって、
回答候補抽出手段によって、前記入力された質問文に対する１つ以上の文からなる回答候補の集合を抽出し、
特徴量生成手段によって、前記回答候補抽出手段によって抽出された前記回答候補の集合に含まれる前記回答候補の各々について、前記質問文と前記回答候補との組み合わせに対する、前記質問文と前記回答候補との内容の関連性に関する特徴量と、前記回答候補の最後の文字が句点であるか否かを示す特徴量とを含む特徴ベクトルを生成し、
スコア算出手段によって、前記質問文と前記回答候補との組み合わせの各々について、予め学習された前記特徴ベクトルに含まれる各特徴量に対する重みと、前記特徴量生成手段によって生成された前記組み合わせに対する前記特徴ベクトルとに基づいて、スコアを算出し、
ランキング手段によって、前記スコア算出手段によって算出されたスコアに従って、前記回答候補の集合をランキングする
質問応答方法。
【請求項１３】
コンピュータを、請求項１〜請求項５の何れか１項記載の質問応答装置を構成する各手段として機能させるためのプログラム。
【請求項１４】
コンピュータを、請求項６〜請求項９の何れか１項記載のモデル学習装置を構成する各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、質問応答装置、モデル学習装置、方法、及びプログラムに係り、特に、入力された質問文に対してノンファクトイド型の質問応答を行うための回答文を生成する質問応答装置、モデル学習装置、方法、及びプログラムに関する。
【背景技術】
【０００２】
自然言語の質問について、回答を出力するシステムを質問応答システムと呼ぶ。質問応答システムは、「世界一高い山は」のように、主に単語が回答となる質問に答える「ファクトイド型」のものと、「黒澤明ってどんな人」や「なぜホタルは光るのか」のように単語での回答が難しく、文章で回答する「ノンファクトイド型」に分類される。
【０００３】
一般に、ノンファクトイド型の質問応答システムは、質問について回答候補文を、正解と思われる順に並び替えることで回答する。上位に正解が含まれていれば、よいシステムである。このような並び替えには、経験則によるルールと、質問文及び回答候補文の類似性とを組み合わせる手法や、学習データに基づいて並び替える手法が提案されている。
【０００４】
例えば、非特許文献１は、ノンファクトイド型の、特に、理由を尋ねる質問について答える手法についてのものである。この手法は、まず、理由に関する手掛かり語（「理由」や「原因」など）が含まれているかによって回答候補文を絞り、その後、質問文に含まれている単語が多い候補文から上位にランキングしている。ここで、回答候補文は新聞記事から得ている。
【０００５】
非特許文献２は、質問について、正解と不正解文のデータから、正解を不正解文よりも上位にランキングするランキング関数を、機械学習の手法により学習し、その関数を用いて、回答候補文をランキングする手法についてのものである。
【０００６】
機械学習では、質問と回答候補文のペアそれぞれについて特徴量を抽出し、その特徴量の重みをデータから学習する。上記の非特許文献２では、特徴量として、質問文に含まれている単語のカバレッジ、質問と回答候補文の相互の言い換えられやすさ、回答候補文における質問単語の連続性、質問と回答候補文の共起の度合い、などが用いられており、インターネット上に存在する大量のＱ＆Ａサイトのデータを用いた実験により、その有効性が報告されている。
【０００７】
上記の非特許文献１、２のどちらについても、質問文と意味内容の関連性が高い回答候補文がいい回答であるという仮定に則った手法である。
【先行技術文献】
【非特許文献】
【０００８】
【非特許文献１】諸岡心、福本淳一、“Why型質問応答のための回答選択手法”、電子情報通信学会技術研究報告Vol.105 No.594言語理解とコミュニケーション、電子情報通信学会、pp.7-12、2006.
【非特許文献２】Mihai Surdeanu, Massimiliano Ciaramita, Hugo Zaragoza, “Learning to Rank Answers to Non-Factoid Questions from Web Collections”, Computational Linguistics, vol. 37(2011), pp. 351-383.
【発明の概要】
【発明が解決しようとする課題】
【０００９】
雑多な情報源（たとえばウェブ）から回答候補文を抽出する場合、多様な内容が存在するため、質の異なる回答候補文が得られることが多い。たとえば、新聞記事やＱ＆Ａサイトのみを対象としていれば、回答候補文の質や文長は大きく変わらない可能性が高いが、ウェブでは、極端に短いものや、長いものなどが混在し、また、文の断片や、絵文字、顔文字、アスキーアートなどのように、自然言語としては不適切なデータも多く含まれている。このような雑多な回答候補文をランキングするためには、内容の関連性のみに着目していたのではランキングが不十分となる可能性がある。
【００１０】
本発明は、上記の事情を鑑みてなされたもので、質問文に対する回答候補を精度よくランキングすることができる質問応答装置、モデル学習装置、方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１１】
上記の目的を達成するために第１の発明に係る質問応答装置は、入力された質問文に対してノンファクトイド型の質問応答を行うための回答文を生成する質問応答装置であって、前記入力された質問文に対する１つ以上の文からなる回答候補の集合を抽出する回答候補抽出手段と、前記回答候補抽出手段によって抽出された前記回答候補の集合に含まれる前記回答候補の各々について、前記質問文と前記回答候補との組み合わせに対する、前記質問文と前記回答候補との内容の関連性に関する特徴量と、前記回答候補中の括弧の割合を示す特徴量とを含む特徴ベクトルを生成する特徴量生成手段と、前記質問文と前記回答候補との組み合わせの各々について、予め学習された前記特徴ベクトルに含まれる各特徴量に対する重みと、前記特徴量生成手段によって生成された前記組み合わせに対する前記特徴ベクトルとに基づいて、スコアを算出するスコア算出手段と、前記スコア算出手段によって算出されたスコアに従って、前記回答候補の集合をランキングするランキング手段とを含んで構成されている。
第２の発明に係る質問応答装置は、入力された質問文に対してノンファクトイド型の質問応答を行うための回答文を生成する質問応答装置であって、前記入力された質問文に対する１つ以上の文からなる回答候補の集合を抽出する回答候補抽出手段と、前記回答候補抽出手段によって抽出された前記回答候補の集合に含まれる前記回答候補の各々について、前記質問文と前記回答候補との組み合わせに対する、前記質問文と前記回答候補との内容の関連性に関する特徴量と、前記回答候補の一文字目が日本語であるか否かを示す特徴量とを含む特徴ベクトルを生成する特徴量生成手段と、前記質問文と前記回答候補との組み合わせの各々について、予め学習された前記特徴ベクトルに含まれる各特徴量に対する重みと、前記特徴量生成手段によって生成された前記組み合わせに対する前記特徴ベクトルとに基づいて、スコアを算出するスコア算出手段と、前記スコア算出手段によって算出されたスコアに従って、前記回答候補の集合をランキングするランキング手段と、を含んで構成されている。
第３の発明に係る質問応答装置は、入力された質問文に対してノンファクトイド型の質問応答を行うための回答文を生成する質問応答装置であって、前記入力された質問文に対する１つ以上の文からなる回答候補の集合を抽出する回答候補抽出手段と、前記回答候補抽出手段によって抽出された前記回答候補の集合に含まれる前記回答候補の各々について、前記質問文と前記回答候補との組み合わせに対する、前記質問文と前記回答候補との内容の関連性に関する特徴量と、前記回答候補の最後の文字が句点であるか否かを示す特徴量とを含む特徴ベクトルを生成する特徴量生成手段と、前記質問文と前記回答候補との組み合わせの各々について、予め学習された前記特徴ベクトルに含まれる各特徴量に対する重みと、前記特徴量生成手段によって生成された前記組み合わせに対する前記特徴ベクトルとに基づいて、スコアを算出するスコア算出手段と、前記スコア算出手段によって算出されたスコアに従って、前記回答候補の集合をランキングするランキング手段と、を含んで構成されている。
【００１２】
第４の発明に係る質問応答方法は、入力された質問文に対してノンファクトイド型の質問応答を行うための回答文を生成する質問応答装置における質問応答方法であって、回答候補抽出手段によって、前記入力された質問文に対する１つ以上の文からなる回答候補の集合を抽出し、特徴量生成手段によって、前記回答候補抽出手段によって抽出された前記回答候補の集合に含まれる前記回答候補の各々について、前記質問文と前記回答候補との組み合わせに対する、前記質問文と前記回答候補との内容の関連性に関する特徴量と、前記回答候補中の括弧の割合を示す特徴量とを含む特徴ベクトルを生成し、スコア算出手段によって、前記質問文と前記回答候補との組み合わせの各々について、予め学習された前記特徴ベクトルに含まれる各特徴量に対する重みと、前記特徴量生成手段によって生成された前記組み合わせに対する前記特徴ベクトルとに基づいて、スコアを算出し、ランキング手段によって、前記スコア算出手段によって算出されたスコアに従って、前記回答候補の集合をランキングする。
第５の発明に係る質問応答方法は、入力された質問文に対してノンファクトイド型の質問応答を行うための回答文を生成する質問応答装置における質問応答方法であって、回答候補抽出手段によって、前記入力された質問文に対する１つ以上の文からなる回答候補の集合を抽出し、特徴量生成手段によって、前記回答候補抽出手段によって抽出された前記回答候補の集合に含まれる前記回答候補の各々について、前記質問文と前記回答候補との組み合わせに対する、前記質問文と前記回答候補との内容の関連性に関する特徴量と、前記回答候補の一文字目が日本語であるか否かを示す特徴量とを含む特徴ベクトルを生成し、スコア算出手段によって、前記質問文と前記回答候補との組み合わせの各々について、予め学習された前記特徴ベクトルに含まれる各特徴量に対する重みと、前記特徴量生成手段によって生成された前記組み合わせに対する前記特徴ベクトルとに基づいて、スコアを算出し、ランキング手段によって、前記スコア算出手段によって算出されたスコアに従って、前記回答候補の集合をランキングする。
第６の発明に係る質問応答方法は、入力された質問文に対してノンファクトイド型の質問応答を行うための回答文を生成する質問応答装置における質問応答方法であって、回答候補抽出手段によって、前記入力された質問文に対する１つ以上の文からなる回答候補の集合を抽出し、特徴量生成手段によって、前記回答候補抽出手段によって抽出された前記回答候補の集合に含まれる前記回答候補の各々について、前記質問文と前記回答候補との組み合わせに対する、前記質問文と前記回答候補との内容の関連性に関する特徴量と、前記回答候補の最後の文字が句点であるか否かを示す特徴量とを含む特徴ベクトルを生成し、スコア算出手段によって、前記質問文と前記回答候補との組み合わせの各々について、予め学習された前記特徴ベクトルに含まれる各特徴量に対する重みと、前記特徴量生成手段によって生成された前記組み合わせに対する前記特徴ベクトルとに基づいて、スコアを算出し、ランキング手段によって、前記スコア算出手段によって算出されたスコアに従って、前記回答候補の集合をランキングする。
【００１３】
第７の発明のモデル学習装置は、入力された質問文に対してノンファクトイド型の質問応答を行うための回答文の回答候補をランキングするためのランキングモデルを学習するモデル学習装置であって、前記質問文に対する、１つ以上の文からなる正解の回答文及び正解でない回答文を記憶した質問応答データ記憶手段と、前記質問応答データ記憶手段に記憶された前記回答文の各々について、前記質問文と前記回答文との組み合わせに対する、前記質問文と前記回答文との内容の関連性に関する特徴量と、前記回答文中の括弧の割合を示す特徴量とを含む特徴ベクトルを生成する特徴量生成手段と、前記特徴量生成手段によって生成された前記回答文の各々に対する前記特徴ベクトルと、前記回答文の各々が正解であるか否かとに基づいて、前記特徴ベクトルに含まれる各特徴量に対する重みを前記ランキングモデルとして学習する学習手段と、を含んで構成されている。
第８の発明のモデル学習装置は、入力された質問文に対してノンファクトイド型の質問応答を行うための回答文の回答候補をランキングするためのランキングモデルを学習するモデル学習装置であって、前記質問文に対する、１つ以上の文からなる正解の回答文及び正解でない回答文を記憶した質問応答データ記憶手段と、前記質問応答データ記憶手段に記憶された前記回答文の各々について、前記質問文と前記回答文との組み合わせに対する、前記質問文と前記回答文との内容の関連性に関する特徴量と、前記回答文の一文字目が日本語であるか否かを示す特徴量とを含む特徴ベクトルを生成する特徴量生成手段と、前記特徴量生成手段によって生成された前記回答文の各々に対する前記特徴ベクトルと、前記回答文の各々が正解であるか否かとに基づいて、前記特徴ベクトルに含まれる各特徴量に対する重みを前記ランキングモデルとして学習する学習手段と、を含んで構成されている。
第９の発明のモデル学習装置は、入力された質問文に対してノンファクトイド型の質問応答を行うための回答文の回答候補をランキングするためのランキングモデルを学習するモデル学習装置であって、前記質問文に対する、１つ以上の文からなる正解の回答文及び正解でない回答文を記憶した質問応答データ記憶手段と、前記質問応答データ記憶手段に記憶された前記回答文の各々について、前記質問文と前記回答文との組み合わせに対する、前記質問文と前記回答文との内容の関連性に関する特徴量と、前記回答文の最後の文字が句点であるか否かを示す特徴量とを含む特徴ベクトルを生成する特徴量生成手段と、前記特徴量生成手段によって生成された前記回答文の各々に対する前記特徴ベクトルと、前記回答文の各々が正解であるか否かとに基づいて、前記特徴ベクトルに含まれる各特徴量に対する重みを前記ランキングモデルとして学習する学習手段と、を含んで構成されている。
第１０の発明に係るプログラムは、コンピュータを、上記の質問応答装置または上記のモデル学習装置の各手段として機能させるためのプログラムである。
【発明の効果】
【００１４】
以上説明したように、本発明の質問応答装置、モデル学習装置、方法、及びプログラムによれば、質問文に対する回答候補の集合の各々について、回答候補における文長、文字種、文の妥当性、及び疑問詞の存在の有無の少なくとも一つに関する特徴量を含む特徴ベクトルを生成して、スコアを算出し、スコアに従って、回答候補の集合をランキングすることにより、質問文に対する回答候補を精度よくランキングすることができる、という効果が得られる。
【図面の簡単な説明】
【００１５】
【図１】本発明の実施の形態に係るモデル学習装置の構成を示す概略図である。
【図２】形態素解析結果の一例を示す図である。
【図３】各特徴量の素性値の一例を示す図である。
【図４】各特徴量の素性名と素性値の一例を示す図である。
【図５】本発明の実施の形態に係る質問応答装置の構成を示す概略図である。
【図６】本発明の実施の形態に係るモデル学習装置におけるモデル学習処理ルーチンの内容を示すフローチャートである。
【図７】本発明の実施の形態に係る質問応答装置における質問応答生成処理ルーチンの内容を示すフローチャートである。
【図８】実験結果を示す図である。
【発明を実施するための形態】
【００１６】
以下、図面を参照して本発明の実施の形態を詳細に説明する。
【００１７】
＜発明の概要＞
雑多な回答候補文を正確にランキングするため、内容以外の特徴にも着目する。具体的には、文長、文字種、文の妥当性、疑問詞の存在の有無、に関する特徴量を用い、ランキング関数を機械学習の手法により学習する。これらの特徴は、長すぎる文や短すぎる文を排除したり、Webページの断片のような自然文ではない文を排除したり、正しく句点で終わっているような文を選好したり、質問に質問で答えてしまわないようにするためのものである。疑問詞の存在の有無に関する特徴量は、たとえば、ウェブには、質問文が大量に存在するため、従来の質問の内容のみに基づいて文をランキングしていては、ユーザの質問文と全く同じか似通った質問文を回答として、上位にランキングしてしまうことがあり、この特徴量はそれを避けるために導入する。
【００１８】
＜システム構成＞
以下では、ノンファクトイド型の、特に、理由に答える質問応答システムに本発明を適用した場合を例に説明する。
【００１９】
ここで、理由を答える質問応答システムは、理由を尋ねる質問文の入力に応じて、ウェブまたはテキストデータベースを検索し、その結果得られる文書の集合から、文の集合を抽出し、これらを適切な順番でランキングすることによって回答とするものとする。本システムでは、できるだけ短く簡潔な応答を返したいという目的から、一文を単位として抽出しているが、より回答に内容を持たせたい場合などは、複数の文からなるフレーズや、段落単位を回答としてもよい。その場合、後述する、学習データの単位も、この単位に合わせる必要がある。
【００２０】
図１に示すように、本発明の実施の形態に係る質問応答システムのモデル学習装置１００は、正解質問応答データが入力され、ランキングモデルを学習して出力する。このモデル学習装置１００は、ＣＰＵと、ＲＡＭと、後述するモデル学習処理ルーチンを実行するためのプログラムを記憶したＲＯＭとを備えたコンピュータで構成され、機能的には次に示すように構成されている。図１に示すように、モデル学習装置１００は、入力部１０と、演算部２０と、出力部３０とを備えている。
【００２１】
入力部１０は、質問文とそれに対する回答となる一つ以上の正解文、および、一つ以上の不正解文を１セットとして、このようなセットが一つ以上含まれたデータを、入力された正解質問応答データとして受け付ける。例えば、複数の質問文の各々について、当該質問文と、当該質問文に対する回答文である複数の正解文と、当該質問文に対する回答文でない複数の不正解文とからなるデータセットを受け付ける。
【００２２】
本実施の形態では、正解質問応答データとして、質問文を150問準備した。たとえば、以下はその一部である。
【００２３】
・脳こうそくはどうして怖い病気だといわれるの？
・どうしてワインの飲み過ぎは身体に悪いの？
・鴎外訳の「ファウスト」があるのに、別の訳が出版される理由
・なぜ６０年代に東映仁侠映画ブームだったのか
・とんねるずの木梨憲武が評価されているのはなぜ？
【００２４】
そして、それぞれの質問文から、内容語のみを取り出し、検索クエリを生成した。たとえば、「脳こうそくはどうして怖い病気だといわれるの？」であれば、まず、形態素解析がなされ、図２に示すような出力（形態素解析結果）が得られる。ここでは、形態素解析エンジンとして、出願人が開発している、ＪＴＡＧを用いている。
【００２５】
上記図２で、一行が一単語に相当し、各行において、単語（表層）、品詞、標準形、終止形（あれば）、および日本語語彙大系に基づく意味属性の情報が出力されている。日本語語彙大系に基づく意味属性の情報は、当該形態素解析エンジンに含まれる単語辞書に基づいて、単語毎に出力される。
【００２６】
形態素解析結果で得られる単語の集合から、標準形のフィールドで、以下の疑問詞のリストに合致する単語があれば、まずそれを取り除く。
【００２７】
何故、どうして、誰、どこ、いつ、どのくらい、どう、どの、どのくらい、どのように、いくら、どうやって、どういう、幾等、何、何と、何て、なんて、何か、何で
【００２８】
ここでは、「どうして」が一致するので、まずこの行が削除される。続いて、名詞、動詞語幹、形容詞語幹に対応する行から、標準形（もし終止形があれば終止形）の部分を取り出し、これらを検索単語とする。たとえば、上記の例の質問だと、「脳こうそく、病気、怖い、いう、れる」が、検索単語となる。
【００２９】
これらの単語を、空白区切りにして、検索クエリを生成し、ウェブ検索を行い、上位100件の検索結果を取得した。ここでは、一般的に広く利用されているウェブ検索エンジンを用いた。これらの検索結果にはURLの他、スニペットと呼ばれる概要文が付与されている。これらは大体100〜150文字程度からなる、URLの内容の抜粋である。本実施の形態では、このスニペットを、句点や「・・・」などの区切り文字で区切り、文に分割する。各検索結果から数文ずつ得られ、100件の検索結果から、数百文程度得られる。
【００３０】
たとえば、以下は、「脳こうそく病気怖いいうれる」をクエリとして得られた検索結果を元にして、抽出した文の集合の一部である。一行一文である。当該検索結果からは、全部で421文得られた。
【００３１】
脳梗塞の多くは高齢な方が発病するとっても怖い病気です。
この脳梗塞と言う病気で命を落としてしまう方も多くまた娘のように麻痺と言う後遺症と戦ってる方々も大勢います。
片麻痺と言う後遺症を少しでも多くの方に知ってもらいたい、また、後遺症で悩んでる方々の交流の場に成れば良いと思いこのサイトを開設致しました。
どうぞ、ご覧に2008 年9 月5 日
其れが脳梗塞、とか心筋梗塞と言う怖い病気なのです。
又血管が膨らむとは、血圧が高すぎたりしますと風船の様に膨らんで最後は破裂してしまいます。
此れを動脈瘤、静脈瘤と言います。
【００３２】
これらの文について、人手で正解文をタグ付けした。具体的には、上記の文を人手で読み、質問の回答になっているかを判定し、正解文を選択した。ここで選ばれない文は不正解文となる。ここでは、下記の文を含む22文が、421文から正解文として選択された。最初の番号は421文中の行番号である。
【００３３】
1 脳梗塞の多くは高齢な方が発病するとっても怖い病気です。
2 この脳梗塞と言う病気で命を落としてしまう方も多くまた娘のように麻痺と言う後遺症と戦ってる方々も大勢います。
36 脳梗塞の病気は所かまわず突然襲ってくる怖い病気です。
49 脳梗塞は、一瞬で身体の自由をうばい、最悪の場合は命にかかわる大変怖い病気です。
60 脳卒中は、救急治療によって生命はとりとめても、マヒなどが残ったり寝たきりになったりすることが多く、非常に怖い病気です。
【００３４】
本実施の形態では、このような正解文および不正解文からなるデータを、150問すべてについて作成し、正解質問応答データとした。
【００３５】
演算部２０は、正解質問応答データ記憶部２１、特徴量生成部２２、及びモデル学習部２３を備えている。
【００３６】
正解質問応答データ記憶部２１は、入力部１０により受け付けた正解質問応答データを記憶する。
【００３７】
特徴量生成部２２は、正解質問応答データから得られる、質問文Qと、正解文及び不正解文を含む文集合における各文Cとの組み合わせの各々について、特徴ベクトルを生成する。
【００３８】
ここでは、本実施の形態では、「文順位の逆数(rank)」、「単語数(len)」、「理由についての意味属性(ncat-意味属性)」、「疑問詞を含むか(question)」、「一文字目が日本語か(sentence-begin)」、「最後の文字が句点か(sentence-end)」、「日本語の割合(ja)」、「スペース及び句読点の割合(common)」、「英字の割合(latin)」、「括弧の割合(paren)」、「記号の割合(symbol)」、「内容語のカバレッジ(cw-count)」、「単語（表層系）のカバレッジ(count)」、「単語（標準形）のカバレッジ(base-count)」、「意味属性のカバレッジ(cats-count)」、及び「原因表現パターンを含むか(synpat-パターン)」を含む各特徴量を要素とする特徴量ベクトル生成する。質問文Qと文Cについては、それぞれ形態素解析を行い、上記図２と同様の形態素解析結果を得ているものとする。括弧内は素性名である。なお、「一文字目が日本語か(sentence-begin)」及び「最後の文字が句点か(sentence-end)」が、回答候補の文の妥当性に関する特徴量の一例であり、「日本語の割合(ja)」、「スペース及び句読点の割合(common)」、「英字の割合(latin)」、「括弧の割合(paren)」、及び「記号の割合(symbol)」が、回答候補の文字種に関する特徴量の一例である。また、「文順位の逆数(rank)」、「内容語のカバレッジ(cw-count)」、「単語（表層系）のカバレッジ(count)」、「単語（標準形）のカバレッジ(base-count)」、及び「意味属性のカバレッジ(cats-count)」が、質問文と回答候補との内容の関連性に関する特徴量の一例である。上記の特徴量のうち、「単語数(len)」、及び「疑問詞を含むか」から「記号の割合」までが、本発明で提案した特徴量の一例である。その他は、従来既知のものであり、有効性が確認されているものである。
【００３９】
「文順位の逆数(rank)」は、質問文Qに対して得られた文集合を、スニペットにおける検索順位に従って並べた時の、文Cの相対順位の逆数である。たとえば、421文あり、Cが最初の文であれば、1/421となる。
【００４０】
「単語数(len)」は、文Cの含む単語数であり、文長の一例である。
【００４１】
日本語語彙大系を参照すると、「理由」に関する単語の意味属性は2448、および、2450〜2456の7つである。よって、「理由についての意味属性(ncat-意味属性)」は、７つの意味属性の単語が文Cに含まれるかどうかを表す７つのバイナリ特徴量であり、Cに含まれる意味属性についてのみ、値を1にする。ここでは、理由についての質問を扱っているため、これらの意味属性の存在を特徴量としているが、「方法」に答える場合は、方法に対応する意味属性を用いればよい。
【００４２】
「疑問詞を含むか(question)」では、上記疑問詞のリストに含まれる単語が文Cに入っていれば1となる。
【００４３】
「一文字目が日本語か(sentence-begin)」では、文Cの一文字目が日本語の文字（漢字、ひらがな、カタカナ）のいずれかであれば1となる。
【００４４】
「最後の文字が句点か(sentence-end)」では、文Cの最後の文字が句点であれば、1となる。
【００４５】
「日本語の割合(ja)」は、文Cの文字中で、日本語の文字（漢字、ひらがな、カタカナ）の割合である。たとえば、10文字中5文字が漢字、ひらがな、カタカナのいずれかであれば、0.5となる。
【００４６】
「スペース及び句読点の割合(common)」は、文Cの文字中で、スペース及び句読点の割合である。
【００４７】
「英字の割合(latin)」は、文Cの文字中の、英字の文字の割合である。
【００４８】
「それ以外の文字の割合(other)」は、文Cの文字中で、日本語、スペースや句読点、英字のいずれにも合致しない文字の割合である。
【００４９】
「括弧の割合(paren)」は、文Cにおける、品詞が括弧である単語の割合である。
【００５０】
「記号の割合(symbol)」は、文Cにおける、品詞がSymbolである単語の割合である。品詞がSymbolである単語とは、たとえば、コロンやピリオドなどである。
【００５１】
「内容語のカバレッジ(cw-count)」は、質問文Qに含まれる内容語の内、文Cに含まれるものの個数(cwcount)である。また、特徴量として、文Cに含まれる内容語の内、質問文Qに含まれる内容語の個数(cw-count-rev)を用いてもよい。また、特徴量として、質問文Qに含まれる内容語の内、文Cに含まれるものの割合(cw-cov)を用いてもよい。また、特徴量として、文Cに含まれる内容語の内、質問文Qに含まれる内容語の割合(cw-cov-rev)を用いてもよい。ここで、内容語は品詞が、名詞、動詞語幹、形容詞語幹、および、未知語のものを用いる。
【００５２】
「単語（表層系）のカバレッジ(count)」は、質問文Qに含まれる単語（表層系）の内、文Cに含まれるものの個数(count)である。また、特徴量として、文Cに含まれる単語（表層系）の内、質問文Qに含まれるものの個数(count-rev)を用いてもよい。また、特徴量として、質問文Qに含まれる単語（表層系）の内、文Cに含まれるものの割合(cov)を用いてもよく、また、文Cに含まれる単語（表敬）の内、質問文Qに含まれるものの割合(cov-rev)を用いてもよい。同様に、単語（ユニグラム）に加えて、バイグラム（単語連続）についても、同様に、個数、割合(bi-count、bi-cov、bi-count-rev、bi-cov-rev)を求めて、特徴量として用いてもよい。
【００５３】
「単語（標準形）のカバレッジ(base-count)」は、単語（表層系）のカバレッジに類似した特徴量であり、単語の標準形についての値である。また、割合に関する値(base-cov)を用いてもよい。
【００５４】
「意味属性のカバレッジ(cats-count）」は、内容語のカバレッジに類似した特徴量であり、内容語ではなく、含まれる名詞意味属性について個数である。また、割合に関する値（cats-cov)を用いてもよい。
【００５５】
「原因表現パターンを含むか(synpat-パターン)」は、予め準備された原因を表すパターンの集合があるとし、これらのパターンに文Cが合致するかどうかを、各パターンについてバイナリの特徴量としたものである。これらのパターンは、理由が書かれていると予め分かっているフレーズなどから、機能語（助詞、助動詞）以外を取り除くことで作成できる。たとえば、本実施の形態では、「いから」、「の*を*する」、「が*いから」、「が*い」、「を*する*との」、「が*を*する」をパターンとして用いた。アスタリスクは機能語以外の何とでもマッチする記号である。文Cが、それぞれのパターンにマッチするかどうかが特徴量となる。全部で490のパターンを用いたため、490のバイナリ特徴量が生成される。ここでのパターンの作り方は、非特許文献３（Ryuichiro Higashinaka, Hideki Isozaki, ”Corpus-based Question Answering for why-Questions”, IJCNLP, vol.1, pp.418-425, 2008.）に書かれている方法と同様である。
【００５６】
次に、特徴ベクトルの生成の実例を示す。Q「脳こうそくはどうして怖い病気だといわれるの？」とC「脳梗塞の多くは高齢な方が発病するとっても怖い病気です。」から得られる各特徴量は図３に示す通りである。最初の+1は、文Cが正解文であることを示し、qidは、この質問文Qに割り振られた質問IDである。以降、特徴量（素性）番号、コロン、素性値が空白区切りで続く。
【００５７】
この特徴量を素性名とともに表にすると、図４に示すようになる。
【００５８】
モデル学習部２３は、質問文Qと文Cのペアの各々について得られる特徴量を元に、機械学習により、ランキングモデルを学習する。ある質問文Qについて、文Cが正解文であり、文C’が不正解文であるとし、質問文Q及び文Cから得られる特徴量ベクトルをF、質問文Qと文C’から得られる特徴量ベクトルをF’とする。ここで、ある重みベクトルWがあったとし、それぞれのスコア（内積により得られる）を比べ、FWがF’Wよりも大きくなるようなWを、最適化の手法などにより見つけることで、正解文を不正解文よりも上位にランキングする重みベクトル（ランキングモデル）が得られる。このような重みベクトルは、ランキング学習に一般的に用いられる手法である、ランキングSVMを用いることで、得ることが可能である。本実施の形態では、150問の質問と、それぞれについて得られた正解文、不正解文から特徴ベクトルを生成し、各質問について、正解文が不正解文よりも上位にランキングされるように、Wを、ランキングSVMによって求める。ランキングSVMは、線形のカーネルを用いた。
【００５９】
モデル学習部２３によって学習されたランキングモデルが、出力部３０により出力される。
【００６０】
図５に示すように、本発明の実施の形態に係る質問応答システムの質問応答装置１５０は、質問文が入力され、質問文に対する回答候補文をランキングして出力する。この質問応答装置１５０は、ＣＰＵと、ＲＡＭと、後述する質問応答生成処理ルーチンを実行するためのプログラムを記憶したＲＯＭとを備えたコンピュータで構成され、機能的には次に示すように構成されている。図５に示すように、質問応答装置１５０は、入力部６０と、演算部７０と、出力部８０とを備えている。
【００６１】
入力部６０は、入力された質問文を受け付ける。
【００６２】
演算部７０は、形態素解析部７１、検索クエリ生成部７２、検索部７３、文集合抽出部７４、形態素解析部７５、特徴量生成部７６、ランキング部７７、及びモデル記憶部７８を備えている。なお、文集合抽出部７４は、回答候補抽出手段の一例である。ランキング部７７は、スコア算出手段及びランキング手段の一例である。
【００６３】
形態素解析部７１は、入力部１０により受け付けた質問文に対して形態素解析を行うことにより、上記図２と同様の形態素解析結果を得る。
【００６４】
検索クエリ生成部７２は、質問文の形態素解析結果に基づいて、上記のランキングモデルの学習時と同様に、質問文に含まれる単語を用いた検索クエリを生成する。
【００６５】
検索部７３は、生成された検索クエリを用いて、ウェブ検索エンジンにて、インターネットを介してＷｅｂに対する検索処理を行い、検索結果を得る。
【００６６】
文集合抽出部７４は、上記のランキングモデルの学習時と同様に、検索結果に含まれる各スニペットを抽出すると共に、各スニペットを文に分割し、得られた文集合を、回答候補文の文集合とする。
【００６７】
形態素解析部７５は、回答候補文の文集合の各々に対して、形態素解析を行い、上記図２と同様の形態素解析結果を得る。
【００６８】
特徴量生成部７６は、回答候補文の文集合の各々について、入力部１０により受け付けた質問文と当該回答候補文との組み合わせについて、それぞれの形態素解析結果に基づいて、上記の特徴量生成部２２と同様に、「文順位の逆数(rank)」、「単語数(len)」、「理由についての意味属性(ncat-意味属性)」、「疑問詞を含むか(question)」、「一文字目が日本語か(sentence-begin)」、「最後の文字が句点か(sentence-end)」、「日本語の割合(ja)」、「スペース及び句読点の割合(common)」、「英字の割合(latin)」、「括弧の割合(paren)」、「記号の割合(symbol)」、「内容語のカバレッジ(cw-count)」、「単語（表層系）のカバレッジ(count)」、「単語（標準形）のカバレッジ(base-count)」、「意味属性のカバレッジ(cats-count)」、及び「原因表現パターンを含むか(synpat-パターン)」を含む各特徴量を要素とする特徴ベクトルを生成する。
【００６９】
モデル記憶部７８には、モデル学習装置１００によって出力されたランキングモデル（各特徴量に対する重みベクトル）を記憶する。
【００７０】
ランキング部７７は、入力部１０により受け付けた質問文と回答候補文との組み合わせの各々について、モデル記憶部７８に記憶された重みベクトル（ランキングモデル）と、当該組み合わせに対して生成された特徴ベクトルとを掛け合わすことで、スコアを算出し、算出されたスコアに従って、回答候補文をランキングする。これらの回答候補文をすべて、または、上位Ｎ件を出力部８０により出力することで、システム回答とする。
【００７１】
＜質問応答システムの作用＞
次に、本実施の形態に係る質問応答システムの作用について説明する。まず、予め用意された正解質問応答データがモデル学習装置１００に入力されると、モデル学習装置１００によって、入力された正解質問応答データが、正解質問応答データ記憶部２１へ格納される。そして、モデル学習装置１００によって、図６に示すモデル学習処理ルーチンが実行される。
【００７２】
まず、ステップＳ１０１において、正解質問応答データ記憶部２１から、正解質問応答データに含まれる全ての質問文、正解文、不正解文を取得する。ステップＳ１０２において、上記ステップＳ１０１で取得したデータから、質問文と、正解文または不正解文との組み合わせを選択する。
【００７３】
そして、ステップＳ１０３において、上記ステップＳ１０２で選択された質問文と、正解文または不正解文との組み合わせについて、質問文の形態素解析結果、及び正解文または不正解文の形態素解析結果に基づいて、特徴ベクトルを生成する。
【００７４】
次のステップＳ１０４では、正解質問応答データの全ての組み合わせについて、上記ステップＳ１０２、Ｓ１０３の処理を実行したか否かを判定する。上記ステップＳ１０２、Ｓ１０３の処理を実行していない組み合わせが存在する場合には、上記ステップＳ１０２へ戻り、当該組み合わせを選択する。一方、正解質問応答データの全ての組み合わせについて、上記ステップＳ１０２、Ｓ１０３の処理を実行したと判定された場合には、ステップＳ１０５へ移行する。
【００７５】
ステップＳ１０５では、上記ステップＳ１０３で生成された全ての組み合わせの特徴ベクトルに基づいて、正解文を不正解文よりも上位にランキングするように、特徴ベクトルの各特徴量の重みである重みベクトル（ランキングモデル）を、機械学習により学習する。
【００７６】
そして、ステップＳ１０６において、上記ステップＳ１０５で学習されたランキングモデルを出力部３０により出力し、モデル学習処理ルーチンを終了する。
【００７７】
そして、出力部３０により出力されたランキングモデルが、質問応答装置１５０のモデル記憶部７８に記憶される。また、質問文が質問応答装置１５０に入力されると、質問応答装置１５０によって、図７に示す質問応答生成処理ルーチンが実行される。
【００７８】
ステップＳ１１１において、入力された質問文を受け付ける。ステップＳ１１２では、上記ステップＳ１１１で受け付けた質問文に対して、形態素解析を行う。
【００７９】
そして、ステップＳ１１３において、上記ステップＳ１１２で得られた質問文の形態素解析結果に基づいて、検索クエリを生成する。ステップＳ１１４で、上記ステップＳ１１３で生成された検索クエリを用いて、Ｗｅｂに対して検索処理を行う。
【００８０】
次のステップＳ１１５では、上記ステップＳ１１４で得られた検索結果から、回答候補文の集合を抽出する。ステップＳ１１６では、上記ステップＳ１１５で抽出された回答候補文の集合に含まれる各回答候補文に対して形態素解析を行う。
【００８１】
そして、ステップＳ１１７において、入力された質問文と各回答候補文との組み合わせの各々について、特徴ベクトルを生成する。ステップＳ１１８において、ランキングモデルと上記ステップＳ１１７で生成した特徴ベクトルとを用いて、入力された質問文と各回答候補文との組み合わせの各々について、スコアを算出する。
【００８２】
次のステップＳ１１９では、上記ステップＳ１１８で算出されたスコアに従って、回答候補文の集合をランキングして、出力部８０により出力し、応答生成処理ルーチンを終了する。
【００８３】
＜実施例＞
以下に、実施例を示す。150問を5分割し、交差検定を行った。評価尺度には、top-N Mean Reciprocal Rank(MRR)、および、N位内正解率を用いた。Top-N MRRとは、ある質問について、上位N件の回答出力をしたとき、一番上位の回答の順位の逆数を、その質問についての得点とし、所与の質問セットについての得点の平均値を求めたものである。N位内正解率は、N位までの出力を見たとき、その中に正解が含まれていた質問の割合である。たとえば、質問が10問あり、システム出力において、5位までに回答が含まれている場合が5問あれば、5/10=0.5が5位内正解率となる。本発明で提案した特徴量（「疑問詞を含むか(question)」、「一文字目が日本語か(sentence-begin)」、「最後の文字が句点か(sentence-end)」、「日本語の割合(ja)」、「スペース及び句読点の割合(common)」、「英字の割合(latin)」、「括弧の割合(paren)」、「記号の割合(symbol)」）以外の特徴量を要素とした特徴ベクトルを用いた場合を比較例とした。交差検定の結果を、図８に示す。
【００８４】
本発明で提案した特徴量（「疑問詞を含むか(question)」、「一文字目が日本語か(sentence-begin)」、「最後の文字が句点か(sentence-end)」、「日本語の割合(ja)」、「スペース及び句読点の割合(common)」、「英字の割合(latin)」、「括弧の割合(paren)」、「記号の割合(symbol)」）を特徴ベクトルの要素として追加することによって、top-N MRR及びN位内正解率の双方で改善が見られており、本発明で提案した特徴量の有効性が確認できた。
【００８５】
以上説明したように、本実施の形態に係る質問応答装置によれば、質問文に対する回答候補文の集合の各々について、回答候補文における文長、文字種、文の妥当性、及び疑問詞の存在の有無の各々に関する特徴量を含む特徴ベクトルを生成して、スコアを算出し、スコアに従って、回答候補文の集合をランキングすることにより、質問文に対する回答候補を精度よくランキングすることができる。
【００８６】
また、質問に対して、回答候補文が適切にランキングされるようになるため、ユーザの質問に対し的確に答えを出力するシステムが実現でき、ユーザの知的活動の効率を高めることができる。
【００８７】
なお、本発明は、上述した実施形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。
【００８８】
例えば、モデル学習装置と質問応答装置とを一つの装置で実現するようにしてもよい。この場合には、モデル学習部によって学習されたランキングモデルを、モデル記憶部に格納するようにすればよい。
【００８９】
また、本願明細書中において、プログラムが予めインストールされている実施形態として説明したが、当該プログラムを、コンピュータ読み取り可能な記録媒体に格納して提供することも可能である。
【符号の説明】
【００９０】
２１   正解質問応答データ記憶部
２２   特徴量生成部
２３   モデル学習部
６０   入力部
７０   演算部
７１   形態素解析部
７２   検索クエリ生成部
７３   検索部
７４   文集合抽出部
７５   形態素解析部
７６   特徴量生成部
７７   ランキング部
７８   モデル記憶部
１００ モデル学習装置
１５０ 質問応答装置
【図５】
0005431532.tif 000002
【図６】
0005431532.tif 000003
【図７】
0005431532.tif 000004
【図１】
0005431532.tif 000005
【図２】
0005431532.tif 000006
【図３】
0005431532.tif 000007
【図４】
0005431532.tif 000008
【図８】
0005431532.tif 000009