(57)【要約】【課題】質問タイプ同定のための高精度な分類器を構成する質問タイプ学習装置を提供する。【解決手段】特徴抽出部１により、質問の学習サンプルから質問タイプを特徴付ける素性を、単語属性Ｎ−ｇｒａｍを用いて抽出する。次に、素性ベクトル作成部２により、抽出された素性から素性空間を構成し、各質問を素性ベクトルに変換する。最後に、分類器構成部３により、素性ベクトルからＳｕｐｐｏｒｔ　Ｖｅｃｔｏｒ　Ｍａｃｈｉｎｅを用いて、未知の質問が入力されたときどの質問タイプかを識別する分類器を構成する。【選択図】　　図１
2004094521.tif 000002
【特許請求の範囲】
【請求項１】
事前に用意された質問文のサンプルからそれぞれの質問タイプを特徴付ける素性を、単語属性Ｎ−ｇｒａｍを用いて抽出するステップと、
抽出された素性から素性空間を構成し、各質問を素性ベクトルに変換するステップと、
前記素性ベクトルからＳｕｐｐｏｒｔ　Ｖｅｃｔｏｒ　Ｍａｃｈｉｎｅを用いて、未知の質問が入力されたときどの質問タイプかを識別する分類器を構成するステップを有する質問タイプ学習方法。
【請求項２】
請求項１に記載の質問タイプ学習方法で得られた素性ベクトルと、正例と負例からなるクラスのペアからなる学習サンプルが記録されている記録媒体。
【請求項３】
事前に用意された質問文のサンプルからそれぞれの質問タイプを特徴付ける素性を、単語属性Ｎ−ｇｒａｍを用いて抽出する手段と、
抽出された素性から素性空間を構成し、各質問を素性ベクトルに変換する手段と、
前記素性ベクトルからＳｕｐｐｏｒｔ　Ｖｅｃｔｏｒ　Ｍａｃｈｉｎｅを用いて、未知の質問が入力されたときどの質問タイプかを識別する分類器を構成する手段を有する質問タイプ学習装置。
【請求項４】
請求項１に記載の質問タイプ学習方法をコンピュータに実行させるためのプログラム。
【請求項５】
請求項４に記載のプログラムを記録した記録媒体。
【請求項６】
未知の質問から質問タイプを特徴づける素性を、単語属性Ｎ−ｇｒａｍを用いて抽出するステップと、
抽出された素性を素性ベクトルに変換するステップと、
前記素性ベクトルから、請求項１に記載の分類器を用いて質問タイプを同定するステップを有する質問タイプ同定方法。
【請求項７】
未知の質問から質問タイプを特徴づける素性を、単語属性Ｎ−ｇｒａｍを用いて抽出する手段と、
抽出された素性を素性ベクトルに変換する手段と、
前記素性ベクトルから、請求項１に記載の分類器を用いて質問タイプを同定する手段を有する質問タイプ同定装置。
【請求項８】
請求項６に記載の質問タイプ同定方法をコンピュータに実行させるためのプログラム。
【請求項９】
請求項８に記載のプログラムを記録した記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は質問タイプ学習方法、装置、プログラム、および同プログラムを記録した記録媒体、ならびに質問タイプ同定方法、装置、プログラム、および同プログラムを記録した記録媒体に関する。
【０００２】
【従来の技術】
近年、情報検索／抽出、計算機との対話、質問応答など、人間から計算機に対して自然文で質問して計算機に解答させる技術が使用される場面が増えてきている。質問タイプ同定とは、質問が与えられたときに、その質問が「何を訊いているのか」という意図を解析することである。質問タイプは、質問の意図を表すクラスであり、質問の意図を解析することは、質問タイプを同定する分類問題と捉えることができることから、質問タイプ同定と呼ぶ。
【０００３】
計算機にとって人間が与える質問の意図を理解するのは非常に難しい問題である。人間と同様に、計算機にとっても、与えられた質問の意図を的確に理解できないと、質問に答えることはできない。
【０００４】
従来、質問のパターンを限定し意味的制約のもとで解析を行う手法、人手によりルールを作成する方法などが提案されている。意味制約を用いる方法は、各質問タイプを表す表現を事前に決定しておき、その表現にあった質問しか受け付けられないという問題がある。ルールによる方法の場合は、質問文に出現する表現をルールに変換することで理論上は、多種多様な表現の質問を扱うことが可能であるが、ルールを作成するのに人手が非常にかかる点が問題となる。また、仮にコストをかけて作成する場合でも、様々なパラメータを調整し最適な同定ルールを決定するのは極めて困難である。
【０００５】
このような問題を解決する一つの方法として、機械学習方法を用いて学習サンプルから自動で質問タイプの同定方法を学習する方法がある。機械学習方法では、その問題で分類すべき対象の特徴である「素性」を抽出し、その素性の集合を用いて分類器を学習するという手順で問題に適用する。
【０００６】
【発明が解決しようとする課題】
このような機械学習方法では、素性の数が重要な要素となる。本発明で取り扱う質問タイプ同定問題は、質問の意図を判別する問題であるため、高精度な識別を行うためには多種多様な情報が必要となる。特に、質問文中にどのような単語が出現するかという情報と、出現した単語同士がどのような関係で使われているかという情報が重要になる。つまり、質問タイプ同定問題は、質問タイプを特徴付けるために必要な素性数は非常に多くなる。機械学習方法では、学習サンプルが無限に存在するならば、素性数が多くなっても問題にはならないが、実際には学習サンプルは限られた数しか存在しないため、学習サンプル数に対して素性数が多いと、学習サンプルに対して過学習してしまい、未知のデータに対しての精度が低くなるという問題がある。
【０００７】
一般的に、機械学習方法をもちいる場合は、分類を行うのに最も有効であると考えられる必要最小限の素性のみを用いることが望ましい。しかし、質問タイプ同定では、素性の集合の中で、実際にどれが有効であるかを人間が直観的に判断するのは非常に難しい。このため、分類を行うのに最も有効であると考えられる必要最小限の素性を抽出するのは非常に困難であり、従来提案されている機械学習方法をそのまま適用すると高精度な分類器が学習できないという問題がある。
【０００８】
本発明の目的は、質問タイプ同定のための高精度な分類器を構成する質問タイプ学習方法、装置、プログラム、同プログラムを記録した記録媒体および学習データを記録した記録媒体を提供することにある。
【０００９】
本発明の他の目的は、前記分類器を用いて未知の質問から質問タイプを同定する質問タイプ同定方法、装置、プログラム、および記録媒体を提供することにある。
【００１０】
【課題を解決するための手段】
まず、特徴抽出部により、質問の学習サンプルから質問タイプを特徴付ける素性を抽出する。質問タイプを特徴付ける素性を抽出する方法として、単語属性Ｎ−ｇｒａｍを用いる。単語属性とは、単語、品詞、意味情報のことであり、Ｎ−ｇｒａｍとは、それらの連鎖を意味する。
【００１１】
この単語属性Ｎ−ｇｒａｍを用いることにより、質問タイプを特徴付ける素性を自動的に、かつ、網羅的に抽出することができる。例えば、人手により有効と考えられる素性を列挙する場合に比べてタイプを特徴付ける素性を効率的に抽出できる。
【００１２】
表１に単語属性Ｎ−ｇｒａｍの例を示す。
【００１３】
【表１】
2004094521.tif 000003
ｗ，ｐ，ｓはそれぞれ単語、品詞、意味情報を表し、質問はｗ１，ｗ２，．．．，ｗｎで構成されているとする。この場合、抽出される特徴は、単語属性Ｎ−ｇｒａｍに基づき、表２のようになる。ここで、Ｎ−ｇｒａｍの要素が１つのものを１−ｇｒａｍ、要素が２つの連鎖を２−ｇｒａｍと呼び、以下、要素３を３−ｇｒａｍ、要素４を４−ｇｒａｍ、．．．と呼ぶ。
【００１４】
【表２】
2004094521.tif 000004
ここで、抽出された一つの単語属性の連鎖が一つの素性となる。
【００１５】
次に、素性ベクトル作成部により、単語属性Ｎ−ｇｒａｍにより抽出された素性から素性空間を構成し、各質問を素性ベクトルに変換する。最後に、分類器構成部により、抽出された特徴と質問の学習サンプルから、大量の素性を用いても高精度な分類器を学習可能な統計的機械学習方法を用いて学習する。サンプル数に対して素性数が多い問題でも、高精度な分類器を学習できる機械学習手法としてＳｕｐｐｏｒｔ　Ｖｅｃｔｏｒ　Ｍａｃｈｉｎｅ（参考文献：Ｖ．Ｖａｐｎｉｋ，　Ｔｈｅ　Ｎａｔｕｒｅ　ｏｆ　Ｓｔａｔｉｓｔｉｃａｌ　Ｌｅａｒｎｉｎｇ　Ｔｈｅｏｒｙ．　Ｓｐｒｉｎｇ−Ｖｅｒｌａｇ，　Ｎｅｗ　Ｙｏｒｋ，　１９９５．　参照）を用いる。
【００１６】
学習時のＳｕｐｐｏｒｔ　Ｖｅｃｔｏｒ　Ｍａｃｈｉｎｅの入力は、クラスラベルと素性ベクトルのペアで表される。
【００１７】
【数１】
2004094521.tif 000005
ここで、
【００１８】
【外１】
2004094521.tif 000006
はｉ番目のサンプルの特徴ベクトルでｎ次元ベクトルであり、ｙｉはサンプルｉのクラスを表すスカラー変数である。ただし、Ｓｕｐｐｏｒｔ　Ｖｅｃｔｏｒ　Ｍａｃｈｉｎｅは二クラス分類器なので、分類すべきクラスは正例（＋１）、負例（−１）の２つである。
【００１９】
学習サンプルの例を表３に示す。このような学習サンプルは記録媒体に記録して質問タイプの同定の際に利用することが可能であり、データのみ流通させることができる。
【００２０】
【表３】
2004094521.tif 000007
素性数ｎの場合は、ｎ次元の素性空間を考えることにより、各質問から作成される素性ベクトルはｎ次元素性空間の一点を表すことになる。Ｓｕｐｐｏｒｔ　Ｖｅｃｔｏｒ　Ｍａｃｈｉｎｅは、図３のように、ｎ次元素性空間内で、２クラスを分離する超平面のうち、２クラス間のマージンが最大になる平面を最適識別平面として選択する学習手法である。
【００２１】
また、Ｓｕｐｐｏｒｔ　Ｖｅｃｔｏｒ　Ｍａｃｈｉｎｅは二クラス分類器であるので、多クラス分類手法を用いて適用する。多クラス分類手法としては、例えばｏｎｅ　ｖｓ．ｒｅｓｔ法があり、分類対象となるクラスがｎ個存在するとき、任意の１クラスとそれ以外のｎ−１クラスを分類する分類器をｎ個作成することで、二クラス分類器で多クラスの分類を行う。この場合の識別境界は図４のようになる。
【００２２】
最後に、以上のようにして作成された分類器を用いて、未知の質問が入力されたときに、該質問がどの質問タイプかを識別する。これは、未知の質問を表３と同様の方法で素性ベクトルに変換し、Ｓｕｐｐｏｒｔ　Ｖｅｃｔｏｒ　Ｍａｃｈｉｎｅにより作成した分類器を用いて行う。識別ステップにより決定される質問タイプは、未知の質問から作成される素性ベクトルが素性空間上のどの位置に配置されるかで決定される。
【００２３】
【発明の実施の形態】
次に、本発明の実施の形態について図面を参照して説明する。
【００２４】
図１（１），（２）はそれぞれ本発明の一実施形態の質問タイプ学習装置、質問タイプ同定装置の構成図である。
【００２５】
質問タイプ学習装置は特徴抽出部１と素性ベクトル作成部２と分類器構成部３を有している。質問タイプ同定装置は素性ベクトル作成部４と質問タイプ同定部５を有している。
【００２６】
図２は本実施形態の質問タイプ学習装置と質問タイプ同定装置の処理の流れを示すフローチャートである。
【００２７】
ステップ１１に、特徴抽出部１は、質問の学習サンプルから質問タイプを特徴付ける素性を、単語Ｎ−ｇｒａｍを用いて抽出する。ステップ１２に、素性ベクトル作成部２は単語属性Ｎ−ｇｒａｍにより抽出された素性から素性空間を構成し、各質問を素性ベクトルに変換する。ステップ１３に、分類器構成部３は素性ベクトルからＳｕｐｐｏｒｔ　Ｖｅｃｔｏｒ　Ｍａｃｈｉｎｅを用いて、質問タイプを同定する分類器を構成する。
【００２８】
未知の質問が入力されたとき、素性ベクトル作成部４で、未知の質問から質問タイプを特徴づける素性を、単語Ｎ−ｇｒａｍを用いて抽出し、抽出された素性を素性ベクトルに変換し、質問タイプ同定部５で、分類器構成部３で作成された分類器を用いて質問タイプを同定する。
【００２９】
次に、本実施形態の具体例として、質問応答システムにおいて、質問タイプ同定問題を扱う場合を示す。
【００３０】
質問応答システムの場合は、質問タイプは主に解答の種類の分類を表すタイプとなる。例えば、「人名」「地名」「人数」「日時」等である。
【００３１】
まず、質問タイプ学習ステップを説明する。
【００３２】
質問応答システムの場合の学習サンプルの例として、「日本の首都はどこですか」を考える。この質問は場所を訊いている質問なので、識別すべき質問タイプは「場所」となる。このように、学習サンプルは表４に示すように質問と識別すべき質問タイプのペアで与えられる。
【００３３】
【表４】
2004094521.tif 000008
このような学習サンプルから、各質問タイプを特徴付ける素性を抽出する。まず、質問を単語単位に分割し、各単語に品詞、意味情報を付加する。抽出される単語属性Ｎ−ｇｒａｍとは、例えば「日本の首都はどこですか」という質問なら、図５で示すように各単語自身とその品詞、意味情報を要素とした組み合わせの連鎖である。考えられる全ての単語属性Ｎ−ｇｒａｍを抽出する。
【００３４】
上記の「日本の首都はどこですか」という質問の場合、例えば表５のようになる。
【００３５】
【表５】
2004094521.tif 000009
抽出された単語属性Ｎ−ｇｒａｍを素性として、素性空間を作成し、この素性空間を用いて統計的機械学習手法Ｓｕｐｐｏｒｔ　Ｖｅｃｔｏｒ　Ｍａｃｈｉｎｅを用いて最適識別平面を決定し分類器を作成する。
【００３６】
次に、質問タイプ同定ステップについて説明する。
【００３７】
これは、Ｓｕｐｐｏｒｔ　Ｖｅｃｔｏｒ　Ｍａｃｈｉｎｅにより作成された分類器を用いて、新たに入力される未知のサンプルの質問タイプを識別するステップである。
【００３８】
入力された未知の質問に対して、素性ベクトルを作成し、出力される質問タイプをその質問の質問タイプと判定する。
【００３９】
質問応答システムに適用する場合と同様に、対話システムや情報検索／抽出システムにも、それぞれのシステムに適した質問タイプを事前に決定すれば、それ以外は全く同様の方法で適用することができる。例えば、対話システムの場合で、スケジュール管理のタスクを取り扱っている場合は、質問タイプを「新規のスケジュール入力」「スケジュール変更」「スケジュール確認」等と決めることで適用することが可能である。また、情報検索／抽出システムの場合は、テキスト分類のカテゴリを質問タイプにすることで、検索範囲を限定することが可能になり、より高精度な検索が行えることができるようになる。
【００４０】
なお、本発明の質問学習方法および質問タイプ同定方法は専用のハードウェアにより実現されるもの以外に、その機能を実現するためのプログラムを、コンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行するものであってもよい。コンピュータ読み取り可能な記録媒体とは、フロッピーディスク、光磁気ディスク、ＣＤ−ＲＯＭ等の記録媒体、コンピュータシステムに内蔵されるハードディスク装置等の記憶装置を指す。さらに、コンピュータ読み取り可能な記録媒体は、インターネットを介してプログラムを送信する場合のように、短時間の間、動的にプログラムを保持するもの（伝送媒体もしくは伝送波）、その場合のサーバとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含む。
【００４１】
【発明の効果】
以上説明したように、本発明によれば、質問タイプを特徴付ける単語の属性の構造を抽出する単語属性Ｎ−ｇｒａｍと、サンプル数に対して素性数が多い問題設定でも高精度な分類器を学習できる統計的機械学習手法ＳＶＭ（Ｓｕｐｐｏｒｔ　Ｖｅｃｔｏｒ　Ｍａｃｈｉｎｅ）を組み合わせることにより、高精度な分類器を作成することが可能になり、これにより、質問のサンプルさえ作成すれば、質問タイプ同定のための高精度な分類器が作成可能となる。
【図面の簡単な説明】
【図１】本発明の一実施形態の質問学習装置と質問タイプ同定装置の構成図である。
【図２】図１中の質問学習装置と質問タイプ同定装置の処理を示すフローチャートである。
【図３】Ｓｕｐｐｏｒｔ　Ｖｅｃｔｏｒ　Ｍａｃｈｉｎｅの概念図である。
【図４】多クラス分類により拡張されたＳｕｐｐｏｒｔ　Ｖｅｃｔｏｒ　Ｍａｃｈｉｎｅの概念図である。
【図５】単語属性Ｎ−ｇｒａｍの抽出例を示す図である。
【符号の説明】
１　特徴抽出部
２　素性ベクトル作成部
３　分類器構成部
４　素性ベクトル作成部
５　質問タイプ同定部
１１〜１５　ステップ
【図１】
2004094521.tif 000010
【図２】
2004094521.tif 000011
【図３】
2004094521.tif 000012
【図４】
2004094521.tif 000013
【図５】
2004094521.tif 000014