(57)【要約】【課題】複数の学習対象の他ドメインがある場合に、質問文に対応する単語を精度良く抽出するモデルを学習する。【解決手段】系列モデル用素性化部３８が、複数の元ドメインの各々に対し、質問文に含まれる各単語について、テーブル構成要素毎に、元ドメインの素性を抽出する共に、共通ドメインの素性として複製する。系列モデル学習部４０が、複数の元ドメインの各々に対して得られた元ドメインの素性及び共通ドメインの素性に基づいて、系列モデル４２を学習する。回帰モデル用素性化部４４が、回帰モデル用素性を抽出し、回帰モデル学習部４６が、回帰モデル４８を学習する。【選択図】図２
2017204219.tif 000002
【特許請求の範囲】
【請求項１】
未学習の対象ドメインのデータベースのエントリを表す単語から、入力された対象ドメインの質問文に対応する、前記エントリを表す単語を抽出するためのモデル学習装置であって、
複数の元ドメインの各々に対し、前記元ドメインのデータベースのエントリを表す単語及びテーブル構成要素を示すラベルが付与された、前記元ドメインの質問文の集合に基づいて、予め作成された各単語の意味ベクトルを用いて、前記質問文に含まれる各単語について、前記テーブル構成要素毎に、前記テーブル構成要素のエントリを表す単語との類似度を、前記元ドメインの素性として抽出する共に、前記元ドメインの素性を、共通ドメインの素性として複製する系列モデル用素性化部と、
前記複数の元ドメインの各々に対する、前記質問文に含まれる各単語について得られた前記元ドメインの素性及び前記共通ドメインの素性と、前記質問文に含まれる各単語について付与された前記ラベルとに基づいて、単語チャンクに対応するテーブル構成要素を抽出するための系列モデルを学習する系列モデル学習部と、
前記複数の元ドメインの各々に対し、前記元ドメインの質問文の集合に基づいて、各単語の意味ベクトルを用いて、前記ラベルが付与された単語チャンクの各々について、前記単語チャンクに付与された前記ラベルが表す前記テーブル構成要素のエントリを表す単語の各々との類似度を、回帰モデル用素性として抽出する回帰モデル用素性化部と、
前記複数の元ドメインの各々に対する、前記ラベルが付与された単語チャンクの各々について得られた前記回帰モデル用素性と、前記単語チャンクの各々について付与された前記ラベルとに基づいて、単語に対応するエントリを表す単語を抽出するための回帰モデルを学習する回帰モデル学習部と、
を含むモデル学習装置。
【請求項２】
未学習の対象ドメインのデータベースのエントリを表す単語から、入力された対象ドメインの質問文に対応する、前記エントリを表す単語を抽出する単語抽出装置であって、
予め作成された各単語の意味ベクトルを用いて、前記質問文に含まれる各単語について、前記対象ドメインのデータベースのテーブル構成要素毎に、前記テーブル構成要素のエントリを表す単語との類似度を、共通ドメインの素性として抽出する適用時系列モデル用素性化部と、
請求項１記載のモデル学習装置によって学習された前記系列モデルと、前記適用時系列モデル用素性化部によって前記質問文に含まれる各単語について抽出された、前記テーブル構成要素毎の共通ドメインの素性とに基づいて、前記質問文に含まれる各単語チャンクに、前記テーブル構成要素を表すラベルを付与する系列モデル適用部と、
各単語の意味ベクトルを用いて、前記系列モデル適用部によって前記ラベルが付与された単語チャンクの各々について、前記単語チャンクに付与された前記ラベルが表す前記テーブル構成要素のエントリを表す単語の各々との類似度を、回帰モデル用素性として抽出する適用時回帰モデル用素性化部と、
前記モデル学習装置によって学習された前記回帰モデルと、前記適用時回帰モデル用素性化部によって抽出された、前記ラベルが付与された単語チャンクの各々の回帰モデル用素性とに基づいて、前記質問文に対応する、前記対象ドメインのデータベースのエントリを表す単語を抽出する回帰モデル適用部と、
を含む単語抽出装置。
【請求項３】
前記系列モデル適用部は、前記モデル学習装置によって学習された前記系列モデルの、前記共通ドメインの素性に対応する部分と、前記適用時系列モデル用素性化部によって前記質問文に含まれる各単語について抽出された、前記テーブル構成要素毎の前記共通ドメインの素性とに基づいて、前記質問文に含まれる各単語チャンクに、前記テーブル構成要素を表すラベルを付与する請求項２記載の単語抽出装置。
【請求項４】
未学習の対象ドメインのデータベースのエントリを表す単語から、入力された対象ドメインの質問文に対応する、前記エントリを表す単語を抽出するためのモデル学習装置におけるモデル学習方法であって、
系列モデル用素性化部が、複数の元ドメインの各々に対し、前記元ドメインのデータベースのエントリを表す単語及びテーブル構成要素を示すラベルが付与された、前記元ドメインの質問文の集合に基づいて、予め作成された各単語の意味ベクトルを用いて、前記質問文に含まれる各単語について、前記テーブル構成要素毎に、前記テーブル構成要素のエントリを表す単語との類似度を、前記元ドメインの素性として抽出する共に、前記元ドメインの素性を、共通ドメインの素性として複製し、
系列モデル学習部が、前記複数の元ドメインの各々に対する、前記質問文に含まれる各単語について得られた前記元ドメインの素性及び前記共通ドメインの素性と、前記質問文に含まれる各単語について付与された前記ラベルとに基づいて、単語チャンクに対応するテーブル構成要素を抽出するための系列モデルを学習し、
回帰モデル用素性化部が、前記複数の元ドメインの各々に対し、前記元ドメインの質問文の集合に基づいて、各単語の意味ベクトルを用いて、前記ラベルが付与された単語チャンクの各々について、前記単語チャンクに付与された前記ラベルが表す前記テーブル構成要素のエントリを表す単語の各々との類似度を、回帰モデル用素性として抽出し、
回帰モデル学習部が、前記複数の元ドメインの各々に対する、前記ラベルが付与された単語チャンクの各々について得られた前記回帰モデル用素性と、前記単語チャンクの各々について付与された前記ラベルとに基づいて、単語に対応するエントリを表す単語を抽出するための回帰モデルを学習する
モデル学習方法。
【請求項５】
未学習の対象ドメインのデータベースのエントリを表す単語から、入力された対象ドメインの質問文に対応する、前記エントリを表す単語を抽出する単語抽出装置における単語抽出方法であって、
適用時系列モデル用素性化部が、予め作成された各単語の意味ベクトルを用いて、前記質問文に含まれる各単語について、前記対象ドメインのデータベースのテーブル構成要素毎に、前記テーブル構成要素のエントリを表す単語との類似度を、共通ドメインの素性として抽出し、
系列モデル適用部が、請求項４記載のモデル学習方法によって学習された前記系列モデルと、前記適用時系列モデル用素性化部によって前記質問文に含まれる各単語について抽出された、前記テーブル構成要素毎の共通ドメインの素性とに基づいて、前記質問文に含まれる各単語チャンクに、前記テーブル構成要素を表すラベルを付与し、
適用時回帰モデル用素性化部が、各単語の意味ベクトルを用いて、前記系列モデル適用部によって前記ラベルが付与された単語チャンクの各々について、前記単語チャンクに付与された前記ラベルが表す前記テーブル構成要素のエントリを表す単語の各々との類似度を、回帰モデル用素性として抽出し、
回帰モデル適用部が、前記モデル学習方法によって学習された前記回帰モデルと、前記適用時回帰モデル用素性化部によって抽出された、前記ラベルが付与された単語チャンクの各々の回帰モデル用素性とに基づいて、前記質問文に対応する、前記対象ドメインのデータベースのエントリを表す単語を抽出する
単語抽出方法。
【請求項６】
前記系列モデル適用部がラベルを付与することでは、前記モデル学習方法によって学習された前記系列モデルの、前記共通ドメインの素性に対応する部分と、前記適用時系列モデル用素性化部によって前記質問文に含まれる各単語について抽出された、前記テーブル構成要素毎の前記共通ドメインの素性とに基づいて、前記質問文に含まれる各単語チャンクに、前記テーブル構成要素を表すラベルを付与する請求項５記載の単語抽出方法。
【請求項７】
コンピュータを、請求項１に記載のモデル学習装置、又は請求項２若しくは請求項３に記載の単語抽出装置の各部として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、モデル学習装置、単語抽出装置、方法、及びプログラムに係り、特に、文中から質問応答に必要となる単語を抽出するためのモデル学習装置、単語抽出装置、方法、及びプログラムに関する。
【背景技術】
【０００２】
従来より、与えられた文と、知識を蓄えたデータベースを用いて、文中からデータベースに存在する表現に近い単語列を抽出する技術が知られている。例えば、３つ組のデータベース構造であった場合、質問文において、データベース中の表現を２つ含むことが分かれば、残りの１つを回答として提示することが可能となる。
【０００３】
また、単語対の類似度を計算する際には、単語を意味空間でベクトル化した上で類似度を測る方法が知られている（非特許文献３参照）。
【０００４】
また、目的ドメインの学習データが存在しない場合でも、他ドメインにおける学習データが存在する場合に学習データを転用することで、低コストでも高精度な単語列抽出を実現する方法が知られている（非特許文献５）。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】K. Yao et al. “Recurrent Conditional Random Field for Language Understanding”, ICASSP2014
【非特許文献２】Mikolov, Tomas, et al. "Efficient estimation of word representations in vector space." arXiv preprint arXiv:1301.3781 (2013).
【非特許文献３】Lafferty, John, Andrew McCallum, and Fernando CN Pereira. "Conditional random fields: Probabilistic models for segmenting and labeling sequence data." (2001).
【非特許文献４】Hal Daume III and Daniel Marcu. 2006. Domain adaptation for statistical classifiers. Journal of Artificial Intelligence Research, pages 101-126
【非特許文献５】Yazdani, Majid and Henderson, James, “A Model of Zero-Shot Learning of Spoken Language Understanding”, EMNLP2015
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記非特許文献５に記載の方法では、他ドメインが独立であることを仮定した手法であったため、精度が低かった。
【０００７】
本発明は、上記事情を鑑みて成されたものであり、複数の学習済みの他ドメインがある場合に、質問文に対応する単語を精度良く抽出することできるモデルを学習することができるモデル学習装置、方法、及びプログラムを提供することを目的とする。
【０００８】
また、質問文に対応する単語を精度良く抽出することできる単語抽出装置、方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するために、本発明に係るモデル学習装置は、未学習の対象ドメインのデータベースのエントリを表す単語から、入力された対象ドメインの質問文に対応する、前記エントリを表す単語を抽出するためのモデル学習装置であって、複数の元ドメインの各々に対し、前記元ドメインのデータベースのエントリを表す単語及びテーブル構成要素を示すラベルが付与された、前記元ドメインの質問文の集合に基づいて、予め作成された各単語の意味ベクトルを用いて、前記質問文に含まれる各単語について、前記テーブル構成要素毎に、前記テーブル構成要素のエントリを表す単語との類似度を、前記元ドメインの素性として抽出する共に、前記元ドメインの素性を、共通ドメインの素性として複製する系列モデル用素性化部と、前記複数の元ドメインの各々に対する、前記質問文に含まれる各単語について得られた前記元ドメインの素性及び前記共通ドメインの素性と、前記質問文に含まれる各単語について付与された前記ラベルとに基づいて、単語チャンクに対応するテーブル構成要素を抽出するための系列モデルを学習する系列モデル学習部と、前記複数の元ドメインの各々に対し、前記元ドメインの質問文の集合に基づいて、各単語の意味ベクトルを用いて、前記ラベルが付与された単語チャンクの各々について、前記単語チャンクに付与された前記ラベルが表す前記テーブル構成要素のエントリを表す単語の各々との類似度を、回帰モデル用素性として抽出する回帰モデル用素性化部と、前記複数の元ドメインの各々に対する、前記ラベルが付与された単語チャンクの各々について得られた前記回帰モデル用素性と、前記単語チャンクの各々について付与された前記ラベルとに基づいて、単語に対応するエントリを表す単語を抽出するための回帰モデルを学習する回帰モデル学習部と、を含んで構成されている。
【００１０】
本発明に係るモデル学習方法は、未学習の対象ドメインのデータベースのエントリを表す単語から、入力された対象ドメインの質問文に対応する、前記エントリを表す単語を抽出するためのモデル学習装置におけるモデル学習方法であって、系列モデル用素性化部が、複数の元ドメインの各々に対し、前記元ドメインのデータベースのエントリを表す単語及びテーブル構成要素を示すラベルが付与された、前記元ドメインの質問文の集合に基づいて、予め作成された各単語の意味ベクトルを用いて、前記質問文に含まれる各単語について、前記テーブル構成要素毎に、前記テーブル構成要素のエントリを表す単語との類似度を、前記元ドメインの素性として抽出する共に、前記元ドメインの素性を、共通ドメインの素性として複製し、系列モデル学習部が、前記複数の元ドメインの各々に対する、前記質問文に含まれる各単語について得られた前記元ドメインの素性及び前記共通ドメインの素性と、前記質問文に含まれる各単語について付与された前記ラベルとに基づいて、単語チャンクに対応するテーブル構成要素を抽出するための系列モデルを学習し、回帰モデル用素性化部が、前記複数の元ドメインの各々に対し、前記元ドメインの質問文の集合に基づいて、各単語の意味ベクトルを用いて、前記ラベルが付与された単語チャンクの各々について、前記単語チャンクに付与された前記ラベルが表す前記テーブル構成要素のエントリを表す単語の各々との類似度を、回帰モデル用素性として抽出し、回帰モデル学習部が、前記複数の元ドメインの各々に対する、前記ラベルが付与された単語チャンクの各々について得られた前記回帰モデル用素性と、前記単語チャンクの各々について付与された前記ラベルとに基づいて、単語に対応するエントリを表す単語を抽出するための回帰モデルを学習する。
【００１１】
本発明に係る単語抽出装置は、未学習の対象ドメインのデータベースのエントリを表す単語から、入力された対象ドメインの質問文に対応する、前記エントリを表す単語を抽出する単語抽出装置であって、予め作成された各単語の意味ベクトルを用いて、前記質問文に含まれる各単語について、前記対象ドメインのデータベースのテーブル構成要素毎に、前記テーブル構成要素のエントリを表す単語との類似度を、共通ドメインの素性として抽出する適用時系列モデル用素性化部と、上記のモデル学習装置によって学習された前記系列モデルと、前記適用時系列モデル用素性化部によって前記質問文に含まれる各単語について抽出された、前記テーブル構成要素毎の共通ドメインの素性とに基づいて、前記質問文に含まれる各単語チャンクに、前記テーブル構成要素を表すラベルを付与する系列モデル適用部と、各単語の意味ベクトルを用いて、前記系列モデル適用部によって前記ラベルが付与された単語チャンクの各々について、前記単語チャンクに付与された前記ラベルが表す前記テーブル構成要素のエントリを表す単語の各々との類似度を、回帰モデル用素性として抽出する適用時回帰モデル用素性化部と、前記モデル学習装置によって学習された前記回帰モデルと、前記適用時回帰モデル用素性化部によって抽出された、前記ラベルが付与された単語チャンクの各々の回帰モデル用素性とに基づいて、前記質問文に対応する、前記対象ドメインのデータベースのエントリを表す単語を抽出する回帰モデル適用部と、を含んで構成されている。
【００１２】
本発明に係る単語抽出方法は、未学習の対象ドメインのデータベースのエントリを表す単語から、入力された対象ドメインの質問文に対応する、前記エントリを表す単語を抽出する単語抽出装置における単語抽出方法であって、適用時系列モデル用素性化部が、予め作成された各単語の意味ベクトルを用いて、前記質問文に含まれる各単語について、前記対象ドメインのデータベースのテーブル構成要素毎に、前記テーブル構成要素のエントリを表す単語との類似度を、共通ドメインの素性として抽出し、系列モデル適用部が、上記のモデル学習方法によって学習された前記系列モデルと、前記適用時系列モデル用素性化部によって前記質問文に含まれる各単語について抽出された、前記テーブル構成要素毎の共通ドメインの素性とに基づいて、前記質問文に含まれる各単語チャンクに、前記テーブル構成要素を表すラベルを付与し、適用時回帰モデル用素性化部が、各単語の意味ベクトルを用いて、前記系列モデル適用部によって前記ラベルが付与された単語チャンクの各々について、前記単語チャンクに付与された前記ラベルが表す前記テーブル構成要素のエントリを表す単語の各々との類似度を、回帰モデル用素性として抽出し、回帰モデル適用部が、前記モデル学習方法によって学習された前記回帰モデルと、前記適用時回帰モデル用素性化部によって抽出された、前記ラベルが付与された単語チャンクの各々の回帰モデル用素性とに基づいて、前記質問文に対応する、前記対象ドメインのデータベースのエントリを表す単語を抽出する。
【００１３】
本発明に係るプログラムは、コンピュータを、上記のモデル学習装置又は単語抽出装置の各部として機能させるためのプログラムである。
【発明の効果】
【００１４】
本発明のモデル学習装置、方法、及びプログラムによれば、複数の元ドメインの各々に対し、テーブル構成要素のエントリを表す単語との類似度を、元ドメインの素性として抽出する共に、元ドメインの素性を、共通ドメインの素性として複製し、複数の元ドメインの各々に対して得られた元ドメインの素性及び共通ドメインの素性に基づいて、単語チャンクに対応するテーブル構成要素を抽出するための系列モデルを学習することにより、複数の学習対象の他ドメインがある場合に、質問文に対応する単語を精度良く抽出することできるモデルを学習することができる、という効果が得られる。
【００１５】
本発明の単語抽出装置、方法、及びプログラムによれば、質問文に対応する単語を精度良く抽出することができる、という効果が得られる。
【図面の簡単な説明】
【００１６】
【図１】複数の学習対象の元ドメインと、未学習の対象ドメインとのデータベースにおけるテーブル構成要素の関係性を表した抽象図である。
【図２】本発明の実施の形態に係るモデル学習装置の構成を示すブロック図である。
【図３】本発明の実施の形態に係る単語抽出装置の構成を示すブロック図である。
【図４】本発明の実施の形態に係るモデル学習装置におけるモデル学習処理ルーチンを示すフローチャートである。
【図５】本発明の実施の形態に係る単語抽出装置における単語抽出処理ルーチンを示すフローチャートである。
【発明を実施するための形態】
【００１７】
以下、図面を参照して本発明の実施の形態を詳細に説明する。
【００１８】
＜本発明の実施の形態に係る概要＞
まず、本発明の実施の形態における概要を説明する。
【００１９】
ここで本発明の実施の形態で解く問題について説明する。図１に示すように、学習時において、複数の学習対象の元ドメインがおもちゃドメイン及び旅行ドメインとする。学習時入力文「本はいくら？」、学習時入力文のアノテート結果（例えば「本⇒subject-絵本」、「いくら⇒predicate-価格」）、３つ組のテーブル構成要素からなる元ドメイン１ＤＢ、元ドメイン２ＤＢに基づいて、単語抽出モデルを学習する。テーブル構成要素は、subject/predicate/objectの３つ組のデータベースを構成する要素である。ここでのobjectとはsubjectとpredicateがテーブルで交差するエントリの値を指す。本実施の形態では３つ組の場合を例に説明するが、４つ組以上でも適用は可能である。
【００２０】
そして、学習したモデルを、未学習の対象ドメインである家電ドメインに適用する。適用時入力文「掃除機はいくら」、及び対象ドメインＤＢの入力に対して、出力として例えば「「掃除機」⇒subject-掃除機」、「「いくら」⇒predicate-値段」というように、入力文の単語と、テーブル構成要素及びエントリとの対応を得る。
【００２１】
本発明の実施の形態では、上記の問題について、２段階に分けた解法を採る。１段階目では、抽象度の高い、データベースの同じ意味構造（テーブル構成要素）レベルでの抽出モデルを用いる。
【００２２】
２段階目では、テーブル構成要素を細分化してエントリに紐づけるため、分類アプローチで解く。ここでは、学習済みの元ドメインの学習用データベースと、対象ドメインのデータベースとが異なる場合、学習用データベースに対し直接的な分類ベースのアプローチを採ることは不可能であるため、対象ドメインの各エントリに対する類似度を求めるアプローチを採る。このようにすることで、未知のドメインでもエントリと紐づけた単語抽出が可能となる。
【００２３】
また、従来技術では、複数の学習済みの他ドメインがある場合に十分に活用できていないため、本発明の実施の形態では、転移学習の先行技術である非特許文献４の技術を用いて素性化を行い、学習時にドメイン間共通の情報を重視する。これにより、複数の他ドメインがある場合に対象ドメインにおける精度を向上させることができる。
【００２４】
＜本発明の実施の形態に係るモデル学習装置の構成＞
次に、本発明の実施の形態に係るモデル学習装置の構成について説明する。図２に示すように、本発明の実施の形態に係るモデル学習装置１００は、ＣＰＵと、ＲＡＭと、後述するモデル学習処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。このモデル学習装置１００は、機能的には図２に示すように入力部１０と、演算部２０とを備えている。
【００２５】
入力部１０は、複数の学習対象の元ドメインについての、アノテート済元ドメイン１質問文集合２１Ａ、アノテート済元ドメイン２質問文集合２１Ｂ、元ドメイン１ＤＢ２２Ａ、及び元ドメイン２ＤＢ２２Ｂを受け付ける。アノテート済元ドメイン質問文は、例えば、「<subj=絵本>本</subj>は<pred=販売店>どこ/で/買える</pred>の？」というような質問文に対して、形態素境界を示すスラッシュ、及びテーブル構成要素とエントリの対応付けが付与された質問文である。また、元ドメイン１は例えばおもちゃドメインであり、元ドメイン２は旅行ドメインである。
【００２６】
また、入力部１０は、意味ベクトルモデル３２を受け付ける。
【００２７】
演算部２０は、アノテート済元ドメイン１質問文集合２１Ａと、元ドメイン１ＤＢ２２Ａと、アノテート済元ドメイン２質問文集合２１Ｂと、元ドメイン２ＤＢ２２Ｂと、意味ベクトルモデル３２と、系列モデル用素性化部３８と、系列モデル学習部４０と、系列モデル４２と、回帰モデル用素性化部４４と、回帰モデル学習部４６と、回帰モデル４８とを含んで構成されている。
【００２８】
意味ベクトルモデル３２は、例えば、「本」と「絵本」との意味的類似度が0.5である、といった出力が可能なモデルである。意味ベクトルモデル３２は、教師なしテキストに含まれる単語からベクトルモデル化することで予め学習しておけばよい。モデル化には非特許文献２に記載の既存のモデル化手法を用いる。
【００２９】
系列モデル用素性化部３８は、意味ベクトルモデル３２を用いて、アノテート済元ドメイン１質問文集合２１Ａにおける質問文に含まれる各単語について、元ドメイン１ＤＢ２２Ａのテーブル構成要素毎に、当該テーブル構成要素のエントリを表す単語との類似度を、元ドメイン１の素性として抽出すると共に、共通ドメインの素性として複製する。なお、質問文のアノテートデータではエントリへのマッピングまで施されている前提である。系列モデル用素性化部３８では、アノテートデータのうちテーブル構成要素へのマッピング情報のみを用いる。また、元ドメイン１の素性に、元ドメイン１を表すヘッダ（例えば、”toy-”）を付与し、共通ドメインの素性に、共通ドメインを表すヘッダ（例えば、“common-”）を付与する。
【００３０】
例えば、系列モデルの出力ラベルを元ドメイン１ＤＢ２２Ａのテーブル構成要素として、系列モデル用素性化部３８は、質問文に含まれる各単語について、テーブル構成要素毎に、以下の処理によって元ドメイン１の素性及び共通ドメインの素性を抽出する。
【００３１】
系列モデル用素性化部３８は、各エントリとの表層類似度及び意味類似度を抽出し、元ドメイン１ＤＢ２２Ａのテーブル構成要素の各々について、当該テーブル構成要素の各エントリとの表層類似度及び意味類似度の中での最大値を、当該テーブル構成要素の元ドメイン１の素性とする。例えば、テーブル構成要素がsubject、predicate、objectの３種類であれば、３種類それぞれについて、表層類似度及び意味類似度の各々が抽出される。
【００３２】
表層類似度は、質問文中の対象単語とエントリの各々との編集距離等であり、当該テーブル構成要素のエントリの各々との表層類似度の最大値が、当該テーブル構成要素の表層類似度として抽出される。例えば、「本⇔subject:絵本  編集距離=1、文字重複率=0.5、単語一致率=0」というような対象単語とエントリの結果を元に類似度を算出して、表層類似度を得る。また、意味類似度は、対象単語とエントリとペアに対し、意味ベクトルモデル３２を用いて算出される類似度であり、当該テーブル構成要素のエントリの各々との意味類似度の最大値が、当該テーブル構成要素の意味類似度として抽出される。例えば、「本⇔subject:絵本  意味類似度=0.5」というような対象単語とエントリとの結果を元に類似度を算出して、最大値となるものを、対象単語とテーブル構成要素との表層類似度として抽出する。テーブル構成要素の系列モデル用素性化データの出力の例は以下のようになる。注目する対象単語が「本」であれば、以下の元ドメイン１の素性及び共通ドメインの素性が抽出される。
【００３３】
正解ラベル=B-subj
toy-subj編集距離=1 toy-subj意味類似度=0.5 toy-pred編集距離=2 toy-pred意味類似度=0.1 toy-obj編集距離=2 toy-obj意味類似度=0.1
common-subj編集距離=1 common-subj意味類似度=0.5 common-pred編集距離=2 common-pred意味類似度=0.1 common-obj編集距離=2 common-obj意味類似度=0.1
【００３４】
注目する対象単語が「は」であれば、以下の元ドメイン１の素性及び共通ドメインの素性が抽出される。
【００３５】
正解ラベル=O
toy-subj編集距離=2 toy-subj意味類似度=0.1 toy-pred編集距離=2 toy-pred意味類似度=0.1 toy-obj編集距離=2 toy-obj意味類似度=0.1
common-subj編集距離=2 common-subj意味類似度=0.1 common-pred編集距離=2 common-pred意味類似度=0.1 common-obj編集距離=2 common-obj意味類似度=0.1
【００３６】
注目する対象単語が「どこ」であれば、以下の元ドメイン１の素性及び共通ドメインの素性が抽出される。
【００３７】
正解ラベル=B-pred
toy-subj編集距離=6 toy-subj意味類似度=0.1 toy-pred編集距離=6 toy-pred意味類似度=0.1 toy-obj編集距離=6 toy-obj意味類似度=0.1
common-subj編集距離=6 common-subj意味類似度=0.1 common-pred編集距離=6 common-pred意味類似度=0.1 common-obj編集距離=6 common-obj意味類似度=0.1 
【００３８】
ここで正解ラベルのヘッダに付与されるB/I/Oは、B=抽出したい対象単語列の先頭、I=抽出したい対象単語列の先頭以外、O=抽出しない単語を表す。おもちゃドメインでは上記のように”toy-”, “common-”を素性のヘッダに付与する。
【００３９】
また、系列モデル用素性化部３８は、意味ベクトルモデル３２を用いて、アノテート済元ドメイン２質問文集合２１Ｂにおける質問文に含まれる各単語について、元ドメイン２ＤＢ２２Ｂのテーブル構成要素毎に、元ドメイン１の素性と同様に、当該テーブル構成要素のエントリを表す単語との類似度を、元ドメイン２の素性として抽出すると共に、共通ドメインの素性として複製する。また、元ドメイン２の素性に、元ドメイン２を表すヘッダ（例えば、”travel-”）を付与し、共通ドメインの素性に、共通ドメインを表すヘッダ（例えば、“common-”）を付与する。
【００４０】
系列モデル学習部４０は、系列モデル用素性化部３８によってアノテート済元ドメイン１質問文集合２１Ａにおける質問文に含まれる各単語について抽出された、テーブル構成要素ごとの元ドメイン１の素性及び共通ドメインの素性と、アノテート済元ドメイン１質問文集合２１Ａにおける質問文に付与されたラベルと、系列モデル用素性化部３８によってアノテート済元ドメイン２質問文集合２１Ｂにおける質問文に含まれる各単語について抽出された、テーブル構成要素ごとの元ドメイン２の素性及び共通ドメインの素性と、アノテート済元ドメイン２質問文集合２１Ｂにおける質問文に付与されたラベルと、に基づいて、既存手法のCRF（非特許文献３）等を用いて、テーブル構成要素を抽出するための系列モデル４２を学習する。系列モデル４２は、各ラベル（テーブル構成要素）に対応する各素性に対する重みパラメータである。学習される系列モデルによって、「<subj>本</subj>は<pred>どこ/で/買える</pred>の」というように、１つの単語又は２つ以上の単語を連結した単語列である単語チャンクにラベルを付与することができる。
【００４１】
回帰モデル用素性化部４４は、意味ベクトルモデル３２に含まれる各単語の意味ベクトルを用いて、アノテート済元ドメイン１質問文集合２１Ａにおける質問文に含まれる、ラベルが付与された単語チャンクの各々について、当該単語チャンクと、当該ラベルが表すテーブル構成要素の各エントリ候補を表す単語との類似度を、回帰モデル用素性として抽出する。
【００４２】
回帰モデル用素性化部４４では、系列モデル用素性化部３８と異なり、具体的には以下の処理を行って、質問文に含まれるラベルが付与された単語チャンクの各々について、当該単語チャンクに付与されたラベルが表すテーブル構成要素であって、元ドメイン１ＤＢ２２Ａのテーブル構成要素のエントリ候補毎に素性化を行う。
【００４３】
回帰モデル用素性化部４４は、具体的には、質問文に含まれる単語チャンクの各々について、当該単語チャンクに付与されたラベルが表すテーブル構成要素の、元ドメイン１ＤＢ２２Ａのエントリ候補の各々との表層類似度と意味類似度を、系列モデル用素性化部３８と同様に、回帰モデル用素性として抽出する。
【００４４】
また、回帰モデル用素性化部４４は、意味ベクトルモデル３２に含まれる各単語の意味ベクトルを用いて、アノテート済元ドメイン２質問文集合２１Ｂにおける質問文に含まれる、ラベルが付与された単語チャンクの各々について、当該単語チャンクと、当該ラベルが表すテーブル構成要素の各エントリ候補を表す単語との類似度を、回帰モデル用素性として抽出する。
【００４５】
回帰モデル学習部４６は、回帰モデル用素性化部４４によってアノテート済元ドメイン１質問文集合２１Ａにおける質問文に含まれる各単語チャンクについて抽出された、エントリ候補毎の回帰モデル用素性と、アノテート済元ドメイン１質問文集合２１Ａにおける各質問文に付与されたラベルと、回帰モデル用素性化部４４によってアノテート済元ドメイン２質問文集合２１Ｂにおける質問文に含まれる各単語チャンクについて抽出された、エントリ候補毎の回帰モデル用素性と、アノテート済元ドメイン２質問文集合２１Ｂにおける各質問文に付与されたラベルと、に基づいて、既存手法のロジスティック回帰モデル等を用いて、エントリを表す単語を抽出するための回帰モデル４８を学習する。具体的には、質問文におけるラベルが付与された単語チャンク（表層の文字列）とエントリを表す単語との正しいアノテートペア（例えば、「1:本-絵本」）に対して値１を、それ以外（例えば、「0:本-ぬいぐるみ」）に０を付与して、回帰学習を行う。
【００４６】
＜本発明の実施の形態に係る単語抽出装置の構成＞
次に、本発明の実施の形態に係る単語抽出装置の構成について説明する。図３に示すように、本発明の実施の形態に係る単語抽出装置２００は、ＣＰＵと、ＲＡＭと、後述する単語抽出処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。この単語抽出装置２００は、機能的には図３に示すように入力部２１０と、演算部２２０と、出力部２５０とを備えている。
【００４７】
入力部２１０は、未学習の対象ドメインについての質問文である対象ドメイン質問文と、対象ドメインの対象ドメインＤＢ２２５とを受け付ける。以下の説明では対象ドメイン質問文を質問文と記載する。
【００４８】
演算部２２０は、意味ベクトルモデル３２と、系列モデル４２と、回帰モデル４８と、適用時系列モデル用素性化部２３８と、系列モデル適用部２４０と、適用時回帰モデル用素性化部２４４と、回帰モデル適用部２４６とを含んで構成されている。
【００４９】
意味ベクトルモデル３２と、系列モデル４２と、回帰モデル４８とには、上記モデル学習装置１００と同じものが格納されている。
【００５０】
適用時系列モデル用素性化部２３８は、予め作成された意味ベクトルモデル３２を用いて、質問文に含まれる各単語について、対象ドメインＤＢ２２５のテーブル構成要素毎に、当該テーブル構成要素のエントリを表す単語との類似度を、共通ドメインの素性として抽出する。具体的には、上記とモデル学習装置１００の系列モデル用素性化部３８と同様の処理を行って素性を抽出するが、以下に説明する点が異なっている。
【００５１】
適用時系列モデル用素性化部２３８は、対象ドメインＤＢ２２５の各エントリとの表層類似度及び意味類似度を抽出し、対象ドメインＤＢ２２５のテーブル構成要素の各々について、当該テーブル構成要素の各エントリとの表層類似度及び意味類似度の中での最大値を、当該テーブル構成要素の素性とする。また、抽出する素性を、共通ドメインの素性とし、共通ドメインを表すヘッダ（例えば、“common-”）を付与する。
【００５２】
テーブル構成要素の系列モデル用素性化データの出力の例は以下のようになる。注目する対象単語が「掃除機」であれば、以下の共通ドメインの素性が抽出される。
【００５３】
common-subj編集距離=1 common-subj意味類似度=0.5 common-pred編集距離=2 common-pred意味類似度=0.1 common-obj編集距離=2 common-obj意味類似度=0.1
【００５４】
注目する対象単語が「は」であれば、以下の共通ドメインの素性が抽出される。
【００５５】
common-subj編集距離=2 common-subj意味類似度=0.1 common-pred編集距離=2 common-pred意味類似度=0.1 common-obj編集距離=2 common-obj意味類似度=0.1
【００５６】
注目する対象単語が「どこ」であれば、以下の共通ドメインの素性が抽出される。
【００５７】
common-subj編集距離=6 common-subj意味類似度=0.1 common-pred編集距離=6 common-pred意味類似度=0.1 common-obj編集距離=6 common-obj意味類似度=0.1 
【００５８】
系列モデル適用部２４０は、モデル学習装置１００によって学習された、単語に対応するテーブル構成要素を抽出するための系列モデル４２の共通ドメインの素性に対応する部分と、適用時系列モデル用素性化部２３８によって質問文に含まれる各単語について抽出された、テーブル構成要素毎の共通ドメインの素性とに基づいて、質問文に含まれる単語チャンクに、テーブル構成要素を表すラベルを付与する。系列モデル４２の適用には既存手法のCRF（非特許文献３）等を用いればよい。例えば、各テーブル構成要素に対応する共通ドメインの素性の各々に対する重みパラメータを、抽出された、テーブル構成要素毎の共通ドメインの素性に適用して、「<subj>掃除機</subj>は<pred>どこ/で/買える</pred>の」のようにラベルが付与される。
【００５９】
適用時回帰モデル用素性化部２４４は、意味ベクトルモデル３２を用いて、系列モデル適用部２４０によってラベルが付与された単語チャンクの各々について、単語チャンクに付与されたラベルが表すテーブル構成要素のエントリ候補を表す単語の各々との類似度を、回帰モデル用素性として抽出する。具体的には、上記モデル学習装置１００の回帰モデル用素性化部４４と同様の処理を行って素性を抽出する。
【００６０】
回帰モデル適用部２４６は、モデル学習装置１００によって学習された、単語に対応するエントリを表す単語を抽出するための回帰モデル４８と、適用時回帰モデル用素性化部２４４によってラベルが付与された単語チャンクの各々について抽出された、当該ラベルが表すテーブル構成要素のエントリ候補毎の回帰モデル用素性とに基づいて、テーブル構成要素毎に、質問文に対応する、対象ドメインＤＢ２２５のエントリを表す単語を抽出し、出力部２５０に出力する。単語の抽出は、単語チャンクの各々について抽出された、当該ラベルが表すテーブル構成要素のエントリ候補毎の回帰モデル用素性に、回帰モデルを適用して、単語チャンクとエントリ候補とのペアについての値を算出し、テーブル構成要素毎に、最も高い出力値を得たエントリ候補を最終結果として出力する。例えば、subjectのラベルが付与された単語チャンク「掃除機」について、エントリ候補とのペアの出力値が、「1.0 掃除機-”subj-掃除機”」、「0.2 掃除機-”subj-洗濯機”」となっていれば前者を出力する。
【００６１】
＜本発明の実施の形態に係るモデル学習装置の作用＞
次に、本発明の実施の形態に係るモデル学習装置１００の作用について説明する。入力部１０において、学習対象の元ドメイン１について、アノテート済元ドメイン１質問文集合２１Ａと、元ドメイン１ＤＢ２２Ａとを受け付け、学習対象の元ドメイン２について、アノテート済元ドメイン２質問文集合２１Ｂと、元ドメイン２ＤＢ２２Ｂとを受け付けると、モデル学習装置１００は、図４に示すモデル学習処理ルーチンを実行する。
【００６２】
ステップＳ１００では、学習対象の元ドメイン１について、入力部１０で受け付けた、アノテート済元ドメイン１質問文集合２１Ａと、元ドメイン１ＤＢ２２Ａとに基づいて、意味ベクトルモデル３２を用いて、アノテート済元ドメイン１質問文集合２１Ａにおける質問文に含まれる各単語について、元ドメイン１ＤＢ２２Ａのテーブル構成要素毎に、当該テーブル構成要素のエントリを表す単語との類似度を、元ドメイン１の素性及び共通ドメインの素性として抽出する。
【００６３】
ステップＳ１０２では、学習対象の元ドメイン２について、入力部１０で受け付けた、アノテート済元ドメイン２質問文集合２１Ｂと、元ドメイン２ＤＢ２２Ｂとに基づいて、意味ベクトルモデル３２を用いて、アノテート済元ドメイン２質問文集合２１Ｂにおける質問文に含まれる各単語について、元ドメイン２ＤＢ２２Ｂのテーブル構成要素毎に、当該テーブル構成要素のエントリを表す単語との類似度を、元ドメイン２の素性及び共通ドメインの素性として抽出する。
【００６４】
ステップＳ１０４では、ステップＳ１００でアノテート済元ドメイン１質問文集合２１Ａにおける質問文に含まれる各単語について抽出された、テーブル構成要素ごとの元ドメイン１の素性及び共通ドメインの素性と、アノテート済元ドメイン１質問文集合２１Ａにおける各質問文に付与されたラベルと、ステップＳ１０２でアノテート済元ドメイン２質問文集合２１Ｂにおける質問文に含まれる各単語について抽出された、テーブル構成要素ごとの元ドメイン２の素性及び共通ドメインの素性と、アノテート済元ドメイン２質問文集合２１Ｂにおける各質問文に付与されたラベルと、に基づいて、テーブル構成要素を抽出するための系列モデル４２を学習する。
【００６５】
ステップＳ１０６では、アノテート済元ドメイン１質問文集合２１Ａと、元ドメイン１ＤＢ２２Ａとに基づいて、意味ベクトルモデル３２を用いて、アノテート済元ドメイン１質問文集合２１Ａにおける各質問文に含まれる、ラベルが付与された単語チャンクの各々について、当該単語チャンクと、当該ラベルが表すテーブル構成要素の各エントリ候補を表す単語との類似度を、回帰モデル用素性として抽出する。
【００６６】
また、アノテート済元ドメイン２質問文集合２１Ｂと、元ドメイン２ＤＢ２２Ｂとに基づいて、意味ベクトルモデル３２を用いて、アノテート済元ドメイン２質問文集合２１Ｂにおける各質問文に含まれる、ラベルが付与された単語チャンクの各々について、当該単語チャンクと、当該ラベルが表すテーブル構成要素の各エントリ候補を表す単語との類似度を、回帰モデル用素性として抽出する。
【００６７】
ステップＳ１０８では、上記ステップＳ１０６でアノテート済元ドメイン１質問文集合２１Ａにおける質問文に含まれる各単語チャンクについて抽出された、エントリ候補毎の回帰モデル用素性と、アノテート済元ドメイン１質問文集合２１Ａにおける各質問文に付与されたラベルと、上記ステップＳ１０６でアノテート済元ドメイン２質問文集合２１Ｂにおける質問文に含まれる各単語チャンクについて抽出された、エントリ候補毎の回帰モデル用素性と、アノテート済元ドメイン２質問文集合２１Ｂにおける各質問文に付与されたラベルと、に基づいて、既存手法のロジスティック回帰モデル等を用いて、エントリを表す単語を抽出するための回帰モデル４８を学習し、モデル学習処理ルーチンを終了する。
【００６８】
＜本発明の実施の形態に係る単語抽出装置の作用＞
次に、本発明の実施の形態に係る単語抽出装置２００の作用について説明する。入力部２１０において未学習の対象ドメインについての質問文である対象ドメイン質問文と、対象ドメインの対象ドメインＤＢ２２５とを受け付けると、単語抽出装置２００は、図５に示す単語抽出処理ルーチンを実行する。
【００６９】
まず、ステップＳ２００では、意味ベクトルモデル３２を用いて、質問文に含まれる各単語について、対象ドメインＤＢ２２５のテーブル構成要素毎に、当該テーブル構成要素のエントリを表す単語との類似度を、共通ドメインの素性として抽出する。
【００７０】
次に、ステップＳ２０２では、系列モデル４２の共通ドメインの素性に対応する部分と、ステップＳ２００で質問文に含まれる各単語について抽出された、テーブル構成要素毎の共通ドメインの素性とに基づいて、質問文に含まれる単語チャンクに、テーブル構成要素を表すラベルを付与する。
【００７１】
ステップＳ２０４では、意味ベクトルモデル３２を用いて、ステップＳ２０２でラベルが付与された単語チャンクの各々について、単語チャンクに付与されたラベルが表すテーブル構成要素のエントリ候補を表す単語の各々との類似度を、回帰モデル用素性として抽出する。
【００７２】
ステップＳ２０６では、回帰モデル４８と、適用時回帰モデル用素性化部２４４によってラベルが付与された単語チャンクの各々について抽出された、当該ラベルが表すテーブル構成要素のエントリ候補毎の回帰モデル用素性とに基づいて、テーブル構成要素毎に、質問文に対応する、対象ドメインＤＢ２２５のエントリを表す単語を抽出し、出力部２５０に出力し処理を終了する。
【００７３】
以上説明したように、本発明の実施の形態に係るモデル学習装置によれば、複数の学習対象の元ドメインの各々に対し、テーブル構成要素のエントリを表す単語との類似度を、元ドメインの素性として抽出する共に、元ドメインの素性を、共通ドメインの素性として複製し、複数の元ドメインの各々に対して得られた元ドメインの素性及び共通ドメインの素性に基づいて、単語チャンクに対応するテーブル構成要素を抽出するための系列モデルを学習することにより、複数の学習対象の他ドメインがある場合に、質問文に対応する単語を精度良く抽出することできるモデルを学習することができる。
【００７４】
また、本発明の実施の形態に係る単語抽出装置によれば、質問文に対応する単語を精度良く抽出することができる。
【００７５】
なお、本発明は、上述した実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。
【００７６】
例えば、学習対象の元ドメインが２つある場合を例に説明したが、これに限定されるものではなく、学習対象の元ドメインが３つ以上ある場合であってもよい。
【符号の説明】
【００７７】
１０、２１０ 入力部
２０、２２０ 演算部
２１Ａ アノテート済元ドメイン１質問文集合
２１Ｂ アノテート済元ドメイン２質問文集合
２２Ａ 元ドメイン１ＤＢ
２２Ｂ 元ドメイン２ＤＢ
３２   意味ベクトルモデル
３８   系列モデル用素性化部
４０   系列モデル学習部
４２   系列モデル
４４   回帰モデル用素性化部
４６   回帰モデル学習部
４８   回帰モデル
１００ モデル学習装置
２００ 単語抽出装置
２３８ 適用時系列モデル用素性化部
２４０ 系列モデル適用部
２４４ 適用時回帰モデル用素性化部
２４６ 回帰モデル適用部
２５０ 出力部
２２５ 対象ドメインＤＢ
【図１】
2017204219.tif 000003
【図２】
2017204219.tif 000004
【図３】
2017204219.tif 000005
【図４】
2017204219.tif 000006
【図５】
2017204219.tif 000007