(57)【特許請求の範囲】
【請求項１】
入力テキストから、省略又は移動により生じた名詞的語句である空範疇を推定するための空範疇推定装置であって、
前記入力テキストの依存構造木に基づいて、空範疇の位置の候補の各々に対し、前記空範疇の位置の候補の特徴として、単語の分散表現を抽出する特徴抽出部と、
予め学習された、前記特徴から低次元空間への写像、及び空範疇ラベルの各々から前記低次元空間への写像を含むモデルと、前記特徴抽出部によって抽出された前記空範疇の位置の候補の各々の前記特徴とに基づいて、前記空範疇の位置及び前記空範疇ラベルを推定する推定部と、
を含む空範疇推定装置。
【請求項２】
前記特徴抽出部は、前記空範疇の位置の候補の特徴として、前記空範疇の位置の候補の主辞単語の分散表現、前記空範疇の位置の候補に後続する後続単語の分散表現、前記依存構造木における、前記後続単語に対応するノードの子ノードが表す単語の分散表現、及び前記依存構造木における、ルートノードから前記空範疇の位置の候補までの経路上の各単語の分散表現の少なくとも１つを抽出する請求項１記載の空範疇推定装置。
【請求項３】
前記推定部は、前記特徴抽出部によって抽出された前記空範疇の位置の候補の前記特徴、前記特徴から低次元空間への写像、及び前記空範疇ラベルから前記低次元空間への写像に基づいて算出されるスコアが最大となる、前記空範疇の位置の候補及び前記空範疇ラベルの組み合わせを、前記空範疇の位置及び前記空範疇ラベルの推定結果とする請求項１又は２記載の空範疇推定装置。
【請求項４】
省略又は移動により生じた名詞的語句である空範疇の位置及び空範疇ラベルが付与された複数のテキストの各々について、前記テキストの依存構造木に基づいて、空範疇の位置の候補の各々に対し、前記空範疇の位置の候補の特徴として、単語の分散表現を抽出する特徴抽出部と、
前記特徴抽出部によって前記複数のテキストの各々について抽出された前記空範疇の位置の候補の各々の前記特徴と、前記複数のテキストの各々に付与された前記空範疇の位置及び空範疇ラベルとに基づいて、前記特徴から低次元空間への写像、及び空範疇ラベルの各々から前記低次元空間への写像を含むモデルを学習する学習部と、
を含む空範疇推定モデル学習装置。
【請求項５】
前記特徴抽出部は、前記空範疇の位置の候補の特徴として、前記空範疇の位置の候補の主辞単語の分散表現、前記空範疇の位置の候補に後続する後続単語の分散表現、前記依存構造木における、前記後続単語に対応するノードの子ノードが表す単語の分散表現、及び前記依存構造木における、ルートノードから前記空範疇の位置の候補までの経路上の各単語の分散表現の少なくとも１つを抽出する請求項４記載の空範疇推定モデル学習装置。
【請求項６】
特徴抽出部及び推定部を含み、入力テキストから、省略又は移動により生じた名詞的語句である空範疇を推定するための空範疇推定装置における空範疇推定方法であって、
前記特徴抽出部が、前記入力テキストの依存構造木に基づいて、空範疇の位置の候補の各々に対し、前記空範疇の位置の候補の特徴として、単語の分散表現を抽出し、
前記推定部が、予め学習された、前記特徴から低次元空間への写像、及び空範疇ラベルの各々から前記低次元空間への写像を含むモデルと、前記特徴抽出部によって抽出された前記空範疇の位置の候補の各々の前記特徴とに基づいて、前記空範疇の位置及び前記空範疇ラベルを推定する
空範疇推定方法。
【請求項７】
特徴抽出部及び学習部を含む空範疇推定モデル学習装置における空範疇推定モデル学習方法であって、
前記特徴抽出部が、省略又は移動により生じた名詞的語句である空範疇の位置及び空範疇ラベルが付与された複数のテキストの各々について、前記テキストの依存構造木に基づいて、空範疇の位置の候補の各々に対し、前記空範疇の位置の候補の特徴として、単語の分散表現を抽出し、
前記学習部が、前記特徴抽出部によって前記複数のテキストの各々について抽出された前記空範疇の位置の候補の各々の前記特徴と、前記複数のテキストの各々に付与された前記空範疇の位置及び空範疇ラベルとに基づいて、前記特徴から低次元空間への写像、及び空範疇ラベルの各々から前記低次元空間への写像を含むモデルを学習する
空範疇推定モデル学習方法。
【請求項８】
コンピュータを、請求項１〜請求項３の何れか１項記載の空範疇推定装置の各部として機能させるためのプログラム。
【請求項９】
コンピュータを、請求項４又は５記載の空範疇推定モデル学習装置の各部として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、空範疇推定装置、空範疇推定モデル学習装置、方法、及びプログラムに係り、特に、入力されたテキストの空範疇の位置および種類を推定するための空範疇推定装置、空範疇推定モデル学習装置、方法、及びプログラムに関する。
【背景技術】
【０００２】
空範疇検出とは、所与の文章の一部から空範疇を検出することである。従来の研究は、空範疇検出を、主に、分類問題として、あるいは完全な構文解析の副次的問題として、定式化してきた。
【０００３】
非特許文献１は、ＥＣのとりうる位置を示す依存関係木を用いている。また、非特許文献１では、依存関係木を用いて、ＥＣのとりうる位置の特徴を抽出している。そして、アノテーションされたデータから、分類モデルがトレーニングされる。
【０００４】
非特許文献２は、多数のクラスにまでスケールを拡大可能な同時画像ラベルアノテーション法(joint image-label annotation)を提案している。いずれも、画像およびラベルの双方を、隠れ空間（hidden space）へマッピングし、画像およびラベルの分散表現間の距離に応じて、画像のラベルを決定する。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】Xue Nianwen, and Yaqin Yang. "Dependency-based empty category detection via phrase structure trees." In HLT-NAACL, pp. 1051-1060. 2013.
【非特許文献２】Weston Jason, Samy Bengio, and Nicolas Usunier. "Wsabie: Scaling up to large vocabulary image annotation." IJCAI. Vol. 11. 2011.1
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明では、入力されたテキストの空範疇の位置および種類を精度よく推定することができる空範疇推定装置、方法、及びプログラムを提供することを目的とする。
【０００７】
また、テキストの空範疇の位置および種類を精度よく推定するためのモデルを学習することができる空範疇推定モデル学習装置、方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するために、第１の発明に係る空範疇推定装置は、入力テキストから、省略又は移動により生じた名詞的語句である空範疇を推定するための空範疇推定装置であって、前記入力テキストの依存構造木に基づいて、空範疇の位置の候補の各々に対し、前記空範疇の位置の候補の特徴として、単語の分散表現等を抽出する特徴抽出部と、予め学習された、前記特徴から低次元空間への写像、及び空範疇ラベルの各々から前記低次元空間への写像を含むモデルと、前記特徴抽出部によって抽出された前記空範疇の位置の候補の各々の前記特徴とに基づいて、前記空範疇の位置及び前記空範疇ラベルを推定する推定部と、を含んで構成されている。
【０００９】
第２の発明に係る空範疇推定方法は、特徴抽出部及び推定部を含み、入力テキストから、省略又は移動により生じた名詞的語句である空範疇を推定するための空範疇推定装置における空範疇推定方法であって、前記特徴抽出部が、前記入力テキストの依存構造木に基づいて、空範疇の位置の候補の各々に対し、前記空範疇の位置の候補の特徴として、単語の分散表現等を抽出し、前記推定部が、予め学習された、前記特徴から低次元空間への写像、及び空範疇ラベルの各々から前記低次元空間への写像を含むモデルと、前記特徴抽出部によって抽出された前記空範疇の位置の候補の各々の前記特徴とに基づいて、前記空範疇の位置及び前記空範疇ラベルを推定する。
【００１０】
第１及び第２の発明によれば、前記特徴抽出部が、前記入力テキストの依存構造木に基づいて、空範疇の位置の候補の各々に対し、前記空範疇の位置の候補の特徴として、単語の分散表現等を抽出する。そして、前記推定部が、予め学習された、前記特徴から低次元空間への写像、及び空範疇ラベルの各々から前記低次元空間への写像を含むモデルと、前記特徴抽出部によって抽出された前記空範疇の位置の候補の各々の前記特徴とに基づいて、前記空範疇の位置及び前記空範疇ラベルを推定する。
【００１１】
このように、入力テキストの依存構造木に基づいて、空範疇の位置の候補の各々の特徴として単語の分散表現等を抽出し、特徴から低次元空間への写像、及び空範疇ラベルの各々から低次元空間への写像を含むモデルに基づいて、空範疇の位置及び空範疇ラベルを推定することにより、入力されたテキストの空範疇の位置および種類を精度よく推定することができる。
【００１２】
第３の発明に係る空範疇推定モデル学習装置は、省略又は移動により生じた名詞的語句である空範疇の位置及び空範疇ラベルが付与された複数のテキストの各々について、前記テキストの依存構造木に基づいて、空範疇の位置の候補の各々に対し、前記空範疇の位置の候補の特徴として、単語の分散表現等を抽出する特徴抽出部と、前記特徴抽出部によって前記複数のテキストの各々について抽出された前記空範疇の位置の候補の各々の前記特徴と、前記複数のテキストの各々に付与された前記空範疇の位置及び空範疇ラベルとに基づいて、前記特徴から低次元空間への写像、及び空範疇ラベルの各々から前記低次元空間への写像を含むモデルを学習する学習部と、を含んで構成されている。
【００１３】
第４の発明に係る空範疇推定モデル学習方法は、特徴抽出部及び学習部を含む空範疇推定モデル学習装置における空範疇推定モデル学習方法であって、前記特徴抽出部が、省略又は移動により生じた名詞的語句である空範疇の位置及び空範疇ラベルが付与された複数のテキストの各々について、前記テキストの依存構造木に基づいて、空範疇の位置の候補の各々に対し、前記空範疇の位置の候補の特徴として、単語の分散表現等を抽出し、前記学習部が、前記特徴抽出部によって前記複数のテキストの各々について抽出された前記空範疇の位置の候補の各々の前記特徴と、前記複数のテキストの各々に付与された前記空範疇の位置及び空範疇ラベルとに基づいて、前記特徴から低次元空間への写像、及び空範疇ラベルの各々から前記低次元空間への写像を含むモデルを学習する。
【００１４】
第３及び第４の発明によれば、前記特徴抽出部が、省略又は移動により生じた名詞的語句である空範疇の位置及び空範疇ラベルが付与された複数のテキストの各々について、前記テキストの依存構造木に基づいて、空範疇の位置の候補の各々に対し、前記空範疇の位置の候補の特徴として、単語の分散表現等を抽出する。そして、前記学習部が、前記特徴抽出部によって前記複数のテキストの各々について抽出された前記空範疇の位置の候補の各々の前記特徴と、前記複数のテキストの各々に付与された前記空範疇の位置及び空範疇ラベルとに基づいて、前記特徴から低次元空間への写像、及び空範疇ラベルの各々から前記低次元空間への写像を含むモデルを学習する。
【００１５】
このように、テキストの依存構造木に基づいて、空範疇の位置の候補の各々の特徴として単語の分散表現等を抽出し、複数のテキストの各々に付与された前記空範疇の位置及び空範疇ラベルに基づいて、前記特徴から低次元空間への写像、及び空範疇ラベルの各々から前記低次元空間への写像を含むモデルを学習することにより、テキストの空範疇の位置および種類を精度よく推定するためのモデルを学習することができる。
【００１６】
また、本発明のプログラムは、コンピュータを、上記の空範疇推定装置、及び空範疇推定モデル学習装置を構成する各部として機能させるためのプログラムである。
【発明の効果】
【００１７】
以上説明したように、本発明の空範疇推定装置、方法、及びプログラムによれば、入力テキストの依存構造木に基づいて、空範疇の位置の候補の各々の特徴として単語の分散表現等を抽出し、特徴から低次元空間への写像、及び空範疇ラベルの各々から低次元空間への写像を含むモデルに基づいて、空範疇の位置及び空範疇ラベルを推定することにより、入力されたテキストの空範疇の位置および種類を精度よく推定することができる。
【００１８】
また、本発明の空範疇推定モデル学習装置、方法、及びプログラムによれば、テキストの依存構造木に基づいて、空範疇の位置の候補の各々の特徴として単語の分散表現等を抽出し、複数のテキストの各々に付与された前記空範疇の位置及び空範疇ラベルに基づいて、前記特徴から低次元空間への写像、及び空範疇ラベルの各々から前記低次元空間への写像を含むモデルを学習することにより、テキストの空範疇の位置および種類を精度よく推定するためのモデルを学習することができる。
【図面の簡単な説明】
【００１９】
【図１Ａ】空範疇の位置を説明するための図である。
【図１Ｂ】(a)依存関係タイプ付きの依存構造木の例を示す図、(b)ルートから空範疇OPへ至る経路を示す図、及び(c)ルートから空範疇OPへ至る経路上の各単語に対する依存関係タイプの列を示す図である。
【図２】本発明の実施の形態に係る空範疇推定モデル学習装置の機能的構成を示すブロック図である。
【図３】本発明の実施の形態に係る空範疇推定装置の機能的構成を示すブロック図である。
【図４】本発明の実施の形態に係る空範疇推定モデル学習装置における空範疇推定モデル学習処理ルーチンを示すフローチャート図である。
【図５】本発明の実施の形態に係る空範疇推定装置における空範疇推定処理ルーチンを示すフローチャート図である。
【図６】テストデータにおける空範疇ラベルの分布を示す図である。
【図７】実験結果を示す図である。
【発明を実施するための形態】
【００２０】
以下、図面を参照して本発明の実施の形態を詳細に説明する。
【００２１】
＜本発明の実施の形態の概要＞
本実施の形態は、同時文脈ラベル埋込法(joint context-label embedding)を用いた空範疇（ＥＣ：empty category）検出の品質を向上させることを目的とする。空範疇は、テキスト中に明示的には現れていない名詞的単語（nominal word）である。通例、省略または移動により生じる。本実施の形態では、空範疇の位置の特徴として、単語の分散表現を、空範疇の存在およびラベルを決定するために用いる。
【００２２】
空範疇検出は、テキストにおいて省略または移動により生じた名詞的語句を検出するものである。本実施の形態では、これを分類問題として定式化している。本実施の形態では、各種のＥＣをクラスとして定義する。さらに、ＥＣではない位置を「NONE」と呼ぶことにする。それにより、ＥＣのとりうる位置の全てを収集し、これらの位置を、事前に定義されたクラスへと分類することがタスクとなる。
【００２３】
本実施の形態では、モデルを用いて、ＥＣ位置を分類する。これには、主要な部分問題が２つある。一方は、ＥＣ位置を特徴として表現することであり、他方は、これらの位置を、事前に定義されたクラスに分類することである。
【００２４】
以下に、本実施の形態に係る空範疇推定装置の原理について説明する。
【００２５】
＜ＥＣ位置表現＞
＜ＥＣ位置の記述＞
非特許文献１に示された方法に引き続き、我々は、ＥＣの位置の候補の全てを、テキスト中の単語の依存関係を表わす依存構造木を用いて収集する。ＥＣの位置の候補の各々は、単語対、すなわち「<主辞単語，後続単語>」を用いて表現可能である。後続単語(following word)とは、文中の記述位置に続く単語のことである。主辞単語(head word)は、依存構造木においてその位置にECがあると仮定する際にECが修飾する(attach)単語のことである。図１Ａは中国語の文「吃了」に対する依存構造木においてＥＣの位置を表現する例である。先頭が「吃」であり、「了」が後続するため、ＥＣの位置の候補Position-1は「<吃，了>」として表現され、ＥＣの位置の候補Position-2は、「<吃，。>」として表現される。
【００２６】
＜ＥＣ位置の特徴抽出＞
そして、我々は、上述のように定義された各ＥＣの位置の候補の特徴を抽出する。特徴ベクトルは、ＥＣ検出に役立つものと期待される、テキスト中の単語の分散表現を連結することにより構成される。本実施の形態では、あるＥＣに対する特徴ベクトルが、（１）主辞単語（ダミーのルートノードを除く）の分散表現、（２）テキスト中の後続単語の分散表現、（３）「甥（nephews）」すなわち後続単語の子の分散表現、（４）依存構造木の経路上の各単語の分散表現を含んで構成される。これらを特徴テンプレートと呼ぶ。
【００２７】
（１）主辞単語（ダミーのルートノードを除く）の分散表現について、単語がｄ次元ベクトルを用いて表現されるものとすると、この特徴を表現するためにｄ次元が必要となる。主辞単語の分散表現は、特徴ベクトル中の対応する位置に置かれることになる。
【００２８】
（２）テキスト中の後続単語の分散表現について、この特徴は、主辞単語と同じ方法で抽出される。
【００２９】
（３）「甥（nephews）」すなわち後続単語の子の分散表現について、後続単語の子となる単語のうち、左端側の２つの単語を選択し、選択した２つの単語の分散表現を用いる。
【００３０】
（４）依存構造木の経路上の各単語の分散表現について、テキストの依存構造木に基いて、ルートノードからＥＣの位置の候補までの経路上の全ての単語（ＥＣの位置の候補は除外）の分散表現を、依存関係タイプの列とともに収集する。図１Ｂ(a)に依存関係タイプ付きの依存構造木の例を示す。図１Ｂ(b)はルートから空範疇OPへ至る経路である。また図１Ｂ(c)はルートから空範疇OPへ至る経路上の各単語
【数１】
0006381136.tif 000002
に対する依存関係タイプの列である。このような依存関係タイプの列がm種類あり、単語がd次元のベクトルで表現されるとすると、この特徴を表現するためにmd次元が必要となる。この経路上の各単語の分散表現と依存関係タイプの列は、特徴ベクトル中の対応する位置に置かれる。
【００３１】
本実施の形態では、上記の特徴ベクトルにおいて、ベクトル中の単語を、事前トレーニング済辞書から取得された分散表現で置き換える。次のステップにて、抽出された特徴ベクトルを用いて、ＥＣの位置の候補のラベル（ＥＣタイプ）を決定する。
【００３２】
＜同時アノテーション法を用いたＥＣ検出＞
本実施の形態におけるＥＣ検出方法は、２つの写像MAPA、MAPBから成る。MAPAは、ＥＣの位置の候補に対するn次元の特徴ベクトルXから、低次元(k次元)のベクトル空間への写像fA(X)を表す。
【００３３】
MAPA: Rn → Rk, k ≪ n
fA(X) → WAX                     (1)
【００３４】
ただし、MAPAは、線形変換であり、WAは、k * n行列である。
【００３５】
MAPBは、ラベルから低次元(k次元)のベクトル空間への写像である。
【００３６】
MAPB: {Label1, Label2,…} I R → Rk
fB（Labeli） → WiB         (2)
【００３７】
ただし、MAPBも、線形変換である。WiBは、ｋ次元ベクトルであり、2次元空間におけるlabeliの分散表現でもある。
【００３８】
２つの写像は、トレーニングデータから同時に学習される。テスト段階では、分類すべきＥＣの位置の候補の全てについて、対応する特徴ベクトルXを抽出し、fA(X) = WAXを用いて、特徴ベクトルXを低次元空間へ写像する。
【００３９】
そして、各labeliについて、以下のようにgi(X)を得る。
【００４０】
gi(X) = (fA(X))TWiB              (3)
【００４１】
とりうるlabeliの各々において、gi(X)は、当該labeliとなる尤もらしさを表わすスコアであり、ＥＣの位置の候補について推定されるラベルは、gi(X)を最大化するlabeliである。
【００４２】
また、２つの写像MAPA、MAPBで用いられるWA、WiBを学習するために、本実施の形態では、非特許文献２の方法を用いて、以下の（４）式に示す、重み付けされたペア損失（weighted pairwise loss）を最小化するようにして、確率的勾配降下法（stochastic gradient descent）を用いて学習する。
【００４３】
ΣXΣi1c L(rankc(X)max(0, (gi(X) - gc(X)))              （4）
【００４４】
ここでcは、特徴ベクトルXについての正解ラベルであり、rankc(X)は、Xについてとりうる全てのラベルのうちの正解ラベルcのランクである。Lは、エラーに対する態度を反映した関数である。定数関数L = Cは、完全なランクリスト（ranking list）を最適化しようとすることを意味している。ここで、本実施の形態では、L(α) = Σαi=1 1/iを用いており、これは、ランクリストの最上位のものを最適化するためのものである。学習率および確率的勾配降下法アルゴリズムの他のいくつかのパラメータは、開発セットを用いて予め最適化されたものを用いればよい。
【００４５】
本実施の形態では、非特許文献２の方法を用いて、２つの写像MAPA、MAPBを含むニューラルネットワークモデルを学習する。その他の実施の形態としては、多クラス分類を行う一つのニューラルネットワークモデルを直接学習してもよい。2つの写像を用いてECの位置とラベルを一つの低次元ベクトル空間に写像することの利点は、ラベルの種類(クラス数)が大きくなっても空範疇推定を精度よく行えることである。例えば、省略された代名詞を表すラベルproを、人称(一人称/二人称/三人称)・性別(男性/女性)・数(単数/複数)などに応じて細分化してもよいし、依存構造木における依存関係タイプとして表現される統語的な役割(主語/直接目的語/間接目的語など)に応じて細分化してもよい。
【００４６】
＜本発明の実施の形態に係る空範疇推定モデル学習装置の構成＞
次に、本発明の実施の形態に係る空範疇推定モデル学習装置の構成について説明する。図２に示すように、本発明の実施の形態に係る空範疇推定モデル学習装置１００は、ＣＰＵと、ＲＡＭと、後述する空範疇推定モデル学習処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。この空範疇推定モデル学習装置１００は、機能的には図２に示すように入力部１０と、演算部２０と、出力部９０とを備えている。
【００４７】
入力部１０は、ＥＣの位置及びＥＣラベルの正解データが予め付与された、学習用のテキストを表す依存構造木を複数受け付け、複数の依存構造木を依存構造木２２に記憶し、複数の依存構造木の各々に付与されているＥＣの位置及びＥＣラベルの正解データを、ＥＣラベル正解データ３８に記憶する。
【００４８】
演算部２０は、依存構造木２２と、特徴テンプレート作成部２４と、特徴テンプレート２６と、単語分散表現２８と、特徴抽出部３０と、ＥＣ位置特徴ベクトル３２と、初期化モデル３４と、初期化ＥＣラベル分散表現３６と、ＥＣラベル正解データ３８と、学習部４０と、モデル５２と、ＥＣラベル分散表現５４と、を含んで構成されている。
【００４９】
依存構造木２２には、入力部１０において受け付けた、複数の学習用のテキストを表す複数の依存構造木が記憶されている。
【００５０】
特徴テンプレート作成部２４は、複数の依存構造木の各々について、特徴テンプレートを作成し、特徴テンプレート２６に格納する。
【００５１】
単語分散表現２８には、予め学習された各単語の分散表現が記憶されている。
【００５２】
特徴抽出部３０は、複数の依存構造木について、特徴テンプレート作成部２４によって作成された特徴テンプレートに基づいて、ＥＣの位置の候補の各々の特徴ベクトルを抽出し、ＥＣ位置特徴ベクトル３２に格納する。
【００５３】
初期化モデル３４には、初期化されたモデルとして、写像MAPAで用いられる行列WAの初期値が格納されている。なお、初期値として、ランダムに設定された値を用いればよい。
【００５４】
初期化ＥＣラベル分散表現３６には、初期化されたモデルとして、写像MAPBで用いられる各ＥＣラベルlabeliに対する行列WiBの初期値が格納されている。なお、初期値として、ランダムに設定された値を用いればよい。
【００５５】
ＥＣラベル正解データ３８には、入力部１０において受け付けた正解データに基づいて、複数の依存構造木について、ＥＣの位置の候補の各々のＥＣラベルのタイプ又はＥＣラベルがないことが記憶されている。
【００５６】
学習部４０は、ＥＣ位置特徴ベクトル３２、初期化モデル３４、初期化ＥＣラベル分散表現３６、及びＥＣラベル正解データ３８に基づいて、２つの写像MAPA、MAPBで用いられる行列WA、WiBを学習し、モデル５２及びＥＣラベル分散表現５４に格納する。
【００５７】
学習部４０は、更新モデル４２、ＥＣラベル分散表現４４、ＥＣラベル予測部４６、収束判定部４８、及びモデル更新部５０を備えている。
【００５８】
更新モデル４２には、初期化モデル３４と同じ行列WA、又はモデル更新部５０によって更新された行列WAが記憶されている。
【００５９】
ＥＣラベル分散表現４４には、初期化ＥＣラベル分散表現３６と同じ各ＥＣラベルlabeliに対する行列WiB、又はモデル更新部５０によって更新された各ＥＣラベルlabeliに対する行列WiBが記憶されている。
【００６０】
ＥＣラベル予測部４６は、ＥＣ位置特徴ベクトル３２、更新モデル４２、ＥＣラベル分散表現４４に基づいて、複数の依存構造木の各々について、上記（３）式に従って、ＥＣの位置の候補の各々の特徴ベクトルＸ及び各ＥＣラベルlabeliに対するスコアを計算し、スコアが最大となるＥＣの位置及びＥＣラベルを予測する。
【００６１】
収束判定部４８は、複数の依存構造木の各々について、ＥＣラベル正解データ３８と、ＥＣラベル予測部４６によって予測されたＥＣの位置及びＥＣラベルとを比較して、収束したか否かを判定する。複数の依存構造木の各々について、ＥＣラベル正解データ３８と、ＥＣラベル予測部４６によって予測されたＥＣの位置及びＥＣラベルとが一致した場合に、収束したと判定し、現時点の行列WAをモデル５２に格納し、現時点の各ＥＣラベルlabeliに対する行列WiBをＥＣラベル分散表現５４に格納する。
【００６２】
モデル更新部５０は、ＥＣ位置特徴ベクトル３２と、更新モデル４２と、ＥＣラベル分散表現４４と、ＥＣラベル正解データ３８と、ＥＣラベル予測部４６によって予測されたＥＣの位置及びＥＣラベルとに基づいて、上記（４）式に示す、重み付けされたペア損失を最小化するように、２つの写像MAPA、MAPBで用いられる行列WA、WiBを更新し、更新された行列WAを更新モデル４２に格納し、更新された各ＥＣラベルlabeliに対する行列WiBをＥＣラベル分散表現４４に格納する。
【００６３】
モデル５２に記憶された行列WA、及びＥＣラベル分散表現５４に記憶された、各ＥＣラベルlabeliに対する行列WiBが、出力部９０により出力される。
【００６４】
＜本発明の実施の形態に係る空範疇推定装置の構成＞
次に、本発明の実施の形態に係る空範疇推定装置の構成について説明する。図３に示すように、本発明の実施の形態に係る空範疇推定装置２００は、ＣＰＵと、ＲＡＭと、後述する空範疇推定処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。この空範疇推定装置２００は、機能的には図３に示すように入力部２１０と、演算部２２０と、出力部２９０とを備えている。
【００６５】
入力部２１０は、推定対象のテキストを表す依存構造木、及び特徴テンプレートを受け付け、依存構造木を依存構造木２２２に記憶し、特徴テンプレートを特徴テンプレート２２６に記憶する。
【００６６】
演算部２２０は、依存構造木２２２と、特徴テンプレート２２６と、単語分散表現２２８と、特徴抽出部２３０と、ＥＣ位置特徴ベクトル２３２と、モデル２３４と、ＥＣラベル分散表現２３６と、推定部２３８と、推定ＥＣラベル２４０と、を含んで構成されている。
【００６７】
依存構造木２２２には、入力部２１０において受け付けた、テキストを表す依存構造木が記憶されている。
【００６８】
特徴テンプレート２２６には、入力部２１０において受け付けた特徴テンプレートが記憶されている。なお、入力部２１０において受け付けた特徴テンプレートは、特徴テンプレート作成部２４と同様に作成されたものである。
【００６９】
単語分散表現２２８には、単語分散表現２８と同様に、予め学習された各単語の分散表現が記憶されている。
【００７０】
特徴抽出部２３０は、依存構造木について、特徴テンプレート２２６に基づいて、特徴抽出部３０と同様に、ＥＣの位置の候補の各々の特徴ベクトルを抽出し、ＥＣ位置特徴ベクトル３２に格納する。
【００７１】
モデル２３４には、空範疇推定モデル学習装置１００によって学習されたモデル５２と同じ、写像MAPAで用いられる行列WAが格納されている。
【００７２】
ＥＣラベル分散表現３６には、空範疇推定モデル学習装置１００によって学習されたＥＣラベル分散表現５４と同じ、写像MAPBで用いられる各ＥＣラベルlabeliに対する行列WiBが格納されている。
【００７３】
推定部２３８は、ＥＣ位置特徴ベクトル２３２、モデル２３４、ＥＣラベル分散表現２３６に基づいて、依存構造木について、上記（３）式に従って、ＥＣの位置の候補の各々の特徴ベクトルＸ及び各ＥＣラベルlabeliに対するスコアを計算し、スコアが最大となるＥＣの位置及びＥＣラベルを、ＥＣラベルの推定結果とし、推定ＥＣラベル２４０に格納する。
【００７４】
推定ＥＣラベル２４０に記憶されたＥＣの位置及びＥＣラベルが、出力部２９０により出力される。
【００７５】
＜本発明の実施の形態に係る空範疇推定モデル学習装置の作用＞
次に、本発明の実施の形態に係る空範疇推定モデル学習装置１００の作用について説明する。入力部１０において、ＥＣの位置及びＥＣラベルの正解データが予め付与された、学習用のテキストを表す依存構造木を複数受け付けると、複数の依存構造木を依存構造木２２に記憶すると共に、正解データを、ＥＣラベル正解データ３８に記憶し、空範疇推定モデル学習装置１００は、図４に示す空範疇推定モデル学習処理ルーチンを実行する。
【００７６】
まず、ステップＳ１００では、依存構造木２２に記憶されている複数の依存構造木を読み込む。
【００７７】
次に、ステップＳ１０２では、特徴テンプレートを作成する。ステップＳ１０４では、依存構造木２２に記憶されている複数の依存構造木、単語分散表現２８に記憶されている各単語の分散表現、及びＥＣラベル正解データ３８に記憶されているＥＣの位置及びＥＣラベルの正解データを読み込む。
【００７８】
そして、ステップＳ１０６では、複数の依存構造木の各々について、上記ステップＳ１０２で作成された特徴テンプレートに基づいて、ＥＣの位置の候補の各々の特徴ベクトルを作成し、ＥＣ位置特徴ベクトル３２に格納する。
【００７９】
ステップＳ１０８では、写像MAPAで用いられる行列WAの初期値をランダムに設定し、初期化モデル３４及び更新モデル４２に格納する。また、写像MAPBで用いられる各ＥＣラベルlabeliに対する行列WiBの初期値をランダムに設定し、初期化ＥＣラベル分散表現３６及びＥＣラベル分散表現４４に格納する。
【００８０】
そして、ステップＳ１１０では、複数の依存構造木の各々について、ＥＣ位置特徴ベクトル３２、更新モデル４２、及びＥＣラベル分散表現４４に基づいて、ＥＣ位置及びＥＣラベルを予測する。
【００８１】
次のステップＳ１１２では、上記ステップＳ１１０で複数の依存構造木の各々について予測されたＥＣ位置及びＥＣラベルと、ＥＣラベル正解データ３８とを比較して、収束したか否かを判定する。上記ステップＳ１１０で複数の依存構造木の各々について予測されたＥＣ位置及びＥＣラベルと、ＥＣラベル正解データ３８とが一致していない場合には、収束していないと判定し、ステップＳ１１４へ移行する。一方、上記ステップＳ１１０で複数の依存構造木の各々について予測されたＥＣ位置及びＥＣラベルと、ＥＣラベル正解データ３８とが一致している場合には、収束したと判定し、ステップＳ１１６へ移行する。
【００８２】
ステップＳ１１４では、ＥＣ位置特徴ベクトル３２と、更新モデル４２と、ＥＣラベル分散表現４４と、ＥＣラベル正解データ３８と、上記ステップＳ１１０で予測されたＥＣの位置及びＥＣラベルとに基づいて、上記（４）式に示す、重み付けされたペア損失を最小化するように、２つの写像MAPA、MAPBで用いられる行列WA、WiBを更新し、更新された行列WAを更新モデル４２に格納し、更新された各ＥＣラベルlabeliに対する行列WiBをＥＣラベル分散表現４４に格納し、ステップＳ１１０へ戻る。
【００８３】
ステップＳ１１６では、現時点の行列WAをモデル５２に格納し、現時点の各ＥＣラベルlabeliに対する行列WiBをＥＣラベル分散表現５４に格納し、空範疇推定モデル学習処理ルーチンを終了する。
【００８４】
＜本発明の実施の形態に係る空範疇推定装置の作用＞
次に、本発明の実施の形態に係る空範疇推定装置２００の作用について説明する。入力部２１０において推定対象のテキストを表す依存構造木、及び特徴テンプレートを受け付けると、受け付けた依存構造木を依存構造木２２２に記憶すると共に、特徴テンプレートを、特徴テンプレート２２６に記憶し、空範疇推定装置２００は、図５に示す空範疇推定処理ルーチンを実行する。
【００８５】
まず、ステップＳ２００では、依存構造木２２２に記憶されている依存構造木、単語分散表現２２８に記憶されている各単語の分散表現、及び特徴テンプレート２２６に記憶されている特徴テンプレートを読み込む。
【００８６】
次に、ステップＳ２０２では、ステップＳ２００で読み込んだ特徴テンプレートに基づいて、ＥＣの位置の候補の各々の特徴ベクトルを作成し、ＥＣ位置特徴ベクトル２３２に格納する。
【００８７】
そして、ステップＳ２０４では、依存構造木について、ＥＣ位置特徴ベクトル２３２、モデル２３４、及びＥＣラベル分散表現２３６に基づいて、ＥＣ位置及びＥＣラベルを予測し、空範疇推定処理ルーチンを終了する。
【００８８】
＜実施例＞
＜実験データ＞
本実施の形態で説明した方法は、アノテーションされたコーパスが利用可能な様々な種類の言語に適用可能である。我々の実験では、中国語ツリーバンクV7.0（Chinese Penn Treebank V7.0）の一部を用いた。データセットを、トレーニングデータ、開発データおよびテストデータの３つの部分に分ける。従来の研究に引き続き、我々は、ファイル1〜40および901〜931をテストデータとし、ファイル41〜80を開発データとしている。トレーニングデータには、ファイル{81〜325，400〜454，500〜554，590〜596，6000〜885，900}が含まれている。図６に、テストデータにおけるＥＣラベルの分布を示す。この実験における本実施形態では、2つのECが同じ主辞単語と後続単語を持つ場合を扱わなかったので、テストデータにおけるECの合計は非特許文献１より若干少ない（なお、本実施形態において、ECラベルを依存関係タイプを考慮するように拡張すれば、このような場合も扱うことができる）。開発データは、パラメータを調整するために用いられ、その最終結果はテストデータについて報告される。CTBツリーは、ＥＣが保たれた特徴抽出用の依存構造木に変換して用いた。
【００８９】
＜実験設定＞
実験において、パラメータを、学習率（learning rate）=10-1、単語ベクトル次元=80、および隠れ層（hidden layer）次元=500に設定した。
【００９０】
＜実験結果＞
図７に、実験結果として、正解数（correct）と適合率(p)と再現率（ｒ）とＦ１値（Ｆ１）とを示す。ここでは空範疇ラベルとして、Chinese Penn Treebankで定義されているものをそのまま用いた。PRO (big PRO)はコントロール構文などに出現する義務的な照応、pro (small pro)は省略された代名詞、Tは関係節や主題化などの移動における痕跡、OPは空の関係代名詞、RNRは右節点繰り上げ、*は受動構文や繰り上げ構文により生じた痕跡を表す。本実施の形態の手法の結果と、従来の最先端技術による方法（非特許文献１のXue）とを比較する。ここに提供した方法は、CTBについて我々が知る限り最新の最先端技術による性能をもたらすものである。本実施の形態の手法は、従来の最先端技術による方法より、高精度にＥＣラベルを推定できることが分かった。
【００９１】
以上説明したように、本発明の実施の形態に係る空範疇推定装置によれば、入力テキストの依存構造木に基づいて、ＥＣの位置の候補の各々の特徴ベクトルとして単語の分散表現を抽出し、特徴ベクトルから低次元空間への写像、及び空範疇ラベルの各々から低次元空間への写像を含むモデルに基づいて、空範疇の位置及び空範疇ラベルを推定することにより、入力されたテキストの空範疇の位置および種類を精度よく推定することができる。
【００９２】
また、本発明の実施の形態に係る空範疇推定モデル学習装置によれば、テキストの依存構造木に基づいて、ＥＣの位置の候補の各々の特徴ベクトルとして単語の分散表現を抽出し、複数のテキストの各々に付与された前記空範疇の位置及び空範疇ラベルに基づいて、特徴ベクトルから低次元空間への写像、及び空範疇ラベルの各々から低次元空間への写像を含むモデルを学習することにより、テキストの空範疇の位置を精度よく推定するためのモデルを学習することができる。
【００９３】
また、実験により、本実施の形態で説明した手法は、空範疇を、従来のものよりも高精度かつ高い再現性で検出可能であることが示されている。特徴の分散表現、および学習した２つの写像を含むニューラルネットワークモデルにより、空範疇の位置及びラベルを推定し、空範疇の意味および長距離依存関係を取得することができる。
【００９４】
なお、本発明は、上述した実施形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。
【００９５】
例えば、推定対象のテキストの入力を受け付け、空範疇推定装置において、推定対象のテキストに対して、依存構造解析を行って、依存構造木を作成するようにしてもよい。
また、中国語のテキストに対して、空範疇を推定する場合を例に説明したが、これに限定されるものではなく、中国語以外の言語、例えば、日本語のテキストに対して、空範疇を推定するようにしてもよい。
【００９６】
また、本願明細書中において、プログラムが予めインストールされている実施形態として説明したが、当該プログラムを、コンピュータ読み取り可能な記録媒体に格納して提供することも可能であるし、ネットワークを介して提供することも可能である。
【符号の説明】
【００９７】
１０、２１０  入力部
２０、２２０  演算部
２４   特徴テンプレート作成部
３０、２３０  特徴抽出部
４０   学習部
４６   ラベル予測部
４８   収束判定部
５０   モデル更新部
９０、２９０  出力部
１００ 空範疇推定モデル学習装置
２００ 空範疇推定装置
２３８ 推定部
【図１Ａ】
0006381136.tif 000003
【図１Ｂ】
0006381136.tif 000004
【図２】
0006381136.tif 000005
【図３】
0006381136.tif 000006
【図４】
0006381136.tif 000007
【図５】
0006381136.tif 000008
【図６】
0006381136.tif 000009
【図７】
0006381136.tif 000010