(57)【特許請求の範囲】
【請求項１】
入力されたテキストから、省略又は移動により生じた名詞的語句である空範疇を検出するための空範疇検出装置であって、
前記入力されたテキストを構文解析して得られた句構造木に基づいて、前記句構造木に含まれる各屈折句ノードについて、前記屈折句ノードの子ノードのラベルの集合に基づく子ノード素性と、前記屈折句ノードから前記句構造木のルートノード又は補文標識句ノードまでの祖先の各ノードのラベルの系列に基づくパス素性とを用いて、素性ベクトルを作成する素性ベクトル作成部と、
予め学習された、屈折句ノードに付与する空範疇ラベルを検出するための空範疇検出モデルと、前記屈折句ノードの各々の前記素性ベクトルとに基づいて、前記入力されたテキストにおける前記空範疇の位置及び種類を検出する空範疇ラベル検出部と、
を含む、空範疇検出装置。
【請求項２】
前記素性ベクトル作成部は、前記各屈折句ノードについて、前記屈折句ノードの主辞単語の表層形に基づく主辞単語素性、及び前記屈折句ノードの祖先となる屈折句ノードにおいて検出される空範疇ラベルに基づく空範疇素性の少なくとも一方を更に用いて、前記素性ベクトルを作成する請求項１記載の空範疇検出装置。
【請求項３】
前記空範疇検出モデルは、
前記空範疇ラベルが付与された複数のテキストの各々についての、前記テキストの句構造木に含まれる屈折句ノード毎に作成される前記素性ベクトルに基づいて学習される請求項１又は２記載の空範疇検出装置。
【請求項４】
前記句構造木に含まれる各屈折句ノードについて、前記屈折句ノードの主辞単語となる述語の分散表現と、述語との格関係を明示する可能性がある予め定められた単語の分散表現との内積を正規化したベクトルを分散格フレーム素性として前記屈折句ノードの前記素性ベクトルに追加する分散格フレーム作成部を更に含む、請求項１〜３の何れか１項記載の空範疇検出装置。
【請求項５】
省略又は移動により生じた名詞的語句である空範疇ラベルが付与された複数のテキストの各々について、前記テキストの句構造木に基づいて、前記句構造木に含まれる屈折句ノード毎に、前記屈折句ノードの子ノードのラベルの集合に基づく子ノード素性と、前記屈折句ノードから前記句構造木のルートノード又は補文標識句ノードまでの祖先の各ノードのラベルの系列に基づくパス素性とを用いて素性ベクトルを作成する素性ベクトル作成部と、
前記テキストの各々の前記空範疇ラベルと、前記テキストの各々の句構造木に含まれる屈折句ノード毎の素性ベクトルとに基づいて、屈折句ノードに付与する前記空範疇ラベルを検出するための空範疇検出モデルを学習するモデル学習部と、
を含む、空範疇検出モデル学習装置。
【請求項６】
素性ベクトル作成部と、空範疇ラベル検出部とを含む、入力されたテキストから、省略又は移動により生じた名詞的語句である空範疇を検出するための空範疇検出装置における、空範疇検出方法であって、
前記素性ベクトル作成部は、前記入力されたテキストを構文解析して得られた句構造木に基づいて、前記句構造木に含まれる各屈折句ノードについて、前記屈折句ノードの子ノードのラベルの集合に基づく子ノード素性と、前記屈折句ノードから前記句構造木のルートノード又は補文標識句ノードまでの祖先の各ノードのラベルの系列に基づくパス素性とを用いて、素性ベクトルを作成し、
前記空範疇ラベル検出部は、予め学習された、屈折句ノードに付与する空範疇ラベルを検出するための空範疇検出モデルと、前記屈折句ノードの各々の前記素性ベクトルとに基づいて、前記入力されたテキストにおける前記空範疇の位置及び種類を検出する
空範疇検出方法。
【請求項７】
素性ベクトル作成部と、モデル学習部とを含む空範疇検出モデル学習装置における、空範疇検出モデル学習方法であって、
前記素性ベクトル作成部は、省略又は移動により生じた名詞的語句である空範疇ラベルが付与された複数のテキストの各々について、前記テキストの句構造木に基づいて、前記句構造木に含まれる屈折句ノード毎に、前記屈折句ノードの子ノードのラベルの集合に基づく子ノード素性と、前記屈折句ノードから前記句構造木のルートノード又は補文標識句ノードまでの祖先の各ノードのラベルの系列に基づくパス素性とを用いて素性ベクトルを作成し、
前記モデル学習部は、前記テキストの各々の前記空範疇ラベルと、前記テキストの各々の句構造木に含まれる屈折句ノード毎の素性ベクトルとに基づいて、屈折句ノードに付与する前記空範疇ラベルを検出するための空範疇検出モデルを学習する
空範疇検出モデル学習方法。
【請求項８】
コンピュータを、請求項１〜請求項４の何れか１項記載の空範疇検出装置の各部として機能させるためのプログラム。
【請求項９】
コンピュータを、請求項５記載の空範疇検出モデル学習装置の各部として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力されたテキストの空範疇を検出するための空範疇検出装置、空範疇検出モデル学習装置、方法、及びプログラムに関するものである。
【背景技術】
【０００２】
空範疇（empty category）とは、言語学、特に生成文法において、pro(またはsmall pro)と呼ばれる省略された代名詞、PRO（またはbig pro）と呼ばれるコントロールされている明示されていない主語、T（またはtrace）と呼ばれるWH疑問文・関係節などにおける移動の痕跡を表現する空要素（null element,音形を持たない要素）のことである。空範疇は空所（gap）と呼ばれることもある。
【０００３】
空範疇検出（empty category detection）とは、入力文における空範疇の位置や種類や文法役割を自動的に同定する処理である。省略された代名詞（pro）を検出することは、日本語のような文脈から了解可能な主語を省略するpro-drop言語から、英語のような主語が必須である（主語の省略を許さない）non-pro-drop言語への翻訳において重要である。例えば、「映画を見たい」という文において空所となっている主語は、通常の解釈では話者である。この関係を正しく分析できれば、この文を「I want to see a movie」と正しく翻訳できる。具体的には、「（pro が）映画を見たい,pro=話者」との分析である。
【０００４】
コントロール（control）とは、明示的な主語を持たない節（不定詞などの埋め込み節）がその節を項とする述語の他の項と同一指示（co-reference）の関係になる現象のことである。例えば、「I want to see a movie」という文において、不定詞「to see a movie」の主語は明示されていないが、不定詞を項とする動詞wantの主語Iと一致する。学校で習う英文法ではこれを「不定詞の意味上の主語」と表現するが、生成文法では「I want (PRO to see a movie)」のように空範疇PROの存在を仮定し、PROが動詞wantの主語Iにコントロールされると言う。
【０００５】
コントロールされた要素(PRO)を検出することは、受身・使役・授受構文における格助詞の交替現象を説明し、事態を正確に理解することに役立つ。例えば、「太郎は花子にカレーを作らせた」という文は、「太郎は花子に((PRO が) カレーを作ら) せる, PRO=花子」のように、「カレーを作る」という文の空所になっている主語が「太郎が花子に〜させた」という文の目的語によってコントロールされている。この関係を正しく分析できれば、「誰がカレーを作ったか？」という質問に対して「花子」と答えることができる。
【０００６】
移動の痕跡(T)を検出することは、疑問文や関係節を正しく翻訳する上で重要である。例えば、「私は私が昨日撮った写真を彼に送った」という文において、「私が昨日撮った」という文の空所になっている目的語は、関係節の修飾先となっている名詞「写真」である。この関係を正しく分析できれば、「I sent him the picture I took yesterday」と翻訳できる。具体的には、「私は(私が昨日(T を) 撮った) 写真を彼に送った, T=写真」との分析である。
【０００７】
英語の関係代名詞は、whoやwhomのように人称変化するので、日本語から英語への翻訳では、日本語の関係節において空所が主語であるか目的語であるかを区別することも重要である。例えば、「英語を上手に話す少女に会った」という文において、「英語を上手に話す」という文の空所になっている主語は関係節の修飾先となっている名詞「少女」であるという関係が正しく分析でき、かつ「少女」は「人」であるという知識があれば、「I met a girl who speaks English fluently」のように主語が人であることを表す関係代名詞whoを正しく生成できる。具体的には、「((T が) 英語を上手に話す) 少女に会った, T=少女」との分析である。
【０００８】
また日本語の連体修飾節では、連体修飾節の修飾先の名詞が連体修飾節の述語の項ではない(空所が存在しない)ものがあり、これを「外の関係の連体節」または「埋め込み節(embedded phrase)」と呼ぶ。例えば、「私は(子供が泳いでいる) 写真を彼に送った」である。
【０００９】
英語の関係節は、関係節の修飾先の名詞が関係節の述語の項である場合しか許されないので、外の関係の連体節はそのままでは英語に翻訳できない。日本語または英語の表現を変更するか言葉を補うなどの何らかの工夫が必要である。例えば「I sent him a picture which shows that a child swam」(＝私は子供が泳いでいることを示す写真を彼に送った)など。
【００１０】
従って、日本語から英語への機械翻訳では、空範疇検出処理によって、連体修飾節に空所が存在しない(外の関係である)ことを同定することも重要である。
【００１１】
従来の殆どの統計学習に基づく構文解析器は、空範疇を無視している。英語における代表的な構文解析の正解データであるPenn Treebankには、コントロールされた要素PROと移動の痕跡Tに関する注釈が付与されているが、これまでに開発されたほとんどの構文解析器は、空範疇を無視したラベル付き構文木を出力する。
【００１２】
また、従来の空範疇検出方法は、空範疇検出を構文解析の前処理として実現する方法、空範疇検出を構文解析の後処理として実現する方法、及び空範疇検出と構文解析を同時に行うあるいは統合した方法の３つに大別できる。
【００１３】
従来の空範疇検出方法として、空所ノードからその先行詞(antecedent)までのパスに基づいてパターンに基づいて統計的に空所を検出する方法が知られている（非特許文献４）。当該方法は、構文解析器の出力に対する後処理として空範疇検出が実現されている方法である。
【００１４】
また、前後の単語や品詞から空範疇を予測する空所タガー(trace tagger)が知られている（非特許文献３）。当該方法は、構文解析の前処理として空範疇検出が実現されている方法である。
【００１５】
また、単語と単語の間に空範疇が出現する可能性を表現したラティスを入力とする構文解析を行うことにより、空範疇検出と構文解析を統合する手法が知られている（非特許文献６）。
【００１６】
また、中国語における代表的な構文解析の正解データであるChinese Penn Treebankには、PROやTに加えて、省略された代名詞proに関する注釈が付与されている。省略された代名詞proに関する空範疇検出の研究は、Chinese Penn Treebankが公開されたことにより盛んになっている。
【００１７】
また、英語の空範疇検出法は、構文構造(構文解析器の出力形式)として句構造(phrase structure)を用いるものばかりであったが、中国語の空範疇検出法は、構文構造として句構造を用いる方法と依存構造(dependency structure)を用いる方法が知られている。
【００１８】
また、文の依存構造において空範疇の位置と修飾先の対に対してラベルを付与する分類問題として空範疇検出を形式化し、この分類を実現する機械学習アルゴリズムが知られている（非特許文献８）。
【００１９】
また、文の句構造において屈折句(IP, inflectional phrase)に対してラベルを付与する分類問題として空範疇検出を形式化し、この分類を実現する機械学習アルゴリズムが知られている（非特許文献７）。なお、Chinese Penn Treebankにおいて屈折句を表す非終端記号IPは、ほぼPenn Treebankにおいて文を表す非終端記号Sに相当する。
【００２０】
また、日本語における代表的な構文解析の正解データである「京都大学テキストコーパス」には空範疇の情報は付与されていない。また、省略された代名詞proと移動の痕跡Tに関する注釈が付与された「欅ツリーバンク(Keyaki Treebank)」が存在する。しかし、英語や中国語を対象として考案された空範疇検出法を日本語に適用したという報告は、発明者らの知る限り存在しない。
【００２１】
また、欅ツリーバンクから学習された統計モデルを使用する日本語構文解析器HARUNIWA(http://www.compling.jp/haruniwa/index.html)において、上述の非特許文献４によく似た方法で、人手で作成されたパターン規則による空範疇検出を行う空範疇検出方法が知られている。しかし、この実装の内容や精度を報告した文献は、発明者らの知る限り存在しない。
【００２２】
また、日本語の空範疇検出に類似した技術として、日本語の述語項構造およびゼロ代名詞補完(またはゼロ代名詞照応)と呼ばれる技術が知られている。述語項構造解析は、文から述語とその項を抽出するタスクである。関係節や省略された代名詞(ゼロ代名詞)のように項が文の中に存在しない場合、述語項構造解析と空範疇検出は類似した問題を解決しなければならない。述語項構造解析と空範疇検出との違いは、空範疇検出は文における空所の位置を検出するのに対して述語項構造解析には空所という概念が存在しないこと、空範疇検出は文中に空所が存在することを検出するだけであるのに対して述語項構造解析はその空所の照応先を同定する処理までを含むこと、空範疇検出は生成文法の理論に基づいてコントロールと呼ばれる義務的な照応を伴う代名詞的な要素PROと省略された代名詞proを区別するが述語項構造解析は両者をまとめてゼロ代名詞と呼ぶことなどが異なっている。
【先行技術文献】
【非特許文献】
【００２３】
【非特許文献１】Alastair Butler, Tomoko Hotta, Ruriko Otomo, Kei Yoshimoto, Zhen Zhou, and Hong Zhu. Keyaki treebank: phrase structure with functional information for japanese. テキストアノテーションワークショップ, 2012.
【非特許文献２】Alastair Butler, 檜山祥太, 吉本啓. Coindexed null elements for a japanese parsed corpus. 言語処理学会第21 回年次大会発表論文集, pp. 708−711, 2015.
【非特許文献３】P´eter Diens and Amit Dubey. Deep syntactic processing by combining shallow methods. In ACL-2003, pp. 431−438, 2003.
【非特許文献４】Mark Johnson. A simple pattern-matching algorithm for recovering empty nodes and their an-tecedents. In ACL-2002, pp. 136−143, 2002.
【非特許文献５】Jeffrey Pennington, Richard Socher, and Christopher D. Manning. Glove: Global vectors for word representation. In EMNLP-2014, pp. 1532−1543, 2014.
【非特許文献６】Cai Shu, David Chiang, and Yoav Goldberg. Language-independent parsing with empty ele-ments. In ACL-2011, pp. 212−216, 2011.
【非特許文献７】Bing Xiang, Xiaoqiang Lue, and Bowen Zhou. Enlisting the ghost: Modeling empty categories for machine translation. In ACL-2013, pp. 822−831, 2013.
【非特許文献８】Nianwen Xue and Yaqin Yang. Dependency-based empty category detection via phrase structure trees. In NAACL-HLT-2013, pp. 1051−1060, 2013.
【非特許文献９】河原大輔,黒橋禎夫. 格フレーム辞書の漸次的自動構築. 自然言語処理, Vol. 12, No. 2, pp.109−131, 2005.
【発明の概要】
【発明が解決しようとする課題】
【００２４】
しかし、上述した従来の述語項構造解析における空範疇検出に相当する処理は、ゼロ代名詞の照応先まで決定しようとするために、一つの文の内部の文法的な知識ではなく、文脈や領域に依存する知識を必要とするため、一つの文に閉じた処理として実現できないという問題点がある。
【００２５】
また、日本語の空範疇は、言語学では確立された概念であり、上述したような応用が存在する。しかし、日本語を対象とする自然言語処理において空範疇検出を自動的に行う技術は、発明者らの知る限り、日本語構文解析器HARUNIWAに付属するルールベースの空範疇検出しか存在しない。またその精度は、後述するように、構文解析の正解を与えた場合でも62.6%であり、決して高いとは言えないという問題がある。
【００２６】
また、従来の日本語のゼロ代名詞に関する解析技術は、空範疇検出とは似て非なる技術である。これらは述語項構造解析の一部または類似する処理と考えられ、述語に関する項が文中に存在する場合と存在しない場合(ゼロ代名詞)を同列に扱い、かつ、ゼロ代名詞の照応先を同定することまでを含んでいる。そのために、必ずしもゼロ代名詞を含む日本語の空範疇の検出に最適化された技術になっていないという問題がある。
【００２７】
また、英語や中国語を対象とする空範疇検出は比較的よく研究されているが、そこで提案された技術が日本語に対して適用可能か、あるいは、どの程度有効なのかはよく分かっていないという問題がある。
【００２８】
本発明では、上記問題点を解決するために成されたものであり、日本語のテキストに対する空範疇の検出を精度良く行うことができる空範疇検出装置、空範疇検出モデル学習装置、方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００２９】
上記目的を達成するために、第１の発明に係る空範疇検出装置は、入力されたテキストから、省略又は移動により生じた名詞的語句である空範疇を検出するための空範疇検出装置であって、前記入力されたテキストを構文解析して得られた句構造木に基づいて、前記句構造木に含まれる各屈折句(IP)ノードについて、前記屈折句(IP)ノードの子ノードのラベルの集合に基づく子ノード素性と、前記屈折句(IP)ノードから前記句構造木のルートノード又は補文標識句(CP)ノードまでの祖先の各ノードのラベルの系列に基づくパス素性とを用いて、素性ベクトルを作成する素性ベクトル作成部と、予め学習された、屈折句(IP)ノードに付与する空範疇ラベルを検出するための空範疇検出モデルと、前記屈折句(IP)ノードの各々の前記素性ベクトルとに基づいて、前記入力されたテキストにおける前記空範疇の位置及び種類を検出する空範疇ラベル検出部と、を含んで構成されている。
【００３０】
第２の発明に係る空範疇検出方法は、素性ベクトル作成部と、空範疇ラベル検出部とを含む、入力されたテキストから、省略又は移動により生じた名詞的語句である空範疇を検出するための空範疇検出装置における、空範疇検出方法であって、前記素性ベクトル作成部は、前記入力されたテキストを構文解析して得られた句構造木に基づいて、前記句構造木に含まれる各屈折句(IP)ノードについて、前記屈折句(IP)ノードの子ノードのラベルの集合に基づく子ノード素性と、前記屈折句(IP)ノードから前記句構造木のルートノード又は補文標識句(CP)ノードまでの祖先の各ノードのラベルの系列に基づくパス素性とを用いて、素性ベクトルを作成し、前記空範疇ラベル検出部は、予め学習された、屈折句(IP)ノードに付与する空範疇ラベルを検出するための空範疇検出モデルと、前記屈折句(IP)ノードの各々の前記素性ベクトルとに基づいて、前記入力されたテキストにおける前記空範疇の位置及び種類を検出する。
【００３１】
第１及び第２の発明によれば、素性ベクトル作成部により、入力されたテキストを構文解析して得られた句構造木に基づいて、句構造木に含まれる各屈折句(IP)ノードについて、屈折句(IP)ノードの子ノードのラベルの集合に基づく子ノード素性と、屈折句(IP)ノードから句構造木のルートノード又は補文標識句(CP)ノードまでの祖先の各ノードのラベルの系列に基づくパス素性とを用いて、素性ベクトルを作成し、空範疇ラベル検出部により、予め学習された、屈折句(IP)ノードに付与する空範疇ラベルを検出するための空範疇検出モデルと、屈折句(IP)ノードの各々の素性ベクトルとに基づいて、入力されたテキストにおける空範疇の位置及び種類を検出する。
【００３２】
このように、入力されたテキストを構文解析して得られた句構造木に基づいて、句構造木に含まれる各屈折句(IP)ノードについて、子ノード素性と、パス素性とを用いて、素性ベクトルを作成し、予め学習された、屈折句(IP)ノードに付与する空範疇ラベルを検出するための空範疇検出モデルと、屈折句(IP)ノードの各々の素性ベクトルとに基づいて、入力されたテキストにおける空範疇の位置及び種類を検出することにより、日本語のテキストに対する空範疇の検出を精度良く行うことができる。
【００３３】
また、第１の発明において、前記素性ベクトル作成部は、前記各屈折句(IP)ノードについて、前記屈折句(IP)ノードの主辞単語の表層形に基づく主辞単語素性、及び前記屈折句(IP)ノードの祖先となる屈折句(IP)ノードにおいて検出される空範疇ラベルに基づく空範疇素性の少なくとも一方を更に用いて、前記素性ベクトルを作成してもよい。
【００３４】
また、第１の発明において、前記空範疇検出モデルは、前記空範疇ラベルが付与された複数のテキストの各々についての、前記テキストの句構造木に含まれる屈折句(IP)ノード毎に作成される前記素性ベクトルに基づいて学習されてもよい。
【００３５】
また、第１の発明において、前記句構造木に含まれる各屈折句(IP)ノードについて、前記屈折句(IP)ノードの主辞単語となる述語の分散表現と、述語との格関係を明示する可能性がある予め定められた単語の分散表現との内積を正規化したベクトルを分散格フレーム素性として前記屈折句(IP)ノードの前記素性ベクトルに追加する分散格フレーム作成部を更に含んでもよい。
【００３６】
また、第３の発明に係る空範疇検出モデル学習装置は、省略又は移動により生じた名詞的語句である空範疇ラベルが付与された複数のテキストの各々について、前記テキストの句構造木に基づいて、前記句構造木に含まれる屈折句(IP)ノード毎に、前記屈折句(IP)ノードの子ノードのラベルの集合に基づく子ノード素性と、前記屈折句(IP)ノードから前記句構造木のルートノード又は補文標識句(CP)ノードまでの祖先の各ノードのラベルの系列に基づくパス素性とを用いて素性ベクトルを作成する素性ベクトル作成部と、前記テキストの各々の前記空範疇ラベルと、前記テキストの各々の句構造木に含まれる屈折句(IP)ノード毎の素性ベクトルとに基づいて、屈折句(IP)ノードに付与する前記空範疇ラベルを検出するための空範疇検出モデルを学習するモデル学習部と、を含んで構成されている。
【００３７】
第４の発明に係る空範疇検出モデル学習方法は、素性ベクトル作成部と、モデル学習部とを含む空範疇検出モデル学習装置における、空範疇検出モデル学習方法であって、前記素性ベクトル作成部は、省略又は移動により生じた名詞的語句である空範疇ラベルが付与された複数のテキストの各々について、前記テキストの句構造木に基づいて、前記句構造木に含まれる屈折句(IP)ノード毎に、前記屈折句(IP)ノードの子ノードのラベルの集合に基づく子ノード素性と、前記屈折句(IP)ノードから前記句構造木のルートノード又は補文標識句(CP)ノードまでの祖先の各ノードのラベルの系列に基づくパス素性とを用いて素性ベクトルを作成し、前記モデル学習部は、前記テキストの各々の前記空範疇ラベルと、前記テキストの各々の句構造木に含まれる屈折句(IP)ノード毎の素性ベクトルとに基づいて、屈折句(IP)ノードに付与する前記空範疇ラベルを検出するための空範疇検出モデルを学習する。
【００３８】
第３及び第４の発明によれば、素性ベクトル作成部により、省略又は移動により生じた名詞的語句である空範疇ラベルが付与された複数のテキストの各々について、テキストの句構造木に基づいて、句構造木に含まれる屈折句(IP)ノード毎に、屈折句(IP)ノードの子ノードのラベルの集合に基づく子ノード素性と、屈折句(IP)ノードから句構造木のルートノード又は補文標識句(CP)ノードまでの祖先の各ノードのラベルの系列に基づくパス素性とを用いて素性ベクトルを作成し、モデル学習部により、テキストの各々の空範疇ラベルと、テキストの各々の句構造木に含まれる屈折句(IP)ノード毎の素性ベクトルとに基づいて、屈折句(IP)ノードに付与する空範疇ラベルを検出するための空範疇検出モデルを学習する。
【００３９】
このように、省略又は移動により生じた名詞的語句である空範疇ラベルが付与された複数のテキストの各々について、テキストの句構造木に基づいて、句構造木に含まれる屈折句(IP)ノード毎に、子ノード素性と、パス素性とを用いて素性ベクトルを作成し、テキストの各々の空範疇ラベルと、テキストの各々の句構造木に含まれる屈折句(IP)ノード毎の素性ベクトルとに基づいて、屈折句(IP)ノードに付与する空範疇ラベルを検出するための空範疇検出モデルを学習することによって、精度良く空範疇ラベルを検出するためのモデルを学習することができる。
【００４０】
また、本発明のプログラムは、コンピュータを、上記の空範疇検出装置、又は空範疇検出モデル学習装置を構成する各部として機能させるためのプログラムである。
【発明の効果】
【００４１】
以上説明したように、本発明の空範疇検出装置、方法、及びプログラムによれば、入力されたテキストを構文解析して得られた句構造木に基づいて、句構造木に含まれる各屈折句ノードについて、子ノード素性と、パス素性とを用いて、素性ベクトルを作成し、予め学習された、屈折句ノードに付与する空範疇ラベルを検出するための空範疇検出モデルと、屈折句ノードの各々の素性ベクトルとに基づいて、入力されたテキストにおける空範疇の位置及び種類を検出することにより、日本語のテキストに対する空範疇の検出を精度良く行うことができる。
【００４２】
また、本発明の空範疇検出モデル学習装置、方法、及びプログラムによれば、省略又は移動により生じた名詞的語句である空範疇ラベルが付与された複数のテキストの各々について、テキストの句構造木に基づいて、句構造木に含まれる屈折句ノード毎に、子ノード素性と、パス素性とを用いて素性ベクトルを作成し、テキストの各々の空範疇ラベルと、テキストの各々の句構造木に含まれる屈折句ノード毎の素性ベクトルとに基づいて、屈折句ノードに付与する空範疇ラベルを検出するための空範疇検出モデルを学習することによって、精度良く空範疇ラベルを検出するためのモデルを学習することができる。
【図面の簡単な説明】
【００４３】
【図１】欅ツリーバンクの構文木の一例を示す図である。
【図２】変換を適用した後の構文木の一例を示す図である。
【図３】素性を４つのタイプにグループ化した一例を示す図である。
【図４】空範疇検出の精度、及び切除テストの結果の一例を示す図である。
【図５】パス素性の一例を示す図である。
【図６】子ノード素性の一例を示す図である。
【図７】パス素性と主辞単語素性との組み合わせの一例を示す図である。
【図８】パス素性と子ノード素性との組み合わせの一例を示す図である。
【図９】本発明の実施形態に係る空範疇検出モデル学習装置の機能的構成を示すブロック図である。
【図１０】本発明の実施形態に係る空範疇検出装置の機能的構成を示すブロック図である。
【図１１】本発明の実施形態に係る空範疇検出モデル学習装置における空範疇検出モデル学習処理ルーチンを示すフローチャート図である。
【図１２】本発明の実施形態に係る空範疇検出装置における空範疇検出処理ルーチンを示すフローチャート図である。
【図１３】欅ツリーバンクの統計量の一例である。
【図１４】本実施形態における方法と従来法との比較の一例を示す図である。
【図１５】切除テストの一例を示す図である。
【発明を実施するための形態】
【００４４】
以下、図面を参照して本発明の実施形態を詳細に説明する。
【００４５】
＜本発明の実施形態の概要＞
まず、本発明の実施形態の概要について説明する。本実施形態は、非特許文献１記載の欅ツリーバンク（Keyaki Treebank）を使用する。欅ツリーバンクは、ペン通時コーパスの解析規約に従って、日本語の文に対して句構造を付与したタグ付きコーパスである。並列構造以外では動詞句VPを作らないなど極力フラットな構文構造を採用し、名詞句(NP)や節(IP,CP)に主語や目的語などの文法機能の情報を付与している点に特徴がある。図１に「家出した娘を連れ戻した。」という文に対する欅ツリーバンクの構文木の例を示す。
【００４６】
ここで、IPは、屈折句、又は時制句と呼ばれ、CP（Complementizer Phrase）は補文標識句、又は補文と呼ばれる。これは、「単文」、「動名詞句」、又は「節」と呼ばれるような、動詞１つと、それを修飾する単語のまとまりに関して、「文としての完成度」を厳密に区別したときに用いる用語である。そのため、IPは、関係節のように欠けている要素がある文で、CPは間接疑問文や引用節のように、ほぼ文として完成している（そのまま独立した文としてもおかしくない）ものである。
【００４７】
欅ツリーバンクには、省略されたゼロ代名詞(pro)と関係節等の移動の痕跡(T)に関する注釈が付与されている。コントロールされた空要素(PRO)に関する注釈は付与されていないが、非特許文献２に記述された方法によりPROを自動的に付与することも可能である。後述において、proとTとに関する空範疇検出法を説明するが、PROに関する注釈を持つツリーバンクを作成すれば、同じ方法でPROに関する空範疇検出を実現できる。
【００４８】
ここで、本実施形態において用いる技術と比較対象となる技術について説明する。まず、中国語の空範疇検出に関して最も優れた手法とされている非特許文献７の手法を説明する。なお、本実施形態において、句構造木は、文を構成する単語や句の種類と階層的な関係を示す木構造とする。
【００４９】
非特許文献７の手法では、句構造木の屈折句（IP）ノードを分類する問題として空範疇検出を定式化する。例えば図１において、空範疇に対応するノードは削除され、図２のように屈折句（IP）ノードのラベルに、空範疇の種類、文法機能、及び位置を符号化した空範疇ラベルを付加する。
【００５０】
例えば、「IP-REL:*T*SBJ@0」は、「IP-REL」(関係節)ノードの最初の子が痕跡(T)であり、その文法機能がSBJ(主語)であることを表す。空範疇が存在しない場合は、空範疇ラベルは空文字列とする(ΦやNULLなどの特殊記号で表現してもよい)。
【００５１】
また、屈折句（IP）ノードに付加された空範疇ラベルから空範疇の種類、文法機能、及び位置を一意に復号できるので、空範疇検出の問題は、空範疇を削除された構文木、すなわち、従来の構文解析結果において、屈折句（IP）ノードに対して付与すべき空範疇ラベルを検出する問題に帰着する。
【００５２】
木のルートから帰りがけ順（postorder）にノードを巡回（traversal）した系列をT=t1t2・・・tnとし、tiに関連付けられた空範疇ラベルをeiとする。
【００５３】
非特許文献７の手法の確率モデルは、下記（１）式の最大エントロピーモデル（ロジスティック回帰モデル、対数線形モデル）として形式化される。
【００５４】
【数１】
0006543169.tif 000002
【００５５】
ここで、φは素性ベクトル、φへのθは重みベクトル、Ｚは、
【００５６】
【数２】
0006543169.tif 000003
【００５７】
のように求められる正規化係数を表す。ここで、εは検出すべき全ての空範疇ラベルの集合を表す。
【００５８】
非特許文献７の手法では、素性を図３に示す４つのタイプにグループ化した。それらは木ラベル素性(tree label features)、語彙素性(lexical features)、空範疇素性(empty category features)、及び組合せ素性(conjunction features)である。
【００５９】
非特許文献７の手法の素性はChinese Penn Treebankを対象としたものなので、当該方法を欅ツリーバンクへ適用するために、本実施形態においては、次の変更を行った。
【００６０】
まず、巡回の順序を帰りがけ順(postorder, ボトムアップ)から行きがけ順(preorder, トップダウン)に変更した。欅ツリーバンクではPROが明示されないので、屈折句（IP）ノードにおける空範疇検出は、上位のレベルのノードおよび左のノードの空範疇検出の結果に依存する。次に空範疇素性は、子孫ノード(descendant node)ではなく祖先ノード(ancestor node)から計算される。
【００６１】
図４に、非特許文献７の手法の素性と、これを日本語向けに修正した素性に対する空範疇検出の精度、及び、修正後の素性に対する切除テスト(ablation test)の結果を示す。当該結果から、日本語向けの修正により空範疇検出の精度が向上したこと、及び、組合せ素性が非常に有効であることが分かる。
【００６２】
次に、本実施形態において用いる素性について説明する。本実施形態では、確率モデルとして上記（１）式の対数線形モデルを使用し、行きがけ順に木を巡回する。各屈折句（IP）ノードの素性としては、主辞単語素性(head word feature)、子ノード素性(child feature)、及び空範疇素性(empty category feature)の３つの素性とパス素性(path feature)との組合せを使用する。
【００６３】
ここで、パス素性(PATH)は、現在のノードからルートノードまたは補文標識句（CP）ノードまでの祖先のノードに対する非終端記号ラベルの系列である。例えば、図２において、もし現在のノードが「IP-REL」ならば、図５に示す４つのパスが抽出される。
【００６４】
また、主辞単語素性(HEAD)は、現在のノードの語彙的主辞となる単語の表層形である。子ノード素性(CHILD)は、現在のノードの子ノードのラベルの集合である。このラベルは、もし右端の終端ノードが機能語であればその表層形が追加される。例えば図１において、もし現在のノードが「IP-MAT」ならば、主辞単語素性は「連れ」であり、子ノード素性は図６に示すものとなる。
【００６５】
また、空範疇素性(EC)は、現在のノードの祖先となる屈折句（IP）ノードで検出された空範疇である。例えば、図２において、現在のノードが「IP-REL」ならば、空範疇素性は*pro*である。
【００６６】
本実施形態においては、主辞単語素性、子ノード素性、及び空範疇素性とパス素性とを組み合わせる。例えば、図２において現在のノードが「IP-MAT」ならば、パス素性と主辞単語素性の組合せは図７に示すとおりである。また、パス素性と子ノード素性の組み合わせは、図８に示すとおりである。
【００６７】
次に、本実施形態において用いる分散格フレームについて説明する。
【００６８】
ここで、格フレーム(case frame)とは、述語とその項の文法役割および項となる名詞の種類を列挙したものである。また、格フレーム辞書(case frame lexicon)とは、格フレームを述語の用法ごとに記述したデータベースである。
【００６９】
また、格フレーム辞書は、述語がとりうる項に関する情報を与えるので、明らかに空範疇検出に有効な情報であるが、一般に、処理対象となる領域において大規模かつ網羅的な格フレーム辞書を予め用意することは難しい。
【００７０】
本実施形態においては、日本語のように格関係を明示する機能語(格助詞)が存在する言語において、単語分散表現を利用して格フレーム辞書を近似したものを、空範疇検出のための素性として利用する。
【００７１】
また、埋め込み(word embedding)または単語分散表現(distributed representation of word)とは、単語からその意味を表現する低次元の実数ベクトルへの写像である。近年、ニューラルネットや単語共起行列の次元削減など単語埋め込みを作成する様々な方法が提案されている。特に非特許文献５によれば、彼らが提案する単語埋め込みモデルGloveは、二つの単語埋め込みの内積(dot product)がそれらの共起頻度の対数を近似するように設計されている。
【００７２】
そのため、Gloveの性質を利用すれば、述語の格フレームを近似する素性を簡単に作ることができる。述語の単語分散表現をwi、N個の格助詞（および格助詞に相当する単語）の単語分散表現をq1,q2,・・・,qN∈Qとすれば、この述語に関する「分散格フレーム(distributed casee frame)」は、述語の単語分散表現とそれぞれの格助詞の単語分散表現との内積を正規化したN次元のベクトルとして下記（２）式及び（３）式のように定義できる。
【００７３】
【数３】
0006543169.tif 000004
【００７４】
また、本実施形態においては、高頻度の格助詞及び格助詞に相当する単語の集合Qとして、「が,は,も,の,を,に,へ,から」の単語を使用する。なお、分散格フレームを作成する際の格助詞相当語としては、当該例に限られず、日本語において格関係を明示する可能性がある単語であれば何を用いてもよい。
【００７５】
また、本実施形態においては、上述した素性に加えて、各屈折句（IP）ノードについて、当該ノードの主辞単語となる述語の分散格フレームを素性として使用する。
【００７６】
以上のように、本実施形態においては、日本語と同様に省略された代名詞proを検出しなければならない中国語の空範疇検出において、従来、最も優れている非特許文献７の手法を見なおして、日本語において最高精度を達成した。
【００７７】
具体的には、木の巡回を行きがけ順にした点、主辞単語素性、子ノード素性、及び空範疇素性の３つとパス素性との組合せを素性として用いた点、及び格フレーム辞書の代わりに、格助詞相当語の単語分散表現と述語の単語分散表現の内積から構成される実数ベクトル(分散格フレーム)を素性として使用した点を非特許文献７の手法から変更した。
【００７８】
なお、主辞単語素性、子ノード素性、及び空範疇素性の３つとパス素性との組合せのうち、最も有効であるのは、パス素性と子ノード素性との組合せである。また、格フレーム辞書に比べて分散格フレーム(単語分散表現)は容易に計算できるので、空範疇検出器の分野適応が容易になる。
【００７９】
＜本発明の実施形態に係る空範疇検出モデル学習装置の構成＞
次に、本発明の実施の形態に係る空範疇検出モデル学習装置の構成について説明する。図９に示すように、本発明の実施の形態に係る空範疇検出モデル学習装置１００は、ＣＰＵと、ＲＡＭと、後述する空範疇モデル学習処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することができる。この空範疇検出モデル学習装置１００は、機能的には図９に示すように入力部１０と、演算部２０と、出力部９０とを備えている。
【００８０】
入力部１０は、例えば、図１に示すような、欅ツリーバンク形式の空範疇付き句構造木を複数受け付け、空範疇付き句構造木データ記憶部２２に記憶する。また、入力部１０は、例えば、日本語Ｗｉｋｉｐｅｄｉａ（登録商標）をプレーンテキストに変換したような、複数のテキストデータを受け付け、テキストデータ記憶部２４に記憶する。なお、テキストデータは、日本語Ｗｉｋｉｐｅｄｉａ（登録商標）をプレーンテキストに変換したものに限定されず、任意のテキストでもよく、例えば、Ｗｅｂクロールデータ、新聞記事３０年分、又は全ての特許出願等を用いてもよい。
【００８１】
演算部２０は、空範疇付き句構造木データ記憶部２２と、テキストデータ記憶部２４と、句構造木変換部２６と、空範疇ラベル記憶部２８と、句構造木データ記憶部３０と、単語分散表現作成部３２と、単語分散表現データ記憶部３４と、分散格フレーム作成部３８と、素性ベクトル作成部３６と、モデル学習部４０と、空範疇検出モデル記憶部４２とを備えている。
【００８２】
空範疇付き句構造木データ記憶部２２には、入力部１０において受け付けた複数の空範疇付き句構造木が記憶されている。
【００８３】
テキストデータ記憶部２４には、入力部１０において受け付けた複数のテキストデータが記憶されている。
【００８４】
句構造木変換部２６は、空範疇付き句構造木データ記憶部２２に記憶されている空範疇付き句構造木の各々について、非特許文献７の手法を用いて、例えば、図１の句構造木から図２の句構造木に変換するように、当該空範疇付き句構造木において、空範疇に対応するノードを削除し、各屈折句（IP）ノードのラベルに、空範疇の種類、文法機能、及び位置を符号化した空範疇ラベルを付加するように句構造木を変換する。
【００８５】
また、句構造木変換部２６は、変換済みの句構造木の各々を、句構造木データ記憶部３０に記憶すると共に、当該変換済みの句構造木の各屈折句（IP）ノードに付加されている空範疇ラベルを当該句構造木の各屈折句（IP）ノードに対応させて、空範疇ラベル記憶部２８に記憶する。
【００８６】
空範疇ラベル記憶部２８には、空範疇ラベルが、変換済みの句構造木の各屈折句（IP）ノードに対応づいて記憶されている。
【００８７】
句構造木データ記憶部３０には、句構造木変換部２６において変換された変換済みの句構造木の各々が記憶されている。
【００８８】
単語分散表現作成部３２は、テキストデータ記憶部２４に記憶されているテキストデータの各々に基づいて、非特許文献５の方法に従って、単語毎の単語分散表現を作成し、単語分散表現データ記憶部３４に記憶する。
【００８９】
単語分散表現データ記憶部３４には、単語毎の単語分散表現が記憶されている。
【００９０】
素性ベクトル作成部３６は、句構造木データ記憶部３０に記憶されている変換済みの句構造木の各々について、当該句構造木に含まれる屈折句（IP）ノード毎に、主辞単語素性、子ノード素性、及び空範疇素性の３つの素性を取得し、また、屈折句（IP）ノード毎にパス素性を取得し、屈折句（IP）ノード毎に取得した、主辞単語素性、子ノード素性、及び空範疇素性の３つの素性と、パス素性との組み合わせに基づいて、素性ベクトルを作成し、分散格フレーム作成部３８に出力する。
【００９１】
分散格フレーム作成部３８は、句構造木データ記憶部３０に記憶されている変換済みの句構造木の各々について、当該句構造木の各屈折句（IP）ノードに対し、単語分散表現データ記憶部３４に記憶されている、当該屈折句（IP）ノードにおける主辞単語となる述語の単語分散表現と、予め定められたＮ個の格助詞の単語分散表現の各々とに基づいて、上記（２）式、及び上記（３）式に従って、分散格フレームを素性として作成する。また、分散格フレーム作成部３８は、変換済みの句構造木の各々について作成した、当該句構造木の各屈折句（IP）ノードの分散格フレームの素性を、当該屈折句（IP）ノードに対応する、素性ベクトル作成部３６から入力された素性ベクトルに、追加し、モデル学習部４０に出力する。
【００９２】
モデル学習部４０は、分散格フレーム作成部３８から入力された、変換済みの句構造木の各々の当該句構造木に含まれる各屈折句（IP）ノードの素性ベクトルの各々と、空範疇ラベル記憶部２８に記憶されている、当該屈折句（IP）ノードに対応する空範疇ラベルの各々とに基づいて、空範疇ラベルを検出するための空範疇検出モデルを学習し、空範疇検出モデル記憶部４２に記憶すると共に、出力部９０から出力する。
【００９３】
＜本発明の実施形態に係る空範疇検出装置の構成＞
次に、本発明の実施の形態に係る空範疇検出装置の構成について説明する。図１０に示すように、本発明の実施の形態に係る空範疇検出装置２００は、ＣＰＵと、ＲＡＭと、後述する空範疇検出処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することができる。この空範疇検出装置２００は、機能的には図１０に示すように入力部２１０と、演算部２２０と、出力部２９０とを備えている。
【００９４】
入力部２１０は、空範疇を検出する対象となるテキストを受け付け、入力テキスト記憶部２２２に記憶する。
【００９５】
演算部２２０は、入力テキスト記憶部２２２と、単語分散表現データ記憶部２２４と、構文解析部２２６と、句構造木データ記憶部２２８と、素性ベクトル作成部２３０と、分散格フレーム作成部２３２と、空範疇検出モデル記憶部２３４と、空範疇ラベル検出部２３６と、空範疇ラベル記憶部２３８とを備えている。
【００９６】
入力テキスト記憶部２２２には、入力部２１０において受け付けた検出対象となるテキストが記憶されている。
【００９７】
単語分散表現データ記憶部２２４には、空範疇検出モデル学習装置１００の単語分散表現データ記憶部３４に記憶されている単語分散表現データと同一の単語分散表現データが記憶されている。
【００９８】
構文解析部２２６は、入力テキスト記憶部２２２に記憶されている、検出対象のテキストについて、構文解析を行い、句構造木を取得し、句構造木データ記憶部２２８に記憶する。
【００９９】
句構造木データ記憶部２２８には、構文解析部２２６から入力された、検出対象のテキストを構文解析した句構造木が記憶されている。
【０１００】
素性ベクトル作成部２３０は、句構造木データ記憶部２２８に記憶されている句構造木の各々について、当該句構造木に含まれる屈折句（IP）ノード毎に、主辞単語素性、子ノード素性、及び空範疇素性の３つの素性を取得し、また、屈折句（IP）ノード毎に、パス素性を取得し、取得した、主辞単語素性、子ノード素性、及び空範疇素性の３つの素性とパス素性との組み合わせに基づいて、素性ベクトルを作成する。なお、素性ベクトル作成部２３０は、句構造木のルートノードに近い屈折句（IP）ノードから順に素性ベクトルを作成するものとする。
【０１０１】
分散格フレーム作成部２３２は、句構造木データ記憶部２２８に記憶されている句構造木の各々について、当該句構造木の各屈折句（IP）ノードについて、単語分散表現データ記憶部２２４に記憶されている、当該屈折句（IP）ノードにおける主辞単語となる述語の単語分散表現と、予め定められたＮ個の格助詞の単語分散表現の各々とに基づいて、上記（２）式、及び上記（３）式に従って、分散格フレームを素性として作成する。また、分散格フレーム作成部２３２は、句構造木の各々について作成した、当該句構造木の各屈折句（IP）ノードの分散格フレームの素性を、当該屈折句（IP）ノードに対応する、素性ベクトル作成部２３０から入力された素性ベクトルに、追加し、空範疇ラベル検出部２３６に出力する。
【０１０２】
空範疇検出モデル記憶部２３４には、空範疇検出モデル学習装置１００の空範疇検出モデル記憶部４２に記憶されている空範疇検出モデルと同一の空範疇検出モデルが記憶されている。
【０１０３】
空範疇ラベル検出部２３６は、分散格フレーム作成部２３２から入力された素性ベクトルと、空範疇検出モデル記憶部２３４に記憶されている空範疇検出モデルと、句構造木データ記憶部２２８に記憶されている句構造木とに基づいて、当該句構造木の各屈折句（IP）ノードの各々について、空範疇ラベルを検出し、当該検出した結果を対応するノードに付与した句構造木を空範疇ラベル記憶部２３８に記憶すると共に、出力部２９０から出力する。
【０１０４】
＜本発明の実施形態に係る空範疇検出モデル学習装置の作用＞
次に、本発明の実施の形態に係る空範疇検出モデル学習装置１００の作用について説明する。まず、入力部１０により、欅ツリーバンク形式の空範疇付き句構造木を複数受け付け、空範疇付き句構造木データ記憶部２２に記憶し、また、入力部１０は、複数のテキストデータを受け付け、テキストデータ記憶部２４に記憶する。
【０１０５】
そして、空範疇検出モデル学習装置１００のＲＯＭに記憶されたプログラムを、ＣＰＵが実行することにより、図１１に示す空範疇検出モデル学習処理ルーチンが実行される。なお、図１１に示す空範疇検出モデル学習処理ルーチンが実行される前に、空範疇検出モデル学習装置１００は、テキストデータ記憶部２４に記憶されているテキストデータの各々に基づいて、非特許文献５の方法に従って、単語毎の単語分散表現を作成し、単語分散表現データ記憶部３４に記憶しておく。
【０１０６】
まず、ステップＳ１００では、空範疇付き句構造木データ記憶部２２に記憶されている、複数の空範疇付き句構造木の各々について、非特許文献７の手法を用いて、当該空範疇付き句構造木において、空範疇に対応するノードを削除し、各屈折句（IP）ノードのラベルに、空範疇の種類、文法機能、及び位置を符号化した空範疇ラベルを付加するように句構造木を変換する。
【０１０７】
次に、ステップＳ１０２では、ステップＳ１００において取得した変換済みの句構造木の各々から空範疇ラベルを取得し、空範疇ラベル記憶部２８に記憶する。
【０１０８】
次に、ステップＳ１０４では、ステップＳ１００において取得した変換済みの句構造木の各々について、当該句構造木の屈折句（IP）ノード毎に、主辞単語素性、子ノード素性、及び空範疇素性の３つの素性を取得し、また、当該句構造木の屈折句（IP）ノード毎に、パス素性を取得し、素性ベクトルを作成する。
【０１０９】
次に、ステップＳ１０６では、ステップＳ１００において取得した変換済みの句構造木の各々について、当該句構造木の屈折句（IP）ノード毎に、単語分散表現データ記憶部３４に記憶されている、当該屈折句（IP）ノードにおける主辞単語となる述語の単語分散表現と、予め定められたＮ個の格助詞の単語分散表現の各々とに基づいて、上記（２）式、及び上記（３）式に従って、分散格フレームを素性として作成する。
【０１１０】
次に、ステップＳ１０８で、ステップＳ１０４において取得した変換済みの句構造木の各々についての、当該句構造木の屈折句（IP）ノード毎の素性ベクトルに、ステップＳ１０６において取得した、当該句構造木の屈折句（IP）ノード毎の分散格フレームの素性を追加し、素性ベクトルを作成する。
【０１１１】
次に、ステップＳ１１０で、ステップＳ１０８において取得した、変換済みの句構造木の屈折句（IP）ノード毎の素性ベクトルと、空範疇ラベル記憶部２８に記憶されている空範疇ラベルの各々とに基づいて、空範疇ラベルを検出するための空範疇検出モデルを学習し、空範疇検出モデル記憶部４２に記憶すると共に、出力部９０から出力し、空範疇検出モデル学習処理ルーチンを終了する。
【０１１２】
＜本発明の実施形態に係る空範疇検出装置の作用＞
次に、本発明の実施の形態に係る空範疇検出装置２００の作用について説明する。まず、入力部２１０により、空範疇を検出する対象となるテキストを受け付け、入力テキスト記憶部２２２に記憶すると、空範疇検出装置２００のＲＯＭに記憶されたプログラムを、ＣＰＵが実行することにより、図１２に示す空範疇検出処理ルーチンが実行される。
【０１１３】
まず、ステップＳ２００では、入力テキスト記憶部２２２に記憶されている検出対象のテキストについて、構文解析を行う句構造木を取得し、句構造木データ記憶部２２８に記憶する。
【０１１４】
次に、ステップＳ２０２では、ステップＳ２００において取得した句構造木について、当該句構造木に含まれる、当該句構造木のルートに近い方から順に、未処理の屈折句（IP）ノードを処理対象の屈折句（IP）ノードとして選択し、当該屈折句（IP）ノードについて、ステップＳ１０４において取得した主辞単語素性、子ノード素性、及び空範疇素性の３つの素性と同一の素性の各々を取得し、当該屈折句（IP）ノードについてステップＳ１０４において取得したパス素性と同一の素性を取得し、取得した素性の各々に基づいて、素性ベクトルを作成する。
【０１１５】
次に、ステップＳ２０４では、処理対象の屈折句（IP）ノードについて、単語分散表現データ記憶部２２４に記憶されている、当該屈折句（IP）ノードにおける主辞単語となる述語の単語分散表現と、予め定められたＮ個の格助詞の単語分散表現の各々とに基づいて、上記（２）式、及び上記（３）式に従って、分散格フレームを素性として作成する。
【０１１６】
次に、ステップＳ２０６では、ステップＳ２０２において取得した処理対象の屈折句（IP）ノードの素性ベクトルに、ステップＳ２０４において取得した、処理対象の屈折句（IP）ノードの分散格フレームの素性を追加し、素性ベクトルを作成する。
【０１１７】
次に、ステップＳ２０８では、ステップＳ２０６において取得した処理対象の屈折句（IP）ノードの素性ベクトルと、空範疇検出モデル記憶部２３４に記憶されている、上述したステップＳ１１０において学習した空範疇検出モデルと同一の空範疇検出モデルとに基づいて、処理対象の屈折句（IP）ノードの空範疇ラベルを検出する。
【０１１８】
次に、ステップＳ２１０では、ステップＳ２００において取得した句構造木に含まれる全ての屈折句（IP）ノードについてステップＳ２０２〜ステップＳ２０８までの処理を終了したか否かを判定する。全ての屈折句（IP）ノードについてステップＳ２０２〜ステップＳ２０８までの処理を終了したと判定した場合には、ステップＳ２０８において取得した各屈折句（IP）ノードの空範疇ラベルを、ステップＳ２００において取得した句構造木に付与した句構造木を空範疇ラベル記憶部２３８に記憶すると共に、出力部２９０から出力して、空範疇ラベル検出処理ルーチンを終了する。一方、全ての屈折句（IP）ノードについてステップＳ２０２〜ステップＳ２０８までの処理を終了していない場合には、ステップＳ２０２に移行し、処理対象となる屈折句（IP）ノードを変更し、ステップＳ２０２〜ステップＳ２１０までの処理を繰り返す。
【０１１９】
＜実験例＞
本実施形態に係る空範疇検出モデル学習装置、及び空範疇検出装置を用いた場合についての検証結果について説明する。利用した欅ツリーバンク（２２,６３９文）は、２０１５年５月８日時点のものを用いた。
【０１２０】
評価に際して、対象分野をバランスさせるために、blog_KNB.psd（ブログ）、spoken_CIAIR.psd（音声書き起こし）、newswire_MAINICHI-1995.psd（新聞記事）の３つのファイルから開発セット（1000文）とテストセット（1003文）を選択し、残りの20,646文を訓練セットとした。図１３に、欅ツリーバンク全体およびテストセットに関して、文字数、文数、及び述語数（屈折句（IP）ノード数）や、省略された代名詞proや移動の痕跡Tの数を文法役割別に示す。
【０１２１】
また、本実験例で使用した単語分散表現は、2015年1月18日時点の日本語Wikipedia（登録商標）(約6.6億単語、約2340万文)から非特許文献５の方法により作成した。
【０１２２】
また、本実施形態に係る空範疇検出装置の精度を、人手で作成した構文木の正解を入力とする場合と、自動構文解析器が出力した構文木を入力とする場合について評価した。前者では、欅ツリーバンクの構文木から空範疇を削除したものを使用した。後者では、日本語構文解析器HARUNIWA（インターネット(URL:http://www.compling.jp/haruniwa/index.html)）のBerkeleyパーザモデルの出力において、ルールに基づく空範疇検出が実行される直前の構文木を使用した。
【０１２３】
評価尺度としては、非特許文献７に記載されている単語位置レベル同定尺度(word-position-level identification metrics)を使用した。
【０１２４】
本実施形態において素性として使用した分散格フレームの有効性を評価するために、既存の大規模な格フレーム辞書として、非特許文献９の京都大学格フレームを利用した。この格フレームは、Web上の約16億文の日本語テキストから自動的に構築され、約4万用言が収録されている。
【０１２５】
既存の格フレームを利用する方法としては、BIN,SET,DISTの3つの方法を試した。BINは一つの述語に対して「が」「を」「に」などそれぞれの格を二値素性として表現する。SETは一つの述語に対して「が」「が-を」「が-に」「が-に-を」などする格フレームの格の組合せを素性とする。DISTはそれぞれの格助詞と述語の共起頻度を正規化した実数値を素性とする。
【０１２６】
本発明で使用した分散格フレーム(DCF)は、DISTを平滑化したものと考えることができる。図１４に様々な条件下での本実施形態における空範疇検出装置および比較手法の空範疇検出精度を示す。なお、図１４においては、「#nonZ」は重みが０ではない素性の数を表す。
【０１２７】
正解の構文木を使用した場合、構文解析器HARUNIWAで実装されている規則に基づく方法(RULE)、および、日本語向けに修正した非特許文献７の方法は、それぞれF-尺度で62.6%と68.6%とであった。提案手法の中では、パス素性と子ノード素性の組合せ(PATH  CHILD)だけでベースラインとなるこれら2つの方法を上回っており、すべての素性を利用した場合には73.2%を達成している。
【０１２８】
構文解析器が出力する構文木を入力とする場合、提案法のF-尺度は73.2%から54.7%へ低下する。ほとんどの場合、これは構文解析器が屈折句（IP）ノードの同定または屈折句（IP）ノードの文法機能の同定に失敗したことが原因である。
【０１２９】
既存の大規模格フレームを素性として利用するBIN,SET,DISTの3つの精度には大きな差はなく、分散格フレームを利用する場合と同等の精度向上が見られる。すなわち、大規模格フレーム辞書を分散格フレームで置き換えることが可能である。
【０１３０】
図１５に提案法に関する素性の切除テストの結果を示す。本実施形態では、主辞単語素性、子ノード素性、及び空範疇素性の3つとパス素性との組合せを素性として使用しているが、その中でも、パス素性と子ノード素性との組合せが最も有効であることが分かる。
【０１３１】
以上説明したように、本発明の実施形態に係る空範疇検出モデル学習装置によれば、省略又は移動により生じた名詞的語句である空範疇ラベルが付与された複数のテキストの各々について、テキストの句構造木に基づいて、句構造木に含まれる屈折句ノード毎に、子ノード素性と、パス素性とを用いて素性ベクトルを作成し、テキストの各々について、テキストの句構造木に含まれる屈折句ノード毎に、分散格フレーム素性を、屈折句ノードの素性ベクトルに追加し、テキストの各々の空範疇ラベルと、テキストの各々の句構造木に含まれる屈折句ノード毎の素性ベクトルとに基づいて、屈折句ノードに付与する空範疇ラベルを検出するための空範疇検出モデルを学習することによって、精度良くモデルを学習することができる。
【０１３２】
また、本発明の実施形態に係る空範疇検出装置によれば、入力されたテキストを構文解析して得られた句構造木に基づいて、句構造木に含まれる各屈折句ノードについて、子ノード素性と、パス素性とを用いて、素性ベクトルを作成し、句構造木に含まれる各屈折句ノードについて、分散格フレーム素性を屈折句ノードの素性ベクトルに追加し、予め学習された、屈折句ノードに付与する空範疇ラベルを検出するための空範疇検出モデルと、屈折句ノードの各々の素性ベクトルとに基づいて、入力されたテキストにおける空範疇の位置及び種類を検出することにより、日本語に対する空範疇の検出を精度良く行うことができる。
【０１３３】
また、従来手法に比べて高い精度で日本語の空範疇を検出できる。さらに、大規模格フレーム辞書を作成するのに必要なテキスト量と計算量に比べると、分散格フレームを作成するのに必要な単語分散表現は、より少ないテキストからより少ない計算量で算出できるので、処理対象となる領域に向けて空範疇検出のモデルをチューンすることが容易である。
【０１３４】
なお、本発明は、上述した実施形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。
【０１３５】
例えば、本実施形態においては、空範疇検出モデル学習装置と、空範疇検出装置とを別々の装置として構成する場合について説明したが、これに限定されるものではない。例えば、空範疇検出モデル学習装置と、空範疇検出装置とを１つの装置として構成してもよい。
【０１３６】
また、本実施形態においては、素性ベクトル作成部において、主辞単語素性、子ノード素性、及び空範疇素性の３つとパス素性との組み合わせを素性とし、素性ベクトルを作成している場合について説明しているが、これに限定されるものではない。例えば、素性ベクトル作成部において、主辞単語素性、子ノード素性、及び空範疇素性の３つの任意の素性の各々と、パス素性との組み合わせを素性とし、素性ベクトルを作成してもよい。
【０１３７】
また、本実施形態においては、分散格フレームの計算を、処理毎に計算する場合について説明したが、これに限定されるものではない。例えば、予め述語毎に分散格フレームを計算しておいてもよい。
【０１３８】
また、本実施形態においては、素性ベクトル作成部において作成された素性ベクトルに、分散格フレームの素性を追加した素性ベクトルを用いる場合について説明したが、これに限定されるものではない。例えば、素性ベクトル作成部において作成された素性ベクトルを使用してもよい。この場合、分散格フレームの素性は使用されないこととなる。
【０１３９】
また、本願明細書中において、プログラムが予めインストールされている実施形態として説明したが、当該プログラムを、コンピュータ読み取り可能な記録媒体に格納して提供することも可能であるし、ネットワークを介して提供することも可能である。
【符号の説明】
【０１４０】
１０   入力部
２０   演算部
２２   空範疇付き句構造木データ記憶部
２４   テキストデータ記憶部
２６   句構造木変換部
２８   空範疇ラベル記憶部
３０   句構造木データ記憶部
３２   単語分散表現作成部
３４   単語分散表現データ記憶部
３６   素性ベクトル作成部
３８   分散格フレーム作成部
４０   モデル学習部
４２   空範疇検出モデル記憶部
９０   出力部
１００ 空範疇検出モデル学習装置
２００ 空範疇検出装置
２１０ 入力部
２２０ 演算部
２２２ 入力テキスト記憶部
２２４ 単語分散表現データ記憶部
２２６ 構文解析部
２２８ 句構造木データ記憶部
２３０ 素性ベクトル作成部
２３２ 分散格フレーム作成部
２３４ 空範疇検出モデル記憶部
２３６ 空範疇ラベル検出部
２３８ 空範疇ラベル記憶部
２９０ 出力部
【図１】
0006543169.tif 000005
【図２】
0006543169.tif 000006
【図３】
0006543169.tif 000007
【図４】
0006543169.tif 000008
【図５】
0006543169.tif 000009
【図６】
0006543169.tif 000010
【図７】
0006543169.tif 000011
【図８】
0006543169.tif 000012
【図９】
0006543169.tif 000013
【図１０】
0006543169.tif 000014
【図１１】
0006543169.tif 000015
【図１２】
0006543169.tif 000016
【図１３】
0006543169.tif 000017
【図１４】
0006543169.tif 000018
【図１５】
0006543169.tif 000019