(57)【要約】      （修正有）【課題】注意機構が精度よく対応付けを出力するように学習するための学習データを生成する句構造学習装置、句構造解析装置、方法、及びプログラムを提供する。【解決手段】句構造学習装置２００は、注意機構が精度よく対応付けを出力するように学習するための学習データを生成できるように、入力文と入力文を表す句構造木の各ノードの句構造ラベルからなる句構造ラベル列とに基づいて、句構造解析器に含まれる句構造ラベルに対する入力文の各単語の重みを出力する注意機構を学習するための、単語と句構造ラベルの対応付けからなる学習データを生成する。【選択図】図１５
2019091172.tif 000002
【特許請求の範囲】
【請求項１】
入力文に対する句構造ラベル列を出力する句構造解析器を学習する句構造学習装置であって、
前記入力文と、前記入力文を表す句構造木の各ノードの句構造ラベルからなる句構造ラベル列とに基づいて、前記句構造解析器に含まれる、前記句構造ラベルに対する、前記入力文の各単語の重みを出力する注意機構を学習するための、前記単語と前記句構造ラベルの対応付けからなる学習データを生成する学習データ生成部、
を含む句構造学習装置。
【請求項２】
前記学習データ生成部は、前記句構造ラベル列に含まれる前記句構造ラベルの各々について、前記句構造ラベルの前記ノードに対する下位の葉ノードである前記入力文の前記単語を対応付けることにより前記学習データを生成する請求項１に記載の句構造学習装置。
【請求項３】
前記句構造解析器は、前記句構造ラベルを先頭から順に出力するものであって、
前記注意機構は、前記入力文の各単語に対応する隠れ状態ベクトルの各々と、一つ前に出力された前記句構造ラベルに対する隠れ状態ベクトルとを入力として、前記句構造ラベルに対する、前記入力文の各単語の重みを出力し、
前記生成された学習データに基づいて、前記注意機構を学習する学習部、を更に含む請求項１又は請求項２に記載の句構造学習装置。
【請求項４】
入力文に対する句構造ラベル列を出力する予め学習された句構造解析器であって、句構造ラベルに対する、前記入力文の各単語の重みを出力する注意機構を含む句構造解析器を用いて、前記入力文を入力とし、前記入力文に対する前記句構造ラベル列を出力する句構造解析部、
を含む句構造解析装置であって、
前記注意機構は、
学習用入力文と、前記学習用入力文を表す句構造木の各ノードの句構造ラベルからなる句構造ラベル列とに基づいて生成された、前記単語と前記句構造ラベルの対応付けからなる学習データに基づいて予め学習されたものとする
句構造解析装置。
【請求項５】
入力文に対する句構造ラベル列を出力する句構造解析器を学習する句構造学習装置における句構造学習方法であって、
学習データ生成部が、前記入力文と、前記入力文を表す句構造木の各ノードの句構造ラベルからなる句構造ラベル列とに基づいて、前記句構造解析器に含まれる、前記句構造ラベルに対する、前記入力文の各単語の重みを出力する注意機構を学習するための、前記単語と前記句構造ラベルの対応付けからなる学習データを生成するステップ、
を含む句構造学習方法。
【請求項６】
句構造解析部が、入力文に対する句構造ラベル列を出力する予め学習された句構造解析器であって、句構造ラベルに対する、前記入力文の各単語の重みを出力する注意機構を含む句構造解析器を用いて、前記入力文を入力とし、前記入力文に対する前記句構造ラベル列を出力するステップ、
を含む句構造解析方法であって、
前記注意機構は、
学習用入力文と、前記学習用入力文を表す句構造木の各ノードの句構造ラベルからなる句構造ラベル列とに基づいて生成された、前記単語と前記句構造ラベルの対応付けからなる学習データに基づいて予め学習されたものとする
句構造解析方法。
【請求項７】
コンピュータを、請求項１〜請求項３のいずれか１項に記載の句構造学習装置、又は請求項４に記載の句構造解析装置の各部として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、句構造学習装置、方法、及びプログラムに係り、特に、文の句構造を解析するための句構造学習装置、句構造解析装置、方法、及びプログラムに関する。
【背景技術】
【０００２】
句構造解析は、入力された文の句構造木を計算機によって解析して出力する技術である。図１に句構造木の例を示す。句構造木は句と、その句の階層的な構造によって構成される。
【０００３】
これらの句は、句構造ラベルと、その句を構成する単語集合からなる。句を構成する単語集合は、句構造木における当該句構造ラベルの下位の葉ノードに含まれる単語の集合によって構成される。
【０００４】
ニューラルネットワークを用いた系列に基づく句構造解析法として、非特許文献１等がある。非特許文献１は、明示的な木構造を仮定せず、句構造木を句構造ラベルの系列として解析を行い出力する。非特許文献１をはじめとする従来技術においては、図１に示す句構造木は図２に示すような系列として表現される。系列として表現された句構造木では全ての葉ノードの単語と品詞(句構造ラベルのうち、単語の最も近くにあるラベル。図１ではＷＰ、ＶＢＺ、ＪＪを指す。)は図２に示すＸＸのようにすべて同一のラベルに置換される。また、ＸＸを除くすべてのラベルが句構造ラベルである。このような系列として表現された句構造木を、以後「正規化された句構造木」と呼ぶ。図３に従来技術に基づく句構造解析法の構成図を示す。系列に基づく句構造解析法は、人手によるルールや遷移規則を必要とせず、線形時間で句構造木を出力することが可能である。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】Vinyals, O., Kaiser, L ., Koo, T., Petrov, S., Sutskever,I., and Hinton, G. (2015). "Grammar as a foreign language.". In Advancesin Neural Information Processing Systems (pp. 2773-2781).
【発明の概要】
【発明が解決しようとする課題】
【０００６】
非特許文献１において、入力される単語列と出力する句構造ラベルの関係は、句構造解析器に含まれる、句構造ラベルに対する、入力文の各単語の重みを出力する注意機構によって計算される分布によって捉えられる。図４に注意機構が出力する各重みの分布の例を示す。各セルは入力単語と出力された句構造ラベルの対応を、黒いセルは注意機構がその対応に高い確率を割り当てたことをそれぞれ表している。注意機構は入力文字列中のどの文字列が重要であるかを解析中に判断する。解析機はその結果を利用して解析結果を出力する。注意機構の出力する分布は明示的な句構造ラベルを与えられることなく、教師なしで学習される。そのために、注意機構が入力文字列と出力文字列の対応関係を正しく学習するとは限らない。この結果、注意機構が出力する誤った対応関係によって、出力される句構造木に誤りが生じる可能性がある。
【０００７】
本発明は、上記問題点を解決するために成されたものであり、注意機構が精度よく対応付けを出力するように学習するための学習データを生成できる句構造学習装置、方法、及びプログラムを提供することを目的とする。
【０００８】
また、本発明は、上記問題点を解決するために成されたものであり、精度よく、句構造解析を行うことができる、句構造解析装置、方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するために本発明に係る句構造学習装置は、入力文に対する句構造ラベル列を出力する句構造解析器を学習する句構造学習装置であって、前記入力文と、前記入力文を表す句構造木の各ノードの句構造ラベルからなる句構造ラベル列とに基づいて、前記句構造解析器に含まれる、前記句構造ラベルに対する、前記入力文の各単語の重みを出力する注意機構を学習するための、前記単語と前記句構造ラベルの対応付けからなる学習データを生成する学習データ生成部、を含んで構成されている。
【００１０】
また、本発明に係る句構造解析装置は、入力文に対する句構造ラベル列を出力する予め学習された句構造解析器であって、句構造ラベルに対する、前記入力文の各単語の重みを出力する注意機構を含む句構造解析器を用いて、前記入力文を入力とし、前記入力文に対する前記句構造ラベル列を出力する句構造解析部、を含む句構造解析装置であって、前記注意機構は、学習用入力文と、前記学習用入力文を表す句構造木の各ノードの句構造ラベルからなる句構造ラベル列とに基づいて生成された、前記単語と前記句構造ラベルの対応付けからなる学習データに基づいて予め学習されたものとすることを特徴とする。
【００１１】
本発明に係るプログラムは、コンピュータを、句構造学習装置、又は句構造解析装置の各部として機能させるためのプログラムである。
【発明の効果】
【００１２】
本発明の句構造学習装置、方法、及びプログラムによれば、入力文と、入力文を表す句構造木の各ノードの句構造ラベルからなる句構造ラベル列とに基づいて、句構造解析器に含まれる、句構造ラベルに対する、入力文の各単語の重みを出力する注意機構を学習するための、単語と句構造ラベルの対応付けからなる学習データを生成することにより、注意機構が精度よく対応付けを出力するように学習するための学習データを生成できる、という効果が得られる。
【００１３】
また、本発明の句構造解析装置、方法、及びプログラムによれば、注意機構を含む句構造解析器を用いて、句構造解析を行い、句構造解析器に含まれる注意機構は、学習用入力文と、学習用入力文を表す句構造木の各ノードの句構造ラベルからなる句構造ラベル列とに基づいて生成された、単語と句構造ラベルの対応付けからなる学習データに基づいて予め学習されたものとすることにより、精度よく、句構造解析を行うことができる、という効果が得られる。
【図面の簡単な説明】
【００１４】
【図１】句構造解析によって出力される句構造木の一例を示す図である。
【図２】句構造木の句構造ラベルの系列の一例を示す図である。
【図３】従来の句構造解析法の構成図の一例を示す図である。
【図４】注意機構３が出力する各重みの分布の一例を示す図である。
【図５】学習フェーズにおける句構造解析器２４０を構成するニューラルネットワークの一例を示す図である。
【図６】実行フェーズにおける句構造解析器４０を構成するニューラルネットワークの一例を示す図である。
【図７】本発明の実施の形態で用いる入出力の内容を示す図である。
【図８】本発明の実施の形態に係る句構造解析装置１００の構成を示すブロック図である。
【図９】句構造解析器４０を構成するニューラルネットワークの構成を示す図である。
【図１０】ニューラルネットワークを構成するエンコード部１の詳細の一例を示す図である。
【図１１】ニューラルネットワークを構成するデコード部２の詳細の一例を示す図である。
【図１２】ニューラルネットワークを構成する注意機構３の詳細の一例を示す図である。
【図１３】本発明の実施の形態に係る句構造解析装置１００における句構造解析処理ルーチンを示すフローチャートである。
【図１４】句構造解析器４０のニューラルネットワークにおける処理ルーチンの詳細の一例を示す図である。
【図１５】本発明の実施の形態に係る句構造学習装置２００の構成を示すブロック図である。
【図１６】本発明の実施の形態の学習の概要を示す図である。
【図１７】学習用入力文Ｘと正解系列Ｌの一例を示す図である。
【図１８】学習用入力文を構成する単語と、句構造ラベルとの対応付けの一例を示す図である。
【図１９】学習用入力文を構成する単語と、句構造ラベルとの対応付けの一例を示す図である。
【図２０】学習データ生成部２３０の処理結果として得られた学習データの一例を示す図である。
【図２１】本発明の実施の形態に係る句構造学習装置２００における句構造学習処理ルーチンを示すフローチャートである。
【図２２】学習データの生成処理ルーチンを示すフローチャートである。
【発明を実施するための形態】
【００１５】
以下、図面を参照して本発明の実施の形態を詳細に説明する。
【００１６】
＜本発明の実施の形態に係る概要＞
【００１７】
まず、本発明の実施の形態における概要を説明する。
【００１８】
本発明の実施の形態では非特許文献１のような、ニューラルネットワークを用いた系列に基づく句構造解析器において、注意機構に対し、入力文を構成する単語と出力する句構造ラベルの関係を明示的に与えて学習を行う。
【００１９】
注意機構の学習のための学習データは、句構造解析のための学習データをもとに、所定のルールを用いて作成する。具体的には、学習データの句構造木を構成する各句構造ラベルについて、句構造ラベルと、当該句構造ラベルのノードより下位の葉ノードに含まれる単語の集合を、所定のルールにより対応付けることで作成する。出力しようとする句構造ラベルと、その句構造ラベルを頂点とする句に含まれる単語とが対応付くことを正しい対応であると規定し、注意機構を学習するための学習データとする。
【００２０】
このような学習データを用いて注意機構を学習することにより、注意機構が誤った対応関係を含む分布を出力することを防ぎ、句構造解析の精度を向上させることができる。また、注意機構は句構造解析器の内部の処理であり、注意機構のための学習データを別途作成するのはコストが高いが、本手法により句構造解析器の学習データから注意機構のための学習データが作成できる。
【００２１】
以下の本発明の実施の形態の説明では、学習フェーズと、実行フェーズとに分けて説明する。学習フェーズでは、図５に示す句構造解析器２４０を構成するニューラルネットワークのパラメータを、学習データに基づき決定する。実行フェーズでは、学習フェーズで定義された図６に示す句構造解析器４０を構成するニューラルネットワークに基づき入力を処理し、出力は学習済みのパラメータに依存して決定する。
【００２２】
以下、本実施の形態で用いる入出力の例として、図７を用いる。入力文Ｘにおける各単語の位置をｉとし、ｉ＝{１,…,ｎ}、本例ではｎ＝６である。出力系列Ｙにおける各句構造ラベルの位置をｔとし、ｔ＝{１, …,ｍ}、本例ではｍ＝１５である。
【００２３】
＜本発明の実施の形態に係る句構造解析装置の構成＞
【００２４】
次に、本発明の実施の形態に係る句構造解析装置の構成について説明する。なお、句構造解析装置において、実行フェーズを処理する。
【００２５】
本発明の実施の形態における句構造解析器４０は、処理対象となる文ｘを入力とし、句構造ラベルｙｔを出力する。次に出力したｙｔを入力とし、ｙｔ＋１を出力する逐次処理を繰り返し、出力するｙｔが文末記号である
となったときに処理を終了する。
【００２６】
図８に示すように、本発明の実施の形態に係る句構造解析装置１００は、ＣＰＵと、ＲＡＭと、後述する句構造解析処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。この句構造解析装置１００は、機能的には図８に示すように入力部１０と、演算部２０とを備えている。
【００２７】
入力部１０は、入力文を受け付ける。入力文は、文を分割し、文頭と文末記号を付与したものが与えられる。
【００２８】
演算部２０は、句構造解析部３０と、句構造解析器４０とを含んで構成されている。
【００２９】
句構造解析器４０は、単語からなる入力文に対する句構造ラベル列を先頭から順に出力する予め学習された句構造解析器であり、ニューラルネットワークにより構成されるものである。また、句構造解析器４０は、句構造ラベルに対する、入力文の各単語の重みを出力する注意機構３を含む句構造解析器である。句構造解析器４０の学習については、後述する句構造学習装置において説明する。
【００３０】
ここで句構造解析器４０のニューラルネットワークの構成について説明する。図９に示すように句構造解析器４０を構成するニューラルネットワークは、エンコード部１と、デコード部２と、注意機構３と、出力部４とを含んで構成されている。
【００３１】
エンコード部１は入力文を隠れ状態へと変換する。
【００３２】
デコード部２は、前回出力したラベルｙｔ−１を隠れ状態へと変換する。
【００３３】
注意機構３は、エンコード部１とデコード部２によって変換された隠れ状態を組み合わせて重みづけを行い、入力文の各単語の重みへと変換する。
【００３４】
出力部４は、エンコード部１の隠れ状態を、注意機構３により出力された入力文の各単語の重みに基づき重み付けし、デコード部２の隠れ状態と結合した上で、出力すべきラベルを決定する。
【００３５】
１文の処理につき、エンコード部１での処理は最初の１回のみでよいが、それ以外の部はｍ−１回処理を繰り返すこととなる。
【００３６】
以下、句構造解析器４０を構成するニューラルネットワークの各部の詳細な説明を行う。
【００３７】
図１０にエンコード部１の詳細を示す。エンコード部１は入力として１文を受け取り、１文に含まれる単語の系列ｘ＝{ｘ１,…,ｘｉ,…,ｘｎ}を、各単語ｘｉごとに、実数値の所定次元からなるベクトルｈｉへと変換する。
【００３８】
具体的には、まず入力された単語の系列をｉ＝１からｎへ前向きに走査する順方向の再帰型ニューラルネットワークによってｌ番目の入力単語を隠れ状態ベクトル
【００３９】
【数１】
2019091172.tif 000003
に変換する。同様に、入力された単語の系列をｉ＝ｎから１へと後ろ向きに走査する逆方向の再帰型ニューラルネットによりｌ番目の入力単語を隠れ状態ベクトル
【００４０】
【数２】
2019091172.tif 000004
に変換する。最終的に、
【００４１】
【数３】
2019091172.tif 000005
と
【００４２】
【数４】
2019091172.tif 000006
を結合し，ｈｉとする．この処理により、ｈｉは前方及び後方の単語の変換結果であるｈ１,…,ｈｉ−１及び、ｈｉ＋１,…,ｈｎに依存したものとなる。
【００４３】
各単語ｘｉをベクトル
【００４４】
【数５】
2019091172.tif 000007
【００４５】
または
【００４６】
【数６】
2019091172.tif 000008
【００４７】
に変換する際には、予め作成された(単語、単語ベクトル)の組からなるコードブックを用いる。単語ベクトルは、組となる単語の特徴を所定次元からなる空間上の座標として示したものであり、単語分散表現とも呼ばれるものである。本実施の形態では、全入力単語（
,
を含む）をＷとして、次の条件を満たすベクトルを用いるが、非特許文献２に記載の方法等を用い、予め作成されたものを用いてもよい。
【００４８】
条件１：１次元がひとつの単語に対応する、全Ｗ次元からなる。
条件２：組となる単語に対応する次元の要素を１に、それ以外の次元の要素を０としたOne-hotベクトルとする。
【００４９】
[非特許文献２]:Tomas Mikolov, Ilya Sutskever, Kai Chen,Greg Corrado, and Jeffrey Dean.Distributed Representations of Words and Phrases and their Compositionality. In Proceedings of NIPS, 2013.
【００５０】
本実施の形態では、単語ベクトルの各要素の値は、ニューラルネットワークのパラメータにより重みづけされる。パラメータは、後述する句構造学習装置の学習により更新される。
【００５１】
図１１にデコード部２の詳細を示す。デコード部２は出力部４が前回出力した句構造ラベルｙｔ−１及びｅｎｃｔ−１を入力とし、順方向の再帰型ニューラルネットワークによって、入力情報と
【００５２】
【数７】
2019091172.tif 000009
【００５３】
とを、実数値の所定次元からなる隠れ状態ベクトル
【００５４】
【数８】
2019091172.tif 000010
【００５５】
へと変換して出力する。逐次的に句構造ラベルが入力されるため、変換の結果は以前の句構造ラベルの変換結果である隠れ状態ベクトルの集合
【００５６】
【数９】
2019091172.tif 000011
【００５７】
と、エンコード部１の隠れ状態ベクトルｈ１,…,ｈｎに注意機構３が重みづけをしたｅｎｃｔ−１に依存する。ｅｎｃｔの詳細は後述する。
【００５８】
句構造ラベルｙｔ−１をベクトルに変換する際には、予め作成された(句構造ラベル,句構造ベクトル)の組からなるコードブックを用いる。全句構造ラベル数をＶとしたとき、句構造ベクトルとして次の条件を満たすベクトルを用いる。
【００５９】
条件１：１次元がひとつの句構造ラベルに対応する、全Ｖ次元からなる。
条件２：組となる句構造ラベルに対応する次元の要素を１に、それ以外の次元の要素を０としたOne-hotベクトルとする。
【００６０】
デコード部２はｔ＝２より処理を開始することとし、その際の入力としてｔ＝１の句構造ラベルｙ１には
を、ｅｎｃ１には後述する初期値を、デコード部２の初期状態
【００６１】
【数１０】
2019091172.tif 000012
【００６２】
にはエンコード部１の隠れ状態
【００６３】
【数１１】
2019091172.tif 000013
【００６４】
を使用する。
【００６５】
図１２に注意機構３の詳細を示す。注意機構３は、デコード部２の句構造ラベルの隠れ状態への変換結果
【００６６】
【数１２】
2019091172.tif 000014
【００６７】
と、エンコード部１の各単語の隠れ状態への変換結果ｈ１,…,ｈｎを入力として受け取り、各対応の総和が１となるように正規化された重みαｉｔをニューラルネットワークにより計算し、分布αｔとして出力する。注意機構３の初期値α１（ｔ＝１）は、α１１＝１、それ以外の要素が０のベクトルとしておく。
【００６８】
出力部４では、注意機構３が出力した分布、エンコード部１の各単語の隠れ状態への変換結果ｈ１,…,ｈｎ、デコード部２の句構造ラベルの隠れ状態への変換結果
【００６９】
【数１３】
2019091172.tif 000015
【００７０】
を受け取り、各句構造ラベルの出力確率を出力する。初めに出力部４は注意機構３が出力した分布αｔに従い、エンコード部１の変換結果に重み付けを行った総和を以下（１）式により計算する。
【００７１】
【数１４】
2019091172.tif 000016
…（１）
【００７２】
（１）式の総和とデコード部２の句構造ラベルの変換結果を連結したベクトル
【数１５】
2019091172.tif 000017
をソフトマックス層に入力し、各句構造ラベルの出力確率を決定する。句構造ラベル数がＶの際の句構造ラベルｙｔの出力確率Ｐ(ｙｔ|ｘ１,…,ｘｎ,ｙ１,…,ｙｔ−１)は、重み行列Ｗｖとバイアス項ｂを用いて以下（２）式で計算される。
【００７３】
【数１６】
2019091172.tif 000018
…（２）
【００７４】
で計算される。重み行列Ｗｖ及びバイアス項ｂは、ニューラルネットワークのパラメータである。
【００７５】
最も高い出力確率Ｐとなるｙｔを句構造解析器４０が出力するｔ番目の句構造ラベルとする。
【００７６】
以上の処理により逐次的に句構造ラベルｙｔを出力し、出力するｙｔが文末記号である
となったとき（本実施の形態ではｔ＝１４のとき）に処理を終了する。
【００７７】
出力部の初期値として、
【数１７】
2019091172.tif 000019
は
とする。α１は注意機構３の初期値を利用する。
【００７８】
以上が、句構造解析器４０を構成するニューラルネットワークの各部についての説明である。
【００７９】
句構造解析部３０は、句構造解析器４０を用いて、入力部１０で受け付けた入力文を入力とし、入力文に対する句構造ラベル列を出力する。ここで、句構造解析器に含まれる注意機構３は、学習用入力文と、学習用入力文を表す句構造木の各ノードの句構造ラベルからなる句構造ラベル列であって、正規化された句構造ラベル列とに基づいて生成された、単語と句構造ラベルの対応付けからなる学習データに基づいて予め学習されたものとする。ここで、正規化された句構造ラベル列とは、上記図２について説明したように、葉ノードの単語と品詞について置換を行った後の句構造木の句構造ラベルの系列である。
【００８０】
＜本発明の実施の形態に係る句構造解析装置の作用＞
【００８１】
次に、本発明の実施の形態に係る句構造解析装置１００の作用について説明する。句構造解析装置１００は、図１３に示す句構造解析処理ルーチンを実行する。
【００８２】
まず、ステップＳ１００では、入力部１０において入力文を受け付ける。
【００８３】
ステップＳ１０２では、句構造解析器４０を用いて、入力部１０で受け付けた入力文を入力とし、入力文に対する句構造ラベル列を出力する。
【００８４】
次に、句構造解析器４０のニューラルネットワークにおける処理ルーチンの詳細について図１４を参照して説明する。
【００８５】
ステップＳ１０００では、ｔ＝１とする。
【００８６】
ステップＳ１００２では、エンコード部１において、入力文を受け付け、入力文を隠れ状態へと変換する。
【００８７】
ステップＳ１００４では、ニューラルネットワークの各部における初期値を設定する。
【００８８】
ステップＳ１００６では、ｔ＝２とする。
【００８９】
ステップＳ１００８では、デコード部２において、初期ラベル、又は前回出力したラベルｙｔ−１を隠れ状態へと変換する。
【００９０】
ステップＳ１０１０では、注意機構３において、エンコード部１とデコード部２によって変換された隠れ状態を組み合わせて重みづけを行い、入力文の各単語の重みへと変換する。
【００９１】
ステップＳ１０１２では、出力部４において、エンコード部１の隠れ状態を、注意機構３により出力された入力文の各単語の重みに基づき重み付けし、デコード部２の隠れ状態と結合した上で、出力すべきラベルを決定する。
【００９２】
ステップＳ１０１４では、ステップＳ１０１２の出力が文末記号
ではないかを判定し、文末記号
であれば処理を終了し、文末記号
でなければステップＳ１０１６でｔ＝ｔ＋１とカウントアップして処理を繰り返す。なお、ｔをカウントアップすることをｔ＝ｔ＋１と表記する。
【００９３】
以上説明したように、本発明の実施の形態に係る句構造解析装置１００によれば、注意機構３を含む句構造解析器４０を用いて、句構造解析を行い、句構造解析器４０に含まれる注意機構３は、学習用入力文と、学習用入力文を表す句構造木の各ノードの句構造ラベルからなる句構造ラベル列であって、正規化された句構造ラベル列とに基づいて生成された、単語と句構造ラベルの対応付けからなる学習データに基づいて予め学習されたものとすることにより、精度よく、句構造解析を行うことができる。
【００９４】
＜本発明の実施の形態に係る句構造学習装置の構成＞
【００９５】
次に、本発明の実施の形態に係る句構造学習装置の構成について説明する。なお、句構造学習装置において、学習フェーズを処理する。また、本実施の形態において、ニューラルネットワークのエンコード部１、デコード部２、注意機構３、出力部４は、同時に学習を行うこととするが、別々に学習を行ってもよい。
【００９６】
図１５に示すように、本発明の実施の形態に係る句構造学習装置２００は、ＣＰＵと、ＲＡＭと、後述する句構造学習処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。この句構造学習装置２００は、機能的には図１５に示すように入力部２１０と、演算部２２０とを備えている。
【００９７】
図１６に本実施の形態の学習の概要図を示す。図１６は、学習データ生成部の学習データ生成処理と、ニューラルネットワークの学習処理に分けられる。
【００９８】
入力部２１０は、学習用入力文と、正規化された句構造木とを受け付ける。学習フェーズにおける入力となる学習用入力文は、句構造解析の対象となる文と、その解析結果として正解である句構造ラベル系列の組が複数集められたものとする。本実施の形態では、学習データの一組として図１７で提示する学習用入力文Ｘと正解系列Ｌ（正規化された句構造木）の組を例として用い、説明を行う。ここでいう正規化とは、原稿冒頭で述べた、全ての葉ノードの単語と品詞をＸＸ等の同一のラベルにより置換することであり、正規化された句構造木とは、系列として表現され、かつ、正規化された句構造木を指す。
【００９９】
学習用入力文Ｘにおける各単語の位置をｉとし、ｉ＝{１,…,ｎ}、本実施の形態ではｎ＝６である。正解系列Ｌにおける各句構造ラベルの位置をｔとし、ｔ＝{１,…,ｍ}、本実施の形態ではｍ＝１５である。
【０１００】
演算部２２０は、学習データ生成部２３０と、学習部２３２と、句構造解析器２４０と、を含んで構成されている。なお、句構造解析器２４０は、上記句構造解析装置１００の句構造解析器４０と同様のものであり、句構造学習装置２００で学習される句構造解析器を句構造解析器２４０と表記する。
【０１０１】
学習データ生成部２３０は、学習用入力文と、学習用入力文を表す句構造木の各ノードの句構造ラベルからなる句構造ラベル列であって、正規化された句構造ラベル列とに基づいて、句構造解析器に含まれる、句構造ラベルに対する、学習用入力文の各単語の重みを出力する注意機構３を学習するための、単語と句構造ラベルの対応付けからなる学習データを生成する。
【０１０２】
学習データ生成部２３０における、正解αｉｔの作成方法について、以下に詳細に説明する。
【０１０３】
学習データ生成部２３０は、学習用入力文Ｘと正規化された句構造木Ｌをもとに、正解の対応付けαを出力する。αｉｔは単語ｘｉと句構造ラベルｌｔに対応が存在する場合に１を、存在しない場合に０を返す変数である。
【０１０４】
学習データ生成部２３０では正解αｉｔを求めるにあたって、学習用入力文を構成する単語と、正規化された句構造木を構成する句構造ラベルとの対応付けを行う。対応付けの例を図１８、図１９に示す。
【０１０５】
正解系列Ｌにおける、単語とそれに対応する品詞の存在を表す非終端記号ＸＸは、学習用入力文Ｘ中の単語と対応付けられる。正解系列Ｌの、最初と最後を表す
，
についてはそれぞれ入力文Ｘ中の
，
に対応付けられる。正解系列Ｌの、非終端記号ＸＸ、
，
以外の句構造ラベルが対応する単語は、木構造を仮定した際に当該句構造ラベルを頂点とする句構造木に含まれる、学習用入力文中の単語の集合から選択される。すわなち、当該句構造ラベルのノードに対する下位の葉ノードである学習用入力文の単語の集合から選択される。選択にあたっては次のいずれかの方法を用いる。
【０１０６】
１：当該句構造ラベルを頂点とする句構造木の主辞となる単語を選択
２：当該句構造ラベルを頂点とする句構造木に含まれる単語の集合のうち、最も左の単語を選択
３：当該句構造ラベルを頂点とする句構造木に含まれる単語の集合のうち、最も右の単語を選択
４：句構造ラベルが”("を含む場合、そのラベルを頂点とする句を構成する単語の集合のうち最も左の単語を選択する。句構造ラベルが”)"を含む場合、当該句構造ラベルを頂点とする句構造木に含まれる単語の集合のうち最も右の単語を選択
【０１０７】
上記方法１においては、どの単語が句構造木の主辞となるかについて、予め学習データにヘッドルール等から人手でその情報を付与しておくか、別途解析をして付与する必要がある。方法４は、方法２と３を組み合わせたものとなる。
【０１０８】
学習データ生成部２３０では、このように正規化された句構造ラベル列に含まれる句構造ラベルの各々について、句構造ラベルのノードに対する下位の葉ノードである学習用入力文の単語を対応付けることにより学習データを生成する。
【０１０９】
本実施の形態では上記４の方法を取ることとし、処理結果を図２０に示す。
【０１１０】
学習部２３２は、学習データ生成部２３０で生成された学習データに基づいて、正解句構造ラベルｌｔを出力部の出力ｙｔの正解データとして、注意機構３を含む句構造解析器２４０について学習を行う。学習方法はニューラルネットワークの学習方法として一般的なものを用いればよい。本実施の形態では、確率的勾配降下法により学習可能なパラメータの最適化を行うこととする。
【０１１１】
注意機構３の学習については、学習用入力文の各単語に対応する隠れ状態ベクトルの各々と、一つ前に出力された句構造ラベルに対する隠れ状態ベクトルとを入力として、学習データ生成部２３０の作成する正解αｉｔと、注意機構３の出力する推定αｉｔが等しくなるように学習を行う。学習方法はニューラルネットワークの学習方法として一般的なものを用いればよい。本実施の形態では、確率的勾配降下法により学習可能なパラメータの最適化を行うこととする。
【０１１２】
＜本発明の実施の形態に係る句構造学習装置の作用＞
【０１１３】
次に、本発明の実施の形態に係る句構造学習装置２００の作用について説明する。句構造学習装置２００は、図２１に示す句構造学習処理ルーチンを実行する。
【０１１４】
まず、ステップＳ２００では、学習用入力文と、正規化された句構造木とを受け付ける。
【０１１５】
ステップＳ２０２では、学習用入力文と、学習用入力文を表す句構造木の各ノードの句構造ラベルからなる句構造ラベル列であって、正規化された句構造ラベル列とに基づいて、句構造解析器２４０に含まれる、句構造ラベルに対する、学習用入力文の各単語の重みを出力する注意機構３を学習するための、単語と句構造ラベルの対応付けからなる学習データを生成する。
【０１１６】
ステップＳ２０４では、学習データ生成部２３０で生成された学習データに基づいて、注意機構３を含む句構造解析器２４０について、正解句構造ラベルｌｔを出力部の出力ｙｔの正解データとして学習を行い、処理を終了する。なお、句構造解析器２４０のニューラルネットワークにおける処理ルーチンは上記図１４と同様であるため説明を省略する。
【０１１７】
次に、ステップＳ２０２における学習データの生成処理ルーチンの詳細について図２２を参照して説明する。
【０１１８】
ステップＳ２０００では、ｔ＝１とする。
【０１１９】
ステップＳ２００２では、ｉ＝１とする。
【０１２０】
ステップＳ２００４では、正規化された句構造木の句構造ラベルｌｔが
(または
)であるかを判定し、条件を満たす場合はステップＳ２００６へ移行し、条件を満たさない場合はステップＳ２００８へ移行する。
【０１２１】
ステップＳ２００６では、学習用入力文の単語ｘｉが
(または
であるかを判定し、条件を満たす場合はステップＳ２０１８へ移行し、条件を満たさない場合はステップＳ２０２０へ移行する。
【０１２２】
ステップＳ２００８では、正規化された句構造木のｌｔがＸＸであるかを判定し、条件を満たす場合はステップＳ２０１０へ移行し、条件を満たさない場合はステップＳ２０１２へ移行する。
【０１２３】
ステップＳ２０１０では、学習用入力文の単語ｘｉが、ｌｔのＸＸに対応するかを判定し、条件を満たす場合はステップＳ２０１８へ移行し、条件を満たさない場合はステップＳ２０２０へ移行する。
【０１２４】
ステップＳ２０１２では、ｌｔが"("を含むかを判定し、含む場合はステップＳ２０１４へ移行し、含まない場合はステップＳ２０１６へ移行する。
【０１２５】
ステップＳ２０１４では、学習用入力文の単語ｘｉが、ｌｔを頂点とする句構造木に含まれ、かつ最も右であるかを判定し、条満たす場合はステップＳ２０１８へ移行し、条件を満たさない場合はステップＳ２０２０へ移行する。
【０１２６】
ステップＳ２０１６では、学習用入力文の単語ｘｉが、ｌｔを頂点とする句構造木に含まれ、かつ最も左であるかを判定し、条満たす場合はステップＳ２０１８へ移行し、条件を満たさない場合はステップＳ２０２０へ移行する。
【０１２７】
ステップＳ２０１８では、αit＝１とする。
【０１２８】
ステップＳ２０２０では、αit＝０とする。
【０１２９】
ステップＳ２０２２では、ｉ＝ｉ＋１とする。なお、ｉをカウントアップすることをｉ＝ｉ＋１と表記する。
【０１３０】
ステップＳ２０２４では、ｉ＞ｎかを判定し、条満たす場合はステップＳ２０２６へ移行し、条件を満たさない場合はステップＳ２００４へ移行する。
【０１３１】
ステップＳ２０２６では、ｔ＜ｍかを判定し、条満たす場合はステップＳ２０２６へ移行し、条件を満たさない場合は処理を終了する。
【０１３２】
以上説明したように、本発明の実施の形態に係る句構造学習装置２００によれば、入力文と、入力文を表す句構造木の各ノードの句構造ラベルからなる句構造ラベル列であって、正規化された句構造ラベル列とに基づいて、句構造解析器２４０に含まれる、句構造ラベルに対する、入力文の各単語の重みを出力する注意機構３を学習するための、単語と句構造ラベルの対応付けからなる学習データを生成することにより、注意機構３のための学習データを用いて、精度よく句構造を解析するための句構造解析器２４０を学習することができる。
【０１３３】
なお、本発明は、上述した実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。
【０１３４】
例えば、上述した実施の形態では、句構造学習装置２００は、学習データ生成部２３０により学習データを生成し、学習部２３２により注意機構３を含む句構造解析器２４０を学習する場合を例に説明したが、これに限定されるものではなく、学習データ生成部２３０の学習データの生成、及び学習部２３２による注意機構３を含む句構造解析器２４０の学習をそれぞれ別の装置により実現するようにしてもよい。
【符号の説明】
【０１３５】
１     エンコード部
２     デコード部
３     注意機構
４     出力部
１０、２１０  入力部
２０、２２０  演算部
３０   句構造解析部
４０、２４０  句構造解析器
１００ 句構造解析装置
２００ 句構造学習装置
２３０ 学習データ生成部
２３２ 学習部
【図１】
2019091172.tif 000020
【図２】
2019091172.tif 000021
【図３】
2019091172.tif 000022
【図４】
2019091172.tif 000023
【図５】
2019091172.tif 000024
【図６】
2019091172.tif 000025
【図７】
2019091172.tif 000026
【図８】
2019091172.tif 000027
【図９】
2019091172.tif 000028
【図１０】
2019091172.tif 000029
【図１１】
2019091172.tif 000030
【図１２】
2019091172.tif 000031
【図１３】
2019091172.tif 000032
【図１４】
2019091172.tif 000033
【図１５】
2019091172.tif 000034
【図１６】
2019091172.tif 000035
【図１７】
2019091172.tif 000036
【図１８】
2019091172.tif 000037
【図１９】
2019091172.tif 000038
【図２０】
2019091172.tif 000039
【図２１】
2019091172.tif 000040
【図２２】
2019091172.tif 000041