機械翻訳のための係り受け構造に基づくトランスフォーマーモデルの研究
Studies on Dependency-Based Transformer Models for Machine Translation

愛媛大学大学院理工学研究科教授

二宮崇2001 年東京大学大学院理学系研究科情報科学専攻博士課程修了。博士（理学）。2017 年より愛媛大学大学院理工学研究科教授。自然言語処理の研究に従事。

愛媛大学大学院理工学研究科電子情報工学専攻

表悠太郎

2019 年愛媛大学工学部情報工学科卒業。現在、愛媛大学大学院理工学研究科電子情報工学専攻博士前期課程在学中。
自然言語処理の研究に従事。

愛媛大学大学院理工学研究科電子情報工学専攻

出口祥之

2019 年愛媛大学工学部情報工学科卒業。現在、愛媛大学大学院理工学研究科電子情報工学専攻博士前期課程在学中。
自然言語処理の研究に従事。

愛媛大学大学院理工学研究科助教

田村晃裕

2013 年東京工業大学大学院総合理工学研究科博士課程修了。博士（工学）。2017 年より愛媛大学大学院理工学研究科助教。自然言語処理の研究に従事。

1

注目されている。従来のニューラル機械翻訳は、大きはじめにく分けると、各言語の中間表現を求める計算機構とし機械翻訳は自然言語処理の初期から盛んに研究され、て、畳み込みニューラルネットワーク（Convolutional

様々な手法が提案されてきているが、近年では、ニューNeural Network; CNN）を用いるニューラル機械翻ラルネットワークを用いた機械翻訳（ニューラル機械翻訳 [2] と 再 帰 型 ニ ュ ー ラ ル ネ ッ ト ワ ー ク（Recurrent訳）が高い精度と自然な翻訳を実現することから盛んにNeural Network; RNN）を用いるニューラル機械翻研究されている。特に、同一文内の単語間の関係を捉え

訳 [3][4] に分けられていたが、トランスフォーマーはいる自己アテンション（Self Attention）という構造をずれのモデルとも異なり、各言語の中間表現を計算する用いたトランスフォーマー（Transformer） に基づくために、原言語文（翻訳元言語の文）や目的言語文（翻モデルが最も高い精度を実現することから現在大きく訳先言語の文）のすべての単語の組み合わせに対する[1]280アテンション（自己アテンション）を計算して中間表現る。

を求める点を大きな特徴とする。トランスフォーマー
では、語順や前後関係など各単語の文中における位置に関する情報は、位置エンコーディング（PositionalEncoding）を用いて各単語の埋め込み表現に付随させている。

2

トランスフォーマー [1]トランスフォーマー [1] は、自己アテンションという構造を持ったエンコーダとデコーダから構成されるニューラル機械翻訳モデルである。トランスフォーマーための手法がいくつか提案されており、Shaw ら [5] は、の概要図を図 1 に示す。トランスフォーマーは、エン単語の絶対的な位置情報に加えて、文中における単語間コーダレイヤとデコーダレイヤがそれぞれ複数層スタッの相対的な位置関係情報を自己アテンションにおいてクされたエンコーダ・デコーダ構造を持つ。エンコーダ考慮することでトランスフォーマーの精度改善を行っでは、入力された原言語文から中間表現を獲得する処理ている。Strubell ら [6] は、意味役割付与（Semanticが行われる。デコーダでは、中間表現から目的言語文をRole Labeling）において、構文情報（係り受け構造）予測し、1 単語ずつ逐次的に出力する処理が行われる。

を用いて自己アテンションの重み付けを学習するマルチタスク学習や、構文情報を直接自己アテンションに用いる手法を提案している。これまで、統計的機械翻訳やニューラル機械翻訳では、原言語文や目的言語文、あるいはその両方の構文情報（句構造や係り受け構造など）を活用することで翻訳精度が改善されることが知られているため [7][8][9][10]、トランスフォーマーにおいても構文情報を用いることで精度が改善されることが期待される。しかしながら、これまで構文情報を陽に活用した機械翻訳のためのトランスフォーマーモデルはまだ提案されていない。
本稿は、愛媛大学で行っている係り受け構造を用いたトランスフォーマーモデルの研究を 2 つ紹介する。一つは、原言語側の係り受け構造の情報をトランスフォーマーの相対的位置表現に用いた新しいニューラル機械翻訳 [11] である。この研究は、Shaw ら [5] が用いている相対的位置関係に注目し、語順に対する相対的位置関係だけを用いるのではなく、原言語文を係り受け解析し、得られた係り受け構造における単語間の相対的位置関係を埋め込んだベクトルを単語埋め込みベクトルに付随させることを行う。もう一つの研究は、意味役割付与で用いられる Strubell ら[6] の手法を機械翻訳に応用し、係り受け構造に基づく自己アテンションと機械翻訳のモデ

図1

トランスフォーマーの概要図

ルを同時に学習するマルチタスク学習を行う研究 [12] でトランスフォーマーのエンコーダとデコーダでは、まある。構文解析器により得られる係り受け構造を自己アず、埋込み層で入力単語列（エンコーダ側は原言語文のテンションの正解データと捉え、自己アテンションの出単語列、デコーダ側は目的言語文の単語列）を埋込み表力と係り受け構造の差分を小さくする制約を目的関数の現を表す行列に変換する。その後、トランスフォーマー一つとして導入することで、マルチタスク学習を実現す

は RNN に基づくニューラル機械翻訳とは異なり再帰的YEAR BOOK 2O19 281

4

機械翻訳技術の向上

トランスフォーマーや自己アテンションを改善する

な構造を持たないため、位置エンコーディングにより単み行列 である。各ヘッドの出力は連結され、重み行列語の系列情報を付与する。具体的には、入力単語列の埋WO で線形写像する機構がマルチヘッドアテンションで込み表現行列に対して、各単語の文における絶対的な位ある。

置情報をエンコードした行列 PE を加える。PE の各成

デコーダの自己アテンションでは、デコーダの内部分は異なる周波数の sin、cos 関数を用いて次式により状態系列を用いて計算を行う。ただし、推論時には、予算出したものである。

測する単語より後で生成される単語を知ることはできな

PE（pos, 2i）＝ sin（pos ／ 10000）

2i/d

い。そのため、デコーダの自己アテンションでは、予測PE（pos, 2i ＋ 1）＝ cos（pos ／ 100002i/d）する単語とそれより後方に位置する単語の間の関係性をここで、d は入力単語の埋込み次元、pos は単語の考慮しないようにマスクしたマスキング付き自己アテン

位置、i は各成分の次元を表す。単語埋込み表現行列にPE を加えたものが、第 1 層目のエンコーダレイヤやデションを用いる。
デコーダは、最終のデコーダレイヤの出力 h1,…,hnに対して線形変換を施し、その後ソフトマックス関数をコーダレイヤの入力となる。
エンコーダレイヤは、下位のサブレイヤから順に、原言語文中の単語間の関係を捉える自己アテンション、位施すことによって、目的言語の各単語の生成確率分布を得る。

置ごとのフィードフォーワードネットワーク（FFN）の２つのサブレイヤで構成されている。デコーダレイヤ
は、下位のサブレイヤから順に、目的言語文中の単語間

3

係り受け構造に基づく相対的位置表
現を用いたトランスフォーマーモデルの関係を捉えるマスキング付き自己アテンション、原言

本節では、最初に Shaw ら [5] の相対的な位置表現を語文の単語と目的言語文の単語間の関係を捉えるアテン用いたトランスフォーマーについて説明し、続いて我々ション（言語間アテンション）、位置ごとの FFN の 3の提案手法である係り受け構造に対する相対的位置表現つのサブレイヤで構成されている。

を用いたトランスフォーマーモデルについて説明する。

各サブレイヤ間では、残差接続[13]を行った後にレイヤ正規化 [14] が適用される。レイヤ正規化を適用する関数を LayerNorm、下位のサブレイヤからの出力を x、3.1

相 対 的 位 置 表 現 を 用 い た ト ラ ン ス
フォーマー [5]現在のサブレイヤの処理を行う関数を SubLayer とす

Shaw ら [5] は、2 単語間の相対的な位置関係をトラると、LayerNorm（x+ SubLayer（x））がサブレイヤ

ンスフォーマーエンコーダおよびデコーダ内の自己アテの出力となる。

ンションで捉える手法を提案した。Shaw らの手法では、自己アテンションと言語間アテンションはマルチ

入力文中の各単語の中間表現 xi、xj 間の関係は重みベク

ヘッドアテンションを用いて実現されている。マルチ

トルベクトル aV（j － i）、aK（j － i） で表現する。そして、サヘッドを用いることは、複数のアテンション機構を持つブレイヤの出力に単語間の相対的位置情報を付加して次ことに相当し、マルチヘッドの数を h としたとき、入の層への入力とする。具体的には、次式を用いて自己ア力を線形変換により d 次元ベクトルを d/h 次元に縮退

テンションの出力系列 z1,…,zn を求める。

させ、d/h 次元のベクトルを各ヘッドに渡す。アテンション機構への入力列を x1,…,xn としたとき、各ヘッドは次

zi ＝Σj α ij（xj WV ＋ aV（j － i））の z1,…,zn を計算する。
また、自己アテンション計算過程の eij も単語間の相
zi ＝Σ j α ij xj W

V

対的位置情報を考慮するため、次式を用いる。

α ij ＝ exp（eij）／Σk exp（eik）

282

0.5
eij ＝（xiWQ）（xjWK）T ／（d ／ h）

0.5
（xjWK ＋ aK（j － i））T ／（d ／ h）
eij ＝（xiWQ）

WQ、WK、WV はそれぞれヘッド毎に定義される重Shaw らは、単語間が一定距離以上離れると離れ具合の影響は少ないと仮定し、相対的位置の距離の最大値ラベルを表 1 に示す。表 1 では、行が単語 wi、列が単を定数 k と定め、それより離れた相対的位置 j － i は k語 wj に対応している。としている。
表13.2

係り受け構造に対する相対的位置の例

My

提案手法

本節では、最初に係り受け関係について説明し、続いて提案手法となる係り受け構造に対する相対的位置表現

father bought a

red car .

My0－1－200 －1 －1

father10－1

110011bought

21022を用いたトランスフォーマーモデルについて説明する。

a0－1－200 －1 －1

係り受け関係とは、単語間の「修飾」「被修飾」のred0－1－200 －1 －1

car

10－11100.

10－11100関係のことであり、方向性を持つ。一例として、“Myfather bought a red car. ” という文の係り受け構造被修飾語（主辞）を表し、下側の単語が修飾語を表す。

相対的位置ラベルをもとに、原言語文の各単語の中間つまり、単語 A が単語 B を修飾するとき、単語 A は単表現 xi、xj 間の係り受け構造に対する相対的位置関係を語 B の子ノードになる。係り受け構造は単語をノード

ベクトル bVdep（i, j）、bKdep（i, j）で表現し、次式を用いて自とする全域木になっている。

己アテンションの出力系列 z1,…,zn を求める。

boughtMy

また、自己アテンション計算過程の eij も単語間の相対的位置情報を考慮するため、次式を用いる。

a図2.

carfatherzi ＝Σj α ij（xj WV ＋ bVdep（i, j））

red係り受け構造の例

提案手法では、Shaw ら [5] に倣い、原言語文の係り受け構造における相対的位置ラベルを埋込みベクトルで0.5（xjWK ＋ bKdep（i, j））T ／（d ／ h）
eij ＝（xiWQ）

係り受け構造における相対的位置関係においても、一定以上距離が大きいと離れ具合の影響は少なくなると仮定し、最大距離を定数 k に制限する。

表現し、原言語文中の 2 単語間の係り受け構造におけ上述の手法を提案手法 1 とする。提案手法 1 に加える相対的位置の情報をトランスフォーマーエンコーダ内て、Shaw ら [5] の提案する文内における相対的位置表の自己アテンションに導入する。原言語文中の 2 単語現の両方の情報を考慮する手法を提案手法 2 とする。

wi、wj に対して、係り受け構造における相対的位置関

具体的には、aV（j―i）、bVdep（i, j）と aK（j―i）、bKdep（i, j）をそれ係を表す位置ラベル dep（i, j）を次の通り与える。

ぞれ加算したベクトル cVij、cKij を 2 単語間の相対的位

単語 wi と単語 wj に対応する係り受け構造のノード置情報として用いる。つまり、提案手法 2 は次式を用（i, j）＝ depth（nj）－をそれぞれ ni と nj とすると、dep

いて自己アテンションの出力系列 z1,…,zn を求める。

depth（ni）とする。ここで、depth（n）はノード n の深さを表す。例えば、図 2 において、“My”（＝ w1）を

cKij ＝ aK（j―i）＋bKdep（i, j）基準にした “bought”（＝ w3）との位置関係を表す位

cVij ＝ aV（j―i）＋bVdep（i, j）

置ラベルは dep
（1, 3）＝ 0 － 2 ＝－ 2 である。この定zi ＝Σj αij（xj WV ＋ cVij）義より、係り受け構造においてある単語の親方向は負、0.5（xjWK ＋ cKij）T ／（d ／ h）
eij ＝（xiWQ）

子方向は正の値で相対的位置関係が表される。
図 2 の係り受け構造における 2 単語間の相対的位置

YEAR BOOK 2O19 283

機械翻訳技術の向上

4を図 2 に示す。隣接する 2 単語の関係は上側の単語が

3.3

実験やすく、拡張性が高い。ASPEC データ [15] を用いた評

本実験では、科学技術論文の概要から作成された対価実験を通じて、日英翻訳タスクにおいては、原言語文訳 文 集 合 で あ る ASPEC（Asian Scientific Paperの係り受け構造に対する相対的位置表現を考慮することを用いて日英翻訳を行った。英語でトランスフォーマーモデルの精度改善を達成できるこExcerpt Corpus）[15]

文の単語分割は Moses[16]

割は KyTea[17]を用い、日本語文の単語分とを確認した。

を用いて行った。また、EDA を用いて係り受け解析を行った。モデルの学習では、英語文・日本語文ともに文長 50 単語以下の 1,341,417 対訳文対を使用した。検証データとして 1,790 文対、テスト係り受け構造に基づく自己アテンショ

4 ンを用いたトランスフォーマーモデル

意味役割付与で用いられる Strubell ら [6] の手法を機
械翻訳に応用し、係り受け構造に基づく自己アテンショデータとして 1,812 文対を用いた。
実験では、2 種類の提案手法を、従来の絶対的位置表現を考慮するトランスフォーマー（Transformerabs）[1]ンの重み付けと機械翻訳のモデルを同時に学習するマルチタスク学習を行う。と 文 中 の 相 対 的 位 置 表 現 を 考 慮 す る Transformer

4.1[5]と比較する。
（Transformerrel）

提案手法

Strubell ら [6] は、意味役割付与のタスクにおいて、
表2

実験結果（日→英）BLEU(%)

係り受け構造に基づく自己アテンションの重み付けと機械翻訳のモデルを同時に学習するマルチタスク学習を提Transformerabs[1]25.91

Transformerrel[5]26.72

提案手法 126.10のためのトランスフォーマーエンコーダとデコーダの両提案手法 227.22

方に彼らの手法を適用し、さらにサブワードに対応する案している。本研究は、彼らの手法に基づき、機械翻訳ことを行う。
実 験 結 果 を 表 2 に 示 す。 な お、 翻 訳 性 能 の 評 価

トランスフォーマーの自己アテンションαij の計算過

指 標 は BLEU を 用 い た。 表 2 よ り、 提 案 手 法 1 と程において eij は 2 単語の埋め込み表現に対する内積でTransformerabs の 性 能 差 は 0.19 ポ イ ン ト で あ り 同計算されていたが、内積の計算の代わりに次式で表され等の性能であったが、提案手法 2 は Transformerabs

るバイアフィン計算を行い、2 単語間の関係を直接学習と 比 較 し て BLEU（%） が 1.31 ポ イ ン ト 上 回 り、する。

Transformerrel と 比 較 し て 0.50 ポ イ ン ト 上 回 っ た。
これらの結果より、日英翻訳タスクにおいては、原言語

αij ＝ exp（eij）／Σk exp（eik）

文の係り受け構造を相対的位置表現で考慮することでト0.5
eij ＝（xiWQ）U（xjWK）T ／（d ／ h）

ランスフォーマーモデルの翻訳精度を改善できることが分かった。

U は 2 単語間の関係を表す重み行列となる。
次に、係り受け解析器により得られる係り受け構造を3.5まとめ

本研究では、トランスフォーマーにおいて原言語文学習を行う。係り受け構造に対し、単語 wi が wj に係るの係り受け構造を活用するため、原言語の係り受け構造場合、dij ＝ 1 とし、それ以外の場合は dij ＝ 0 とする。

における単語間の相対的位置関係をトランスフォーマー

例えば、図 3 の係り受け構造に対して、dij は図 4（b）エンコーダの自己アテンションの中の相対的位置表現にのような行列となる。

導入する手法を提案した。提案手法は係り受け情報を単語埋め込みベクトルに付随させるだけなので、トランスフォーマー全体の仕組みや目的関数を変更する必要がな
く、その他のトランスフォーマーの拡張モデルに適応し284

アテンションの教師データとして捉え、係り受け解析のドとすることで対応した。図 6 は “listen” が “li@@”、“s@@”、“ten” というサブワードに分割された場合の係り受け構造の例を示している。図左側が単語単位の係り受け構造を表し、図右側がサブワード単位の係り受け
図3I

listento構造を示している。

係り受け構造jazz

Ilistentojazz

100II0listen

listen0100

toto0001

jazz

jazz

0100

図4

図6係り受け構造のサブワード化

提案手法の学習は、機械翻訳の学習、エンコーダにおける係り受け構造の学習、デコーダにおける係り受け構造の学習に対する目的関数を線形補間したマルチタスク学習により行う。

自己アテンションと係り受け構造

図4（a）は自己アテンションαij の大きさを色の濃さ4.3

実験で表現したヒートマップであり、図 4（a）のヒートマッ

本実験では、科学技術論文の概要から作成された対プが図 4（b）の係り受け構造に近づくように自己アテ訳 文 集 合 で あ る ASPEC（Asian Scientific Paperンションの学習が行われる。

Excerpt Corpus）[15] を用いて日英翻訳を行った。英デコード時には、トランスフォーマーデコーダにおい語文の単語分割は Moses［16］ を用い、係り受け解析はて、未来に生成される単語の自己アテンションを計算す

Stanford CoreNLP［18］ を用いて行った。日本語文はることができないため、ヒートマップおよび係り受け構KyTea[17] を用いて単語分割を行い、EDA を用いて係造のマスキング処理を行う。図 5 はデコーダのマスキり受け解析を行った。サブワード化には BPE[19] を用ング処理を表す。斜線で表された要素がマスクされておいた。モデルの学習では、サブワード長 250 以下のり、マスクされた要素の自己アテンションの計算および1,198,149 対訳文対を使用した。検証データとして係り受け構造との差分の計算は行わない。

1,790 文対、テストデータとして 1,812 文対を用いた。

I

listentojazzI

listentoI

listenlisten

01

to

to000

jazz

jazz

010(a) 自己アテンションαij

図5jazz表3I0

実験結果

BLEU(%)

0(b) 係り受け構造 dij

デコーダのマスキング処理

Transformer[1]27.29

提案手法

28.29

実験結果を表 3 に示す。翻訳性能の評価指標にはBLEU を用いた。表 3 より、提案手法を用いることにを入力とする

より BLEU（%）が 1.0 ポイント上昇していることがサブワード化が行われているが、係り受け解析は単語単わかる。この結果より、係り受け構造に対する自己アテ位で行われるため、提案手法に対して直接サブワード化ンションの学習を行うことで、トランスフォーマーモデを適用することはできない。本研究では、サブワード化

ルの翻訳精度を改善できることが分かった。

現在の多くの NMT はサブワード列[19]に対応するため、係り受け関係にある単語に対し、（1）他の単語からの係り先は一番左端のサブワードとし、4.4まとめ（2）単語中のサブワードの係り先は右隣りのサブワー本研究では、原言語および目的言語における係り受けドとし、（3）他の単語に係る係り元は右端のサブワー構造を自己アテンションの学習に用いることでトランスYEAR BOOK 2O19 285

4

機械翻訳技術の向上(b) 係り受け構造 dij(a) 自己アテンションαijli@@ s@@ tenlistenフォーマーモデルを改善する手法を提案した。提案手法

参考文献

は、係り受け構造を自己アテンションの正解とみなすこ[1] A. Vaswani, N. Shazeer, N. Parmar, J.とにより、機械翻訳の学習と、エンコーダの自己アテン

Uszkoreit, L. Jones, A. N. Gomez, L. U.

ションの学習と、デコーダの自己アテンションの学習をKaiser, and I. Polosukhin.（2017）Attention同時に学習するマルチタスク学習を行う。デコーダに適is all you need. Advances in Neural

用する際にはマスキングを施すことにより、学習時とテInformation Processing Systems 30, pp.

スト時の不整合を解消する。サブワード化に対応するた

5998—6008.

め、単語単位の係り受けをサブワード単位の係り受けに[2] J. Gehring, M. Auli, D. Grangier, D. Yarats,変換する手法を提案した。提案手法は、学習時には係りand Y. N. Dauphin.（2017）Convolutional

受け構造を解析する係り受け解析器が必要となるが、係sequence to sequence learning. In Proc. ofり受け解析も同時に学習されるため、テスト時には係り

ICML 2017, pp. 1243—1252.

受け解析器を必要としない。ASPEC データ [15] を用い[3] I. Sutskever, O. Vinyals, and Q. V. Le.（2014）

た日英翻訳の評価実験を通じて、提案手法によりトランSequence to sequence learning with neural

スフォーマーモデルの精度改善を達成できることを確認

networks. Advances in Neural Information

した。

Processing Systems 27, pp. 3104—3112.
[4] T. Luong, H. Pham, and C. D. Manning.

謝辞
本研究成果は、国立研究開発法人情報通信研究機構の委託研究により得られたものである。ここに謝意を表する。

（2015）Effective approaches to attentionbased neural machine translation. In Proc. ofEMNLP 2015, pp. 1412—1421.
[5] P. Shaw, J. Uszkoreit, and A. Vaswani.
（2018）Self-attention with relative position
representations. In Proc. of NAACL 2018
Short Papers, pp. 464—468.
[6] E. Strubell, P. Verga, D. Andor, D. Weiss, andA. McCallum.（2018）Linguistically-informed
self-attention for semantic role labeling. In
Proc. of EMNLP 2018, pp. 5027—5038.
[7] Y. Ding and M. Palmer. （2005） Machinetranslation using probabilistic synchronous
dependency insertion grammars. In Proc. ofACL 2005, pp. 541—548.
[8] K. Chen, R. Wang, M. Utiyama, L. Liu, A.
Tamura, E. Sumita, and T. Zhao.（2017）
Neural machine translation with source
dependency representation. In Proc. ofEMNLP 2017, pp. 2846—2852.
[9] A. Eriguchi, Y. Tsuruoka, and K. Cho.（2017）
Learning to parse and translate improvesneural machine translation. In Proc. of ACL
2017 Short Papers, pp. 72—78.
[10] S. Wu, D. Zhang, Z. Zhang, N. Yang, M.

286Li, and M. Zhou.（2018）Dependency-to-Neural machine translation of rare words

dependency neural machine translation.

with subword units. In Proc. of ACL 2016,

IEEE/ACM Trans. Audio, Speech and Lang,

pp. 311—318.

Vol. 26, No. 11, pp. 2132—2141.
[11] Y. Omote, A. Tamura, and T. Ninomiya.
（2019） Dependency-Based Relative
Positional Encoding for Transformer NMT. In
Proc. of RANLP 2019.
[12] H. Deguchi, A. Tamura, and T. Ninomiya.
（2019）Dependency-Based Self-Attention
for Transofrmer NMT. In Proc. of RANLP

4

機械翻訳技術の向上

2019.
[13] K. He, X. Zhang, S. Ren, and J. Sun.（2016）
Deep residual learning for image recognition.
In Proc. of CVPR 2016, pp. 770—778.
[14] J. L. Ba, J. R. Kiros, and G. E. Hinton.
（2016）Layer normalization. arXiv preprint
arXiv:1607.06450.
[15 T. Nakazawa, M. Yaguchi, K. Uchimoto, M.
Utiyama, E. Sumita, S. Kurohashi, and H.
Isahara.（2016）ASPEC: Asian scientificpaper excerpt corpus. In Proc. of LREC
2016, pp. 2204—2208.
[16]P. Koehn, H. Hoang, A. Birch, C. CallisonBurch, M. Federico, N. Bertoldi, B. Cowan, W.
Shen, C. Moran, R. Zens, C. Dyer, O. Bojar, A.
Constantin, and E. Herbst.（2007）Moses:
open source toolkit for statistical machinetranslation, In Proc. of ACL on Interactive
Poster and Demonstration Sessions, pp.
177—180.
[17] G. Neubig, Y. Nakata, and S. Mori.（2011）
Pointwise prediction for robust, adaptable
Japanese morphological analysis. In Proc. ofACL 2011, pp. 529—533.
[18] C. D. Manning, M. Surdeanu, J. Bauer, J.
Finkel, S. J. Bethard, and D. McClosky.
（2014） The Stanford CoreNLP natural
language processing toolkit. In Proc. of ACL
System Demonstrations, pp. 55—60.
[19] R. Sennrich, B. Haddow, and A. Birch.（2016）

YEAR BOOK 2O19 287