言語処理学会 第24回年次大会 発表論文集 (2018年3月)

大規模名詞句フレーズの SMT 訳への後処理型置き換えによる
NMT の評価 ∗飯田 頌平 †龍 梓‡
木村 龍一郎 ‡ 宇津呂 武仁 ‡ 三橋 朋晴 §山本 幹雄 ‡†東京電機大学 工学部 ‡筑波大学大学院 システム情報工学研究科 §日本特許情報機構

1

語彙数を目的関数とした貪欲法を用いており，Wu らはじめにニューラルネット機械翻訳 (NMT) とは，Sutskever らによる Sequence-to-Sequence モデル [8] をベースとした手法であり，その長所は流暢な翻訳ができることである．しかし NMT では使える語彙の数に制約があり，専門用語の翻訳に弱いという欠点がある．この問題はの手法 [11] および SentencePiece ツール 1 では，目的関数としてエントロピーを最尤推定して最適化している．本稿では，Wu らの手法 [11] がより優れた成果を挙げた 1 ことを受け，SentencePiece による語彙集合を利用した評価結果を示す．

2

NMT における名詞句フレーズのSMT 訳への置き換え方式

情報を付加してアライメントを追跡し，その後単純な

2.1

NMT モデルにおける語彙集合

辞書検索により未知語を翻訳結果に置き換える手法 [6]

本論文では，単語単位・形態素単位のものと，Senten-などが知られている．しかし，このアプローチでは 専
門用語の一部であっても単独の未知語として解釈してcePiece によるものの二種類の語彙集合を用いる．前者としては，英語文は単語単位を基本とし，さらに英いたため，特許文の翻訳には制限があった．

文中の記号を空白で分割するために，Moses [3] の To-

新規の専門用語を多く含む特許文の翻訳において，特に深刻な問題となる．これまでの NMT システムにおける語彙数制限の研究では，未知語の出現箇所に位置この点を改善したものとして，Long らによる大規模kenizer ツールを用いた．日本語は形態素解析ツール

専門用語を含む特許文に対応した NMT システムに関する研究 [5] がある．この手法では，対訳特許文中のMeCab2 (IPAdic) を使用して形態素単位の語彙集合を定義した．一方，後者としては，日本語文・英語文そ専門用語をトークンで置き換えて NMT モデルの訓練

れぞれ SentencePiece 単位で処理した語彙集合を使用を行い，翻訳文中のトークンを統計的機械翻訳 (SMT)する．

による翻訳結果で置き換える．しかし，この手法では

2.2

元々の特許文に含まれていた数万語彙にもおよぶ名詞句フレーズを僅か数個のトークンに置き換えることで，本来は異なる名詞句フレーズを含んでいた別々の文章が，NMT モデル上同種のフレーズを含む文章として扱われてしまうことになる．そこで，本論文では，トークンを使用せずに NMT 訳中の専門用語を SMT の翻言語知識に基づき選定した名詞句フレーズ

本論文では，日本語の入力文において，言語知識に基づく形態素解析ツールを用いて各形態素・単語に付与した品詞情報を利用し，名詞句を抽出するための品詞パターンを以下のように定義する．

(名詞 | 接頭辞 | 動詞 | 形容詞) + 名詞

訳結果で直接置き換える NMT システムを提案する．
また，近年，SMT を使うアプローチとは別に，単語をサブワード単位または文字単位に分割することでこの品詞パターンを満たす形態素・単語列を名詞句フ未知語なしでコーパスを網羅した NMT モデルを訓練レーズとみなして抽出する．なお，形態素解析ツールする研究が行われている．Sennrich らの手法 [7] では，には MeCab (IPAdic) を使用した．SentencePiece は品詞情報を持たないため，名詞句フレーズの抽出には利∗ Evaluating

NMT by Post-Replacement with Large-scale NounPhrases Translated by SMT† Shohei Iida, School of Engineering, Tokyo Denki University‡ Zi Long, Ryuichiro Kimura, Takehito Utsuro, Mikio Yamamoto,
Graduate School of Systems and Information Engineering, Universityof Tsukuba§ Tomoharu Mistuhashi, Japan Patent Information Organization

用しない．

― 635 ―

1 https://github.com/google/sentencepiece2 http://taku910.github.io/mecab/

Copyright(C) 2018 The Association for Natural Language Processing.
All Rights Reserved.

MeCab༢఩䞉䞉 SMT䛻䜘䜛 ኱ㄒᙡ䝣䝺䞊䝈⩻ヂᙡ䝣䝺䞊䝈⩻ヂྡモྃ䝣䝺䞊䝈 ᑐヂ ᑐ㍈ཷ䠖㍈ཷ䠖㍈ཷ䠖㍈ཷ䠖
㍈ཷ䠖㍈ཷ䠖㍈ཷ䠖
ball bearings᪥ᮏㄒධຊᩥ(MeCab༢఩)䠖䛣 䛾/෭༷/䛻䜘䜚 /䚸 /䜸䜲䝹 /䛿/㌿䛜䜚 /㍈ཷ/5/䛚䜘䜃 /6/䜢 /₶⁥/
䛩䜛 /㝿/䛻/Ⓨ⏕/䛧 /䛯/⇕/䜢 /ᨺฟ/䛩䜛 /䚹䠍 . SMT䛻䜘䜛
ධຊᩥ⩻ヂ

㍈ཷ䠖

SentencePiece༢఩䞉䞉 NMT䛻䜘䜛 ධຊᩥ⩻ヂᩥ⩻ヂ

䠎 . ᩥ䜢 SentencePiece༢఩䛻ኚ᥮᪥ᮏㄒධຊᩥ(SentencePiece༢఩)䠖_䛣 䛾/෭༷/䛻䜘䜚 /䚸 /䜸䜲䝹 /䛿/㌿䛜䜚㍈ཷ
㍈ཷ
/㍈ཷ/5/䛚䜘䜃㍈ཷ
㍈ཷ
㍈ཷ
/6/䜢 /㍈ཷ₶⁥/䛩䜛㝿 䛻/Ⓨ⏕䛧䛯 /⇕/䜢 ᨺฟ䛩䜛 /䚹䠏 . NMT䛻䜘䜛
ධຊᩥ⩻ヂ

㍈ཷ

ⱥㄒฟຊᩥ(SentencePiece༢఩)䠖
_by/_this/_cooling/,/_the/_oil/_releases/_the/_heat/_generated/_when/_the/_rolling/_bearings/_5/_and/_6/_are/_lubricated/.

䠐 . SentencePiece䛾ㄒᙡ༢఩䛾NMTヂᩥ䜢ᚓ䛯 ᚋ䠈✵ⓑ༊ษ䜚䛾 NMTヂᩥ䛻ኚ᥮䛩䜛 䠊 GIZA++䛷
ධຊᩥ(MeCab༢఩)䛸 NMTヂᩥ(✵ⓑ༊ษ䜚 )䛾
䜰䝷䜲䝷䜲䝯䞁䝯䞁䝖䜢䝖䜢䜢ྲྀ䜚ྲྀ䜚 䠈䠈NMTヂᩥ(✵ⓑ༊ษ༢ㄒ䜰䝷䜲ྲྀ䜚NMTヂᩥ(✵ⓑ༊ษ䜚 )䛾ྡモྃ䝣䝺䞊䝈䜢 SMTヂ䛷⨨䛝᥮䛘
SMTヂ䛷⨨䛝᥮䛘䜛䜛䠊ⱥㄒฟຊᩥ(✵ⓑ༊ษ䜚༢఩ )䠖
by/this/cooling/,/the/oil/releases/the/heat/generated/when/the/ball/bearings/5/and/6/are/lubricated/.

図 1: SentencePieceNMT による翻訳文中の名詞句フレーズを MecabSMT で置き換えるシステム

2.3

名詞句フレーズの SMT 訳への置き換え

NMT 訳文 (空白区切り) の間で単語アライメント

図 1 に沿って，SentencePiece 単位の語彙に対応したを取り，日本語名詞句フレーズとその NMT 訳かNMT モデルを用いて，NMT 翻訳文中の名詞句フレーズを SMT 訳に置き換える流れを以下に示す．

らなる名詞句フレーズ対訳対を得る．そして NMT

ステップ 1 はじめに，MeCab 単位の語彙の日本語入力文を使用して，SMT による翻訳を行う．翻訳の過程で GIZA++により入力文と SMT 翻訳文の間の単語アライメントが得られるので，あらかじめ抽出した日本語名詞句フレーズとその SMT 訳

訳文中の名詞句フレーズを，SMT による名詞句フレーズで置き換える．
単語がアライメントに含まれていない場合や，目的言語側で離れた位置に翻訳された場合など，単語アライメントによって翻訳結果が同定できない場合には，SMT による翻訳置き換えに失敗したものとして，NMT訳をそのまま出力する．

からなる名詞句フレーズ対訳対を得る．
ステップ 2 形態素解析前の日本語入力文を Sentence-Piece の語彙単位に分割する．
ステップ 3 SentencePiece の語彙単位に分割された訓練コーパスを用いて訓練した NMT モデルにより入力文を翻訳する．

3

評価

3.1

データセット

訓練・評価用データセットとして 110 万行からなる対訳特許文 (NTCIR-7 特許翻訳タスク [1] における日英対訳特許文．詳細は [5] 参照) のコーパスを使用した．そのうち検証用データとして 1,000 行を，SMTステップ 4 SentencePiece の語彙単位の NMT 訳文をのチューニング用に 1,000 行をそれぞれ無作為に抽出得た後，空白区切りの NMT 訳文に変換する．

して，残りのデータを NMT および SMT モデルの訓GIZA++によって入力日本語文 (MeCab 単位) と練用データとして用いた． NMT モデル訓練時の語彙― 636 ―Copyright(C) 2018 The Association for Natural Language Processing.
All Rights Reserved.

の置き換えを行うと， BLEU スコアが 1.04 ポイント，
表 1: 自動評価結果
モデル

MeCab NMT
名詞句置換なし
MeCab NMT
提案手法で名詞句置換
SentencePiece NMT
名詞句置換なし
SentencePiece NMT
提案手法で名詞句置換
MeCab NMTLong の手法 [5] で名詞句置換

BLEU

名詞句再現率が 4.5%向上した．

39.56
40.72
39.84
40.88
40.36MeCab 単位のモデルに対して名詞句の置き換えを行っ

52.3%(1329/2539)
57.6%(1463/2539)
51.3%(1302/2539)
55.8%(1417/2539)
59.3%(1505/2539)

たところ，BLEU スコアが 0.80 ポイント，名詞句再現率が 7.0%向上した．提案手法は Long のモデル [5] よりもより高い BLEU スコアとなるものの，名詞句の再現率では Long のモデル [5] の方がより優れた結果となった．
無作為に選定した少量の検証文に対して人手評価を行ったところ，MeCab 単位の NMT モデルよりも集合としては，MeCab では日英それぞれ 4 万語とし，SentencePiece では日英ともに 1 万 8 千語の語彙とした．なお， 2.2 節の手法を適用した結果，検証用デー
タから 2539 個の日本語名詞句フレーズが抽出された．
この名詞句フレーズを対象として 2.3 節の置き換えを行う．

3.2

また，Long の手法 [5] との定量的な比較も行った．

名詞句再現率

SentencePiece 単位の NMT モデルの方がより正確な意味合いの翻訳結果が得られた．具体的には，品詞や節の並びがより自然な傾向があった．しかし入力文と翻訳結果の間の単語アライメントを取得しようとすると，SentencePiece 単位で行うよりも MeCab 単位を用いた方が適切な名詞句フレーズ翻訳対が得られた．また，提案手法による置き換えを行うと，BLEU や名詞句再現率は改善するものの，品詞や節の並びが不自然にな評価手順る例も散見された．

SMT モデルの訓練のために，フレーズベース SMT モデル用のツールキットである Moses [3] を使用した．

それぞれを用いフレーズの翻訳誤りを改善した例を示

Moses [3] には英文の記号を分割するための Tokenizer

す．比較対象は，SentencePieceNMT(名詞句置換なし)，や，単語アライメントを取得するツールの GIZA++も含まれている．NMT モデルの訓練では，エンコーダ・デ

SentencePieceNMT の名詞句フレーズを提案手法により SMT 訳で置き換えたもの，および，MeCabNMT のコーダそれぞれに 3 層の LSTM 層を使用し，各 LSTM名詞句フレーズを Long 手法 [5] により SMT 訳で置層および埋め込み層の変数を 512 個とした．より詳細

き換えたものの三種類である．SentencePieceNMT(名な設定は，Long らの設定 [5] に倣った．また本論文の詞句置換なし) では，日本語名詞句「軸受」は “rolling

検証では，日本語文を入力し英語文に翻訳する日英タbearings” と誤訳されるが，SMT 訳に置き換えることにより，両手法ともに参照訳 “ball bearings” を得るこスクを行った．

3.3

評価結果

また，図 2 において，提案手法と Long の手法 [5]とができた．Long の手法 [5] では，BLEU の観点で見BLEU スコアおよび 2.2 節で抽出した名詞句の再現率の評価結果を表 1 に示す．再現率は以下の手順で測定れば提案手法より精度が落ちており，トークンを用いした．(1) GIZA++により日本語入力文と英語参照文の影響が出ていることが示された．一方で，Long の手ることによって，文中のトークン箇所以外の翻訳に悪間で単語アライメントを取得し，名詞句フレーズ対訳

法では，入力文と NMT 訳との間で単語アライメント対を得る，(2) 翻訳文に対して，名詞句フレーズの参を取り直すプロセスが無いため，名詞句の置き換えは照訳を照合して訳出の有無を検出する．

本手法よりも正確に行えると考えられる．

ベースラインとして，MeCab 単位の訓練文を 3.2 節の設定で訓練したモデルを用意した．そしてそのモデルに対して提案手法で名詞句の置き換えを行った
結果，BLEU スコアが 1.16 ポイント，名詞句再現率が 5.3%向上した．一方，SentencePiece 単位の訓練文を 3.2 節の設定で訓練したモデルも作成したところ，

MeCab 単位のモデルに比べると，BLEU スコアは 0.28ポイント向上したが，名詞句再現率は 1.0%下がった．

SentencePiece 単位のモデルに対し提案手法で名詞句4関連研究

NMT と SMT のハイブリッドモデルに関連して，He らによる手法 [2] や Wang らの手法 [9, 10] が提案されている．He らの手法 [2] では，NMT モデル・SMT モデ
ル・n-gram 言語モデル等のスコアを計算し，対数尤度モデルにより統合する．一方，Wang らの手法 [9, 10]
では，NMT の確率値の枠組みの中に SMT によるスコアを統合している．これらの論文の評価実験での中英翻訳タスクの場合，中国語の語彙集合は中国語形態素― 637 ―Copyright(C) 2018 The Association for Natural Language Processing.
All Rights Reserved.

᪥ᮏㄒධຊᩥ㍈ཷ䠖༢ㄒ䜰䝷䜲 䝯䞁 䝖䛛 䜙䜙᪥ᮏㄒྡモྃᮏㄒ ྡモ ྃ䝣 䝺䞊 䝈䛂㍈ཷ䛃䛾 ⩻ヂ⤖ᯝ䛜⩻ヂ⤖ᯝ䛜``rolling bearings‘’䛸 ≉ᐃ䛥䜜 䠈SMTヂ``ball bearings’’䛻⨨᥮䛥䜜䜛䠊ᩥヂㄒ䛸୍⮴䠊䠈⤖ᯝ䚸ཧ↷ᩥヂㄒ䛸୍⮴䠊䛣 䛾෭༷䛻䜘䜚䚸䜸 䜲䝹䛿㌿䛜䜚㍈ཷ䛿 ㌿䛜䜚㍈ཷ
5䛚䜘䜃
5䛚䜘䜃
6䜢
6䜢
₶⁥䛩䜛㝿䛻 Ⓨ⏕䛧䛯⇕䜢ᨺฟ䛩䜛䛩䜛䚹䚹SentencePieceNMT(ྡモྃ⨨᥮䛺䛧 )ᥦ᱌ᡭἲ

by this cooling , the oil releases the heat generated
when the rolling bearings 5 and 6 are lubricated .

by this cooling, the oil releases the heat generated
when the ball bearings 5 and 6 are lubricated.

ⱥㄒཧ↷ᩥ㍈ཷ
Longᡭἲ[4]by this cooling, the oil gives oﬀ its heat absorbed
while lubricang the ball bearings 5 and 6.

the cooling discharges heat generated
when the ball bearings 5 and 6 lubricate.

図 2: 提案手法による改善例の単位となり，NMT 訓練時には，頻度上位 3 万語以外の語彙が未知語となる．そのため，NMT モデルにおける未知語に対しては，本来の NMT モデル以外の部分で対処している．これに対して，本論文で採用した SentencePiece を適用する場合には，NMT モデルにおいて未知語となる語彙がないため，本来の NMT モデルの枠組みの中だけで翻訳過程が完結する．
その他，[5] の発展手法として，[4] においては，エントロピーを用いてフレーズを選定する手法を提案している．この手法は，MeCab のような外部辞書知識を使用せずに名詞句フレーズを抽出できる点が長所である．この手法を取り入れつつ，対訳コーパスの語彙集合を SentencePiece によって決定することによって，本論文の手法においても，完全に外部辞書知識を不要にできる可能性がある．

5

おわりに

本論文では，NMT モデルと SMT モデルを組み合わせ，さらに MeCab 単位と SentencePiece 単位の語彙集合を使い分けることにより，大語彙の専門用語に対応して特許文を翻訳するシステムを提案した．そして日英翻訳において，提案手法を用いない NMT システムよりも優れた自動評価結果を得られることを示した．今後の課題として，入力文と NMT 翻訳文の間の単語アライメントをとる際に，前後の単語を含む誤りのアライメントとなる場合がよくあるので，英語側の文法・前置詞情報等の情報を併用することによって，単語アライメントの性能を改善することが挙げられる．

参考文献[2] W. He, Z. He, H. Wu, and H. Wang. Improved neural machine translation with SMT features. In Proc.30th AAAI,
pp. 151–157, 2016.
[3] P. Koehn, H. Hoang, A. Birch, C. Callison-Burch, M. Federico, N. Bertoldi, B. Cowan, W. Shen, C. Moran, R. Zens,C. Dyer, O. Bojar, A. Constantin, and E. Herbst. Moses:
Open source toolkit for statistical machine translation. In
Proc. 45th ACL, Companion Volume, pp. 177–180, 2007.
[4] Z. Long, R. Kimura, T. Utsuro, T. Mitsuhashi, and M. Yamamoto. Neural machine translation model with a large
vocabulary selected by branching entropy. In Proc. MT
Summit XVI, pp. 227–240, 2017.
[5] Z. Long, T. Utsuro, T. Mitsuhashi, and M. Yamamoto.
Translation of patent sentences with a large vocabulary oftechnical terms using neural machine translation. In Proc.
3rd WAT, pp. 47–57, 2016.
[6] M. Luong, I. Sutskever, O. Vinyals, Q. V. Le, andW. Zaremba. Addressing the rare word problem in neural machine translation. In Proc. 53rd ACL, pp. 11–19,2015.
[7] R. Sennrich, B. Haddow, and A. Birch. Neural machinetranslation of rare words with subword units. In Proc. 54thACL, pp. 1715–1725, 2016.
[8] I. Sutskever, O. Vinyals, and Q. V. Le. Sequence to sequence learning with neural machine translation. In Proc.
27th NIPS, pp. 3104–3112, 2014.
[9] X. Wang, Z. Lu, Z. Tu, H. Li, D. Xiong, and M. Zhang.
Neural machine translation advisedby statistical machinetranslation. In Proc.31st AAAI, pp. 3330–3336, 2017.
[10] X. Wang, Z. Tu, D. Xiong, and M. Zhang. Translatingphrases in neural machine translation. In Proc. EMNLP,pp. 1421–1432, 2017.
[11] Y. Wu, et al. Google’s neural machine translation
system: Bridging the gap between human and machine translation. http://arxiv.org/abs/1609.
08144, 2016. [Online; accessed 28-December-2017].

[1] A. Fujii, M. Utiyama, M. Yamamoto, and T. Utsuro. Toward the evaluation of machine translation using patent
information. In Proc. 8th AMTA, pp. 97–106, 2008.

― 638 ―

Copyright(C) 2018 The Association for Natural Language Processing.
All Rights Reserved.