ニューラル機械翻訳のためのバイリンガル
サブワード分割の研究
Studies on Bilingual Subword Segmentation for Neural Machine Translation

愛媛大学大学院理工学研究科教授

二宮崇2001 年東京大学大学院理学系研究科情報科学専攻博士課程修了。博士（理学）。2017 年より愛媛大学大学院理工学研究科教授。自然言語処理の研究に従事。

奈良先端科学技術大学院大学

出口祥之

2019 年愛媛大学工学部情報工学科卒業。2021 年同大学院理工学研究科博士前期課程修了。2021 年より奈良先
端科学技術大学院大学博士後期課程に在学。自然言語処理の研究に従事。

国立研究開発法人情報通信研究機構（NICT）

内山将夫

1992 年筑波大学卒業。1997 年同大学院工学研究科修了。博士（工学）。現在、国立研究開発法人情報通信研究機
構 上席研究員。主な研究分野は機械翻訳。

同志社大学理工学部情報システムデザイン学科准教授

田村晃裕

2013 年東京工業大学大学院総合理工学研究科博士課程修了。博士（工学）。2020 年より同志社大学理工学部情報システムデザイン学科准教授。自然言語処理の研究に従事。

国立研究開発法人情報通信研究機構（NICT）フェロー

隅田

英一郎

1999 年京都大学大学院博士（工学）取得。日本アイ・ビー・エム、国際電気通信基礎技術研究所を経て、現在、情報通信研究機構。2016 年 NICT フェロー。機械翻訳の研究に従事。

間の関係を捉える言語間注意機構を用いることで高い精1 はじめに

度 を 実 現 し た。 ま た、 近 年、 ト ラ ン ス フ ォ ー マ ー

現在、ニューラルネットワークを用いた機械翻訳（ニュー（Transformer）モデル［2］が LSTM や畳み込みニューラル機械翻訳）が機械翻訳の主流となっている。注意機

ラルネットワーク（Convolutional Neural Network;

構に基 づく LSTM（Long Short-Term Memory） はCNN）を用いた手法と比べて高い精度を達成し、注目初期のころから広く使用されてきたニューラル機械翻訳されている。トランスフォーマーモデルは、従来の言語モデルである。このモデルは、原言語文（翻訳元言語の間注意機構に加えて、同じ文中の単語間の関係を捉える

文）内の単語と目的言語文（翻訳先言語の文）内の単語

自己注意機構を導入している。

［1］

276

これらのニューラル機械翻訳モデルは高い精度と流暢する場合を考える。従来のサブワード分割法はデータ圧性を同時に実現するが、予め指定した語彙に基づいて学

縮技術に基づきトークン数の最小化を行うため、これら習および翻訳を行うため、翻訳時の入力文に低頻度語やの複合語が 1 つのサブワード単位に結合される。した

未知語が現れると翻訳精度が低下する問題が知られていがって、これらの訓練データは「計測法」という語の翻る。このような語彙の問題に対処するため、バイトペア

訳の学習に寄与しない。

符号化（Byte Pair Encoding、以下 BPE） やユニ

本 稿 は、 国 際 会 議「The 28th Internationalなどによるサブワード分割が現在

Conference on Computational Linguistics

広く用いられている。サブワードは、一般に単語よりも（COLING'2020）」および国内ジャーナル「自然言語短 く、 文 字 よ り も 長 い 単 位 で あ り、 例 え ば、処理」において我々が提案したバイリンガルサブワード「pretraining」は「pre」と「train」と「ing」の 3 つ

分割法のサブワードに分割されることが考えられる。サブワー

ガルサブワード分割法は、ユニグラム言語モデル［4］にド分割は、形態素解析のように言語学的知見や規則に基基づき、対訳コーパスを用いて行うサブワード分割手法

づいた分割を行うのではなく、語彙量を指定した上で、である。具体的には、ユニグラム言語モデルによって得

コーパスから自動的にサブワード語彙を抽出し、分割すられる原言語文と目的言語文それぞれの分割候補から、ることを特徴とする。語彙に「pretraining」という単

お互いのトークン数の差が小さくなるサブワード列を選語が登録されていなくても、「pre」「train」「ing」がサ択する方法となっている。提案法はユニグラム言語モデ

ブ ワ ー ド と し て 語 彙 に 登 録 さ れ て い れ ば、ルに基づくため、分かち書きされない言語にも適用可能「pretraining」を完全な未知語として扱うのではなく、

である。

［3］

グラム言語モデル［4］［5］［6］

について解説する。提案法であるバイリン

提案法では、ユニグラム言語モデルから得られる原言

力トークンとすることができ、未知語の問題を大きく緩

語文と目的言語文の最尤解を比較し、トークン数が多い

和することができる。

言語側のトークン数に近づけるように、より細かい単位

BPE によるサブワード分割は事前トークナイズを必のサブワード分割を複数分割候補から選択する。提案法

要とするのに対し、ユニグラム言語モデルは生文からサを用いることで、原言語文と目的言語文のトークン数のブワード列に直接分割するため、日本語や中国語といっ差が小さくなり、言語間でトークンが 1 対 1 に対応付

た分かち書きされない言語においても形態素解析器を必けされやすくなる。そのため、従来のサブワード分割法

要としない。BPE やユニグラム言語モデルはどちらもよりもニューラル機械翻訳に適した分割が得られること

データ圧縮に基づいたアルゴリズムであり、語彙量の上が期待される。提案法では日本語文と英語文のサブワー

限を制約としたトークン数の最小化を行っている。語彙

ドトークン数を近づけるため、課題例として挙げた「設量を減らす方法としては文字単位に分割するという方法

計法」と「計測装置」という複合語は「設計（design）」も考えられるが、文字単位の分割を用いると文全体のと「法（method）」、「計測（measurement）」と「装トークン数が増える（系列長が長くなる）ため、系列長置（instrument）」、それぞれ 2 トークンに分解される。

に依存した計算量が増加する。サブワード分割によって、これにより、ニューラル機械翻訳において、「設計」と語彙量の上限を制約として満たす中でトークン数を最小「法」、「計測」と「装置」というそれぞれのサブワード化することで、トレードオフの関係にある語彙量とトーの訓練データが「計測法」という語の翻訳にも活用でき

クン数（系列長）の問題に対処しているといえる。

るようになると考えられる。

しかしながら、
これらの分割法は対訳関係を考慮せず、本手法は原言語文と目的言語文の分割数を比較しなが各言語ごとにサブワード分割を学習するため、機械翻訳

らそれぞれの文を分割するため、原言語文単体では分割タスクに適したサブワード分割になるとは限らない。例ができない。ニューラル機械翻訳の訓練時には原言語文と し て、 日 英 翻 訳 に お い て「 設 計 法（designと目的言語文の分割数を比較するために対訳コーパスを

method）」

置（measurement

用いることができるが、翻訳時には原言語文に対応する

instrument）」という複合語が訓練データに多数出現

目的言語文が存在しないため、原言語文を分割すること

と「

計

測

装

YEAR BOOK 2O21 277

機械翻訳技術の向上「pre」「train」「ing」をニューラル機械翻訳の入力 / 出

4

ができない。そこで提案法では、対訳コーパスを用いてこのユニグラム言語モデルによるサブワード分割は生

サブワード分割した訓練データの原言語文から LSTM

文から直接学習できるため、日本語や中国語といった分

ベースのサブワード分割器を予め学習し、翻訳時においかち書きされない言語においても単語分割器や形態素解て訓練時の分割に近い候補を選択することで、訓練時と析器を必要とせずに分割できるという特長がある。

翻訳時の分割のギャップを小さくして翻訳性能の低下を防ぐ。具体的には、翻訳時に、学習した LSTM ベースのサブワード分割器により原言語文のサブワード分割候

3 バイリンガルサブワード分割法

補をリランキングし、スコアが最大となる分割を選択す

訓練データ: Dる。
WAT Asian Scientific Paper Excerpt Corpus（以訓練時のサブワード分割:

下、ASPEC） 英日・日英・英中・中英翻訳タスクとユニグラム言語モデル［7］

WMT14 英独・独英翻訳タスクにおいて、従来法と提案法を用いた翻訳性能を比較したところ、トランス
フォーマーニューラル機械翻訳モデルの性能が最大

トークン数に基づいた
k-best対からのサンプリング

0.81 BLEU ポイント改善した。

ユニグラム言語モデルに基づいたサ2 ブワード分割

サブワード分割された訓練データ: D’
原言語文:{f’|(f’, e’)∈D’}

本節では提案法の基礎となるユニグラム言語モデルに基づいたサブワード分割法［4］について説明する。ユニグラム言語モデルでは各サブワードが独立に生起すると仮定し、サブワード列 s＝（s1, s2,…, sN）の生起確

BiLSTM分割器{f’|(f’, e’)∈D’}
より学習

図1

目的言語文:{e’|(f’, e’)∈D’}

ニューラル
機械翻訳
モデル
D’より学習訓練時のサブワード分割率 P（s）を次式により表す。
入力文: f

ただし、V は語彙集合（サブワード辞書）である。各サ

翻訳時のサブワード分割:

ブワードの生起確率 P（si）は EM アルゴリズムによっユニグラム言語モデルて周辺尤度 L を最大化することにより推定される。

入力文fのk-best
サブワード分割候補: B(f)ただし、D は対訳コーパスであり、x は D 中の原言BiLSTM分割器

語文または目的言語文であり、S（x）は x のサブワード
分割候補集合である。

各分割候補の分割スコア

x を入力文としたとき、x に対する生起確率が最大となるサブワード列（最尤解）は次式によって得られる。

分割スコアに基づいた
分割候補のリランキング

また、k-best 分割候補も入力文 x に対するユニグラ
ム言語モデルによって計算される確率 P（s）に基づいて得ることができる。ただし、サブワード列の生起確率

サブワード分割された入力文:
f* = argmaxf’∈B(f) score(f’)

は各サブワードの尤度の積の形で表されるため、系列長

ニューラル
機械翻訳
モデル

の短い（トークン数の少ない）サブワード列が高い確率を持つ傾向がある。

278

図2

翻訳時のサブワード分割

本節では、対訳文からサブワード列を得る提案手法を短い（トークン数が少ない）場合は、B（e）の中示す。我々の提案法では対訳文対でサブワードトークン

で f* とトークン数が最も近い候補の中で最大確率数の差が最小になるような分割を行う。具体的には、原のサブワード列 e** を探し出し、（f*, e**）を出力

言語文と目的言語文それぞれのユニグラム言語モデルのする。

最尤解のうち、トークン数の少ない（系列長の短い）側（ウ）f* の方が短く、e* の方が長い場合は、（イ）にの文を、トークン数が多い側のトークン数に近づけるよ

おける f* と e* を入れ替えて同じ処理を行う。B（f）

う、より細かく分割された分割候補からサブワード列をの中で e* とトークン数が最も近い候補の中で最大選択する。ただし、ニューラル機械翻訳の訓練時には対確率のサブワード列 f** を探し出し、（f**, e*）を訳コーパスを利用できるが、翻訳時（評価データ）には出力する。
トークン数が多いということはより細かいサブワード

練時と翻訳時で異なる方法によりサブワード列を得る。

に分割されている、ということである。3. のステップ

図 1、2 にニューラル機械翻訳訓練時のサブワード分割

において、原言語文 f と目的言語文 e に対する最大確率と翻訳時のサブワード分割をそれぞれ示す。ニューラルのサブワード列 f* と e* のうち、より長い方のサブワー

機械翻訳モデルの訓練時は、図 1 の通り、対訳データ

ド列を出力としてまず確定する。つまり、より細かく分に基づくサブワード分割結果を用いてニューラル機械翻

割されているサブワード列を出力として確定する。短い

訳モデルを学習する。一方で翻訳時には、図 2 の通り、方の最大確率のサブワード列は採用せず、分割候補の中

対訳データのサブワード分割結果内の原言語文だけからからより細かく分割された（より長い）サブワード列を予め学習しておいた LSTM ベースの単語分割器を用い探索し、長い方のサブワード列と同じ長さのサブワードて、翻訳対象の原言語文のサブワード分割候補をリラン

列探し出し、その中で最大確率のサブワード列を出力すキングする。

る。

提案法はニューラル機械翻訳モデルや訓練法を修正す

上記の提案法によって訓練データ D の各対訳文をサる必要がなく、従来のサブワード分割法を置き換えるだ

ブワード分割した訓練データを D’とする。ニューラル

けで適用可能である。

機械翻訳モデルは訓練データ D’から学習される。

3.1

3.2

訓練データのサブワード分割

翻訳時のサブワード分割

対訳コーパスの訓練データに対するサブワード分割で翻訳時は入力文 f に対する対訳文 e が存在しないため、は、ユニグラム言語モデルによる分割候補からトークン

サブワード分割の入力に対訳文を用いることができな

数が近い候補対を選択することで、対訳文対の分割を得い。そのため、予め 3.1 節で作成した訓練データ D’のる。

原言語文だけを集めたデータから、文字ベースの双方向

具体的には、訓練データ D 中の各原言語文 f と目的

LSTM（Bidirectional LSTM、以下 BiLSTM）を用い

言語文 e の対に対し、次の手続きを行うことによって、たサブワード分割器（以下、BiLSTM 分割器）を学習

サブワード分割を得る。

しておく。翻訳時の分割は、ユニグラム言語モデルの

1．ユニグラム言語モデルにより、原言語文 f と目的言

k-best 分割候補を BiLSTM 分割器に入力し、各分割候

語 文 e そ れ ぞ れ の k-best の 分 割 候 補 B（f）、B（e）

補に対してスコア付けを行いリランキングすることによを得る。

り得られる。

2．B（f）の最大確率のサブワード列を f*、B（e）の最大確率のサブワード列を e* とする。

BiLSTM 分割器は、n 個の文字からなる入力文字列
c ＝（c1, c2,…, cn）に対して、サブワードの開始文字

3．f* と e* のトークン数（サブワード数）を比較する。

か否かを表す境界タグを割り当て、サブワードの境界点（ア）f* と e* のトークン数が同じ場合は、（f*, e*）

を 2 値分類として識別する。BiLSTM 分割器は以下のを出力する。

ような構造のニューラルネットワークである。

（イ）f* の方が長く（トークン数が多く）、e* の方が

YEAR BOOK 2O21 279

4

機械翻訳技術の向上

対訳文が存在しない。そこで、ニューラル機械翻訳の訓Z ＝ Embedding（c）,

た。全実験において、ニューラル機械翻訳システムとしH ＝ BiLSTM（Z）,て Transformer base モデル［2］を用いた。
翻訳性能は WAT ASPEC 日英・英日（以下 ASPEC

B ＝ softmax（HW）
ただし、Embedding は文字埋め込み層、Z は文字列 c

日 - 英）翻訳タスク 2［7］を用いて評価した。ユニグラムの d 次元埋め込み表現、BiLSTM は BiLSTM 層、H は

言語モデルの学習は、原言語側と目的言語側でそれぞれ

BiLSTM の 中 間 表 現、softmax は softmax 関 数、B

独立に行い、

は中間表現かサブワードの語彙量は、原言語側と目的言語側でそれら境界タグ次元に写像するパラメータ行列である。ベク

ぞれ 16,000 になるように設定した。ミニバッチの大トル Bi＝（bi,0, bi,1）は文字 ci がサブワードの開始点か

きさは約 10,000 トークンになるよう設定した。ニュー（bi,0）、開始点でないか（bi,1）の確率分布を表現している。

ラル機械翻訳モデルの訓練には訓練データの上位 150

BiLSTM 分割器は、3.1 節の方法でサブワード分割さ万文対を使用し、データの前処理は WAT ベースライン

れた訓練データ D’中の原言語文 f’（（f’, e’）∈ D’）につシステム 3 に従った。開発データと評価データのデータ

いて、以下の目的関数 Lsegment を最大化することに数はそれぞれ 1,790、1,812 文対であった。

は BiLSTM 分割器の出力、W ∈ R

d × {0,1}

全ニューラル機械翻訳モデルにおいて、パラメータ最より学習される。

適 化 に は Adam［9］ を 用 い、β1＝0.9、β2＝0.98 と（i）r ＝0 if ci はサブワードの開始点した。モデルのパラメータ更新は 10 万回行った。学習（i）r ＝1 otherwise

率は 4,000 回更新時で 5e－4 となるように線形に増

翻訳時は次のようにして入力文 f のサブワード分割を加させ、以降は更新回数の逆平方根に比例して減衰させ行う。はじめに、ユニグラム言語モデルを用いて入力文

た［2］。ドロップアウトの確率は 0.1 に設定した。ニューf の k-best サブワード分割候補 B（f）を得る。次に、ラル機械翻訳モデルの損失関数にはラベル平滑化交差エ

各分割候補 f’∈B（f）のスコア score（f’）を、予め学習

ントロピー［10］ を用い、平滑化εは 0.1 に設定した。

しておいた BiLSTM 分割器によって以下のように算出

パラメータの更新 1,000 回毎にモデルを保存し、性能する。

評価時には、訓練終了時点から前 5 つ分のモデルパラ
メータを平均化したモデルを用いた。翻訳文の生成には最後に、最大のスコアを持つサブワード列を選択し、ビーム探索を用い、ビーム幅は 4、文長正則化パラメー
タは 0.6［11］とした。

出力とする。
（f’）
f*＝argmaxf’ ∈B（f）score

提案法のハイパーパラメータに関して、ユニグラム言

以上により得られたサブワード列 f* をニューラル機
械翻訳モデルに入力し、翻訳を行う。

語モデルから得るサブワード分割候補数 k は開発デー
タで調整し、5 に設定した。BiLSTM 分割器の埋め込
み次元は d ＝ 256 とし、BiLSTM 層は 2 層スタック
した。文字埋め込み層、BiLSTM 層、出力層のパラメー

4 実験
4.1

タ は 全 て［－0.1，0.1］ の 一 様 分 布 で 初 期 化 し た。

実験設定

BiLSTM 分割器のパラメータ最適化には Adam を用い、提案法と従来法（ユニグラム言語モデル［4］）の翻訳

β1＝0.9、β2＝0.98 とした。モデルのパラメータ更性能を比較した。また、従来法として、ユニグラム言語

新は 10 エポック分行った。学習率は 5e－4、ドロッ

モデルによって得られる複数のサブワード分割候補につプアウトの確率は 0.1、ミニバッチの大きさは約 256

いて周辺尤度を最大化する「サブワード正則化

」と

［8］

文にそれぞれ設定した。

も性能を比較した。複数サブワード分割候補を得るためのユニグラム言語モデルには Sentencepiece1 を用い

1280

https://github.com/google/sentencepiece

サブワード正則化を用いたモデルでは、提案法と条件
2

http://lotus.kuee.kyoto-u.ac.jp/ASPEC/3

http://lotus.kuee.kyoto-u.ac.jp/WAT/WAT2019/baseline/dataPreparationJE.html

を揃えるため、ユニグラム言語モデルの最大スコアのサ

表2

ASPEC 日英翻訳の訓練データにおけるサブワードの例

ブワード列を翻訳する 1-best デコードを使用した。

ユニグラム言語

BiSW

訳文中の対応箇所

モデル

4.2

実験結果

helperhelp er

ヘル パー

basically

basic ally

基本的に は

表1

ASPEC 日 - 英における翻訳性能の比較（BLEU（%））

focusedfocus edに着目し たpopularization

popular ization

普及

第 三 者

the third person

日英英日

ユニグラム言語モデル

28.58

43.19

第三 者

サブワード正則化

28.86

43.10

骨密度

骨 密度

bone density

BiSW（提案法）+,++29.39+,++43.29

設計法

設計 法

design method

表 1 に実験結果を示す。表中の「ユニグラム言語モ
デル」、「サブワード正則化」、「BiSW」はそれぞれ、ユ

表3

ASPEC 日英翻訳の評価データにおけるサブワードの例

ユニグラム言語

BiSW

訳文中の対応箇所
density distribution

モデル
密度分布

密度 分布

たニューラル機械翻訳モデルを示している。翻訳性能は

分散型

分散 型

dispersion type

透 水性

透 水 性

permeability

BLEU

［12］

で 評 価 し、 評 価 方 法 は WAT Automatic

Evaluation Procedures に従った。また、ブートスト
4

ラップ再サンプリングによる有意差検定［13］を実施し、されているのに対し、提案法ではそれらが分解されてい有 意 水 準 は 5% と し た（p≦0.05）。 表 1 中 の「 ＋ 」

ることが分かる。また、表中に訳文中の対応箇所を示す。

は「BiSW」が「ユニグラム言語モデル」に対して、「＋＋」

表より、「設計法」が訳文中の「design method」とは「BiSW」が「サブワード正則化」に対して、有意に対応付いて「設計」と「法」に分割されていることが確高いことを示す。

認できる。これは、従来法が生起確率のみに基づいて分

表 1 から分かるとおり、提案法「BiSW」は日英、英割されるのに対し、提案法では対訳相手の分割情報を参

日翻訳の両言語方向において「ユニグラム言語モデル」

照しているためであるといえる。これにより、原言語文

および「サブワード正則化」より性能が改善されている。

と目的言語文間でサブワードが対応付けられやすくな「BiSW」を用いることで「ユニグラム言語モデル」にり、ニューラル機械翻訳モデルの学習を支援できるよう

対し、日英、英日翻訳においてそれぞれ 0.81、0.10になると考えられる。ただし、「popularization」の訳

BLEU ポイント、「サブワード正則化」に対し、それぞ

文中の対応箇所は「普及」という 1 トークンであるの

れ 0.53、0.19 BLEU ポイントの性能改善が確認されに対し、提案法による分割では「popular」と「ization」

た。また、両言語方向において、提案法はベースラインに分割されている。これは、単語単位ではなく、文単位の「ユニグラム言語モデル」、及び「サブワード正則化」

でトークン数を近づけるため、「普及」以外のトークンより有意に性能が高く、提案法の有効性が確認できる。

の分割を参照し、訳文中の対応箇所とトークン数の対応がない分割を行ったと考えられる。

4.3

提案法によるサブワード分割の例

表 3 に APSEC 日英翻訳の評価データ（評価データ

本節では従来法「ユニグラム言語モデル」と提案法での日本語文）に対して従来法と提案法をそれぞれ適用し得られるサブワードの違いを実例で確認する。表 2 に、た実際の例を示す。表 3 より、評価データにおいても、

APSEC 日英の訓練データに対して従来法と提案法をそ

対訳文（参照訳）を参照することなく、BiLSTM 分割

れぞれ適用した実際の例を示す。表 2 より、従来法で器により、言語間で 1 対 1 のサブワードの対応付けを

は複数の意味から成るサブワードが 1 トークンに結合取りやすい単位に分解されていることが分かる。ただし、提案法において「透水性」と分割された例は、訳文中の4

http://lotus.kuee.kyoto-u.ac.jp/WAT/evaluation/index.html#automatic_evaluation_systems.html

対応箇所が「permeability」であるのに対し、従来法の「透水性」よりもトークン数の差が大きくなっている。

YEAR BOOK 2O21 281

4

機械翻訳技術の向上

ニグラム言語モデル、サブワード正則化、提案法を用い

これは、文単位でトークン数を近づけた訓練データからべてそれぞれ 0.32、0.02、0.11、0.12 BLEU ポイ

BiLSTM 分 割 器 を 学 習 さ せ て い る た め、 も し く は、

ント性能が改善された。実験結果より、分かち書きされ

BiLSTM 分割器が誤って予測しているためであると考た言語対及び分かち書きされない言語対に対しても提案えられる。

法の有効性が確認された。

4.4 分
 かち書きされた言語対及び分かち書き
されない言語対に対する提案法の有効性

5 関連研究本節では、英独翻訳のような分かち書きされている言BPE［3］ とユニグラム言語モデル［4］ はサブワード分

語対、及び、日中翻訳のような分かち書きされない言語

割法として広く用いられている。BPE は辞書式圧縮に対の翻訳に対する提案法の有効性を検証する。

基づいたサブワード分割アルゴリズムであり、指定した翻訳性能の評価には、それぞれ WMT14 英独・独英（以語彙量を上限として、出現回数順に隣接するサブワード

下 WMT14 英 - 独）翻訳タスク 5 と ASPEC 日中・中日を再帰的に結合する。BPE は簡単なアルゴリズムで実（以下 ASPEC 日 - 中）翻訳タスクを用いた。

装が容易なため多くの NMT システムで採用されている

本実験におけるユニグラム言語モデルの学習は、原言語側と目的言語側で辞書を共有して行った。サブワード

が、決定的アルゴリズムであるため複数の分割候補を得ることができない。

の語彙量は、WMT14 英 - 独で 37,000、ASPEC 日

ユニグラム言語モデルは尤度に基づいたサブワード分- 中で 16,000 に設定し、ニューラル機械翻訳モデル

割アルゴリズムである。各サブワードの生起確率は EM

内の原言語側と目的言語側の埋め込み層を共有した。ミアルゴリズムによって推定される。ユニグラム言語モデ

ニバッチの大きさは WMT14 英 - 独で約 25,000 トー

ルは BPE と比べてアルゴリズムが複雑であるが、尤度

クン、ASPEC 日 - 中で約 6,000 トークンになるように基づいた複数のサブワード分割候補を得られ、かつ、設定した。WMT14 英 - 独の訓練データにおいて、各

事前トークナイズを必要とせず生文から直接学習できる

文をサブワード分割した後、250 トークンを超える文という特長がある。本研究の実験ではユニグラム言語モと原言語 / 目的言語文のトークン数の比が 1.5 を超え

デルのリファレンス実装である SentencePiece［8］をるものを除去した。ハイパーパラメータ k は開発デー用いた。
サブワード正則化［4］は複数のサブワード分割候補をタで調整し、2 に設定した。

用いたニューラル機械翻訳の訓練法であり、サンプリン
表4 W
 MT14 英 - 独及び ASPEC 日 - 中翻訳における提案法の有効性（BLEU（%））

グされた分割候補の周辺尤度を最大化する。サブワード
正則化をニューラル機械翻訳に組み込むには、訓練時にWMT14 英-独

ASPEC 日-中

英独

独英

日中

中日

ユニグラム言語モデル

26.45

30.62

35.21

47.59

ンプリングする必要があり、ニューラル機械翻訳の訓練

BiSW（提案法）

26.77

30.64

35.33

47.71

処理を修正する必要がある。

パラメータを更新するごとに動的にサブワード分割をサ

BPE-Dropout［14］はサブワード正則化を用いられる
表 4 に WMT14 英独・独英翻訳、ASPEC 日中・中

ように BPE を拡張した手法である。BPE-Dropout で

日翻訳の実験結果を示す。表 4 より、両言語方向におは、隣接サブワードの結合を確率的に棄却することで複いて、提案法「BiSW」を用いることで従来法「ユニグ数のサブワード分割候補が得られる。ただし、P（s | x）

ラム言語モデル」と比べて翻訳性能が改善されることがのような尤度に基づいた k-best 候補を得ることはでき確認された。具体的には、英独、独英、日中、中日翻訳ない。

において、「BiSW」は「ユニグラム言語モデル」と比単語やサブワードへの分割を行わずに文字単位で翻訳を行うニューラル機械翻訳モデルも提案されている。

5282

https://www.statmt.org/wmt14/translation-task.
html

Cherry ら［15］は単語単位やサブワード単位のニューラ
ル機械翻訳よりも文字単位のニューラル機械翻訳の翻訳

性能が高くなると報告している。ただし、Cherry らは

究の一部は JSPS 科研費 20K19864 の助成を受けた

文字単位のニューラル機械翻訳の問題点として計算量のものである。ここに謝意を表する。

多さとモデリングの難しさがあることも述べている。
我々の手法はニューラル機械翻訳モデルの入出力の粒度

参考文献について文字単位のニューラル機械翻訳の長所と短所［1］T. Luong, H. Pham and C. D. Manning.

（翻訳性能とモデリング、計算量）のバランスをとった（2015）Effective Approaches to Attention-

ものと考えられる。

based Neural Machine Translation. In Proc. of

Ataman ら［16］、［17］ や Huck ら［18］ は言語学に基づくサブワード分割を提案している。Ataman ら

EMNLP 2015, pp. 1412–1421.

［16］、
［17］

［2］A. Vaswani, N. Shazeer, N. Parmar, J.

は 教 師 な し 形 態 学 習 に 基 づ く「Linguistically

Uszkoreit, L. Jones, A. N. Gomez, Ł. Kaiser

Motivated Vocabulary Reduction（LMVR）」を用

and I. Polosukhin.（2017）. Attention is Allいることで BPE より翻訳性能が向上することを示した。

you Need. Advances in Neural Information

Huck ら［18］

はサブワード分割においてステミングや複Processing Systems 30, pp. 5998–6008.
［3］R. Sennrich, B. Haddow and A. Birch.（2016）.

合わせることで、翻訳性能が改善することを示した。まNeural Machine Translation of Rare Words

は単語を n-gram 文字で分解する

with Subword Units. In Proc. of ACL 2016,

た、Ataman ら［19］

ことで形態学的にリッチな言語を含む翻訳が改善することを示している。

pp. 1715–1725.
［4］T. Kudo.（2018）. Subword Regularization:
Improving Neural Network Translation Models
with Multiple Subword Candidates. In Proc. of

6 おわりにACL 2018, pp. 66–75.

本稿は、我々が提案するバイリンガルサブワード分割［5］H. Deguchi, M. Utiyama, A. Tamura, T.

法［5］［6］について紹介した。提案法は、対訳文からサブ

Ninomiya, E. Sumita.（2020）. Bilingual

ワード列を得る、ニューラル機械翻訳のためのサブワー

Subword Segmentation for Neural Machine

ド分割法である。WAT ASPEC 英日・日英・英中・中Translation. In Proc. of COLING 2020, pp.

英翻訳タスクと WMT14 英独・独英翻訳タスクの実験

4287–4297.

を行い、提案法を用いることでトランスフォーマー［6］出口祥之 , 内山将夫 , 田村晃裕 , 二宮崇 , 隅田英一

ニューラル機械翻訳モデルの性能が最大 0.81 BLEU

郎 .（2021）. ニューラル機械翻訳のためのバイリ

ポイント改善されることが示された。これらの実験結果

ンガルなサブワード分割 . 自然言語処理 , Vol. 26,

より、対訳文とのサブワードトークン数の差を小さくす

No. 2, pp. 632–650.

ることで翻訳性能が改善されたと考えている。今後は他の言語対でも提案法の有効性を確認していきたい。

［7］T. Nakazawa, M. Yaguchi, K. Uchimoto, M.
Utiyama, E. Sumita, S. Kurohashi and H.
Isahara.（2016）. ASPEC: Asian Scientific

謝辞

Paper Excerpt Corpus. In Proc. of LREC

本 稿 は、 国 際 会 議「The 28th International

2016, pp. 2204–2208.

Conference on Computational Linguistics［8］T . K u d o a n d J . R i c h a r d s o n . （ 2 0 1 8 ）.

（COLING'2020）」に採択された論文 および国内ジャー

SentencePiece: A simple and languageに基づいて、

independent subword tokenizer and［5］

ナル「自然言語処理」に採択された論文［6］

それらの論文を再構成し、解説したものである。
これらの研究成果は、国立研究開発法人情報通信研究機構の委託研究により得られたものである。また、本研

detokenizer for Neural Text Processing. In Proc.
of EMNLP 2018: System Demonstrations, pp.
66–71.

YEAR BOOK 2O21 283

4

機械翻訳技術の向上

合語分割などによる言語学的な知識を用いた分割を組み

［9］D. P. Kingma and J. Ba.（2015）. Adam: A

Methods for Neural Machine Translation. In

Method for Stochastic Optimization. In Proc.

Proc. of AMTA 2018（Volume 1: Researchof ICLR 2015. arXiv:1412.6980.

Papers）, pp. 97–110.

［10］C. Szegedy, V. Vanhoucke, S. Ioffe, J.

［18］M. Huck, S. Riess and A. Fraser.（2017）.

Shlens and Z. Wojna.（2016）. Rethinking theTarget-side Word Segmentation Strategies

Inception Architecture for Computer Vision. In

for Neural Machine Translation. In Proc. ofProc. of CVPR 2016, pp. 2818–2826.

WMT 2017, pp. 56–67.

［11］Y. Wu, M. Schuster, Z. Chen, Q. V. Le, M.

［19］D. Ataman and M. Federico.（2018a）.

Norouzi, W. Macherey, M. Krikun, Y. Cao, Q.

Compositional Representation ofGao, K. Macherey, J. Klingner, A. Shah, M.

Morphologically-Rich Input for Neural

Johnson, X. Liu, Ł. Kaiser, S. Gouws, Y. Kato,

Machine Translation. In Proc. of ACL 2018

T. Kudo, H. Kazawa, K. Stevens, G. Kurian,（Volume 2: Short Papers）, pp. 305–311.

N. Patil, W. Wang, C. Young, J. Smith, J.
Riesa, A. Rudnick, O. Vinyals, G. Corrado,
M. Hughes and J. Dean.（2016）. Google’s
Neural Machine Translation System: Bridging
the Gap between Human and MachineTranslation. arXiv preprint arXiv:1609.08144.
［12］K. Papineni, S. Roukos, T. Ward and W.-J.
Zhu.（2002）. BLEU: a Method for Automatic
Evaluation of Machine Translation. In Proc. of
ACL 2002, pp. 311–318.
［13］P. Koehn.（2004）. Statistical Significance
Tests for Machine Translation Evaluation. In
Proc. of EMNLP 2004, pp. 388–395.
［14］I. Provilkov, D. Emelianenko and E. Voita.
（2020）. BPE-Dropout: Simple and Effective
Subword Regularization. In Proc. ACL 2020,
pp.1882–1892.
［15］C. Cherry, G. Foster, A. Bapna, O. Firat and
W. Macherey.（2018）. Revisiting CharacterBased Neural Machine Translation with
Capacity and Compression. In Proc. of
EMNLP 2018, pp. 4295–4305.
［16］D. Ataman, M. Negri, M. Turchi and M.
Federico.（2017）. Linguistically Motivated
Vocabulary Reduction for Neural MachineTranslation from Turkish to English. arXiv
preprint arXiv:1707.09879.
［17］D. Ataman and M. Federico.（2018b）. An
Evaluation of Two Vocabulary Reduction284機械翻訳技術の向上

4

YEAR BOOK 2O21 285