構文ラベル予測による同時ニューラル機械翻訳
加納保昌 1 須藤克仁 1,2 中村哲 1,2
1 奈良先端科学技術大学院
2 理化学研究所 革新知能統合研究センター AIP{kano.yasumasa.kw4,sudoh,s-nakamura}@is.naist.jppen” という部分は、“ペンを買った” というように概要訳される方が自然である。ここでは、“bought” の後

同時翻訳は、話し手が話し終わる前に翻訳を開始の目的語を待つ必要がある。この例文では、“I” がするタスクであり、いつ翻訳を開始するかが重要である。しかし、英語と日本語のように語順が異なる並べ替えを必要としない最後の単語であり、ここが自然に翻訳をすることができるセグメントの境で言語ペアのニューラル機械翻訳では、そのタイミンある。

グ判断は未だ難しい。そこで、構文ラベル予測モデこのような並べ替えの問題を解決するため、部分ルと、そのラベルを利用した簡単な判断ルールを入力文の次にくる構文ラベルの予測とそれに基づく提案する。これらにより、既存手法では難しかっシンプルなルールによってセグメンテーションを行た翻訳の構文や出力タイミングの制御もしやすくい、チャンクベースで翻訳をする手法を提案する。

なった。英日同時通訳の実験で、提案手法は精度とこれによって、既存手法では困難だった翻訳出力遅延のトレードオフにおいて、ベースラインを上の構文とタイミングの制御をしやすくした。そし回った。て、英日同時翻訳の実験の結果、ベースラインを精1度と遅延のトレードオフにおいて上回った。

はじめに

2

関連研究

原言語文

I bought a pen.

順送り訳

私は 買った ペンを.

ニューラル同時機械翻訳においては、wait-k よ

私は ペンを 買った.

りも翻訳タイミングを柔軟に決められるように、遅延をロス関数に組み込む手法が提案されてきたフルセンテンス翻訳表1

英語 (SVO) から日本語 (SOV) への翻訳

[2, 3, 4] 。しかし、学習済みモデルを用いて最適な同時翻訳は、話し手が話し終わる前に翻訳を始めセグメント境界を BERT [5] による予測モデルで見るタスクである。文の後半を見ずに翻訳を始めなければいけないので、文全体を見て行う通常の翻訳

つけ、チャンクごとに翻訳していく Meaningful Unit
(MU)[6] という手法も提案され、これらを上回った。

(フルセンテンス翻訳) より難しい。同時翻訳では、統計的機械翻訳においては、構文情報を用いる手いつ翻訳を始めるのかというタイミングを決めるこ法として、小田ら [7] が、各セグメントの右辺と左とが重要である。そのタイミングの遅延と翻訳精度辺の構文要素ラベルを予測することで、不完全な文にはトレードオフがあり、できるだけ遅延を抑えるを漸進的に構文解析する手法を提案した。彼らは、必要がある。

予測された構成要素とセグメント内の単語を連結よく使われる同時機械翻訳モデルの一つに wait-kし、その結果を tree2string の機械翻訳に入力した。

[1] がある。これは、原言語文の k トークンが読みそして、翻訳結果のどこに構成要素が現れるかに込まれるのを待ったのちに、翻訳を開始する。しかよって、さらに入力トークンを待つか、翻訳を出力し、このような単純な手法では日英などの、長距離するかを決めた。本研究はこの手法をニューラル機
械翻訳に展開し、よりシンプルにしたものである。の単語の並べ替えが必要となる言語対の同時翻訳は難しい。
表 1 に示されている通り、単純に前から訳すだけの順送り翻訳は不自然になりがちである。“bought aフルセンテンスの構文解析結果 (S (NP (PRP I )) (VP (VBD bought) (NP (DT a) (NN pen))))I

ペンを買った.

私は出力

私は ペンを買った.

.

VP

私はNP

NN

ICLP

NMT

ICLP

ICLP

ICLP

NMT

I bought a

I bought a pen

I bought a pen .

(src) I bought a pen.
(prefix) 私はapen.

I bought

Ibought

入力 I

g=4g=5g =2g=3g =1
図 1 ICLP から予測されたラベルとルールに基づいて境界が検出されると、NMT（翻訳モデル）は翻訳を開始する。前の翻訳（図では赤色）は次の翻訳のプレフィックスとして使われる。図では簡単のため EOS は省略されている。

セグメンテーション

You / can

構文ラベル

VP

構文木

save timeby/ doingthis.

VPPPSNP.

NP(S (NP (PRP You)) (VP (MD can) (VP (VB save) (NP (NN time))(PP (IN by) (S (VP (VBG doing) (NP (DT this))))))) (. .))表2

最小セグメント長が 1 の ICLP の結果例。と同様に計算される。

提案手法

3

図 1 は提案手法の全体図である。まず、文のプレe𝑖 | 𝑿 𝑖 ) =𝑝 𝑝𝑟 𝑒 𝑓 𝑖 𝑥 (𝒀e𝑖−1 | 𝑿 𝑖 ) × 𝑝 𝑐ℎ𝑢𝑛𝑘 (𝑌e𝑖 | 𝑿 𝑖 , 𝒀e𝑖−1 ).
𝑝 𝑓 𝑢𝑙𝑙 (𝒀フィックスから次の構文要素ラベルを予測する。そして、そのラベルを用いたルールによってそこがセグメント境界だと判断された場合には、そのチャンクを翻訳する。

3.1

第二項は、𝑌e𝑖 = 𝑦 𝑖1 , 𝑦 𝑖2 , ..., 𝑦 𝑖 e として、以下のようにチャンクベースの同時翻訳|𝑌 |Ö

e𝑖 ||𝑌Ö𝑡=1れる。
𝑝 𝑓 𝑢𝑙𝑙 (𝑌 |𝑋) =|𝑌𝑖 |分解される。
e𝑖−1 ) =𝑝 𝑐ℎ𝑢𝑛𝑘 (𝑌e𝑖 | 𝑿 𝑖 , 𝒀

標準的なニューラル機械翻訳は次の式で表さ(2)e𝑖−1 , 𝑦 𝑖<𝑡 ).
𝑃(𝑦 𝑖𝑡 | 𝑿 𝑖 , 𝒀(3)

チャンクベースのデコーディングは、チャンクごとに Encoder をリフレッシュする。チャンクは複数単語で構成されることが多いため、新しい単語が入っ𝑃(𝑦 𝑡 |𝑋, 𝑦 <𝑡 ),(1)𝑡=1てくるたびに Encoder をリフレッシュする漸進的なTransformer[1] よりも効率的である。

構文ラベル予測𝑋 = 𝑥 1 , 𝑥 2 , ..., 𝑥 𝑛 は 𝑛 ト ー ク ン か ら な る 入 力 文 で、𝑌 = 𝑦 1 , 𝑦 2 , ..., 𝑦 𝑚 は 𝑚 トークンからなる予測された3.2

翻訳文である。

スの後に来る構文構成ラベルを予測する。この処理

現在の時間ステップにおいて、文のプレフィックチャンクベースの同時翻訳でも、上記のモデルをを ICLP (Incremental Constituent Label Prediction) と呼通常の対訳文ペアで学習する。しかし、推論時にはぶ。ここで、次の構文ラベルとは、木の先行順にお以下の処理を行う。

いて文のプレフィックスの次に来る構成要素である

チャンク系列 𝑿 𝑖−1 = 𝑋1 , 𝑋2 , ..., 𝑋𝑖−1 をチャンク系
e𝑖−1 = 𝑌e1 , 𝑌e2 , ..., 𝑌e𝑖−1 に翻訳したとする。次に 𝑋𝑖
列𝒀から 𝑌e𝑖 へと翻訳する際には、過去の全ての 𝑋1𝑖 を含e𝑖−1 に forced decoding
めて、頭から翻訳し直すが、𝒀と定義する。しかし、ある統語要素の次には通常多e𝑖 の確率は以下の式を適用する。プレフィックス 𝒀て、その単語から始まる構文要素のラベルを予測することとする。入力系列 𝑊 = [𝑤 1 , 𝑤 2 , ..., 𝑤 |𝑊 | ] におで表され、第一項は (1) 式のフルセンテンスの翻訳いて、部分単語系列 𝑤 𝑖 から構文ラベル 𝑐 𝑖 を予測す数の統語要素が出現し得るため、このままでは予測が難しい。そこで提案手法では、一つ先の単語を見る式は以下で表される。
𝑐 𝑖 = argmax 𝑝(𝑐 ′ |𝑤 ≤𝑖 ),𝑐′ ∈𝐶

4.2(4)

モデル設定

全ての翻訳モデルは fairseq [10] の Transformer-base[11] をベースに実装され、IWSLT2021 のベースモデルの設定に従った [12, 13]。wait-k では k を、MU で𝐶 は構文ラベル集合である。

3.3

セグメンテーションルール

表 2 はセグメンテーションの例を示す。我々は一つの基本ルールと二つの補助ルールを提案する。

はセグメント境界である確率の閾値を、固定長区切りではセグメント長を、ICLP では最小セグメント長を変えることによって遅延を制御した。値の範囲などの詳細は付録に記述する。
ICLP は２種類実装し、比較した。一つは 2 層の• S と VP の直前で区切る。

単方向 LSTM [14] に全結合層を加えたもので、エン• 前のラベルが S または VP であれば区切らない。

べディングと隠れ層は 512 次元とし、入力は Moses• チャンクが最小セグメント長より小さければ区でトークナイズし、BPE[15] で語彙 16K のサブワー切らない。

ドに分割した。もう一つは、BERT を用いたもので、
Huggingface transformers[16] の bert-base-uncased をSVO 型から SOV 型へと翻訳する際には、原言語の主語と動詞の間では問題なく区切れるが、動詞と目的語の間では並べ替えが発生するため、区切るべきではない。よって第一のルールとして、VP の前で区切ることとした。Table 3 のように、“( S ( VP …))” の形で現れることも多いので、S もルールに追加した。
表 2 の “can save” のように、VP が連続する場合は、“can” と “save” で分けるのは適切ではないため、2 つ目のルールを設けた。
また、精度と遅延をコントロールするため、三つ目のルールとして、最小セグメント長を推論時のハ用いて、それに付随するトークナイザを用いた。これらに、文のプレフィックスを入力し、構文ラベルを予測した。
一つ先の単語を見ることで精度の向上が見られ、LSTM と BERT の差は小さかった。詳細は付録参照、

4.3

評価

simuleval [17] を用い、精度は BLEU [18] で、遅延の大きさは Average Lagging (AL) [1] で測った。ALは以下の式で表される。

イパーパラメータとして与えた。
𝐴𝐿 𝑔 (𝑋, 𝑌 ) =

実験

4𝜏𝑔Õ
( |𝑋 |)
𝑡−1
1𝑔(𝑡) −.
𝜏𝑔 (|𝑋 |) 𝑡=1𝛾(5)𝑔(𝑡) は、非減少関数で、𝑡 番目の目的言語単語を提案手法の遅延と精度のトレードオフ、そして翻訳タイミングの制御を既存手法と比べるため、英日出力するために読む原言語の単語数を示す。𝜏𝑔 (|𝑋 |)同時翻訳の実験を行った。

は原言語文全体を読み終えた時のデコードステップ

4.1

データと前処理英 日 対 訳 デ ー タ と し て WMT2020 の 約 1790 万文で学習し、IWSLT2017 の約 22.3 万文でファインチューニングを行った。IWSLT の dev2010、tst2011、である。最後の原言語トークンを読み込んだ直後に予測される 𝜏𝑔 (|𝑋 |) 番目のターゲットトークンまでの遅延をカウントする。𝛾 は |𝑌 |/|𝑋 | である。

4.4

結果

tst2012、tst2013 からなる 5312 文のペアを開発デー

図 2 は遅延パラメータを変化させたときの BLEU

タに使用し、IWSLT の dev2021 の 1442 文でモデルと AL の関係を示す。提案手法は、ベースラインのを評価した。
英語は Moses [8] で、日本語は MeCab [9] で単語分左上にあり、遅延と精度のトレードオフで上回った。VP に S を加えることによって、境界の数が増割した。BPE でサブワード分割し、語彙サイズは英え、点が左側に移動し、遅延を抑えた。wait-k のよ

日共有で 1.6 万とした。ICLP は Penn Treebank 3 を用うに単純なモデルとその他では大きな差があった。

いて学習し、その 1%を開発データとした。そして、
NAIST-NTT TED Talk Treebank で評価した。

その一方、固定長区切りのチャンクデコーディン
グは単純だが、wait-k よりも精度が提案手法に近frequency

1816

BLEU

14
waitk
MU1
MU2
fixed (subword)
fixed (word)
VP (BERT)
VP+S (BERT)
full-sentence

121082468AL

101214ratio

1.2

10 20 30 40 50 60 70
segment length

16

waitk
MU1
MU2
fixed (subword)
fixed (word)
VP (BERT)
VP+S (BERT)
full-sentence1.30

図 4 1 つ先の単語を利用した MU のセグメント長分布(AL=7.26, BLEU=16.53)

frequency

図 2 BLEU と AL の散布図。 MU1 と MU2 はそれぞれ境界予測に１つまたは 2 つ先の単語を用いた MU。ﬁxed はワブワード、または単語単位で固定長に区切って翻訳したモデル。

1.47006005004003002001000

図570060050040030020010000

10 20 30 40 50 60 70
segment length

ICLP のセグメント長分布 (AL=7.23, BLEU=17.22)

ず、上記のように長めに翻訳されることが原因で、1.1MU の BLEU の低下につながったと考えられる。

1.05.22468AL101214

図3Length Ratio と AL の散布図。

16図 4,5 で示されているように、提案手法の方が分布の広がりが狭く、より翻訳タイミングの間隔が安定している。
最小セグメント長というハイパーパラメータにかった。

5分析

5.1

セグメント長分布

図 3 に機械翻訳と参照訳の長さ比である length

遅延制御

よってどのようなタイミングで翻訳がされるかということが予測しやすくなることに加え、構文ラベルのルールによって、出力がどのような構文になるかもある程度制御できるようになる。本稿で提案したルールでは、フルセンテンスの翻訳に近づけること

ratio と AL の関係を示す。Wait-k は遅延ごとにモデを目指した。しかし、それよりも遅延を小さくしたルを学習するので不安定であるが、それ以外のモデい場合でも、NP の前でも区切るというルールを加ルに関しては、Ratio は AL が小さく遅延が小さいほえるだけで、表 1 のような順送りだが内容を理解でど、大きくなっている。AL が小さいということは、きる翻訳を出力することもできる。実際の出力例を平均セグメント長が短いということであり、その場付録に記載する。

合には、想定された長さより長いセグメント翻訳が出力されているということがわかる。

6

おわりに

図 4,5 は AL が 7.2 に近い時のテストセットにお

本稿では、構文ラベル予測モデルとそれに基づくける原言語のセグメント長分布を示す。長さは各セルールを使った同時翻訳を提案した。翻訳出力の制グメントに含まれるサブワード数である。ICLP に御もしやすくなり、ベースラインを精度と遅延のト比べると、MU は、より広い分布を持ち、多くのセグメントが２トークンから構成されている。このよレードオフで上回った。今後は、このようなルールを自動で発見して、他の言語対にも適用することがうな短いセグメントは、周囲のコンテクストが使え期待される。

and Evan Herbst. Moses: Open source toolkit for statisticalmachine translation. In Proceedings of the 45th Annual

謝辞

Meeting of the Association for Computational Linguistics Companion Volume Proceedings of the Demo andPoster Sessions, pp. 177–180, Prague, Czech Republic,

本 研 究 の 一 部 は JSPS 科 研 費 JP21H05054 とJP21H03500 の助成を 受けたものである。

参考文献[1] Mingbo Ma, Liang Huang, Hao Xiong, Renjie Zheng,Kaibo Liu, Baigong Zheng, Chuanqiang Zhang, Zhongjun
He, Hairong Liu, Xing Li, Hua Wu, and Haifeng Wang.
STACL: Simultaneous translation with implicit anticipation and controllable latency using preﬁx-to-preﬁx framework. In Proceedings of the 57th Annual Meeting of theAssociation for Computational Linguistics, pp. 3025–3036, Florence, Italy, July 2019. Association for Computational Linguistics.
[2] Colin Raﬀel, Minh-Thang Luong, Peter J Liu, Ron J Weiss,and Douglas Eck. Online and lineartime attention by enforcing monotonic alignments. In Proceedings of the34th International Conference on Machine LearningVolume 70, pp. 2837–2846, 2017.

[3] Naveen Arivazhagan, Colin Cherry, Wolfgang Macherey,Chung-Cheng Chiu, Semih Yavuz, Ruoming Pang, Wei Li,and Colin Raﬀel. Monotonic inﬁnite lookback attention
for simultaneous machine translation. In Proceedings ofJune 2007. Association for Computational Linguistics.
[9] Taku Kudo.
Mecab : Yet another part-of-speech
and morphological analyzer., 2005. http://mecab.
sourceforge.net/.
[10] Myle Ott, Sergey Edunov, Alexei Baevski, Angela Fan,Sam Gross, Nathan Ng, David Grangier, and Michael
Auli. fairseq: A fast, extensible toolkit for sequence modeling. In Proceedings of the 2019 Conference of theNorth American Chapter of the Association for Computational Linguistics (Demonstrations), pp. 48–53, Min-

[11]

[12]

[13]

the 57th Annual Meeting of the Association for Computational Linguistics, pp. 1313–1323, Florence, Italy, July

2019. Association for Computational Linguistics.
[4] Xutai Ma, Juan Pino, James Cross, Liezl Puzon, and Jiatao
Gu. Monotonic multihead attention. In ICLR 2020, 2020.
[5] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and KristinaToutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedingsof the 2019 Conference of the North American Chapter of the Association for Computational Linguistics:
Human Language Technologies, Volume 1 (Long andShort Papers), pp. 4171–4186, Minneapolis, Minnesota,

June 2019. Association for Computational Linguistics.
[6] Ruiqing Zhang, Chuanqiang Zhang, Zhongjun He, HuaWu, and Haifeng Wang. Learning adaptive segmentation
policy for simultaneous translation. In Proceedings ofthe 2020 Conference on Empirical Methods in NaturalLanguage Processing (EMNLP), pp. 2280–2289, Online,

November 2020. Association for Computational Linguistics.
[7] Yusuke Oda, Graham Neubig, Sakriani Sakti, Tomoki
Toda, and Satoshi Nakamura. Syntax-based simultaneoustranslation through prediction of unseen syntactic constituents. In Proceedings of the 53rd Annual Meetingof the Association for Computational Linguistics andthe 7th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 198–207, Beijing, China, July 2015. Association for Computational Linguistics.
[8] Philipp Koehn, Hieu Hoang, Alexandra Birch, Chris
Callison-Burch, Marcello Federico, Nicola Bertoldi,
Brooke Cowan, Wade Shen, Christine Moran, RichardZens, Chris Dyer, Ondřej Bojar, Alexandra Constantin,[14][15]neapolis, Minnesota, June 2019. Association for Computational Linguistics.
Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob
Uszko-reit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser,
and andIllia Polosukhin. Attention is all you need. CoRR,
p. Vol.abs/1706.03762, 2017.
How to reproduce the result of wmt14 en-de on transformer
base model?, 2018. https://github.com/pytorch/fairseq/issues/346.
An example of english to japaneses simultaneous translation system, 2021. https://github.com/pytorch/fairseq/blob/master/examples/simultaneous_translation/docs/enja-waitk.md.
Sepp Hochreiter, J ¨ urgenSchmidhuber. Long shortterm memory. Neural Computation, 1997.
Rico Sennrich, Barry Haddow, and Alexandra Birch. Neural machine translation of rare words with subword units.
In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: LongPapers), pp. 1715–1725, Berlin, Germany, August 2016.

Association for Computational Linguistics.
[16] Thomas Wolf, Lysandre Debut, Victor Sanh, Julien Chaumond, Clement Delangue, Anthony Moi, Pierric Cistac,
Tim Rault, Remi Louf, Morgan Funtowicz, Joe Davison,
Sam Shleifer, Patrick von Platen, Clara Ma, Yacine Jernite,
Julien Plu, Canwen Xu, Teven Le Scao, Sylvain Gugger,
Mariama Drame, Quentin Lhoest, and Alexander Rush.
Transformers: State-of-the-art natural language processing. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing: System
Demonstrations, pp. 38–45, Online, October 2020. As-sociation for Computational Linguistics.
[17] Changhan Wang Jiatao Gu Juan Pino Xutai Ma, Mohammad Javad Dousti. Simuleval: An evaluation toolkit for
simultaneous translation. In Proceedings of the EMNLP,2020.
[18] Kishore Papineni, Salim Roukos, Todd Ward, and WeiJing Zhu. Bleu: a method for automatic evaluation ofmachine translation. In Proceedings of the 40th Annual
Meeting of the Association for Computational Linguistics, pp. 311–318, Philadelphia, Pennsylvania, USA, July

2002. Association for Computational Linguistics.

付録

A

Label

翻訳モデルのハイパーパラメータ

A.1
wait-kk の範囲は、[2, 4, 6,..., 30]
MU

ハイパーパラメータ p はセグメント境界である 確 率 の 閾 値 を 表 す。p の 範 囲 は、p are [0.5,表5

Precision Recall

F1NP

0.90

0.94

0.92

VP0.890.970.93

NN

0.95

0.970.96,0.98

1.00

0.99

PP

0.85

0.93

0.89

S

0.87

0.52

0.65

１つ先の単語を用いた BERT ベースの ICLP

0.1, 0.15,..., 0.95], [0.99, 0.991, 0.992,..., 0.999], and[0.9991, 0.9992,..., 0.9999]。境界予測の際には、1つ、または２つ先のトークンを利用した。

Label

Fixed-size Segmentation

これは入力系列を固定長で区切ってチャンクデコーディングを行う。セグメントサイズを表すハイパーパラメータ f の範囲は、単語単位では、[2, 4, 6,..., 30] 、サブワード単位では、 [4, 8,12,..., 60] とした。
ICLP

表6

ハイパーパラメータは、セグメントを構成する

Precision Recall

F1NP

0.85

0.89

0.87

VP0.910.940.92

NN

0.93

0.92

0.92,0.98

1.00

0.99

PP0.78

0.94

0.86

S

0.84

0.52

0.64

１つ先の単語を用いた LSTM ベースの ICLP

最小単語数 m で、その範囲は、 [1, 2, 3, ..., 29].。
Wait-k は k トークン待った後は、一つの単語の入力後、必ず一つの単語を出力しなければならないた

Label

め、greedy decoding を行った。それ以外のモデルは、

NP

0.62

0.85

0.72

VP0.750.800.78

NN0.600.780.68,

0.410.34

0.37

PP

0.50

0.470.48

S

0.77

0.620.69

beam search をビーム幅４で行った。

A.2

ルールの違いによる実際の出力例
原文

I /like / delicious food .

ラベル/ VP / NP / NN / .

翻訳

私は / 好きです / 美味しい食べ物.
表3

原文

表7

先の単語を用いない BERT ベースの ICLPI / like delicious food .
17.5

私は / 美味しい食べ物が好きです.
17.0

VP のみで区切った結果

ICLP モデルの比較

BLEU

表4

A.3

F1

VP+NP で区切った結果

ラベル / VP / NP / NN / .
翻訳

Precision Recall

16.5
16.0

VP (LSTM)
VP (BERT)
full-sentence

15.5
46810AL

1214図 6 LSTM ベースと BERT ベースの ICLP の英日同時翻訳比較