SlowGuess/ACL_2020_OCR huggingface dataset:
We train on 3,961,179 distilled sentence pairs released by Gu et al. (2019) and evaluate on WMT'14 En-De test set (3,003 sentences). The dictionary used in this work is created by sampling  $10\%$  En-De translation entries from Wiktionary, resulting in 10,522 entries. After applying this dictionary to generate constraints for the test set, we obtain 454 sentences that contain at least one constraint. The average number of constraints per sentence is 1.15 and the number of unique source constraints is 220. We use an English frequency list<sup>7</sup> to filter the 500 most frequent words. We use the WMT'17 En-De test sets released by Dinu et al. (2019)<sup>8</sup> that were created based on Wiktionary and IATE term entries exactly matching the source and target. They contain 727 and 414 sentences, respectively.
Table 4 shows the hyperparameter settings for our LevT model. We learn a joint BPE vocabulary with 32,000 operations. Their resulting vocabulary size is 39,843.
Embedding dim.	512
Learned positional embeddings	Yes
Tied embeddings	Yes
Transformer FFN dim.	2,048
Attention heads	8
En/Decoder layers	6
Label smoothing	0.1
Dropout	0.3
Weight decay	0.01
Learning rate	0.005
Warmup updates	10,000
Effective batch size in tokens	64,000
Max. updates	300,000
Table 4: LevT hyperparameter settings
We train a LevT model on 599,907 training sentence pairs from the WMT'16 Romanian-English (Ro-En) news translation task (Bojar et al., 2016) using knowledge distillation routine based on Transformer base output and evaluate on 1,999 test sentences. Similar to En-De, we create a dictionary
7 https://norvig.com/ngrams/count_lw.txt 8 https://github.com/mtresearcher/terminology_ dataset
3541
Term%	BLEU	Speed (sent/sec)
Full	Constr.
Baseline LevT	80.33	33.00	35.35	271.32
+ Constr. Ins.	95.33	33.10	35.96	274.01
+ No Del.	98.67	33.13	36.09	263.68
+ No Ins.	100.00	33.13	36.09	264.45
Table 5: Results of LevT with lexical constraints on WMT16 Ro-En task
by sampling  $10\%$  Ro-En translation entries from Wiktionary, resulting in 3,490 entries. We use this dictionary to generate 270 test sentences that contain at least one constraint. The average number of constraints per sentence is 1.11, and the number of unique source constraints is 122. Similarly, we filter out the 500 most frequent English words.
We train our LevT model using the same hyperparameter settings from Table 4. We learn a joint BPE vocabulary with 40,000 operations, which results in 39,348 vocabulary size. Table 5 shows the experiment results. We observe consistent findings in our En-De experiments in terms of improved term usage rate (from  $80\%$  to  $100\%$ ) and a small margin of improvement of 0.7 BLEU, while being able to decode as fast as a baseline LevT model.
Table 6 shows more example translations of the lexically constrained LevT model.
WMT'14 En-De
Source	Bwelle and his team spend almost every weekend seeing hundreds of patients {spend→verbringen, almost→beinahe}
Baseline LevT + Constr. Ins. + No Del. + No Ins. Reference	Bwelle und sein Team verbringen fast{jedes Wochenden mit Hunderte von Patienten. Bwelle und sein Team verbringen beinahe{jedes Wochenden mit Hunderte von Patienten. Bwelle und sein Team verbringen beinahe{jedes Wochenden mit Hunderte von Patienten. Bwelle und sein Team verbringen beinahe{jedes Wochenden mit Hunderte von Patienten zu behandeln
Source	There have already been two events held in the brightly lit café. {already→schon}
Baseline LevT + Constr. Ins. + No Del. + No Ins. Reference	Im hell beleuchteten Café fanden bereits zwei Veranstaltungen statt. Im hell beleuchteten Café fanden bereits zwei Veranstaltungen statt. Im hell beleuchteten Café fanden schon zwei Veranstaltungen statt. Zwei Events gab's auch schon im hellen Café.
WMT'17 En-De - Wiktionary
Source	House searches had revealed evidence and drugs, the police revealed on Friday. {evidence→Beweismittel, police→Polizei}
Baseline LevT + Constr. Ins. + No Del. + No Ins. Reference	Durchsuchungen des Haues hatten Beweise und Drogen enthält, die Polizei am Freitag enthält. Hausdurchfragen hatten Beweismittel und Drogen offenbart, hat die Polizei am Freitag enthält. Durchfragen hatten Beweismittel und Drogen offenbart, die Polizei am Freitag enthält. Bei Wohnungs durchsuchungen seien Beweismittel und Rauschgift sichergestellt worden, teilte die Polizei am Freitag mit.
Source	We always say that it has a lot of Latin American influences. {Latin American→lateinamerikanisch}
Baseline LevT + Constr. Ins. + No Del. + No Ins. Reference	Wir sagen immer, dass sie viele lateinamerikanische Einflüsse hat. Wir sagen immer, dass sie viel lateinamerikanisch beeinfusst. Wir sagen immer, dass sie viel lateinamerikanisch beeinfusst. Wir sagen immer, dass sie sehr lateinamerikanisch geprügt ist.
WMT'17 En-De - IATE
Source	What is behind sleep disorders? {sleep disorders→Schlafstörungen}
Baseline LevT + Constr. Ins. + No Del. + No Ins. Reference	Was steckt hinter Schlafkrankheiten? Was steckt hinter Schlafstörungen? Was steckt hinter Schlafstörungen? Was steckt hinter Schlafstörungen?
Source	He said another stepson who lives nearby alerted him. {stepson→Stiefsohn}
Baseline LevT + Constr. Ins. + No Del. + No Ins. Reference	Er sagte, ein weiterer Stiefson, der in der Höhe leibt, alarmierte him. Er sagte, ein weiterer Stiefsohn, der in der Höhe leibt, alarmierte him. Er sagte, ein weiterer Stiefsohn, der in der Höhe leibt, alarmierte him. Er sagte, dass ein weiterer Stiefsohn, der in der Höhe wohnt, gewarnt hatte.
Table 6: More example translations from the LevT with constraint insertion. The constraints are in curly brackets.