SlowGuess/NAACL_2022_OCR huggingface dataset:
where the copy probabilities are calculated from the attention matrix of an additional encoder-decoder attention layer that is added on top of the final decoder layer,  $\mathbf{A}_i$ :
$$
P _ {i} ^ {\text {c o p y}} \left(t _ {i} ^ {\prime}\right) = \operatorname {s o f t m a x} \left(\mathbf {A} _ {i}\right) \tag {11}
$$
The copy probability weight  $\alpha_{i}^{\mathrm{copy}}$  is determined with the attention context vector  $\mathbf{c}_i$ , computed as a weighted sum of the attention values (i.e. linearly transformed encoder states) where the weights are defined by  $\mathbf{A}_i$ :
$$
\alpha_ {i} ^ {\text {c o p y}} = \operatorname {s i g m o i d} \left(\mathbf {W} ^ {\top} \mathbf {c} _ {i}\right). \tag {12}
$$
This copy-attention layer applies a source-side mask so that it only attends to the positions  $(J + 1, \dots, J + I)$  that correspond to the second input sequence  $\mathbf{t}_{1\dots I}$ , and its implementation follows Zenkel et al. (2019). In particular, it uses a single attention head, no skip connection, and contains a separate output layer that predicts the target word based on its context vector with probability distribution  $P_{i}^{\mathrm{align}}(\cdot)$ . At training time both output layers are optimized jointly by defining the overall loss  $\mathcal{L}$  as the weighted sum of both cross-entropy losses:
$$
\mathcal {L} = \mathcal {L} _ {\mathrm {C E}} (\hat {P}) + \lambda \mathcal {L} _ {\mathrm {C E}} (P ^ {\text {a l i g n}}) \tag {13}
$$
$\lambda$  is set to 0.05 in all experiments. We further apply source-word dropout (Junczys-Dowmunt et al., 2018), setting the full embedding vector for words in  $t$  to  $1 / p_{\mathrm{src}}$  with probability  $p_{\mathrm{src}} = 0.05$ .
B Results without finetuning
See Table 8.
C Examples of System Output
See Table 9, Table 10, Table 11.
D Full User Study Results
See Table 12.
Model	ASICS	EMERSON	DO
Prec.	Rec.	F0.5	Prec.	Rec.	F0.5	Prec.	Rec.	F0.5
MT	0.8	12.2	1.0	1.6	16.9	2.0	0.5	23.4	0.6
GEC	5.9	1.4	3.6	0.7	0.6	0.7	0.3	1.2	0.3
APE	2.7	7.3	3.1	3.6	3.3	3.5	0.4	5.0	0.5
BERT-APE	0.5	5.9	0.6	0.1	2.2	0.1	0.3	9.2	0.4
TEC	41.7	1.7	7.5	12.2	4.2	8.8	5.3	2.5	4.3
Table 8: Results without finetuning.
Type:	Monolingual: technical
s:	Do your feet roll inwards when running?
t:	Klppen keine Fußbe beim Laufen nachinnen ?
Reference t':	Klppen keine Fußbe beim Laufen nachinnen ?
Model	Predicted t'
MT	Klppen Rollen keine Fußbe beim Laufen nachinnen ?
APE	Correctly predicts t'
BERT-APE	No change to t
GEC	Correctly predicts t'
TEC (ours)	Correctly predicts t'
Table 9: A monolingual technical error the APE, GEC and TEC models edit correctly.
Type:	Monolingual: technical
s:	Run further than you thought possible in the GEL-NIMBUS ™ 21 LS running shoe for men by ASICS - packed full of plush cushioning and special technologies to respond to your natural stride.
t:	Mit mit dem ASICS GEL-NIMBUS ™ 21 LS Laufschuh für Herren mit weicher Dämpfung und speziellen Technologien, durch die sich der Schuh an keine natürlichen Schritte anpasst, laufst du weiter, als du es selbst je für möglich gehalten hast.
Reference t':	Mit dem ASICS GEL-NIMBUS ™ 21 LS Laufschuh für Herren mit weicher Dämpfung und speziellen Technologien, durch die sich der Schuh an keine natürlichen Schritte anpasst, laufst du weiter, als du es selbst je für möglich gehalten hast.
Model	Predicted t'
MT	Mit mit dem Laufe weiter, als du es im GEL-NIMBUS ™ 21 LS Laufschuh für Herren von ASICS für möglich gehalten hättest - mit weicher Dämpfung und speziellen Technologien, durch die sich der Schuh an keine natürlichen Schritte anpasst, laufst du weiter, als du es selbst je für möglich gehalten hätt.- um auf deinen natürlichen Schritt zu reagieren.
APE	No change to t
BERT-APE	Correctly predicts t'
GEC	Correctly predicts t'
TEC (ours)	Correctly predicts t'
Table 10: A monolingual technical error the BERT-APE, GEC and TEC models edit correctly.
Type:	Bilingual
s:	The DUOMAX™ midsole offers smooth overpronation control by combining two different density materials to reduce the risk of flat feet and bunions.
t:	Die DUOMAX™ -Mittelsohle bietet mühelos Halt bei Überpronation, indem zwei unter-schiedliche Dichtematerialien kombiniert werden, um das Risiko von flachen Fuß-ßen und Fußballen zu verringn.
Reference t':	Die DUOMAX™ -Mittelsohle bietet mühelos Halt bei Überpronation, indem zwei un-terschiedliche Dichtematerialien kombiniert werden, um das Risiko von Platt-ßen und Ballenzehen zu verringn.
Model
MT	Die DUOMAX™ -Mittelsohle bietet mühelos Halt bei eine reibungslose Überpronation, indem sie zwei Unterschiedliche Dichtematerialien kombiniert, um das Risiko von flachen Fuß-ßen und Fußballen Bündchen zu verringn.
APE	No change to t
BERT-APE	Die DUOMAX™ -Mittelsohle bietet mühelos Halt bei Überpronation, indem zwei unter-siedlich die Dichtematerialien kombiniert werden, um das Risiko von flachen Fuß-ßen und Fußballen Baseallen zu verringn.
GEC	No change to t
TEC (ours)	No change to t
Table 11: A bilingual error all models fail to edit correctly.
Suggestion Hidden	Suggestion Shown	Suggestion Shown and Accepted	Suggestion Shown and Declined
Review Time (median)	34.0475 sec	33.103 sec	26.606 sec	50.524 sec
Review Time (length-norm, median)	361 ms/char	367 ms/char	328 ms/char	841 ms/char
Inserts (median)	1.5 chars	0 chars	0 chars	4 chars
Inserts (length-norm, median)	0.0248	0	0	0.0345
Deletes (median)	2 chars	0 chars	0 chars	4 chars
Deletes (length-norm, median)	0.0294	0	0	0.0375
Inserts+Deletes (median)	4 chars	0 chars	0 chars	9 chars
Inserts+Deletes (length-norm, median)	0.0625	0	0	0.0625
Levenshtein Dist (median)	2 chars	1 char	1 char	6 chars
Levenshtein Dist (length-norm, median)	0.0347	0.0185	0.0176	0.0426
Table 12: All data from our user study about review times, number of characters the user inserted and deleted, and final levenshtein distances from the original. Data shown are medians (raw and length-normalized) across the segments, based on whether the suggestion was hidden or shown. "Suggestion Shown" is further broken down according to whether the user accepted or declined the suggestion.