File size: 19,118 Bytes
1d8c965
 
 
 
 
 
 
 
 
 
 
 
 
 
 
182566d
 
1d8c965
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207
208
209
210
211
212
213
214
215
216
217
218
219
220
221
222
223
224
225
226
227
228
229
230
231
232
233
234
235
236
237
238
239
240
241
242
243
244
245
246
247
248
249
250
251
252
253
254
255
256
257
258
259
260
261
262
263
264
265
266
267
268
269
270
271
272
273
274
275
276
277
278
279
280
281
282
283
284
285
286
287
288
289
290
291
292
293
294
295
296
297
298
299
300
301
302
303
304
305
306
307
308
309
310
311
312
313
314
315
316
317
318
319
320
321
322
323
324
325
326
327
328
329
330
331
332
333
334
335
336
337
338
339
340
341
342
343
344
345
346
347
---
license: cc0-1.0
tags:
- generated_from_trainer
base_model: KBLab/wav2vec2-large-voxrex
model-index:
- name: wav2vec2-large-voxrex-npsc-nst-bokmaal-fixed
  results: []
---

<!-- This model card has been generated automatically according to the information the Trainer had access to. You
should probably proofread and complete it, then remove this comment. -->

# wav2vec2-large-voxrex-npsc-nst-bokmaal-fixed

FROM: https://huggingface.co/NbAiLab/wav2vec2-large-voxrex-npsc-nst-bokmaal-fixed

This model is a fine-tuned version of [KBLab/wav2vec2-large-voxrex](https://huggingface.co/KBLab/wav2vec2-large-voxrex) on the None dataset.
It achieves the following results on the evaluation set:
- Loss: 0.0482
- Wer: 0.0493

## Model description

More information needed

## Intended uses & limitations

More information needed

## Training and evaluation data

More information needed

## Training procedure

### Training hyperparameters

The following hyperparameters were used during training:
- learning_rate: 0.0001
- train_batch_size: 16
- eval_batch_size: 16
- seed: 42
- gradient_accumulation_steps: 2
- total_train_batch_size: 32
- optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
- lr_scheduler_type: linear
- lr_scheduler_warmup_steps: 2000
- num_epochs: 15.0
- mixed_precision_training: Native AMP

### Training results

| Training Loss | Epoch | Step   | Validation Loss | Wer    |
|:-------------:|:-----:|:------:|:---------------:|:------:|
| 6.2179        | 0.05  | 500    | 4.1309          | 0.9998 |
| 2.9345        | 0.11  | 1000   | 2.9238          | 1.0    |
| 0.7252        | 0.16  | 1500   | 0.3986          | 0.3914 |
| 0.5085        | 0.21  | 2000   | 0.2691          | 0.2844 |
| 0.397         | 0.26  | 2500   | 0.2210          | 0.2347 |
| 0.3632        | 0.32  | 3000   | 0.1961          | 0.2042 |
| 0.3393        | 0.37  | 3500   | 0.1793          | 0.1848 |
| 0.32          | 0.42  | 4000   | 0.1637          | 0.1682 |
| 0.3074        | 0.48  | 4500   | 0.1520          | 0.1592 |
| 0.2941        | 0.53  | 5000   | 0.1435          | 0.1532 |
| 0.2706        | 0.58  | 5500   | 0.1391          | 0.1468 |
| 0.2704        | 0.64  | 6000   | 0.1340          | 0.1385 |
| 0.2526        | 0.69  | 6500   | 0.1274          | 0.1336 |
| 0.2508        | 0.74  | 7000   | 0.1191          | 0.1290 |
| 0.2372        | 0.79  | 7500   | 0.1215          | 0.1252 |
| 0.2416        | 0.85  | 8000   | 0.1177          | 0.1246 |
| 0.2269        | 0.9   | 8500   | 0.1109          | 0.1191 |
| 0.2373        | 0.95  | 9000   | 0.1060          | 0.1202 |
| 0.2355        | 1.01  | 9500   | 0.1047          | 0.1186 |
| 0.2112        | 1.06  | 10000  | 0.1081          | 0.1123 |
| 0.2099        | 1.11  | 10500  | 0.1089          | 0.1109 |
| 0.1878        | 1.16  | 11000  | 0.1009          | 0.1102 |
| 0.2194        | 1.22  | 11500  | 0.0964          | 0.1121 |
| 0.204         | 1.27  | 12000  | 0.0953          | 0.1051 |
| 0.184         | 1.32  | 12500  | 0.0934          | 0.1051 |
| 0.1896        | 1.38  | 13000  | 0.0968          | 0.1037 |
| 0.1849        | 1.43  | 13500  | 0.0917          | 0.1038 |
| 0.1829        | 1.48  | 14000  | 0.0907          | 0.1002 |
| 0.1781        | 1.53  | 14500  | 0.0898          | 0.0997 |
| 0.1838        | 1.59  | 15000  | 0.0873          | 0.1002 |
| 0.1868        | 1.64  | 15500  | 0.0883          | 0.0938 |
| 0.1888        | 1.69  | 16000  | 0.0850          | 0.0928 |
| 0.1767        | 1.75  | 16500  | 0.0851          | 0.0915 |
| 0.1759        | 1.8   | 17000  | 0.0864          | 0.0932 |
| 0.1778        | 1.85  | 17500  | 0.0842          | 0.0913 |
| 0.1612        | 1.91  | 18000  | 0.0831          | 0.0873 |
| 0.163         | 1.96  | 18500  | 0.0797          | 0.0940 |
| 0.1618        | 2.01  | 19000  | 0.0798          | 0.0902 |
| 0.1576        | 2.06  | 19500  | 0.0818          | 0.0883 |
| 0.1585        | 2.12  | 20000  | 0.0808          | 0.0879 |
| 0.1519        | 2.17  | 20500  | 0.0804          | 0.0868 |
| 0.1504        | 2.22  | 21000  | 0.0790          | 0.0834 |
| 0.1518        | 2.28  | 21500  | 0.0772          | 0.0832 |
| 0.1521        | 2.33  | 22000  | 0.0757          | 0.0820 |
| 0.1459        | 2.38  | 22500  | 0.0778          | 0.0815 |
| 0.1436        | 2.43  | 23000  | 0.0777          | 0.0808 |
| 0.1475        | 2.49  | 23500  | 0.0736          | 0.0800 |
| 0.1448        | 2.54  | 24000  | 0.0758          | 0.0809 |
| 0.1602        | 2.59  | 24500  | 0.0721          | 0.0802 |
| 0.1417        | 2.65  | 25000  | 0.0716          | 0.0795 |
| 0.145         | 2.7   | 25500  | 0.0719          | 0.0791 |
| 0.1456        | 2.75  | 26000  | 0.0721          | 0.0813 |
| 0.1391        | 2.8   | 26500  | 0.0687          | 0.0780 |
| 0.1431        | 2.86  | 27000  | 0.0727          | 0.0770 |
| 0.24          | 2.91  | 27500  | 0.0699          | 0.0769 |
| 0.1333        | 2.96  | 28000  | 0.0701          | 0.0770 |
| 0.1305        | 3.02  | 28500  | 0.0715          | 0.0756 |
| 0.1366        | 3.07  | 29000  | 0.0700          | 0.0764 |
| 0.1354        | 3.12  | 29500  | 0.0674          | 0.0743 |
| 0.1269        | 3.18  | 30000  | 0.0689          | 0.0765 |
| 0.1259        | 3.23  | 30500  | 0.0703          | 0.0773 |
| 0.1246        | 3.28  | 31000  | 0.0672          | 0.0740 |
| 0.1281        | 3.33  | 31500  | 0.0683          | 0.0732 |
| 0.1356        | 3.39  | 32000  | 0.0686          | 0.0724 |
| 0.1258        | 3.44  | 32500  | 0.0663          | 0.0718 |
| 0.1305        | 3.49  | 33000  | 0.0680          | 0.0715 |
| 0.1274        | 3.55  | 33500  | 0.0682          | 0.0704 |
| 0.2169        | 3.6   | 34000  | 0.0663          | 0.0716 |
| 0.1301        | 3.65  | 34500  | 0.0654          | 0.0707 |
| 0.1242        | 3.7   | 35000  | 0.0653          | 0.0702 |
| 0.1284        | 3.76  | 35500  | 0.0641          | 0.0720 |
| 0.1204        | 3.81  | 36000  | 0.0642          | 0.0731 |
| 0.1256        | 3.86  | 36500  | 0.0645          | 0.0772 |
| 0.1147        | 3.92  | 37000  | 0.0659          | 0.0734 |
| 0.112         | 3.97  | 37500  | 0.0669          | 0.0728 |
| 0.1153        | 4.02  | 38000  | 0.0647          | 0.0738 |
| 0.1169        | 4.07  | 38500  | 0.0648          | 0.0681 |
| 0.1145        | 4.13  | 39000  | 0.0653          | 0.0686 |
| 0.108         | 4.18  | 39500  | 0.0643          | 0.0688 |
| 0.1142        | 4.23  | 40000  | 0.0637          | 0.0703 |
| 0.1126        | 4.29  | 40500  | 0.0637          | 0.0684 |
| 0.118         | 4.34  | 41000  | 0.0647          | 0.0669 |
| 0.1128        | 4.39  | 41500  | 0.0640          | 0.0680 |
| 0.1159        | 4.45  | 42000  | 0.0613          | 0.0672 |
| 0.1149        | 4.5   | 42500  | 0.0617          | 0.0660 |
| 0.1111        | 4.55  | 43000  | 0.0606          | 0.0664 |
| 0.1162        | 4.6   | 43500  | 0.0605          | 0.0655 |
| 0.1087        | 4.66  | 44000  | 0.0614          | 0.0672 |
| 0.1161        | 4.71  | 44500  | 0.0618          | 0.0674 |
| 0.1093        | 4.76  | 45000  | 0.0617          | 0.0676 |
| 0.1157        | 4.82  | 45500  | 0.0619          | 0.0653 |
| 0.1077        | 4.87  | 46000  | 0.0606          | 0.0654 |
| 0.1059        | 4.92  | 46500  | 0.0597          | 0.0633 |
| 0.1031        | 4.97  | 47000  | 0.0608          | 0.0638 |
| 0.109         | 5.03  | 47500  | 0.0595          | 0.0632 |
| 0.1009        | 5.08  | 48000  | 0.0597          | 0.0658 |
| 0.1008        | 5.13  | 48500  | 0.0602          | 0.0674 |
| 0.0952        | 5.19  | 49000  | 0.0604          | 0.0677 |
| 0.1084        | 5.24  | 49500  | 0.0606          | 0.0672 |
| 0.1061        | 5.29  | 50000  | 0.0579          | 0.0654 |
| 0.0968        | 5.35  | 50500  | 0.0607          | 0.0666 |
| 0.1025        | 5.4   | 51000  | 0.0594          | 0.0655 |
| 0.1086        | 5.45  | 51500  | 0.0597          | 0.0677 |
| 0.1007        | 5.5   | 52000  | 0.0590          | 0.0632 |
| 0.0996        | 5.56  | 52500  | 0.0592          | 0.0633 |
| 0.1041        | 5.61  | 53000  | 0.0593          | 0.0637 |
| 0.1071        | 5.66  | 53500  | 0.0576          | 0.0627 |
| 0.1073        | 5.72  | 54000  | 0.0591          | 0.0637 |
| 0.1086        | 5.77  | 54500  | 0.0581          | 0.0619 |
| 0.1043        | 5.82  | 55000  | 0.0583          | 0.0613 |
| 0.1037        | 5.87  | 55500  | 0.0589          | 0.0614 |
| 0.1008        | 5.93  | 56000  | 0.0576          | 0.0604 |
| 0.1074        | 5.98  | 56500  | 0.0561          | 0.0608 |
| 0.0978        | 6.03  | 57000  | 0.0576          | 0.0610 |
| 0.094         | 6.09  | 57500  | 0.0587          | 0.0598 |
| 0.0918        | 6.14  | 58000  | 0.0587          | 0.0603 |
| 0.0998        | 6.19  | 58500  | 0.0564          | 0.0596 |
| 0.1049        | 6.24  | 59000  | 0.0560          | 0.0590 |
| 0.0986        | 6.3   | 59500  | 0.0564          | 0.0609 |
| 0.092         | 6.35  | 60000  | 0.0565          | 0.0601 |
| 0.0944        | 6.4   | 60500  | 0.0552          | 0.0596 |
| 0.0908        | 6.46  | 61000  | 0.0567          | 0.0593 |
| 0.096         | 6.51  | 61500  | 0.0562          | 0.0588 |
| 0.0977        | 6.56  | 62000  | 0.0566          | 0.0601 |
| 0.0987        | 6.62  | 62500  | 0.0555          | 0.0594 |
| 0.0941        | 6.67  | 63000  | 0.0557          | 0.0603 |
| 0.0992        | 6.72  | 63500  | 0.0551          | 0.0603 |
| 0.0888        | 6.77  | 64000  | 0.0565          | 0.0623 |
| 0.1065        | 6.83  | 64500  | 0.0538          | 0.0598 |
| 0.0996        | 6.88  | 65000  | 0.0559          | 0.0601 |
| 0.0945        | 6.93  | 65500  | 0.0543          | 0.0608 |
| 0.0898        | 6.99  | 66000  | 0.0551          | 0.0600 |
| 0.0911        | 7.04  | 66500  | 0.0568          | 0.0598 |
| 0.0871        | 7.09  | 67000  | 0.0554          | 0.0605 |
| 0.0898        | 7.14  | 67500  | 0.0561          | 0.0600 |
| 0.0905        | 7.2   | 68000  | 0.0560          | 0.0582 |
| 0.0866        | 7.25  | 68500  | 0.0549          | 0.0614 |
| 0.0857        | 7.3   | 69000  | 0.0558          | 0.0594 |
| 0.0827        | 7.36  | 69500  | 0.0570          | 0.0603 |
| 0.0913        | 7.41  | 70000  | 0.0545          | 0.0592 |
| 0.0862        | 7.46  | 70500  | 0.0557          | 0.0591 |
| 0.0904        | 7.51  | 71000  | 0.0539          | 0.0575 |
| 0.0876        | 7.57  | 71500  | 0.0542          | 0.0587 |
| 0.0873        | 7.62  | 72000  | 0.0555          | 0.0576 |
| 0.0895        | 7.67  | 72500  | 0.0541          | 0.0586 |
| 0.0892        | 7.73  | 73000  | 0.0527          | 0.0576 |
| 0.0878        | 7.78  | 73500  | 0.0542          | 0.0588 |
| 0.0904        | 7.83  | 74000  | 0.0524          | 0.0577 |
| 0.0888        | 7.89  | 74500  | 0.0522          | 0.0582 |
| 0.0848        | 7.94  | 75000  | 0.0526          | 0.0569 |
| 0.0879        | 7.99  | 75500  | 0.0524          | 0.0584 |
| 0.0789        | 8.04  | 76000  | 0.0533          | 0.0596 |
| 0.0798        | 8.1   | 76500  | 0.0540          | 0.0592 |
| 0.0901        | 8.15  | 77000  | 0.0516          | 0.0590 |
| 0.0798        | 8.2   | 77500  | 0.0525          | 0.0571 |
| 0.0844        | 8.26  | 78000  | 0.0524          | 0.0567 |
| 0.0824        | 8.31  | 78500  | 0.0531          | 0.0560 |
| 0.0825        | 8.36  | 79000  | 0.0527          | 0.0558 |
| 0.0873        | 8.41  | 79500  | 0.0525          | 0.0564 |
| 0.0842        | 8.47  | 80000  | 0.0528          | 0.0557 |
| 0.0802        | 8.52  | 80500  | 0.0523          | 0.0559 |
| 0.0866        | 8.57  | 81000  | 0.0529          | 0.0562 |
| 0.0848        | 8.63  | 81500  | 0.0518          | 0.0567 |
| 0.0819        | 8.68  | 82000  | 0.0514          | 0.0560 |
| 0.0882        | 8.73  | 82500  | 0.0516          | 0.0564 |
| 0.0854        | 8.78  | 83000  | 0.0512          | 0.0555 |
| 0.0733        | 8.84  | 83500  | 0.0532          | 0.0558 |
| 0.0835        | 8.89  | 84000  | 0.0509          | 0.0552 |
| 0.0787        | 8.94  | 84500  | 0.0515          | 0.0547 |
| 0.0803        | 9.0   | 85000  | 0.0510          | 0.0563 |
| 0.0798        | 9.05  | 85500  | 0.0522          | 0.0558 |
| 0.0801        | 9.1   | 86000  | 0.0520          | 0.0586 |
| 0.075         | 9.16  | 86500  | 0.0514          | 0.0567 |
| 0.0764        | 9.21  | 87000  | 0.0522          | 0.0576 |
| 0.0774        | 9.26  | 87500  | 0.0510          | 0.0558 |
| 0.1719        | 9.31  | 88000  | 0.0481          | 0.0594 |
| 0.0839        | 9.37  | 88500  | 0.0508          | 0.0577 |
| 0.0777        | 9.42  | 89000  | 0.0513          | 0.0575 |
| 0.0772        | 9.47  | 89500  | 0.0520          | 0.0569 |
| 0.0796        | 9.53  | 90000  | 0.0509          | 0.0551 |
| 0.0808        | 9.58  | 90500  | 0.0507          | 0.0555 |
| 0.08          | 9.63  | 91000  | 0.0501          | 0.0559 |
| 0.0757        | 9.68  | 91500  | 0.0498          | 0.0554 |
| 0.0724        | 9.74  | 92000  | 0.0505          | 0.0540 |
| 0.0782        | 9.79  | 92500  | 0.0507          | 0.0551 |
| 0.0839        | 9.84  | 93000  | 0.0523          | 0.0557 |
| 0.0779        | 9.9   | 93500  | 0.0500          | 0.0547 |
| 0.0768        | 9.95  | 94000  | 0.0509          | 0.0558 |
| 0.0786        | 10.0  | 94500  | 0.0506          | 0.0538 |
| 0.0719        | 10.06 | 95000  | 0.0492          | 0.0563 |
| 0.0721        | 10.11 | 95500  | 0.0501          | 0.0532 |
| 0.0725        | 10.16 | 96000  | 0.0500          | 0.0541 |
| 0.0724        | 10.21 | 96500  | 0.0506          | 0.0526 |
| 0.0677        | 10.27 | 97000  | 0.0503          | 0.0525 |
| 0.0726        | 10.32 | 97500  | 0.0499          | 0.0529 |
| 0.0779        | 10.37 | 98000  | 0.0500          | 0.0529 |
| 0.1584        | 10.43 | 98500  | 0.0509          | 0.0544 |
| 0.0781        | 10.48 | 99000  | 0.0502          | 0.0530 |
| 0.0677        | 10.53 | 99500  | 0.0503          | 0.0535 |
| 0.0729        | 10.58 | 100000 | 0.0498          | 0.0535 |
| 0.0741        | 10.64 | 100500 | 0.0493          | 0.0540 |
| 0.0698        | 10.69 | 101000 | 0.0501          | 0.0532 |
| 0.0711        | 10.74 | 101500 | 0.0485          | 0.0538 |
| 0.0763        | 10.8  | 102000 | 0.0500          | 0.0544 |
| 0.0745        | 10.85 | 102500 | 0.0491          | 0.0538 |
| 0.0749        | 10.9  | 103000 | 0.0488          | 0.0547 |
| 0.0746        | 10.95 | 103500 | 0.0500          | 0.0535 |
| 0.081         | 11.01 | 104000 | 0.0490          | 0.0535 |
| 0.068         | 11.06 | 104500 | 0.0497          | 0.0522 |
| 0.07          | 11.11 | 105000 | 0.0499          | 0.0542 |
| 0.0706        | 11.17 | 105500 | 0.0487          | 0.0539 |
| 0.071         | 11.22 | 106000 | 0.0489          | 0.0535 |
| 0.0761        | 11.27 | 106500 | 0.0490          | 0.0531 |
| 0.0756        | 11.33 | 107000 | 0.0492          | 0.0536 |
| 0.0679        | 11.38 | 107500 | 0.0499          | 0.0530 |
| 0.0701        | 11.43 | 108000 | 0.0489          | 0.0523 |
| 0.0746        | 11.48 | 108500 | 0.0493          | 0.0526 |
| 0.0716        | 11.54 | 109000 | 0.0495          | 0.0529 |
| 0.066         | 11.59 | 109500 | 0.0491          | 0.0526 |
| 0.0713        | 11.64 | 110000 | 0.0490          | 0.0514 |
| 0.0659        | 11.7  | 110500 | 0.0492          | 0.0516 |
| 0.0737        | 11.75 | 111000 | 0.0483          | 0.0503 |
| 0.0737        | 11.8  | 111500 | 0.0484          | 0.0506 |
| 0.0658        | 11.85 | 112000 | 0.0489          | 0.0514 |
| 0.0726        | 11.91 | 112500 | 0.0477          | 0.0507 |
| 0.0737        | 11.96 | 113000 | 0.0489          | 0.0508 |
| 0.0677        | 12.01 | 113500 | 0.0491          | 0.0510 |
| 0.0696        | 12.07 | 114000 | 0.0485          | 0.0508 |
| 0.0611        | 12.12 | 114500 | 0.0501          | 0.0499 |
| 0.0629        | 12.17 | 115000 | 0.0492          | 0.0503 |
| 0.0694        | 12.22 | 115500 | 0.0495          | 0.0497 |
| 0.1572        | 12.28 | 116000 | 0.0496          | 0.0500 |
| 0.0662        | 12.33 | 116500 | 0.0491          | 0.0501 |
| 0.0667        | 12.38 | 117000 | 0.0490          | 0.0497 |
| 0.0717        | 12.44 | 117500 | 0.0487          | 0.0495 |
| 0.0632        | 12.49 | 118000 | 0.0489          | 0.0494 |
| 0.0664        | 12.54 | 118500 | 0.0489          | 0.0497 |
| 0.0671        | 12.6  | 119000 | 0.0484          | 0.0494 |
| 0.0612        | 12.65 | 119500 | 0.0491          | 0.0495 |
| 0.0626        | 12.7  | 120000 | 0.0496          | 0.0494 |
| 0.0602        | 12.75 | 120500 | 0.0489          | 0.0489 |
| 0.0722        | 12.81 | 121000 | 0.0481          | 0.0493 |
| 0.0677        | 12.86 | 121500 | 0.0488          | 0.0497 |
| 0.0642        | 12.91 | 122000 | 0.0488          | 0.0500 |
| 0.0635        | 12.97 | 122500 | 0.0482          | 0.0498 |
| 0.0702        | 13.02 | 123000 | 0.0480          | 0.0497 |
| 0.0622        | 13.07 | 123500 | 0.0489          | 0.0493 |
| 0.0654        | 13.12 | 124000 | 0.0486          | 0.0495 |
| 0.0682        | 13.18 | 124500 | 0.0483          | 0.0492 |
| 0.062         | 13.23 | 125000 | 0.0486          | 0.0491 |
| 0.0666        | 13.28 | 125500 | 0.0490          | 0.0492 |
| 0.1656        | 13.34 | 126000 | 0.0487          | 0.0496 |
| 0.0633        | 13.39 | 126500 | 0.0487          | 0.0497 |
| 0.0578        | 13.44 | 127000 | 0.0488          | 0.0491 |
| 0.0595        | 13.49 | 127500 | 0.0487          | 0.0500 |
| 0.0645        | 13.55 | 128000 | 0.0482          | 0.0493 |
| 0.0722        | 13.6  | 128500 | 0.0483          | 0.0500 |
| 0.0664        | 13.65 | 129000 | 0.0485          | 0.0496 |
| 0.0627        | 13.71 | 129500 | 0.0486          | 0.0498 |
| 0.0605        | 13.76 | 130000 | 0.0486          | 0.0496 |
| 0.0678        | 13.81 | 130500 | 0.0481          | 0.0498 |
| 0.0695        | 13.87 | 131000 | 0.0486          | 0.0495 |
| 0.0609        | 13.92 | 131500 | 0.0477          | 0.0497 |
| 0.064         | 13.97 | 132000 | 0.0481          | 0.0496 |
| 0.0583        | 14.02 | 132500 | 0.0483          | 0.0499 |
| 0.0639        | 14.08 | 133000 | 0.0483          | 0.0499 |
| 0.0683        | 14.13 | 133500 | 0.0477          | 0.0495 |
| 0.0623        | 14.18 | 134000 | 0.0485          | 0.0492 |
| 0.0669        | 14.24 | 134500 | 0.0483          | 0.0492 |
| 0.0603        | 14.29 | 135000 | 0.0484          | 0.0494 |
| 0.0696        | 14.34 | 135500 | 0.0480          | 0.0494 |
| 0.0631        | 14.39 | 136000 | 0.0482          | 0.0494 |
| 0.0587        | 14.45 | 136500 | 0.0481          | 0.0493 |
| 0.0671        | 14.5  | 137000 | 0.0483          | 0.0492 |
| 0.0592        | 14.55 | 137500 | 0.0483          | 0.0493 |
| 0.0592        | 14.61 | 138000 | 0.0489          | 0.0494 |
| 0.0584        | 14.66 | 138500 | 0.0485          | 0.0495 |
| 0.0575        | 14.71 | 139000 | 0.0483          | 0.0495 |
| 0.0724        | 14.76 | 139500 | 0.0482          | 0.0494 |
| 0.0629        | 14.82 | 140000 | 0.0483          | 0.0493 |
| 0.0609        | 14.87 | 140500 | 0.0483          | 0.0493 |
| 0.0573        | 14.92 | 141000 | 0.0481          | 0.0494 |
| 0.0649        | 14.98 | 141500 | 0.0482          | 0.0493 |


### Framework versions

- Transformers 4.18.0
- Pytorch 1.11.0+cu113
- Datasets 2.1.0
- Tokenizers 0.12.1