File size: 27,381 Bytes
9c6ebad e51ffc7 9c6ebad e51ffc7 9c6ebad e51ffc7 9c6ebad |
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 148 149 150 151 152 153 154 155 156 157 158 159 160 161 162 163 164 165 166 167 168 169 170 171 172 173 174 175 176 177 178 179 180 181 182 183 184 185 186 187 188 189 190 191 192 193 194 195 196 197 198 199 200 201 202 203 204 205 206 207 208 209 210 211 212 213 214 215 216 217 218 219 220 221 222 223 224 225 226 227 228 229 230 231 232 233 234 235 236 237 238 239 240 241 242 243 244 245 246 247 248 249 250 251 252 253 254 255 256 257 258 259 260 261 262 263 264 265 266 267 268 269 270 271 272 273 274 275 276 277 278 279 280 281 282 283 284 285 286 287 288 289 290 291 292 293 294 295 296 297 298 299 300 301 302 303 304 305 306 307 308 309 310 311 312 313 314 315 316 317 318 319 320 321 322 323 324 325 326 327 328 329 330 331 332 333 334 335 336 337 338 339 340 341 342 343 344 345 346 347 348 349 350 351 352 353 354 355 356 357 358 359 360 361 362 363 364 365 366 367 368 369 370 371 372 373 374 375 376 377 378 379 380 381 382 383 384 385 386 387 388 389 390 391 392 393 394 395 396 397 398 399 400 401 402 403 404 405 406 407 408 409 410 411 412 413 414 415 416 417 418 419 420 421 422 423 424 425 426 427 428 429 430 431 432 433 434 435 436 437 438 |
---
language:
- en
base_model: ylacombe/w2v-bert-2.0
tags:
- automatic-speech-recognition
- mozilla-foundation/common_voice_16_0
- generated_from_trainer
metrics:
- wer
model-index:
- name: wav2vec2-bert-CV16-en
results: []
---
<!-- This model card has been generated automatically according to the information the Trainer had access to. You
should probably proofread and complete it, then remove this comment. -->
# wav2vec2-bert-CV16-en
This model is a fine-tuned version of [ylacombe/w2v-bert-2.0](https://huggingface.co/ylacombe/w2v-bert-2.0) on the MOZILLA-FOUNDATION/COMMON_VOICE_16_0 - EN dataset.
It achieves the following results on the evaluation set:
- Loss: 0.2427
- Wer: 0.1455
- Cer: 0.0580
## Model description
More information needed
## Intended uses & limitations
More information needed
## Training and evaluation data
More information needed
## Training procedure
### Training hyperparameters
The following hyperparameters were used during training:
- learning_rate: 5e-05
- train_batch_size: 12
- eval_batch_size: 12
- seed: 42
- distributed_type: multi-GPU
- num_devices: 3
- total_train_batch_size: 36
- total_eval_batch_size: 36
- optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
- lr_scheduler_type: linear
- lr_scheduler_warmup_steps: 10000
- num_epochs: 3.0
- mixed_precision_training: Native AMP
### Training results
| Training Loss | Epoch | Step | Validation Loss | Wer | Cer |
|:-------------:|:-----:|:-----:|:---------------:|:------:|:------:|
| 2.9554 | 0.01 | 250 | 3.1731 | 0.9999 | 0.9942 |
| 2.7058 | 0.02 | 500 | 2.6717 | 1.0307 | 0.7486 |
| 0.9641 | 0.02 | 750 | 0.9895 | 0.6091 | 0.2035 |
| 0.6935 | 0.03 | 1000 | 0.7740 | 0.4821 | 0.1562 |
| 0.617 | 0.04 | 1250 | 0.6751 | 0.4008 | 0.1303 |
| 0.4826 | 0.05 | 1500 | 0.5920 | 0.3499 | 0.1170 |
| 0.4252 | 0.06 | 1750 | 0.5659 | 0.3056 | 0.1053 |
| 0.472 | 0.07 | 2000 | 0.5066 | 0.2869 | 0.1007 |
| 0.4042 | 0.07 | 2250 | 0.4604 | 0.2662 | 0.0950 |
| 0.4279 | 0.08 | 2500 | 0.5165 | 0.2587 | 0.0948 |
| 0.3586 | 0.09 | 2750 | 0.4440 | 0.2461 | 0.0895 |
| 0.2715 | 0.1 | 3000 | 0.5096 | 0.2468 | 0.0904 |
| 0.413 | 0.11 | 3250 | 0.4416 | 0.2350 | 0.0879 |
| 0.3142 | 0.11 | 3500 | 0.4591 | 0.2280 | 0.0856 |
| 0.286 | 0.12 | 3750 | 0.4529 | 0.2284 | 0.0860 |
| 0.3112 | 0.13 | 4000 | 0.4621 | 0.2320 | 0.0875 |
| 0.3294 | 0.14 | 4250 | 0.4528 | 0.2294 | 0.0862 |
| 0.3522 | 0.15 | 4500 | 0.4279 | 0.2287 | 0.0861 |
| 0.2977 | 0.15 | 4750 | 0.4403 | 0.2200 | 0.0830 |
| 0.2391 | 0.16 | 5000 | 0.4360 | 0.2161 | 0.0831 |
| 0.3025 | 0.17 | 5250 | 0.4214 | 0.2157 | 0.0831 |
| 0.309 | 0.18 | 5500 | 0.4060 | 0.2125 | 0.0818 |
| 0.2872 | 0.19 | 5750 | 0.4233 | 0.2189 | 0.0824 |
| 0.2796 | 0.2 | 6000 | 0.4055 | 0.2151 | 0.0823 |
| 0.2609 | 0.2 | 6250 | 0.4374 | 0.2194 | 0.0853 |
| 0.283 | 0.21 | 6500 | 0.4288 | 0.2215 | 0.0877 |
| 0.3028 | 0.22 | 6750 | 0.4180 | 0.2166 | 0.0837 |
| 0.2565 | 0.23 | 7000 | 0.4476 | 0.2268 | 0.0892 |
| 0.2824 | 0.24 | 7250 | 0.4057 | 0.2195 | 0.0850 |
| 0.325 | 0.24 | 7500 | 0.3926 | 0.2157 | 0.0849 |
| 0.336 | 0.25 | 7750 | 0.4469 | 0.2208 | 0.0879 |
| 0.304 | 0.26 | 8000 | 0.4292 | 0.2245 | 0.0886 |
| 0.2457 | 0.27 | 8250 | 0.4198 | 0.2204 | 0.0856 |
| 0.2768 | 0.28 | 8500 | 0.4330 | 0.2184 | 0.0859 |
| 0.2165 | 0.29 | 8750 | 0.4276 | 0.2173 | 0.0864 |
| 0.3015 | 0.29 | 9000 | 0.4255 | 0.2223 | 0.0882 |
| 0.308 | 0.3 | 9250 | 0.4356 | 0.2318 | 0.0925 |
| 0.2981 | 0.31 | 9500 | 0.4514 | 0.2226 | 0.0884 |
| 0.2944 | 0.32 | 9750 | 0.4182 | 0.2293 | 0.0901 |
| 0.3298 | 0.33 | 10000 | 0.4290 | 0.2275 | 0.0892 |
| 0.2523 | 0.33 | 10250 | 0.4032 | 0.2191 | 0.0865 |
| 0.2887 | 0.34 | 10500 | 0.4218 | 0.2284 | 0.0917 |
| 0.3156 | 0.35 | 10750 | 0.3930 | 0.2271 | 0.0898 |
| 0.2526 | 0.36 | 11000 | 0.4367 | 0.2304 | 0.0928 |
| 0.2561 | 0.37 | 11250 | 0.4261 | 0.2279 | 0.0916 |
| 0.2291 | 0.37 | 11500 | 0.4401 | 0.2231 | 0.0899 |
| 0.2521 | 0.38 | 11750 | 0.4101 | 0.2232 | 0.0895 |
| 0.2249 | 0.39 | 12000 | 0.4021 | 0.2270 | 0.0913 |
| 0.2917 | 0.4 | 12250 | 0.4124 | 0.2267 | 0.0915 |
| 0.2436 | 0.41 | 12500 | 0.4197 | 0.2257 | 0.0903 |
| 0.2976 | 0.42 | 12750 | 0.3951 | 0.2230 | 0.0896 |
| 0.2333 | 0.42 | 13000 | 0.4099 | 0.2250 | 0.0901 |
| 0.2261 | 0.43 | 13250 | 0.4328 | 0.2168 | 0.0876 |
| 0.2514 | 0.44 | 13500 | 0.3947 | 0.2208 | 0.0895 |
| 0.296 | 0.45 | 13750 | 0.3953 | 0.2149 | 0.0859 |
| 0.2426 | 0.46 | 14000 | 0.3831 | 0.2119 | 0.0852 |
| 0.2258 | 0.46 | 14250 | 0.4060 | 0.2263 | 0.0915 |
| 0.2565 | 0.47 | 14500 | 0.4057 | 0.2237 | 0.0901 |
| 0.2834 | 0.48 | 14750 | 0.4112 | 0.2167 | 0.0876 |
| 0.234 | 0.49 | 15000 | 0.3802 | 0.2133 | 0.0852 |
| 0.3084 | 0.5 | 15250 | 0.3837 | 0.2151 | 0.0871 |
| 0.3051 | 0.51 | 15500 | 0.3848 | 0.2145 | 0.0867 |
| 0.2364 | 0.51 | 15750 | 0.3817 | 0.2134 | 0.0870 |
| 0.2345 | 0.52 | 16000 | 0.3883 | 0.2163 | 0.0874 |
| 0.2235 | 0.53 | 16250 | 0.3740 | 0.2136 | 0.0869 |
| 0.2365 | 0.54 | 16500 | 0.3711 | 0.2112 | 0.0850 |
| 0.2449 | 0.55 | 16750 | 0.3805 | 0.2127 | 0.0858 |
| 0.2569 | 0.55 | 17000 | 0.3794 | 0.2124 | 0.0863 |
| 0.2273 | 0.56 | 17250 | 0.3922 | 0.2207 | 0.0895 |
| 0.2492 | 0.57 | 17500 | 0.3670 | 0.2195 | 0.0874 |
| 0.236 | 0.58 | 17750 | 0.3799 | 0.2120 | 0.0862 |
| 0.2823 | 0.59 | 18000 | 0.3734 | 0.2144 | 0.0867 |
| 0.2349 | 0.59 | 18250 | 0.3972 | 0.2175 | 0.0889 |
| 0.2156 | 0.6 | 18500 | 0.3729 | 0.2157 | 0.0867 |
| 0.2812 | 0.61 | 18750 | 0.3905 | 0.2117 | 0.0854 |
| 0.242 | 0.62 | 19000 | 0.3912 | 0.2114 | 0.0855 |
| 0.2237 | 0.63 | 19250 | 0.3794 | 0.2155 | 0.0877 |
| 0.255 | 0.64 | 19500 | 0.3770 | 0.2079 | 0.0840 |
| 0.1899 | 0.64 | 19750 | 0.3796 | 0.2145 | 0.0868 |
| 0.2793 | 0.65 | 20000 | 0.3784 | 0.2145 | 0.0863 |
| 0.2099 | 0.66 | 20250 | 0.3956 | 0.2161 | 0.0875 |
| 0.22 | 0.67 | 20500 | 0.3804 | 0.2135 | 0.0875 |
| 0.2213 | 0.68 | 20750 | 0.3803 | 0.2100 | 0.0849 |
| 0.245 | 0.68 | 21000 | 0.3783 | 0.2142 | 0.0870 |
| 0.2188 | 0.69 | 21250 | 0.3873 | 0.2163 | 0.0861 |
| 0.2613 | 0.7 | 21500 | 0.3646 | 0.2105 | 0.0844 |
| 0.1907 | 0.71 | 21750 | 0.3830 | 0.2101 | 0.0853 |
| 0.2095 | 0.72 | 22000 | 0.3794 | 0.2087 | 0.0849 |
| 0.2319 | 0.73 | 22250 | 0.3548 | 0.2087 | 0.0842 |
| 0.2049 | 0.73 | 22500 | 0.3782 | 0.2075 | 0.0837 |
| 0.2248 | 0.74 | 22750 | 0.3736 | 0.2100 | 0.0845 |
| 0.2277 | 0.75 | 23000 | 0.3712 | 0.2105 | 0.0845 |
| 0.2115 | 0.76 | 23250 | 0.3722 | 0.2124 | 0.0859 |
| 0.2001 | 0.77 | 23500 | 0.3602 | 0.2072 | 0.0832 |
| 0.2095 | 0.77 | 23750 | 0.3607 | 0.2106 | 0.0851 |
| 0.2286 | 0.78 | 24000 | 0.3810 | 0.2132 | 0.0876 |
| 0.2284 | 0.79 | 24250 | 0.3677 | 0.2066 | 0.0847 |
| 0.2003 | 0.8 | 24500 | 0.3650 | 0.2098 | 0.0847 |
| 0.1992 | 0.81 | 24750 | 0.3491 | 0.2019 | 0.0813 |
| 0.224 | 0.81 | 25000 | 0.3602 | 0.2043 | 0.0825 |
| 0.2181 | 0.82 | 25250 | 0.3712 | 0.2120 | 0.0867 |
| 0.2226 | 0.83 | 25500 | 0.3657 | 0.2028 | 0.0830 |
| 0.1912 | 0.84 | 25750 | 0.3662 | 0.2076 | 0.0846 |
| 0.2283 | 0.85 | 26000 | 0.3505 | 0.2049 | 0.0825 |
| 0.2068 | 0.86 | 26250 | 0.3622 | 0.2111 | 0.0852 |
| 0.2444 | 0.86 | 26500 | 0.3660 | 0.2055 | 0.0840 |
| 0.2055 | 0.87 | 26750 | 0.3625 | 0.2055 | 0.0830 |
| 0.2074 | 0.88 | 27000 | 0.3566 | 0.1981 | 0.0812 |
| 0.2019 | 0.89 | 27250 | 0.3537 | 0.2038 | 0.0822 |
| 0.2174 | 0.9 | 27500 | 0.3664 | 0.1990 | 0.0809 |
| 0.2009 | 0.9 | 27750 | 0.3512 | 0.2035 | 0.0821 |
| 0.211 | 0.91 | 28000 | 0.3707 | 0.2068 | 0.0846 |
| 0.2541 | 0.92 | 28250 | 0.3435 | 0.1992 | 0.0812 |
| 0.2108 | 0.93 | 28500 | 0.3461 | 0.2046 | 0.0828 |
| 0.2274 | 0.94 | 28750 | 0.3364 | 0.1998 | 0.0812 |
| 0.2175 | 0.95 | 29000 | 0.3742 | 0.2113 | 0.0864 |
| 0.2368 | 0.95 | 29250 | 0.3431 | 0.2051 | 0.0833 |
| 0.1831 | 0.96 | 29500 | 0.3468 | 0.2034 | 0.0825 |
| 0.2202 | 0.97 | 29750 | 0.3342 | 0.1964 | 0.0791 |
| 0.183 | 0.98 | 30000 | 0.3413 | 0.1966 | 0.0792 |
| 0.1958 | 0.99 | 30250 | 0.3466 | 0.1991 | 0.0809 |
| 0.2167 | 0.99 | 30500 | 0.3530 | 0.2024 | 0.0816 |
| 0.2057 | 1.0 | 30750 | 0.3334 | 0.1960 | 0.0788 |
| 0.1982 | 1.01 | 31000 | 0.3312 | 0.1951 | 0.0789 |
| 0.2123 | 1.02 | 31250 | 0.3285 | 0.1955 | 0.0785 |
| 0.2269 | 1.03 | 31500 | 0.3548 | 0.2034 | 0.0812 |
| 0.2056 | 1.03 | 31750 | 0.3433 | 0.1969 | 0.0793 |
| 0.2234 | 1.04 | 32000 | 0.3446 | 0.1981 | 0.0805 |
| 0.1913 | 1.05 | 32250 | 0.3465 | 0.1969 | 0.0792 |
| 0.2005 | 1.06 | 32500 | 0.3348 | 0.1947 | 0.0784 |
| 0.2017 | 1.07 | 32750 | 0.3567 | 0.1972 | 0.0796 |
| 0.2523 | 1.08 | 33000 | 0.3367 | 0.1971 | 0.0801 |
| 0.1716 | 1.08 | 33250 | 0.3476 | 0.1975 | 0.0799 |
| 0.168 | 1.09 | 33500 | 0.3346 | 0.1951 | 0.0790 |
| 0.1995 | 1.1 | 33750 | 0.3564 | 0.1971 | 0.0794 |
| 0.198 | 1.11 | 34000 | 0.3409 | 0.1988 | 0.0796 |
| 0.1801 | 1.12 | 34250 | 0.3303 | 0.1995 | 0.0798 |
| 0.181 | 1.12 | 34500 | 0.3363 | 0.1967 | 0.0794 |
| 0.1966 | 1.13 | 34750 | 0.3375 | 0.1947 | 0.0784 |
| 0.2163 | 1.14 | 35000 | 0.3441 | 0.2011 | 0.0810 |
| 0.2285 | 1.15 | 35250 | 0.3303 | 0.1972 | 0.0801 |
| 0.1814 | 1.16 | 35500 | 0.3462 | 0.1895 | 0.0772 |
| 0.2127 | 1.17 | 35750 | 0.3393 | 0.1904 | 0.0775 |
| 0.1795 | 1.17 | 36000 | 0.3374 | 0.1928 | 0.0780 |
| 0.2062 | 1.18 | 36250 | 0.3286 | 0.1929 | 0.0783 |
| 0.172 | 1.19 | 36500 | 0.3334 | 0.1929 | 0.0781 |
| 0.1534 | 1.2 | 36750 | 0.3287 | 0.1895 | 0.0763 |
| 0.2101 | 1.21 | 37000 | 0.3261 | 0.1888 | 0.0764 |
| 0.2342 | 1.21 | 37250 | 0.3413 | 0.2007 | 0.0812 |
| 0.1692 | 1.22 | 37500 | 0.3375 | 0.1932 | 0.0780 |
| 0.165 | 1.23 | 37750 | 0.3220 | 0.1903 | 0.0767 |
| 0.2067 | 1.24 | 38000 | 0.3212 | 0.1855 | 0.0754 |
| 0.1984 | 1.25 | 38250 | 0.3339 | 0.1890 | 0.0762 |
| 0.2117 | 1.25 | 38500 | 0.3224 | 0.1900 | 0.0761 |
| 0.2036 | 1.26 | 38750 | 0.3410 | 0.1923 | 0.0790 |
| 0.2072 | 1.27 | 39000 | 0.3291 | 0.1904 | 0.0770 |
| 0.1962 | 1.28 | 39250 | 0.3237 | 0.1908 | 0.0770 |
| 0.2055 | 1.29 | 39500 | 0.3260 | 0.1896 | 0.0767 |
| 0.1753 | 1.3 | 39750 | 0.3375 | 0.1915 | 0.0777 |
| 0.1983 | 1.3 | 40000 | 0.3236 | 0.1850 | 0.0750 |
| 0.173 | 1.31 | 40250 | 0.3253 | 0.1870 | 0.0754 |
| 0.1773 | 1.32 | 40500 | 0.3316 | 0.1923 | 0.0766 |
| 0.1649 | 1.33 | 40750 | 0.3218 | 0.1842 | 0.0749 |
| 0.1806 | 1.34 | 41000 | 0.3161 | 0.1907 | 0.0769 |
| 0.1639 | 1.34 | 41250 | 0.3293 | 0.1898 | 0.0773 |
| 0.1733 | 1.35 | 41500 | 0.3148 | 0.1881 | 0.0756 |
| 0.1603 | 1.36 | 41750 | 0.3137 | 0.1851 | 0.0748 |
| 0.1753 | 1.37 | 42000 | 0.3100 | 0.1857 | 0.0751 |
| 0.1823 | 1.38 | 42250 | 0.3170 | 0.1821 | 0.0740 |
| 0.1647 | 1.39 | 42500 | 0.3210 | 0.1863 | 0.0758 |
| 0.1699 | 1.39 | 42750 | 0.3151 | 0.1861 | 0.0761 |
| 0.1693 | 1.4 | 43000 | 0.3184 | 0.1800 | 0.0730 |
| 0.1885 | 1.41 | 43250 | 0.3089 | 0.1830 | 0.0739 |
| 0.1626 | 1.42 | 43500 | 0.3203 | 0.1852 | 0.0746 |
| 0.1707 | 1.43 | 43750 | 0.3263 | 0.1834 | 0.0745 |
| 0.1997 | 1.43 | 44000 | 0.3092 | 0.1807 | 0.0732 |
| 0.1568 | 1.44 | 44250 | 0.3096 | 0.1828 | 0.0742 |
| 0.1698 | 1.45 | 44500 | 0.3142 | 0.1826 | 0.0736 |
| 0.165 | 1.46 | 44750 | 0.3205 | 0.1903 | 0.0765 |
| 0.1834 | 1.47 | 45000 | 0.3226 | 0.1855 | 0.0750 |
| 0.1614 | 1.47 | 45250 | 0.3141 | 0.1825 | 0.0737 |
| 0.1794 | 1.48 | 45500 | 0.3100 | 0.1823 | 0.0734 |
| 0.1838 | 1.49 | 45750 | 0.2988 | 0.1825 | 0.0732 |
| 0.1678 | 1.5 | 46000 | 0.3061 | 0.1797 | 0.0726 |
| 0.1691 | 1.51 | 46250 | 0.3192 | 0.1821 | 0.0743 |
| 0.1743 | 1.52 | 46500 | 0.3133 | 0.1815 | 0.0736 |
| 0.1666 | 1.52 | 46750 | 0.3034 | 0.1821 | 0.0731 |
| 0.1903 | 1.53 | 47000 | 0.3016 | 0.1792 | 0.0721 |
| 0.2236 | 1.54 | 47250 | 0.3137 | 0.1819 | 0.0739 |
| 0.1469 | 1.55 | 47500 | 0.3092 | 0.1796 | 0.0725 |
| 0.175 | 1.56 | 47750 | 0.3009 | 0.1753 | 0.0715 |
| 0.1578 | 1.56 | 48000 | 0.3023 | 0.1778 | 0.0717 |
| 0.1998 | 1.57 | 48250 | 0.3059 | 0.1816 | 0.0726 |
| 0.1887 | 1.58 | 48500 | 0.3063 | 0.1791 | 0.0720 |
| 0.1635 | 1.59 | 48750 | 0.3027 | 0.1786 | 0.0722 |
| 0.2074 | 1.6 | 49000 | 0.3001 | 0.1756 | 0.0708 |
| 0.1719 | 1.61 | 49250 | 0.2957 | 0.1788 | 0.0718 |
| 0.1654 | 1.61 | 49500 | 0.3020 | 0.1795 | 0.0721 |
| 0.1572 | 1.62 | 49750 | 0.3011 | 0.1769 | 0.0710 |
| 0.177 | 1.63 | 50000 | 0.2929 | 0.1783 | 0.0712 |
| 0.1771 | 1.64 | 50250 | 0.3082 | 0.1812 | 0.0722 |
| 0.1796 | 1.65 | 50500 | 0.2946 | 0.1781 | 0.0713 |
| 0.1585 | 1.65 | 50750 | 0.3107 | 0.1819 | 0.0733 |
| 0.1815 | 1.66 | 51000 | 0.3073 | 0.1775 | 0.0721 |
| 0.1601 | 1.67 | 51250 | 0.3020 | 0.1734 | 0.0701 |
| 0.1769 | 1.68 | 51500 | 0.3063 | 0.1771 | 0.0710 |
| 0.1786 | 1.69 | 51750 | 0.3014 | 0.1766 | 0.0703 |
| 0.1743 | 1.69 | 52000 | 0.3096 | 0.1767 | 0.0710 |
| 0.1864 | 1.7 | 52250 | 0.3063 | 0.1802 | 0.0720 |
| 0.1399 | 1.71 | 52500 | 0.3094 | 0.1773 | 0.0718 |
| 0.1678 | 1.72 | 52750 | 0.3073 | 0.1796 | 0.0724 |
| 0.1497 | 1.73 | 53000 | 0.2959 | 0.1753 | 0.0701 |
| 0.1565 | 1.74 | 53250 | 0.2955 | 0.1729 | 0.0690 |
| 0.1942 | 1.74 | 53500 | 0.2926 | 0.1742 | 0.0693 |
| 0.1848 | 1.75 | 53750 | 0.2897 | 0.1721 | 0.0686 |
| 0.1664 | 1.76 | 54000 | 0.2951 | 0.1787 | 0.0708 |
| 0.1296 | 1.77 | 54250 | 0.2899 | 0.1705 | 0.0679 |
| 0.1763 | 1.78 | 54500 | 0.2877 | 0.1725 | 0.0686 |
| 0.1627 | 1.78 | 54750 | 0.2959 | 0.1735 | 0.0697 |
| 0.1433 | 1.79 | 55000 | 0.2952 | 0.1729 | 0.0693 |
| 0.1632 | 1.8 | 55250 | 0.2829 | 0.1728 | 0.0686 |
| 0.1837 | 1.81 | 55500 | 0.2840 | 0.1734 | 0.0688 |
| 0.146 | 1.82 | 55750 | 0.2855 | 0.1686 | 0.0675 |
| 0.1862 | 1.83 | 56000 | 0.2845 | 0.1721 | 0.0691 |
| 0.1576 | 1.83 | 56250 | 0.2917 | 0.1762 | 0.0703 |
| 0.1183 | 1.84 | 56500 | 0.2828 | 0.1713 | 0.0687 |
| 0.1582 | 1.85 | 56750 | 0.2910 | 0.1708 | 0.0684 |
| 0.1699 | 1.86 | 57000 | 0.2927 | 0.1733 | 0.0693 |
| 0.1761 | 1.87 | 57250 | 0.2812 | 0.1687 | 0.0671 |
| 0.1421 | 1.87 | 57500 | 0.2869 | 0.1699 | 0.0683 |
| 0.1662 | 1.88 | 57750 | 0.2913 | 0.1748 | 0.0697 |
| 0.151 | 1.89 | 58000 | 0.2984 | 0.1736 | 0.0692 |
| 0.1513 | 1.9 | 58250 | 0.2862 | 0.1715 | 0.0683 |
| 0.165 | 1.91 | 58500 | 0.2808 | 0.1691 | 0.0675 |
| 0.1391 | 1.91 | 58750 | 0.2848 | 0.1696 | 0.0676 |
| 0.1297 | 1.92 | 59000 | 0.2837 | 0.1666 | 0.0666 |
| 0.1398 | 1.93 | 59250 | 0.2771 | 0.1682 | 0.0673 |
| 0.1356 | 1.94 | 59500 | 0.2868 | 0.1710 | 0.0686 |
| 0.1552 | 1.95 | 59750 | 0.2817 | 0.1707 | 0.0687 |
| 0.1697 | 1.96 | 60000 | 0.2901 | 0.1691 | 0.0673 |
| 0.1545 | 1.96 | 60250 | 0.2796 | 0.1671 | 0.0668 |
| 0.1598 | 1.97 | 60500 | 0.2791 | 0.1655 | 0.0664 |
| 0.147 | 1.98 | 60750 | 0.2775 | 0.1673 | 0.0665 |
| 0.1658 | 1.99 | 61000 | 0.2742 | 0.1681 | 0.0665 |
| 0.1501 | 2.0 | 61250 | 0.2811 | 0.1702 | 0.0676 |
| 0.1428 | 2.0 | 61500 | 0.2827 | 0.1669 | 0.0665 |
| 0.1107 | 2.01 | 61750 | 0.2854 | 0.1649 | 0.0664 |
| 0.1176 | 2.02 | 62000 | 0.2881 | 0.1650 | 0.0661 |
| 0.1032 | 2.03 | 62250 | 0.2706 | 0.1647 | 0.0657 |
| 0.1229 | 2.04 | 62500 | 0.2806 | 0.1678 | 0.0666 |
| 0.1397 | 2.05 | 62750 | 0.2799 | 0.1634 | 0.0654 |
| 0.1182 | 2.05 | 63000 | 0.2799 | 0.1653 | 0.0662 |
| 0.1294 | 2.06 | 63250 | 0.2746 | 0.1635 | 0.0656 |
| 0.1358 | 2.07 | 63500 | 0.2738 | 0.1643 | 0.0653 |
| 0.1464 | 2.08 | 63750 | 0.2793 | 0.1662 | 0.0664 |
| 0.1362 | 2.09 | 64000 | 0.2738 | 0.1635 | 0.0650 |
| 0.1264 | 2.09 | 64250 | 0.2795 | 0.1653 | 0.0666 |
| 0.1189 | 2.1 | 64500 | 0.2792 | 0.1657 | 0.0658 |
| 0.1157 | 2.11 | 64750 | 0.2754 | 0.1619 | 0.0648 |
| 0.1232 | 2.12 | 65000 | 0.2798 | 0.1627 | 0.0646 |
| 0.1209 | 2.13 | 65250 | 0.2723 | 0.1623 | 0.0654 |
| 0.1079 | 2.13 | 65500 | 0.2769 | 0.1611 | 0.0644 |
| 0.1217 | 2.14 | 65750 | 0.2694 | 0.1604 | 0.0642 |
| 0.1207 | 2.15 | 66000 | 0.2758 | 0.1608 | 0.0645 |
| 0.1515 | 2.16 | 66250 | 0.2691 | 0.1634 | 0.0654 |
| 0.1145 | 2.17 | 66500 | 0.2770 | 0.1623 | 0.0651 |
| 0.1752 | 2.18 | 66750 | 0.2696 | 0.1603 | 0.0642 |
| 0.1366 | 2.18 | 67000 | 0.2725 | 0.1610 | 0.0647 |
| 0.1171 | 2.19 | 67250 | 0.2734 | 0.1615 | 0.0647 |
| 0.1429 | 2.2 | 67500 | 0.2748 | 0.1602 | 0.0644 |
| 0.1329 | 2.21 | 67750 | 0.2727 | 0.1593 | 0.0643 |
| 0.1126 | 2.22 | 68000 | 0.2734 | 0.1603 | 0.0645 |
| 0.117 | 2.22 | 68250 | 0.2803 | 0.1632 | 0.0655 |
| 0.1109 | 2.23 | 68500 | 0.2748 | 0.1589 | 0.0644 |
| 0.1296 | 2.24 | 68750 | 0.2749 | 0.1594 | 0.0640 |
| 0.1506 | 2.25 | 69000 | 0.2680 | 0.1582 | 0.0633 |
| 0.1282 | 2.26 | 69250 | 0.2664 | 0.1587 | 0.0638 |
| 0.0987 | 2.27 | 69500 | 0.2700 | 0.1593 | 0.0638 |
| 0.1288 | 2.27 | 69750 | 0.2726 | 0.1582 | 0.0636 |
| 0.1022 | 2.28 | 70000 | 0.2744 | 0.1577 | 0.0636 |
| 0.1102 | 2.29 | 70250 | 0.2672 | 0.1586 | 0.0636 |
| 0.1165 | 2.3 | 70500 | 0.2677 | 0.1569 | 0.0632 |
| 0.1289 | 2.31 | 70750 | 0.2700 | 0.1558 | 0.0628 |
| 0.1144 | 2.31 | 71000 | 0.2780 | 0.1585 | 0.0637 |
| 0.1092 | 2.32 | 71250 | 0.2687 | 0.1561 | 0.0629 |
| 0.1126 | 2.33 | 71500 | 0.2733 | 0.1553 | 0.0623 |
| 0.1231 | 2.34 | 71750 | 0.2712 | 0.1568 | 0.0630 |
| 0.1302 | 2.35 | 72000 | 0.2638 | 0.1548 | 0.0622 |
| 0.1104 | 2.35 | 72250 | 0.2671 | 0.1561 | 0.0632 |
| 0.1076 | 2.36 | 72500 | 0.2636 | 0.1552 | 0.0623 |
| 0.1193 | 2.37 | 72750 | 0.2650 | 0.1580 | 0.0633 |
| 0.1163 | 2.38 | 73000 | 0.2624 | 0.1555 | 0.0621 |
| 0.1108 | 2.39 | 73250 | 0.2667 | 0.1552 | 0.0622 |
| 0.0903 | 2.4 | 73500 | 0.2643 | 0.1555 | 0.0626 |
| 0.1388 | 2.4 | 73750 | 0.2674 | 0.1546 | 0.0623 |
| 0.1069 | 2.41 | 74000 | 0.2621 | 0.1553 | 0.0623 |
| 0.1054 | 2.42 | 74250 | 0.2567 | 0.1549 | 0.0617 |
| 0.1151 | 2.43 | 74500 | 0.2625 | 0.1538 | 0.0617 |
| 0.1304 | 2.44 | 74750 | 0.2588 | 0.1537 | 0.0616 |
| 0.1102 | 2.44 | 75000 | 0.2598 | 0.1533 | 0.0617 |
| 0.0926 | 2.45 | 75250 | 0.2592 | 0.1529 | 0.0612 |
| 0.118 | 2.46 | 75500 | 0.2565 | 0.1542 | 0.0614 |
| 0.1027 | 2.47 | 75750 | 0.2603 | 0.1520 | 0.0611 |
| 0.1084 | 2.48 | 76000 | 0.2603 | 0.1529 | 0.0611 |
| 0.1077 | 2.49 | 76250 | 0.2572 | 0.1519 | 0.0610 |
| 0.1033 | 2.49 | 76500 | 0.2595 | 0.1518 | 0.0608 |
| 0.1071 | 2.5 | 76750 | 0.2562 | 0.1515 | 0.0607 |
| 0.1012 | 2.51 | 77000 | 0.2537 | 0.1521 | 0.0609 |
| 0.1257 | 2.52 | 77250 | 0.2572 | 0.1521 | 0.0612 |
| 0.1096 | 2.53 | 77500 | 0.2549 | 0.1518 | 0.0606 |
| 0.1169 | 2.53 | 77750 | 0.2589 | 0.1538 | 0.0614 |
| 0.1136 | 2.54 | 78000 | 0.2558 | 0.1520 | 0.0607 |
| 0.1137 | 2.55 | 78250 | 0.2600 | 0.1539 | 0.0611 |
| 0.0968 | 2.56 | 78500 | 0.2600 | 0.1523 | 0.0610 |
| 0.0982 | 2.57 | 78750 | 0.2598 | 0.1515 | 0.0607 |
| 0.085 | 2.57 | 79000 | 0.2534 | 0.1499 | 0.0601 |
| 0.1193 | 2.58 | 79250 | 0.2550 | 0.1506 | 0.0601 |
| 0.1096 | 2.59 | 79500 | 0.2519 | 0.1499 | 0.0601 |
| 0.1132 | 2.6 | 79750 | 0.2518 | 0.1516 | 0.0603 |
| 0.1119 | 2.61 | 80000 | 0.2494 | 0.1511 | 0.0600 |
| 0.1005 | 2.62 | 80250 | 0.2483 | 0.1492 | 0.0596 |
| 0.1098 | 2.62 | 80500 | 0.2544 | 0.1507 | 0.0601 |
| 0.1052 | 2.63 | 80750 | 0.2537 | 0.1486 | 0.0595 |
| 0.13 | 2.64 | 81000 | 0.2505 | 0.1499 | 0.0596 |
| 0.1104 | 2.65 | 81250 | 0.2487 | 0.1492 | 0.0594 |
| 0.1168 | 2.66 | 81500 | 0.2461 | 0.1500 | 0.0596 |
| 0.1198 | 2.66 | 81750 | 0.2496 | 0.1504 | 0.0597 |
| 0.0936 | 2.67 | 82000 | 0.2556 | 0.1496 | 0.0598 |
| 0.1235 | 2.68 | 82250 | 0.2537 | 0.1501 | 0.0599 |
| 0.0952 | 2.69 | 82500 | 0.2525 | 0.1504 | 0.0599 |
| 0.1014 | 2.7 | 82750 | 0.2470 | 0.1505 | 0.0599 |
| 0.1178 | 2.71 | 83000 | 0.2506 | 0.1487 | 0.0596 |
| 0.0969 | 2.71 | 83250 | 0.2487 | 0.1482 | 0.0592 |
| 0.1192 | 2.72 | 83500 | 0.2469 | 0.1483 | 0.0592 |
| 0.0978 | 2.73 | 83750 | 0.2510 | 0.1490 | 0.0595 |
| 0.1053 | 2.74 | 84000 | 0.2496 | 0.1487 | 0.0595 |
| 0.106 | 2.75 | 84250 | 0.2481 | 0.1494 | 0.0594 |
| 0.1217 | 2.75 | 84500 | 0.2482 | 0.1493 | 0.0592 |
| 0.103 | 2.76 | 84750 | 0.2475 | 0.1485 | 0.0591 |
| 0.1424 | 2.77 | 85000 | 0.2466 | 0.1476 | 0.0590 |
| 0.116 | 2.78 | 85250 | 0.2488 | 0.1484 | 0.0593 |
| 0.098 | 2.79 | 85500 | 0.2509 | 0.1488 | 0.0596 |
| 0.1101 | 2.79 | 85750 | 0.2488 | 0.1482 | 0.0594 |
| 0.1068 | 2.8 | 86000 | 0.2480 | 0.1479 | 0.0591 |
| 0.0929 | 2.81 | 86250 | 0.2477 | 0.1476 | 0.0590 |
| 0.1142 | 2.82 | 86500 | 0.2471 | 0.1472 | 0.0589 |
| 0.1144 | 2.83 | 86750 | 0.2451 | 0.1467 | 0.0585 |
| 0.1115 | 2.84 | 87000 | 0.2464 | 0.1474 | 0.0588 |
| 0.1415 | 2.84 | 87250 | 0.2428 | 0.1467 | 0.0585 |
| 0.084 | 2.85 | 87500 | 0.2459 | 0.1465 | 0.0583 |
| 0.1198 | 2.86 | 87750 | 0.2452 | 0.1477 | 0.0587 |
| 0.1228 | 2.87 | 88000 | 0.2420 | 0.1472 | 0.0584 |
| 0.1063 | 2.88 | 88250 | 0.2462 | 0.1469 | 0.0586 |
| 0.1313 | 2.88 | 88500 | 0.2415 | 0.1464 | 0.0582 |
| 0.1081 | 2.89 | 88750 | 0.2421 | 0.1458 | 0.0580 |
| 0.0984 | 2.9 | 89000 | 0.2452 | 0.1464 | 0.0584 |
| 0.0934 | 2.91 | 89250 | 0.2428 | 0.1466 | 0.0584 |
| 0.0964 | 2.92 | 89500 | 0.2437 | 0.1456 | 0.0581 |
| 0.1113 | 2.93 | 89750 | 0.2442 | 0.1461 | 0.0583 |
| 0.1082 | 2.93 | 90000 | 0.2432 | 0.1455 | 0.0581 |
| 0.1147 | 2.94 | 90250 | 0.2417 | 0.1452 | 0.0580 |
| 0.0896 | 2.95 | 90500 | 0.2442 | 0.1459 | 0.0582 |
| 0.1169 | 2.96 | 90750 | 0.2433 | 0.1456 | 0.0582 |
| 0.0968 | 2.97 | 91000 | 0.2439 | 0.1456 | 0.0581 |
| 0.0888 | 2.97 | 91250 | 0.2435 | 0.1454 | 0.0580 |
| 0.1278 | 2.98 | 91500 | 0.2427 | 0.1457 | 0.0581 |
| 0.1234 | 2.99 | 91750 | 0.2425 | 0.1455 | 0.0580 |
| 0.0922 | 3.0 | 92000 | 0.2427 | 0.1455 | 0.0580 |
### Framework versions
- Transformers 4.37.0.dev0
- Pytorch 2.1.0+cu121
- Datasets 2.16.1
- Tokenizers 0.15.0
|