Update README.md

a6e5334 8 months ago

No virus

10.6 kB

	---
	license: apache-2.0
	base_model: google/byt5-small
	tags:
	- generated_from_trainer
	metrics:
	- wer
	model-index:
	- name: byt5-finetuned-indocollex-informal-to-formal
	results: []
	---

	<!-- This model card has been generated automatically according to the information the Trainer had access to. You
	should probably proofread and complete it, then remove this comment. -->

	# byt5-finetuned-indocollex-informal-to-formal

	This model is a fine-tuned version of [google/byt5-small](https://huggingface.co/google/byt5-small) on [IndoCollex dataset](https://github.com/haryoa/indo-collex) on informal-formal transformation.

	It achieves the following results on the evaluation set:
	- Loss: 0.2186
	- CER: 0.2292
	- WER: 0.6667
	- Word Accuracy: 0.3333
	- Gen Len: 7.4857

	On test set, it achieves following results :
	- CER: 0.2655
	- WER: 0.666
	- Word Accuracy: 0.333
	## Model description

	More information needed

	## Intended uses & limitations

	More information needed

	## Training and evaluation data

	More information needed

	## Training procedure

	### Training hyperparameters

	The following hyperparameters were used during training:
	- learning_rate: 2e-05
	- train_batch_size: 32
	- eval_batch_size: 32
	- seed: 42
	- optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
	- lr_scheduler_type: linear
	- num_epochs: 100

	### Training results

	\| Training Loss \| Epoch \| Step \| Validation Loss \| Cer \| Wer \| Word Acc \| Gen Len \|
	\|:-------------:\|:-----:\|:----:\|:---------------:\|:------:\|:------:\|:--------:\|:-------:\|
	\| No log \| 1.0 \| 47 \| 45.4518 \| 2.1817 \| 2.0286 \| -1.0286 \| 19.0 \|
	\| No log \| 2.0 \| 94 \| 34.7405 \| 2.2267 \| 2.5619 \| -1.5619 \| 19.0 \|
	\| No log \| 3.0 \| 141 \| 26.0483 \| 2.2895 \| 4.5857 \| -3.5857 \| 19.0 \|
	\| No log \| 4.0 \| 188 \| 17.2640 \| 2.399 \| 1.3667 \| -0.3667 \| 19.0 \|
	\| No log \| 5.0 \| 235 \| 7.8648 \| 2.4949 \| 1.0 \| 0.0 \| 19.0 \|
	\| No log \| 6.0 \| 282 \| 5.4635 \| 2.4143 \| 1.0 \| 0.0 \| 19.0 \|
	\| No log \| 7.0 \| 329 \| 4.8432 \| 1.253 \| 1.0 \| 0.0 \| 8.8743 \|
	\| No log \| 8.0 \| 376 \| 4.1049 \| 1.0 \| 1.0 \| 0.0 \| 0.0 \|
	\| No log \| 9.0 \| 423 \| 3.1453 \| 0.848 \| 1.0 \| 0.0 \| 7.3371 \|
	\| No log \| 10.0 \| 470 \| 2.6065 \| 0.8778 \| 0.9905 \| 0.0095 \| 7.3486 \|
	\| 19.2068 \| 11.0 \| 517 \| 1.6326 \| 0.9677 \| 1.0 \| 0.0 \| 9.5143 \|
	\| 19.2068 \| 12.0 \| 564 \| 0.9833 \| 0.7538 \| 0.9905 \| 0.0095 \| 8.4571 \|
	\| 19.2068 \| 13.0 \| 611 \| 0.6980 \| 0.6562 \| 0.981 \| 0.019 \| 7.5543 \|
	\| 19.2068 \| 14.0 \| 658 \| 0.5709 \| 0.5679 \| 0.9857 \| 0.0143 \| 6.9714 \|
	\| 19.2068 \| 15.0 \| 705 \| 0.4965 \| 0.4567 \| 0.9571 \| 0.0429 \| 6.7886 \|
	\| 19.2068 \| 16.0 \| 752 \| 0.4470 \| 0.3413 \| 0.9381 \| 0.0619 \| 6.84 \|
	\| 19.2068 \| 17.0 \| 799 \| 0.4211 \| 0.3175 \| 0.9238 \| 0.0762 \| 6.8514 \|
	\| 19.2068 \| 18.0 \| 846 \| 0.4036 \| 0.3124 \| 0.9 \| 0.1 \| 6.6914 \|
	\| 19.2068 \| 19.0 \| 893 \| 0.3738 \| 0.3031 \| 0.9048 \| 0.0952 \| 6.9429 \|
	\| 19.2068 \| 20.0 \| 940 \| 0.3604 \| 0.309 \| 0.8857 \| 0.1143 \| 6.9086 \|
	\| 19.2068 \| 21.0 \| 987 \| 0.3489 \| 0.3022 \| 0.881 \| 0.119 \| 7.0171 \|
	\| 0.8827 \| 22.0 \| 1034 \| 0.3320 \| 0.2869 \| 0.8333 \| 0.1667 \| 6.9771 \|
	\| 0.8827 \| 23.0 \| 1081 \| 0.3238 \| 0.2861 \| 0.8238 \| 0.1762 \| 6.9257 \|
	\| 0.8827 \| 24.0 \| 1128 \| 0.3163 \| 0.2666 \| 0.8143 \| 0.1857 \| 7.2686 \|
	\| 0.8827 \| 25.0 \| 1175 \| 0.3139 \| 0.2733 \| 0.8095 \| 0.1905 \| 7.2914 \|
	\| 0.8827 \| 26.0 \| 1222 \| 0.3029 \| 0.2716 \| 0.8 \| 0.2 \| 7.36 \|
	\| 0.8827 \| 27.0 \| 1269 \| 0.2941 \| 0.2666 \| 0.7905 \| 0.2095 \| 7.2971 \|
	\| 0.8827 \| 28.0 \| 1316 \| 0.2905 \| 0.2666 \| 0.7857 \| 0.2143 \| 7.2914 \|
	\| 0.8827 \| 29.0 \| 1363 \| 0.2835 \| 0.2615 \| 0.7857 \| 0.2143 \| 7.2686 \|
	\| 0.8827 \| 30.0 \| 1410 \| 0.2829 \| 0.2733 \| 0.781 \| 0.219 \| 7.44 \|
	\| 0.8827 \| 31.0 \| 1457 \| 0.2762 \| 0.2598 \| 0.7714 \| 0.2286 \| 7.3714 \|
	\| 0.3372 \| 32.0 \| 1504 \| 0.2746 \| 0.2725 \| 0.7857 \| 0.2143 \| 7.4571 \|
	\| 0.3372 \| 33.0 \| 1551 \| 0.2728 \| 0.2666 \| 0.7714 \| 0.2286 \| 7.4457 \|
	\| 0.3372 \| 34.0 \| 1598 \| 0.2650 \| 0.2572 \| 0.7619 \| 0.2381 \| 7.3886 \|
	\| 0.3372 \| 35.0 \| 1645 \| 0.2618 \| 0.2708 \| 0.7762 \| 0.2238 \| 7.44 \|
	\| 0.3372 \| 36.0 \| 1692 \| 0.2579 \| 0.2572 \| 0.7619 \| 0.2381 \| 7.3771 \|
	\| 0.3372 \| 37.0 \| 1739 \| 0.2563 \| 0.2496 \| 0.7524 \| 0.2476 \| 7.3371 \|
	\| 0.3372 \| 38.0 \| 1786 \| 0.2530 \| 0.247 \| 0.7571 \| 0.2429 \| 7.3543 \|
	\| 0.3372 \| 39.0 \| 1833 \| 0.2531 \| 0.2504 \| 0.7667 \| 0.2333 \| 7.3657 \|
	\| 0.3372 \| 40.0 \| 1880 \| 0.2521 \| 0.2453 \| 0.7476 \| 0.2524 \| 7.3143 \|
	\| 0.3372 \| 41.0 \| 1927 \| 0.2496 \| 0.2419 \| 0.7333 \| 0.2667 \| 7.2914 \|
	\| 0.3372 \| 42.0 \| 1974 \| 0.2483 \| 0.2411 \| 0.7381 \| 0.2619 \| 7.3143 \|
	\| 0.2747 \| 43.0 \| 2021 \| 0.2446 \| 0.2402 \| 0.7381 \| 0.2619 \| 7.3429 \|
	\| 0.2747 \| 44.0 \| 2068 \| 0.2443 \| 0.2402 \| 0.7381 \| 0.2619 \| 7.32 \|
	\| 0.2747 \| 45.0 \| 2115 \| 0.2425 \| 0.2377 \| 0.7381 \| 0.2619 \| 7.3714 \|
	\| 0.2747 \| 46.0 \| 2162 \| 0.2406 \| 0.2351 \| 0.7429 \| 0.2571 \| 7.3714 \|
	\| 0.2747 \| 47.0 \| 2209 \| 0.2399 \| 0.2402 \| 0.7429 \| 0.2571 \| 7.32 \|
	\| 0.2747 \| 48.0 \| 2256 \| 0.2383 \| 0.2402 \| 0.7381 \| 0.2619 \| 7.3657 \|
	\| 0.2747 \| 49.0 \| 2303 \| 0.2363 \| 0.2377 \| 0.7429 \| 0.2571 \| 7.3257 \|
	\| 0.2747 \| 50.0 \| 2350 \| 0.2340 \| 0.2301 \| 0.7143 \| 0.2857 \| 7.3714 \|
	\| 0.2747 \| 51.0 \| 2397 \| 0.2347 \| 0.2275 \| 0.7143 \| 0.2857 \| 7.3543 \|
	\| 0.2747 \| 52.0 \| 2444 \| 0.2332 \| 0.2275 \| 0.7143 \| 0.2857 \| 7.3714 \|
	\| 0.2747 \| 53.0 \| 2491 \| 0.2309 \| 0.2258 \| 0.7095 \| 0.2905 \| 7.3657 \|
	\| 0.2411 \| 54.0 \| 2538 \| 0.2309 \| 0.225 \| 0.7048 \| 0.2952 \| 7.3714 \|
	\| 0.2411 \| 55.0 \| 2585 \| 0.2299 \| 0.2267 \| 0.7048 \| 0.2952 \| 7.3829 \|
	\| 0.2411 \| 56.0 \| 2632 \| 0.2280 \| 0.2258 \| 0.7048 \| 0.2952 \| 7.4171 \|
	\| 0.2411 \| 57.0 \| 2679 \| 0.2301 \| 0.2233 \| 0.6952 \| 0.3048 \| 7.44 \|
	\| 0.2411 \| 58.0 \| 2726 \| 0.2287 \| 0.2207 \| 0.6905 \| 0.3095 \| 7.44 \|
	\| 0.2411 \| 59.0 \| 2773 \| 0.2295 \| 0.2216 \| 0.7 \| 0.3 \| 7.4171 \|
	\| 0.2411 \| 60.0 \| 2820 \| 0.2277 \| 0.2199 \| 0.6952 \| 0.3048 \| 7.4229 \|
	\| 0.2411 \| 61.0 \| 2867 \| 0.2267 \| 0.2233 \| 0.6952 \| 0.3048 \| 7.4286 \|
	\| 0.2411 \| 62.0 \| 2914 \| 0.2260 \| 0.2233 \| 0.7048 \| 0.2952 \| 7.4343 \|
	\| 0.2411 \| 63.0 \| 2961 \| 0.2263 \| 0.2224 \| 0.7048 \| 0.2952 \| 7.4343 \|
	\| 0.2193 \| 64.0 \| 3008 \| 0.2262 \| 0.2216 \| 0.6952 \| 0.3048 \| 7.4286 \|
	\| 0.2193 \| 65.0 \| 3055 \| 0.2268 \| 0.225 \| 0.6952 \| 0.3048 \| 7.4 \|
	\| 0.2193 \| 66.0 \| 3102 \| 0.2241 \| 0.2207 \| 0.6952 \| 0.3048 \| 7.4114 \|
	\| 0.2193 \| 67.0 \| 3149 \| 0.2237 \| 0.2233 \| 0.7 \| 0.3 \| 7.4286 \|
	\| 0.2193 \| 68.0 \| 3196 \| 0.2230 \| 0.2224 \| 0.7 \| 0.3 \| 7.4229 \|
	\| 0.2193 \| 69.0 \| 3243 \| 0.2229 \| 0.2216 \| 0.681 \| 0.319 \| 7.4286 \|
	\| 0.2193 \| 70.0 \| 3290 \| 0.2225 \| 0.2241 \| 0.7 \| 0.3 \| 7.4286 \|
	\| 0.2193 \| 71.0 \| 3337 \| 0.2220 \| 0.2241 \| 0.6905 \| 0.3095 \| 7.44 \|
	\| 0.2193 \| 72.0 \| 3384 \| 0.2221 \| 0.2241 \| 0.6905 \| 0.3095 \| 7.4286 \|
	\| 0.2193 \| 73.0 \| 3431 \| 0.2214 \| 0.2241 \| 0.6905 \| 0.3095 \| 7.4171 \|
	\| 0.2193 \| 74.0 \| 3478 \| 0.2215 \| 0.2233 \| 0.6905 \| 0.3095 \| 7.4229 \|
	\| 0.2056 \| 75.0 \| 3525 \| 0.2209 \| 0.2267 \| 0.6905 \| 0.3095 \| 7.4457 \|
	\| 0.2056 \| 76.0 \| 3572 \| 0.2208 \| 0.2258 \| 0.6905 \| 0.3095 \| 7.44 \|
	\| 0.2056 \| 77.0 \| 3619 \| 0.2201 \| 0.225 \| 0.6905 \| 0.3095 \| 7.4343 \|
	\| 0.2056 \| 78.0 \| 3666 \| 0.2205 \| 0.2258 \| 0.6905 \| 0.3095 \| 7.4229 \|
	\| 0.2056 \| 79.0 \| 3713 \| 0.2209 \| 0.225 \| 0.6905 \| 0.3095 \| 7.4171 \|
	\| 0.2056 \| 80.0 \| 3760 \| 0.2203 \| 0.2275 \| 0.6857 \| 0.3143 \| 7.4571 \|
	\| 0.2056 \| 81.0 \| 3807 \| 0.2201 \| 0.2275 \| 0.6857 \| 0.3143 \| 7.4571 \|
	\| 0.2056 \| 82.0 \| 3854 \| 0.2204 \| 0.2275 \| 0.6857 \| 0.3143 \| 7.4571 \|
	\| 0.2056 \| 83.0 \| 3901 \| 0.2203 \| 0.2267 \| 0.6762 \| 0.3238 \| 7.4629 \|
	\| 0.2056 \| 84.0 \| 3948 \| 0.2199 \| 0.2267 \| 0.6667 \| 0.3333 \| 7.4743 \|
	\| 0.2056 \| 85.0 \| 3995 \| 0.2194 \| 0.2267 \| 0.6667 \| 0.3333 \| 7.48 \|
	\| 0.196 \| 86.0 \| 4042 \| 0.2193 \| 0.2275 \| 0.6667 \| 0.3333 \| 7.4743 \|
	\| 0.196 \| 87.0 \| 4089 \| 0.2189 \| 0.2284 \| 0.6667 \| 0.3333 \| 7.48 \|
	\| 0.196 \| 88.0 \| 4136 \| 0.2185 \| 0.2275 \| 0.6619 \| 0.3381 \| 7.4971 \|
	\| 0.196 \| 89.0 \| 4183 \| 0.2188 \| 0.225 \| 0.6619 \| 0.3381 \| 7.4914 \|
	\| 0.196 \| 90.0 \| 4230 \| 0.2185 \| 0.2292 \| 0.6667 \| 0.3333 \| 7.4857 \|
	\| 0.196 \| 91.0 \| 4277 \| 0.2188 \| 0.2292 \| 0.6667 \| 0.3333 \| 7.4857 \|
	\| 0.196 \| 92.0 \| 4324 \| 0.2189 \| 0.2284 \| 0.6667 \| 0.3333 \| 7.48 \|
	\| 0.196 \| 93.0 \| 4371 \| 0.2191 \| 0.2258 \| 0.6667 \| 0.3333 \| 7.4743 \|
	\| 0.196 \| 94.0 \| 4418 \| 0.2190 \| 0.2258 \| 0.6667 \| 0.3333 \| 7.4743 \|
	\| 0.196 \| 95.0 \| 4465 \| 0.2187 \| 0.2258 \| 0.6667 \| 0.3333 \| 7.4743 \|
	\| 0.1901 \| 96.0 \| 4512 \| 0.2186 \| 0.2267 \| 0.6667 \| 0.3333 \| 7.48 \|
	\| 0.1901 \| 97.0 \| 4559 \| 0.2187 \| 0.2267 \| 0.6667 \| 0.3333 \| 7.48 \|
	\| 0.1901 \| 98.0 \| 4606 \| 0.2187 \| 0.2267 \| 0.6667 \| 0.3333 \| 7.48 \|
	\| 0.1901 \| 99.0 \| 4653 \| 0.2186 \| 0.2292 \| 0.6667 \| 0.3333 \| 7.4857 \|
	\| 0.1901 \| 100.0 \| 4700 \| 0.2186 \| 0.2292 \| 0.6667 \| 0.3333 \| 7.4857 \|


	### Framework versions

	- Transformers 4.33.0
	- Pytorch 2.0.0
	- Datasets 2.1.0
	- Tokenizers 0.13.3

	---
	license: apache-2.0
	base_model: google/byt5-small
	tags:
	- generated_from_trainer
	metrics:
	- wer
	model-index:
	- name: byt5-finetuned-indocollex-informal-to-formal
	results: []
	---

	<!-- This model card has been generated automatically according to the information the Trainer had access to. You
	should probably proofread and complete it, then remove this comment. -->

	# byt5-finetuned-indocollex-informal-to-formal

	This model is a fine-tuned version of [google/byt5-small](https://huggingface.co/google/byt5-small) on [IndoCollex dataset](https://github.com/haryoa/indo-collex) on informal-formal transformation.

	It achieves the following results on the evaluation set:
	- Loss: 0.2186
	- CER: 0.2292
	- WER: 0.6667
	- Word Accuracy: 0.3333
	- Gen Len: 7.4857

	On test set, it achieves following results :
	- CER: 0.2655
	- WER: 0.666
	- Word Accuracy: 0.333
	## Model description

	More information needed

	## Intended uses & limitations

	More information needed

	## Training and evaluation data

	More information needed

	## Training procedure

	### Training hyperparameters

	The following hyperparameters were used during training:
	- learning_rate: 2e-05
	- train_batch_size: 32
	- eval_batch_size: 32
	- seed: 42
	- optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
	- lr_scheduler_type: linear
	- num_epochs: 100

	### Training results

	\| Training Loss \| Epoch \| Step \| Validation Loss \| Cer \| Wer \| Word Acc \| Gen Len \|
	\|:-------------:\|:-----:\|:----:\|:---------------:\|:------:\|:------:\|:--------:\|:-------:\|
	\| No log \| 1.0 \| 47 \| 45.4518 \| 2.1817 \| 2.0286 \| -1.0286 \| 19.0 \|
	\| No log \| 2.0 \| 94 \| 34.7405 \| 2.2267 \| 2.5619 \| -1.5619 \| 19.0 \|
	\| No log \| 3.0 \| 141 \| 26.0483 \| 2.2895 \| 4.5857 \| -3.5857 \| 19.0 \|
	\| No log \| 4.0 \| 188 \| 17.2640 \| 2.399 \| 1.3667 \| -0.3667 \| 19.0 \|
	\| No log \| 5.0 \| 235 \| 7.8648 \| 2.4949 \| 1.0 \| 0.0 \| 19.0 \|
	\| No log \| 6.0 \| 282 \| 5.4635 \| 2.4143 \| 1.0 \| 0.0 \| 19.0 \|
	\| No log \| 7.0 \| 329 \| 4.8432 \| 1.253 \| 1.0 \| 0.0 \| 8.8743 \|
	\| No log \| 8.0 \| 376 \| 4.1049 \| 1.0 \| 1.0 \| 0.0 \| 0.0 \|
	\| No log \| 9.0 \| 423 \| 3.1453 \| 0.848 \| 1.0 \| 0.0 \| 7.3371 \|
	\| No log \| 10.0 \| 470 \| 2.6065 \| 0.8778 \| 0.9905 \| 0.0095 \| 7.3486 \|
	\| 19.2068 \| 11.0 \| 517 \| 1.6326 \| 0.9677 \| 1.0 \| 0.0 \| 9.5143 \|
	\| 19.2068 \| 12.0 \| 564 \| 0.9833 \| 0.7538 \| 0.9905 \| 0.0095 \| 8.4571 \|
	\| 19.2068 \| 13.0 \| 611 \| 0.6980 \| 0.6562 \| 0.981 \| 0.019 \| 7.5543 \|
	\| 19.2068 \| 14.0 \| 658 \| 0.5709 \| 0.5679 \| 0.9857 \| 0.0143 \| 6.9714 \|
	\| 19.2068 \| 15.0 \| 705 \| 0.4965 \| 0.4567 \| 0.9571 \| 0.0429 \| 6.7886 \|
	\| 19.2068 \| 16.0 \| 752 \| 0.4470 \| 0.3413 \| 0.9381 \| 0.0619 \| 6.84 \|
	\| 19.2068 \| 17.0 \| 799 \| 0.4211 \| 0.3175 \| 0.9238 \| 0.0762 \| 6.8514 \|
	\| 19.2068 \| 18.0 \| 846 \| 0.4036 \| 0.3124 \| 0.9 \| 0.1 \| 6.6914 \|
	\| 19.2068 \| 19.0 \| 893 \| 0.3738 \| 0.3031 \| 0.9048 \| 0.0952 \| 6.9429 \|
	\| 19.2068 \| 20.0 \| 940 \| 0.3604 \| 0.309 \| 0.8857 \| 0.1143 \| 6.9086 \|
	\| 19.2068 \| 21.0 \| 987 \| 0.3489 \| 0.3022 \| 0.881 \| 0.119 \| 7.0171 \|
	\| 0.8827 \| 22.0 \| 1034 \| 0.3320 \| 0.2869 \| 0.8333 \| 0.1667 \| 6.9771 \|
	\| 0.8827 \| 23.0 \| 1081 \| 0.3238 \| 0.2861 \| 0.8238 \| 0.1762 \| 6.9257 \|
	\| 0.8827 \| 24.0 \| 1128 \| 0.3163 \| 0.2666 \| 0.8143 \| 0.1857 \| 7.2686 \|
	\| 0.8827 \| 25.0 \| 1175 \| 0.3139 \| 0.2733 \| 0.8095 \| 0.1905 \| 7.2914 \|
	\| 0.8827 \| 26.0 \| 1222 \| 0.3029 \| 0.2716 \| 0.8 \| 0.2 \| 7.36 \|
	\| 0.8827 \| 27.0 \| 1269 \| 0.2941 \| 0.2666 \| 0.7905 \| 0.2095 \| 7.2971 \|
	\| 0.8827 \| 28.0 \| 1316 \| 0.2905 \| 0.2666 \| 0.7857 \| 0.2143 \| 7.2914 \|
	\| 0.8827 \| 29.0 \| 1363 \| 0.2835 \| 0.2615 \| 0.7857 \| 0.2143 \| 7.2686 \|
	\| 0.8827 \| 30.0 \| 1410 \| 0.2829 \| 0.2733 \| 0.781 \| 0.219 \| 7.44 \|
	\| 0.8827 \| 31.0 \| 1457 \| 0.2762 \| 0.2598 \| 0.7714 \| 0.2286 \| 7.3714 \|
	\| 0.3372 \| 32.0 \| 1504 \| 0.2746 \| 0.2725 \| 0.7857 \| 0.2143 \| 7.4571 \|
	\| 0.3372 \| 33.0 \| 1551 \| 0.2728 \| 0.2666 \| 0.7714 \| 0.2286 \| 7.4457 \|
	\| 0.3372 \| 34.0 \| 1598 \| 0.2650 \| 0.2572 \| 0.7619 \| 0.2381 \| 7.3886 \|
	\| 0.3372 \| 35.0 \| 1645 \| 0.2618 \| 0.2708 \| 0.7762 \| 0.2238 \| 7.44 \|
	\| 0.3372 \| 36.0 \| 1692 \| 0.2579 \| 0.2572 \| 0.7619 \| 0.2381 \| 7.3771 \|
	\| 0.3372 \| 37.0 \| 1739 \| 0.2563 \| 0.2496 \| 0.7524 \| 0.2476 \| 7.3371 \|
	\| 0.3372 \| 38.0 \| 1786 \| 0.2530 \| 0.247 \| 0.7571 \| 0.2429 \| 7.3543 \|
	\| 0.3372 \| 39.0 \| 1833 \| 0.2531 \| 0.2504 \| 0.7667 \| 0.2333 \| 7.3657 \|
	\| 0.3372 \| 40.0 \| 1880 \| 0.2521 \| 0.2453 \| 0.7476 \| 0.2524 \| 7.3143 \|
	\| 0.3372 \| 41.0 \| 1927 \| 0.2496 \| 0.2419 \| 0.7333 \| 0.2667 \| 7.2914 \|
	\| 0.3372 \| 42.0 \| 1974 \| 0.2483 \| 0.2411 \| 0.7381 \| 0.2619 \| 7.3143 \|
	\| 0.2747 \| 43.0 \| 2021 \| 0.2446 \| 0.2402 \| 0.7381 \| 0.2619 \| 7.3429 \|
	\| 0.2747 \| 44.0 \| 2068 \| 0.2443 \| 0.2402 \| 0.7381 \| 0.2619 \| 7.32 \|
	\| 0.2747 \| 45.0 \| 2115 \| 0.2425 \| 0.2377 \| 0.7381 \| 0.2619 \| 7.3714 \|
	\| 0.2747 \| 46.0 \| 2162 \| 0.2406 \| 0.2351 \| 0.7429 \| 0.2571 \| 7.3714 \|
	\| 0.2747 \| 47.0 \| 2209 \| 0.2399 \| 0.2402 \| 0.7429 \| 0.2571 \| 7.32 \|
	\| 0.2747 \| 48.0 \| 2256 \| 0.2383 \| 0.2402 \| 0.7381 \| 0.2619 \| 7.3657 \|
	\| 0.2747 \| 49.0 \| 2303 \| 0.2363 \| 0.2377 \| 0.7429 \| 0.2571 \| 7.3257 \|
	\| 0.2747 \| 50.0 \| 2350 \| 0.2340 \| 0.2301 \| 0.7143 \| 0.2857 \| 7.3714 \|
	\| 0.2747 \| 51.0 \| 2397 \| 0.2347 \| 0.2275 \| 0.7143 \| 0.2857 \| 7.3543 \|
	\| 0.2747 \| 52.0 \| 2444 \| 0.2332 \| 0.2275 \| 0.7143 \| 0.2857 \| 7.3714 \|
	\| 0.2747 \| 53.0 \| 2491 \| 0.2309 \| 0.2258 \| 0.7095 \| 0.2905 \| 7.3657 \|
	\| 0.2411 \| 54.0 \| 2538 \| 0.2309 \| 0.225 \| 0.7048 \| 0.2952 \| 7.3714 \|
	\| 0.2411 \| 55.0 \| 2585 \| 0.2299 \| 0.2267 \| 0.7048 \| 0.2952 \| 7.3829 \|
	\| 0.2411 \| 56.0 \| 2632 \| 0.2280 \| 0.2258 \| 0.7048 \| 0.2952 \| 7.4171 \|
	\| 0.2411 \| 57.0 \| 2679 \| 0.2301 \| 0.2233 \| 0.6952 \| 0.3048 \| 7.44 \|
	\| 0.2411 \| 58.0 \| 2726 \| 0.2287 \| 0.2207 \| 0.6905 \| 0.3095 \| 7.44 \|
	\| 0.2411 \| 59.0 \| 2773 \| 0.2295 \| 0.2216 \| 0.7 \| 0.3 \| 7.4171 \|
	\| 0.2411 \| 60.0 \| 2820 \| 0.2277 \| 0.2199 \| 0.6952 \| 0.3048 \| 7.4229 \|
	\| 0.2411 \| 61.0 \| 2867 \| 0.2267 \| 0.2233 \| 0.6952 \| 0.3048 \| 7.4286 \|
	\| 0.2411 \| 62.0 \| 2914 \| 0.2260 \| 0.2233 \| 0.7048 \| 0.2952 \| 7.4343 \|
	\| 0.2411 \| 63.0 \| 2961 \| 0.2263 \| 0.2224 \| 0.7048 \| 0.2952 \| 7.4343 \|
	\| 0.2193 \| 64.0 \| 3008 \| 0.2262 \| 0.2216 \| 0.6952 \| 0.3048 \| 7.4286 \|
	\| 0.2193 \| 65.0 \| 3055 \| 0.2268 \| 0.225 \| 0.6952 \| 0.3048 \| 7.4 \|
	\| 0.2193 \| 66.0 \| 3102 \| 0.2241 \| 0.2207 \| 0.6952 \| 0.3048 \| 7.4114 \|
	\| 0.2193 \| 67.0 \| 3149 \| 0.2237 \| 0.2233 \| 0.7 \| 0.3 \| 7.4286 \|
	\| 0.2193 \| 68.0 \| 3196 \| 0.2230 \| 0.2224 \| 0.7 \| 0.3 \| 7.4229 \|
	\| 0.2193 \| 69.0 \| 3243 \| 0.2229 \| 0.2216 \| 0.681 \| 0.319 \| 7.4286 \|
	\| 0.2193 \| 70.0 \| 3290 \| 0.2225 \| 0.2241 \| 0.7 \| 0.3 \| 7.4286 \|
	\| 0.2193 \| 71.0 \| 3337 \| 0.2220 \| 0.2241 \| 0.6905 \| 0.3095 \| 7.44 \|
	\| 0.2193 \| 72.0 \| 3384 \| 0.2221 \| 0.2241 \| 0.6905 \| 0.3095 \| 7.4286 \|
	\| 0.2193 \| 73.0 \| 3431 \| 0.2214 \| 0.2241 \| 0.6905 \| 0.3095 \| 7.4171 \|
	\| 0.2193 \| 74.0 \| 3478 \| 0.2215 \| 0.2233 \| 0.6905 \| 0.3095 \| 7.4229 \|
	\| 0.2056 \| 75.0 \| 3525 \| 0.2209 \| 0.2267 \| 0.6905 \| 0.3095 \| 7.4457 \|
	\| 0.2056 \| 76.0 \| 3572 \| 0.2208 \| 0.2258 \| 0.6905 \| 0.3095 \| 7.44 \|
	\| 0.2056 \| 77.0 \| 3619 \| 0.2201 \| 0.225 \| 0.6905 \| 0.3095 \| 7.4343 \|
	\| 0.2056 \| 78.0 \| 3666 \| 0.2205 \| 0.2258 \| 0.6905 \| 0.3095 \| 7.4229 \|
	\| 0.2056 \| 79.0 \| 3713 \| 0.2209 \| 0.225 \| 0.6905 \| 0.3095 \| 7.4171 \|
	\| 0.2056 \| 80.0 \| 3760 \| 0.2203 \| 0.2275 \| 0.6857 \| 0.3143 \| 7.4571 \|
	\| 0.2056 \| 81.0 \| 3807 \| 0.2201 \| 0.2275 \| 0.6857 \| 0.3143 \| 7.4571 \|
	\| 0.2056 \| 82.0 \| 3854 \| 0.2204 \| 0.2275 \| 0.6857 \| 0.3143 \| 7.4571 \|
	\| 0.2056 \| 83.0 \| 3901 \| 0.2203 \| 0.2267 \| 0.6762 \| 0.3238 \| 7.4629 \|
	\| 0.2056 \| 84.0 \| 3948 \| 0.2199 \| 0.2267 \| 0.6667 \| 0.3333 \| 7.4743 \|
	\| 0.2056 \| 85.0 \| 3995 \| 0.2194 \| 0.2267 \| 0.6667 \| 0.3333 \| 7.48 \|
	\| 0.196 \| 86.0 \| 4042 \| 0.2193 \| 0.2275 \| 0.6667 \| 0.3333 \| 7.4743 \|
	\| 0.196 \| 87.0 \| 4089 \| 0.2189 \| 0.2284 \| 0.6667 \| 0.3333 \| 7.48 \|
	\| 0.196 \| 88.0 \| 4136 \| 0.2185 \| 0.2275 \| 0.6619 \| 0.3381 \| 7.4971 \|
	\| 0.196 \| 89.0 \| 4183 \| 0.2188 \| 0.225 \| 0.6619 \| 0.3381 \| 7.4914 \|
	\| 0.196 \| 90.0 \| 4230 \| 0.2185 \| 0.2292 \| 0.6667 \| 0.3333 \| 7.4857 \|
	\| 0.196 \| 91.0 \| 4277 \| 0.2188 \| 0.2292 \| 0.6667 \| 0.3333 \| 7.4857 \|
	\| 0.196 \| 92.0 \| 4324 \| 0.2189 \| 0.2284 \| 0.6667 \| 0.3333 \| 7.48 \|
	\| 0.196 \| 93.0 \| 4371 \| 0.2191 \| 0.2258 \| 0.6667 \| 0.3333 \| 7.4743 \|
	\| 0.196 \| 94.0 \| 4418 \| 0.2190 \| 0.2258 \| 0.6667 \| 0.3333 \| 7.4743 \|
	\| 0.196 \| 95.0 \| 4465 \| 0.2187 \| 0.2258 \| 0.6667 \| 0.3333 \| 7.4743 \|
	\| 0.1901 \| 96.0 \| 4512 \| 0.2186 \| 0.2267 \| 0.6667 \| 0.3333 \| 7.48 \|
	\| 0.1901 \| 97.0 \| 4559 \| 0.2187 \| 0.2267 \| 0.6667 \| 0.3333 \| 7.48 \|
	\| 0.1901 \| 98.0 \| 4606 \| 0.2187 \| 0.2267 \| 0.6667 \| 0.3333 \| 7.48 \|
	\| 0.1901 \| 99.0 \| 4653 \| 0.2186 \| 0.2292 \| 0.6667 \| 0.3333 \| 7.4857 \|
	\| 0.1901 \| 100.0 \| 4700 \| 0.2186 \| 0.2292 \| 0.6667 \| 0.3333 \| 7.4857 \|


	### Framework versions

	- Transformers 4.33.0
	- Pytorch 2.0.0
	- Datasets 2.1.0
	- Tokenizers 0.13.3