vichyt
/

codet5p-770m-py-sanitized-codebleu-1-True-5e-05-0.1-lora-layer_14

Generated from Trainer

Model card Files Files and versions Community

codet5p-770m-py-sanitized-codebleu-1-True-5e-05-0.1-lora-layer_14 / README.md

vichyt

update model card README.md

3bede40 10 months ago

preview code

raw history blame

No virus

11.7 kB

	---
	license: bsd-3-clause
	base_model: Salesforce/codet5p-770m-py
	tags:
	- generated_from_trainer
	datasets:
	- mbpp
	model-index:
	- name: codet5p-770m-py-sanitized-codebleu-1-True-5e-05-0.1-lora-layer_14
	results: []
	---

	<!-- This model card has been generated automatically according to the information the Trainer had access to. You
	should probably proofread and complete it, then remove this comment. -->

	# codet5p-770m-py-sanitized-codebleu-1-True-5e-05-0.1-lora-layer_14

	This model is a fine-tuned version of [Salesforce/codet5p-770m-py](https://huggingface.co/Salesforce/codet5p-770m-py) on the mbpp dataset.
	It achieves the following results on the evaluation set:
	- Loss: 0.7195
	- Codebleu: 0.1029
	- Ngram Match Score: 0.0205
	- Weighted Ngram Match Score: 0.0424
	- Syntax Match Score: 0.1230
	- Dataflow Match Score: 0.1185

	## Model description

	More information needed

	## Intended uses & limitations

	More information needed

	## Training and evaluation data

	More information needed

	## Training procedure

	### Training hyperparameters

	The following hyperparameters were used during training:
	- learning_rate: 5e-05
	- train_batch_size: 8
	- eval_batch_size: 8
	- seed: 42
	- optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
	- lr_scheduler_type: linear
	- lr_scheduler_warmup_steps: 100
	- num_epochs: 64

	### Training results

	\| Training Loss \| Epoch \| Step \| Validation Loss \| Codebleu \| Ngram Match Score \| Weighted Ngram Match Score \| Syntax Match Score \| Dataflow Match Score \|
	\|:-------------:\|:-----:\|:----:\|:---------------:\|:--------:\|:-----------------:\|:--------------------------:\|:------------------:\|:--------------------:\|
	\| 0.9766 \| 1.0 \| 15 \| 0.9244 \| 0.0072 \| 0.0000 \| 0.0000 \| 0.0079 \| 0.0100 \|
	\| 0.965 \| 2.0 \| 30 \| 0.9226 \| 0.0072 \| 0.0000 \| 0.0000 \| 0.0079 \| 0.0100 \|
	\| 0.9762 \| 3.0 \| 45 \| 0.9181 \| 0.0080 \| 0.0000 \| 0.0000 \| 0.0079 \| 0.0120 \|
	\| 0.9451 \| 4.0 \| 60 \| 0.9083 \| 0.0096 \| 0.0000 \| 0.0001 \| 0.0079 \| 0.0161 \|
	\| 0.9517 \| 5.0 \| 75 \| 0.8892 \| 0.0444 \| 0.0014 \| 0.0239 \| 0.0423 \| 0.0622 \|
	\| 0.9375 \| 6.0 \| 90 \| 0.8647 \| 0.0894 \| 0.0218 \| 0.0480 \| 0.1098 \| 0.0964 \|
	\| 0.9163 \| 7.0 \| 105 \| 0.8474 \| 0.0990 \| 0.0226 \| 0.0521 \| 0.1243 \| 0.1044 \|
	\| 0.8645 \| 8.0 \| 120 \| 0.8333 \| 0.0991 \| 0.0239 \| 0.0522 \| 0.1243 \| 0.1044 \|
	\| 0.855 \| 9.0 \| 135 \| 0.8221 \| 0.0996 \| 0.0169 \| 0.0398 \| 0.1243 \| 0.1104 \|
	\| 0.8493 \| 10.0 \| 150 \| 0.8122 \| 0.1011 \| 0.0182 \| 0.0428 \| 0.1270 \| 0.1104 \|
	\| 0.8388 \| 11.0 \| 165 \| 0.8030 \| 0.1054 \| 0.0158 \| 0.0403 \| 0.1270 \| 0.1225 \|
	\| 0.8374 \| 12.0 \| 180 \| 0.7955 \| 0.1073 \| 0.0165 \| 0.0450 \| 0.1283 \| 0.1245 \|
	\| 0.816 \| 13.0 \| 195 \| 0.7893 \| 0.1092 \| 0.0161 \| 0.0436 \| 0.1296 \| 0.1285 \|
	\| 0.7974 \| 14.0 \| 210 \| 0.7820 \| 0.1092 \| 0.0158 \| 0.0436 \| 0.1296 \| 0.1285 \|
	\| 0.804 \| 15.0 \| 225 \| 0.7744 \| 0.1080 \| 0.0165 \| 0.0439 \| 0.1283 \| 0.1265 \|
	\| 0.8055 \| 16.0 \| 240 \| 0.7697 \| 0.1005 \| 0.0155 \| 0.0417 \| 0.1204 \| 0.1165 \|
	\| 0.7875 \| 17.0 \| 255 \| 0.7646 \| 0.1021 \| 0.0155 \| 0.0418 \| 0.1204 \| 0.1205 \|
	\| 0.7592 \| 18.0 \| 270 \| 0.7602 \| 0.1060 \| 0.0170 \| 0.0421 \| 0.1217 \| 0.1285 \|
	\| 0.7714 \| 19.0 \| 285 \| 0.7550 \| 0.1037 \| 0.0170 \| 0.0431 \| 0.1217 \| 0.1225 \|
	\| 0.7613 \| 20.0 \| 300 \| 0.7515 \| 0.1080 \| 0.0218 \| 0.0496 \| 0.1257 \| 0.1265 \|
	\| 0.7469 \| 21.0 \| 315 \| 0.7490 \| 0.1042 \| 0.0169 \| 0.0372 \| 0.1204 \| 0.1265 \|
	\| 0.7363 \| 22.0 \| 330 \| 0.7458 \| 0.1045 \| 0.0213 \| 0.0439 \| 0.1164 \| 0.1285 \|
	\| 0.7404 \| 23.0 \| 345 \| 0.7436 \| 0.1060 \| 0.0209 \| 0.0437 \| 0.1243 \| 0.1245 \|
	\| 0.74 \| 24.0 \| 360 \| 0.7411 \| 0.1122 \| 0.0240 \| 0.0499 \| 0.1296 \| 0.1325 \|
	\| 0.7588 \| 25.0 \| 375 \| 0.7380 \| 0.1093 \| 0.0239 \| 0.0503 \| 0.1283 \| 0.1265 \|
	\| 0.7315 \| 26.0 \| 390 \| 0.7370 \| 0.1063 \| 0.0221 \| 0.0455 \| 0.1283 \| 0.1205 \|
	\| 0.7152 \| 27.0 \| 405 \| 0.7342 \| 0.1095 \| 0.0257 \| 0.0527 \| 0.1296 \| 0.1245 \|
	\| 0.7183 \| 28.0 \| 420 \| 0.7335 \| 0.1060 \| 0.0236 \| 0.0491 \| 0.1243 \| 0.1225 \|
	\| 0.7037 \| 29.0 \| 435 \| 0.7327 \| 0.1095 \| 0.0256 \| 0.0529 \| 0.1296 \| 0.1245 \|
	\| 0.706 \| 30.0 \| 450 \| 0.7315 \| 0.1108 \| 0.0266 \| 0.0544 \| 0.1323 \| 0.1245 \|
	\| 0.7004 \| 31.0 \| 465 \| 0.7302 \| 0.1131 \| 0.0254 \| 0.0541 \| 0.1362 \| 0.1265 \|
	\| 0.7049 \| 32.0 \| 480 \| 0.7294 \| 0.1083 \| 0.0233 \| 0.0489 \| 0.1283 \| 0.1245 \|
	\| 0.6944 \| 33.0 \| 495 \| 0.7295 \| 0.1101 \| 0.0230 \| 0.0483 \| 0.1310 \| 0.1265 \|
	\| 0.7039 \| 34.0 \| 510 \| 0.7283 \| 0.1023 \| 0.0197 \| 0.0403 \| 0.1204 \| 0.1205 \|
	\| 0.6837 \| 35.0 \| 525 \| 0.7275 \| 0.1014 \| 0.0191 \| 0.0400 \| 0.1204 \| 0.1185 \|
	\| 0.706 \| 36.0 \| 540 \| 0.7270 \| 0.1023 \| 0.0197 \| 0.0403 \| 0.1204 \| 0.1205 \|
	\| 0.6997 \| 37.0 \| 555 \| 0.7267 \| 0.1005 \| 0.0199 \| 0.0403 \| 0.1177 \| 0.1185 \|
	\| 0.7007 \| 38.0 \| 570 \| 0.7268 \| 0.1026 \| 0.0210 \| 0.0419 \| 0.1204 \| 0.1205 \|
	\| 0.6893 \| 39.0 \| 585 \| 0.7252 \| 0.1055 \| 0.0242 \| 0.0488 \| 0.1230 \| 0.1225 \|
	\| 0.7017 \| 40.0 \| 600 \| 0.7242 \| 0.1005 \| 0.0199 \| 0.0403 \| 0.1177 \| 0.1185 \|
	\| 0.6847 \| 41.0 \| 615 \| 0.7238 \| 0.1083 \| 0.0257 \| 0.0515 \| 0.1230 \| 0.1285 \|
	\| 0.6803 \| 42.0 \| 630 \| 0.7233 \| 0.1020 \| 0.0207 \| 0.0414 \| 0.1190 \| 0.1205 \|
	\| 0.6827 \| 43.0 \| 645 \| 0.7232 \| 0.1078 \| 0.0268 \| 0.0531 \| 0.1230 \| 0.1265 \|
	\| 0.6888 \| 44.0 \| 660 \| 0.7230 \| 0.1000 \| 0.0213 \| 0.0419 \| 0.1177 \| 0.1165 \|
	\| 0.6792 \| 45.0 \| 675 \| 0.7229 \| 0.1000 \| 0.0213 \| 0.0419 \| 0.1177 \| 0.1165 \|
	\| 0.6761 \| 46.0 \| 690 \| 0.7230 \| 0.1005 \| 0.0204 \| 0.0403 \| 0.1177 \| 0.1185 \|
	\| 0.6844 \| 47.0 \| 705 \| 0.7226 \| 0.1013 \| 0.0202 \| 0.0403 \| 0.1177 \| 0.1205 \|
	\| 0.6799 \| 48.0 \| 720 \| 0.7226 \| 0.1008 \| 0.0212 \| 0.0419 \| 0.1177 \| 0.1185 \|
	\| 0.6884 \| 49.0 \| 735 \| 0.7218 \| 0.1008 \| 0.0212 \| 0.0419 \| 0.1177 \| 0.1185 \|
	\| 0.6694 \| 50.0 \| 750 \| 0.7216 \| 0.1034 \| 0.0196 \| 0.0403 \| 0.1230 \| 0.1205 \|
	\| 0.6934 \| 51.0 \| 765 \| 0.7214 \| 0.1112 \| 0.0254 \| 0.0515 \| 0.1283 \| 0.1305 \|
	\| 0.6902 \| 52.0 \| 780 \| 0.7209 \| 0.1008 \| 0.0211 \| 0.0424 \| 0.1177 \| 0.1185 \|
	\| 0.6845 \| 53.0 \| 795 \| 0.7206 \| 0.1008 \| 0.0211 \| 0.0424 \| 0.1177 \| 0.1185 \|
	\| 0.6517 \| 54.0 \| 810 \| 0.7206 \| 0.1008 \| 0.0211 \| 0.0424 \| 0.1177 \| 0.1185 \|
	\| 0.6741 \| 55.0 \| 825 \| 0.7204 \| 0.0978 \| 0.0218 \| 0.0433 \| 0.1177 \| 0.1104 \|
	\| 0.6805 \| 56.0 \| 840 \| 0.7202 \| 0.0978 \| 0.0218 \| 0.0433 \| 0.1177 \| 0.1104 \|
	\| 0.6829 \| 57.0 \| 855 \| 0.7199 \| 0.0978 \| 0.0218 \| 0.0433 \| 0.1177 \| 0.1104 \|
	\| 0.6693 \| 58.0 \| 870 \| 0.7198 \| 0.1029 \| 0.0205 \| 0.0424 \| 0.1230 \| 0.1185 \|
	\| 0.6898 \| 59.0 \| 885 \| 0.7196 \| 0.1029 \| 0.0205 \| 0.0424 \| 0.1230 \| 0.1185 \|
	\| 0.6658 \| 60.0 \| 900 \| 0.7195 \| 0.1029 \| 0.0205 \| 0.0424 \| 0.1230 \| 0.1185 \|
	\| 0.6818 \| 61.0 \| 915 \| 0.7195 \| 0.0978 \| 0.0218 \| 0.0433 \| 0.1177 \| 0.1104 \|
	\| 0.673 \| 62.0 \| 930 \| 0.7195 \| 0.1029 \| 0.0205 \| 0.0424 \| 0.1230 \| 0.1185 \|
	\| 0.6703 \| 63.0 \| 945 \| 0.7195 \| 0.1008 \| 0.0211 \| 0.0424 \| 0.1177 \| 0.1185 \|
	\| 0.6609 \| 64.0 \| 960 \| 0.7195 \| 0.1029 \| 0.0205 \| 0.0424 \| 0.1230 \| 0.1185 \|


	### Framework versions

	- Transformers 4.31.0
	- Pytorch 2.0.1
	- Datasets 2.14.4
	- Tokenizers 0.13.3

	---
	license: bsd-3-clause
	base_model: Salesforce/codet5p-770m-py
	tags:
	- generated_from_trainer
	datasets:
	- mbpp
	model-index:
	- name: codet5p-770m-py-sanitized-codebleu-1-True-5e-05-0.1-lora-layer_14
	results: []
	---

	<!-- This model card has been generated automatically according to the information the Trainer had access to. You
	should probably proofread and complete it, then remove this comment. -->

	# codet5p-770m-py-sanitized-codebleu-1-True-5e-05-0.1-lora-layer_14

	This model is a fine-tuned version of [Salesforce/codet5p-770m-py](https://huggingface.co/Salesforce/codet5p-770m-py) on the mbpp dataset.
	It achieves the following results on the evaluation set:
	- Loss: 0.7195
	- Codebleu: 0.1029
	- Ngram Match Score: 0.0205
	- Weighted Ngram Match Score: 0.0424
	- Syntax Match Score: 0.1230
	- Dataflow Match Score: 0.1185

	## Model description

	More information needed

	## Intended uses & limitations

	More information needed

	## Training and evaluation data

	More information needed

	## Training procedure

	### Training hyperparameters

	The following hyperparameters were used during training:
	- learning_rate: 5e-05
	- train_batch_size: 8
	- eval_batch_size: 8
	- seed: 42
	- optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
	- lr_scheduler_type: linear
	- lr_scheduler_warmup_steps: 100
	- num_epochs: 64

	### Training results

	\| Training Loss \| Epoch \| Step \| Validation Loss \| Codebleu \| Ngram Match Score \| Weighted Ngram Match Score \| Syntax Match Score \| Dataflow Match Score \|
	\|:-------------:\|:-----:\|:----:\|:---------------:\|:--------:\|:-----------------:\|:--------------------------:\|:------------------:\|:--------------------:\|
	\| 0.9766 \| 1.0 \| 15 \| 0.9244 \| 0.0072 \| 0.0000 \| 0.0000 \| 0.0079 \| 0.0100 \|
	\| 0.965 \| 2.0 \| 30 \| 0.9226 \| 0.0072 \| 0.0000 \| 0.0000 \| 0.0079 \| 0.0100 \|
	\| 0.9762 \| 3.0 \| 45 \| 0.9181 \| 0.0080 \| 0.0000 \| 0.0000 \| 0.0079 \| 0.0120 \|
	\| 0.9451 \| 4.0 \| 60 \| 0.9083 \| 0.0096 \| 0.0000 \| 0.0001 \| 0.0079 \| 0.0161 \|
	\| 0.9517 \| 5.0 \| 75 \| 0.8892 \| 0.0444 \| 0.0014 \| 0.0239 \| 0.0423 \| 0.0622 \|
	\| 0.9375 \| 6.0 \| 90 \| 0.8647 \| 0.0894 \| 0.0218 \| 0.0480 \| 0.1098 \| 0.0964 \|
	\| 0.9163 \| 7.0 \| 105 \| 0.8474 \| 0.0990 \| 0.0226 \| 0.0521 \| 0.1243 \| 0.1044 \|
	\| 0.8645 \| 8.0 \| 120 \| 0.8333 \| 0.0991 \| 0.0239 \| 0.0522 \| 0.1243 \| 0.1044 \|
	\| 0.855 \| 9.0 \| 135 \| 0.8221 \| 0.0996 \| 0.0169 \| 0.0398 \| 0.1243 \| 0.1104 \|
	\| 0.8493 \| 10.0 \| 150 \| 0.8122 \| 0.1011 \| 0.0182 \| 0.0428 \| 0.1270 \| 0.1104 \|
	\| 0.8388 \| 11.0 \| 165 \| 0.8030 \| 0.1054 \| 0.0158 \| 0.0403 \| 0.1270 \| 0.1225 \|
	\| 0.8374 \| 12.0 \| 180 \| 0.7955 \| 0.1073 \| 0.0165 \| 0.0450 \| 0.1283 \| 0.1245 \|
	\| 0.816 \| 13.0 \| 195 \| 0.7893 \| 0.1092 \| 0.0161 \| 0.0436 \| 0.1296 \| 0.1285 \|
	\| 0.7974 \| 14.0 \| 210 \| 0.7820 \| 0.1092 \| 0.0158 \| 0.0436 \| 0.1296 \| 0.1285 \|
	\| 0.804 \| 15.0 \| 225 \| 0.7744 \| 0.1080 \| 0.0165 \| 0.0439 \| 0.1283 \| 0.1265 \|
	\| 0.8055 \| 16.0 \| 240 \| 0.7697 \| 0.1005 \| 0.0155 \| 0.0417 \| 0.1204 \| 0.1165 \|
	\| 0.7875 \| 17.0 \| 255 \| 0.7646 \| 0.1021 \| 0.0155 \| 0.0418 \| 0.1204 \| 0.1205 \|
	\| 0.7592 \| 18.0 \| 270 \| 0.7602 \| 0.1060 \| 0.0170 \| 0.0421 \| 0.1217 \| 0.1285 \|
	\| 0.7714 \| 19.0 \| 285 \| 0.7550 \| 0.1037 \| 0.0170 \| 0.0431 \| 0.1217 \| 0.1225 \|
	\| 0.7613 \| 20.0 \| 300 \| 0.7515 \| 0.1080 \| 0.0218 \| 0.0496 \| 0.1257 \| 0.1265 \|
	\| 0.7469 \| 21.0 \| 315 \| 0.7490 \| 0.1042 \| 0.0169 \| 0.0372 \| 0.1204 \| 0.1265 \|
	\| 0.7363 \| 22.0 \| 330 \| 0.7458 \| 0.1045 \| 0.0213 \| 0.0439 \| 0.1164 \| 0.1285 \|
	\| 0.7404 \| 23.0 \| 345 \| 0.7436 \| 0.1060 \| 0.0209 \| 0.0437 \| 0.1243 \| 0.1245 \|
	\| 0.74 \| 24.0 \| 360 \| 0.7411 \| 0.1122 \| 0.0240 \| 0.0499 \| 0.1296 \| 0.1325 \|
	\| 0.7588 \| 25.0 \| 375 \| 0.7380 \| 0.1093 \| 0.0239 \| 0.0503 \| 0.1283 \| 0.1265 \|
	\| 0.7315 \| 26.0 \| 390 \| 0.7370 \| 0.1063 \| 0.0221 \| 0.0455 \| 0.1283 \| 0.1205 \|
	\| 0.7152 \| 27.0 \| 405 \| 0.7342 \| 0.1095 \| 0.0257 \| 0.0527 \| 0.1296 \| 0.1245 \|
	\| 0.7183 \| 28.0 \| 420 \| 0.7335 \| 0.1060 \| 0.0236 \| 0.0491 \| 0.1243 \| 0.1225 \|
	\| 0.7037 \| 29.0 \| 435 \| 0.7327 \| 0.1095 \| 0.0256 \| 0.0529 \| 0.1296 \| 0.1245 \|
	\| 0.706 \| 30.0 \| 450 \| 0.7315 \| 0.1108 \| 0.0266 \| 0.0544 \| 0.1323 \| 0.1245 \|
	\| 0.7004 \| 31.0 \| 465 \| 0.7302 \| 0.1131 \| 0.0254 \| 0.0541 \| 0.1362 \| 0.1265 \|
	\| 0.7049 \| 32.0 \| 480 \| 0.7294 \| 0.1083 \| 0.0233 \| 0.0489 \| 0.1283 \| 0.1245 \|
	\| 0.6944 \| 33.0 \| 495 \| 0.7295 \| 0.1101 \| 0.0230 \| 0.0483 \| 0.1310 \| 0.1265 \|
	\| 0.7039 \| 34.0 \| 510 \| 0.7283 \| 0.1023 \| 0.0197 \| 0.0403 \| 0.1204 \| 0.1205 \|
	\| 0.6837 \| 35.0 \| 525 \| 0.7275 \| 0.1014 \| 0.0191 \| 0.0400 \| 0.1204 \| 0.1185 \|
	\| 0.706 \| 36.0 \| 540 \| 0.7270 \| 0.1023 \| 0.0197 \| 0.0403 \| 0.1204 \| 0.1205 \|
	\| 0.6997 \| 37.0 \| 555 \| 0.7267 \| 0.1005 \| 0.0199 \| 0.0403 \| 0.1177 \| 0.1185 \|
	\| 0.7007 \| 38.0 \| 570 \| 0.7268 \| 0.1026 \| 0.0210 \| 0.0419 \| 0.1204 \| 0.1205 \|
	\| 0.6893 \| 39.0 \| 585 \| 0.7252 \| 0.1055 \| 0.0242 \| 0.0488 \| 0.1230 \| 0.1225 \|
	\| 0.7017 \| 40.0 \| 600 \| 0.7242 \| 0.1005 \| 0.0199 \| 0.0403 \| 0.1177 \| 0.1185 \|
	\| 0.6847 \| 41.0 \| 615 \| 0.7238 \| 0.1083 \| 0.0257 \| 0.0515 \| 0.1230 \| 0.1285 \|
	\| 0.6803 \| 42.0 \| 630 \| 0.7233 \| 0.1020 \| 0.0207 \| 0.0414 \| 0.1190 \| 0.1205 \|
	\| 0.6827 \| 43.0 \| 645 \| 0.7232 \| 0.1078 \| 0.0268 \| 0.0531 \| 0.1230 \| 0.1265 \|
	\| 0.6888 \| 44.0 \| 660 \| 0.7230 \| 0.1000 \| 0.0213 \| 0.0419 \| 0.1177 \| 0.1165 \|
	\| 0.6792 \| 45.0 \| 675 \| 0.7229 \| 0.1000 \| 0.0213 \| 0.0419 \| 0.1177 \| 0.1165 \|
	\| 0.6761 \| 46.0 \| 690 \| 0.7230 \| 0.1005 \| 0.0204 \| 0.0403 \| 0.1177 \| 0.1185 \|
	\| 0.6844 \| 47.0 \| 705 \| 0.7226 \| 0.1013 \| 0.0202 \| 0.0403 \| 0.1177 \| 0.1205 \|
	\| 0.6799 \| 48.0 \| 720 \| 0.7226 \| 0.1008 \| 0.0212 \| 0.0419 \| 0.1177 \| 0.1185 \|
	\| 0.6884 \| 49.0 \| 735 \| 0.7218 \| 0.1008 \| 0.0212 \| 0.0419 \| 0.1177 \| 0.1185 \|
	\| 0.6694 \| 50.0 \| 750 \| 0.7216 \| 0.1034 \| 0.0196 \| 0.0403 \| 0.1230 \| 0.1205 \|
	\| 0.6934 \| 51.0 \| 765 \| 0.7214 \| 0.1112 \| 0.0254 \| 0.0515 \| 0.1283 \| 0.1305 \|
	\| 0.6902 \| 52.0 \| 780 \| 0.7209 \| 0.1008 \| 0.0211 \| 0.0424 \| 0.1177 \| 0.1185 \|
	\| 0.6845 \| 53.0 \| 795 \| 0.7206 \| 0.1008 \| 0.0211 \| 0.0424 \| 0.1177 \| 0.1185 \|
	\| 0.6517 \| 54.0 \| 810 \| 0.7206 \| 0.1008 \| 0.0211 \| 0.0424 \| 0.1177 \| 0.1185 \|
	\| 0.6741 \| 55.0 \| 825 \| 0.7204 \| 0.0978 \| 0.0218 \| 0.0433 \| 0.1177 \| 0.1104 \|
	\| 0.6805 \| 56.0 \| 840 \| 0.7202 \| 0.0978 \| 0.0218 \| 0.0433 \| 0.1177 \| 0.1104 \|
	\| 0.6829 \| 57.0 \| 855 \| 0.7199 \| 0.0978 \| 0.0218 \| 0.0433 \| 0.1177 \| 0.1104 \|
	\| 0.6693 \| 58.0 \| 870 \| 0.7198 \| 0.1029 \| 0.0205 \| 0.0424 \| 0.1230 \| 0.1185 \|
	\| 0.6898 \| 59.0 \| 885 \| 0.7196 \| 0.1029 \| 0.0205 \| 0.0424 \| 0.1230 \| 0.1185 \|
	\| 0.6658 \| 60.0 \| 900 \| 0.7195 \| 0.1029 \| 0.0205 \| 0.0424 \| 0.1230 \| 0.1185 \|
	\| 0.6818 \| 61.0 \| 915 \| 0.7195 \| 0.0978 \| 0.0218 \| 0.0433 \| 0.1177 \| 0.1104 \|
	\| 0.673 \| 62.0 \| 930 \| 0.7195 \| 0.1029 \| 0.0205 \| 0.0424 \| 0.1230 \| 0.1185 \|
	\| 0.6703 \| 63.0 \| 945 \| 0.7195 \| 0.1008 \| 0.0211 \| 0.0424 \| 0.1177 \| 0.1185 \|
	\| 0.6609 \| 64.0 \| 960 \| 0.7195 \| 0.1029 \| 0.0205 \| 0.0424 \| 0.1230 \| 0.1185 \|


	### Framework versions

	- Transformers 4.31.0
	- Pytorch 2.0.1
	- Datasets 2.14.4
	- Tokenizers 0.13.3