Hugging Face's logo

vichyt
/
codet5p-770m-py-sanitized-codebleu-1-True-5e-05-0.1-lora-layer_16

Generated from Trainer
Model card Files Community
codet5p-770m-py-sanitized-codebleu-1-True-5e-05-0.1-lora-layer_16 / README.md
vichyt's picture
vichyt
End of training
eae1d98
preview code
|
raw history blame
No virus
11.7 kB
metadata
license: bsd-3-clause
base_model: Salesforce/codet5p-770m-py
tags:
  - generated_from_trainer
datasets:
  - mbpp
model-index:
  - name: codet5p-770m-py-sanitized-codebleu-1-True-5e-05-0.1-lora-layer_16
    results: []
library_name: peft

codet5p-770m-py-sanitized-codebleu-1-True-5e-05-0.1-lora-layer_16

This model is a fine-tuned version of Salesforce/codet5p-770m-py on the mbpp dataset. It achieves the following results on the evaluation set:

  • Loss: 0.7124
  • Codebleu: 0.1101
  • Ngram Match Score: 0.0290
  • Weighted Ngram Match Score: 0.0603
  • Syntax Match Score: 0.1283
  • Dataflow Match Score: 0.1245

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

  • learning_rate: 5e-05
  • train_batch_size: 8
  • eval_batch_size: 8
  • seed: 42
  • optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
  • lr_scheduler_type: linear
  • lr_scheduler_warmup_steps: 100
  • num_epochs: 64

Training results

Training Loss Epoch Step Validation Loss Codebleu Ngram Match Score Weighted Ngram Match Score Syntax Match Score Dataflow Match Score
0.9725 1.0 15 0.9245 0.0072 0.0000 0.0000 0.0079 0.0100
0.9641 2.0 30 0.9228 0.0072 0.0000 0.0000 0.0079 0.0100
0.9703 3.0 45 0.9190 0.0072 0.0000 0.0000 0.0079 0.0100
0.9422 4.0 60 0.9108 0.0080 0.0000 0.0000 0.0079 0.0120
0.9459 5.0 75 0.8947 0.0298 0.0001 0.0149 0.0265 0.0442
0.936 6.0 90 0.8704 0.0692 0.0034 0.0282 0.0807 0.0843
0.9197 7.0 105 0.8488 0.0998 0.0209 0.0519 0.1270 0.1044
0.8658 8.0 120 0.8350 0.1016 0.0224 0.0521 0.1270 0.1084
0.8532 9.0 135 0.8216 0.0986 0.0223 0.0515 0.1217 0.1064
0.842 10.0 150 0.8080 0.0997 0.0137 0.0362 0.1204 0.1165
0.8198 11.0 165 0.7945 0.1019 0.0130 0.0350 0.1204 0.1225
0.814 12.0 180 0.7816 0.1018 0.0135 0.0354 0.1177 0.1245
0.7963 13.0 195 0.7727 0.0975 0.0111 0.0321 0.1204 0.1124
0.7768 14.0 210 0.7646 0.0931 0.0121 0.0329 0.1151 0.1064
0.7844 15.0 225 0.7586 0.0971 0.0123 0.0332 0.1190 0.1124
0.7847 16.0 240 0.7551 0.1025 0.0125 0.0331 0.1243 0.1205
0.7708 17.0 255 0.7529 0.1054 0.0159 0.0409 0.1310 0.1185
0.7464 18.0 270 0.7505 0.1100 0.0165 0.0413 0.1402 0.1205
0.7569 19.0 285 0.7477 0.1084 0.0177 0.0445 0.1389 0.1165
0.7486 20.0 300 0.7451 0.1110 0.0248 0.0579 0.1362 0.1205
0.7348 21.0 315 0.7425 0.1102 0.0253 0.0577 0.1362 0.1185
0.7282 22.0 330 0.7400 0.1120 0.0263 0.0584 0.1362 0.1225
0.7291 23.0 345 0.7387 0.1095 0.0259 0.0578 0.1323 0.1205
0.7316 24.0 360 0.7369 0.1094 0.0258 0.0573 0.1323 0.1205
0.744 25.0 375 0.7350 0.1078 0.0259 0.0596 0.1336 0.1145
0.7198 26.0 390 0.7328 0.1136 0.0277 0.0632 0.1429 0.1185
0.7068 27.0 405 0.7308 0.1139 0.0277 0.0632 0.1376 0.1245
0.7157 28.0 420 0.7294 0.1074 0.0278 0.0594 0.1283 0.1185
0.6982 29.0 435 0.7283 0.1140 0.0281 0.0632 0.1376 0.1245
0.7011 30.0 450 0.7273 0.1140 0.0281 0.0632 0.1376 0.1245
0.6985 31.0 465 0.7263 0.1157 0.0298 0.0633 0.1376 0.1285
0.6963 32.0 480 0.7253 0.1076 0.0295 0.0596 0.1243 0.1225
0.6962 33.0 495 0.7245 0.1093 0.0300 0.0596 0.1243 0.1265
0.6947 34.0 510 0.7231 0.1159 0.0309 0.0639 0.1336 0.1325
0.682 35.0 525 0.7220 0.1143 0.0311 0.0639 0.1336 0.1285
0.7081 36.0 540 0.7213 0.1145 0.0306 0.0639 0.1362 0.1265
0.6964 37.0 555 0.7208 0.1170 0.0313 0.0639 0.1362 0.1325
0.6975 38.0 570 0.7206 0.1179 0.0315 0.0639 0.1362 0.1345
0.6873 39.0 585 0.7194 0.1142 0.0308 0.0634 0.1376 0.1245
0.6962 40.0 600 0.7187 0.1178 0.0311 0.0639 0.1362 0.1345
0.6816 41.0 615 0.7184 0.1178 0.0311 0.0639 0.1362 0.1345
0.6781 42.0 630 0.7177 0.1151 0.0313 0.0634 0.1376 0.1265
0.6836 43.0 645 0.7171 0.1167 0.0313 0.0634 0.1376 0.1305
0.6826 44.0 660 0.7165 0.1151 0.0313 0.0634 0.1376 0.1265
0.6747 45.0 675 0.7163 0.1171 0.0316 0.0639 0.1362 0.1325
0.6735 46.0 690 0.7160 0.1171 0.0316 0.0639 0.1362 0.1325
0.6752 47.0 705 0.7154 0.1153 0.0306 0.0638 0.1362 0.1285
0.6809 48.0 720 0.7152 0.1101 0.0290 0.0603 0.1283 0.1245
0.6829 49.0 735 0.7147 0.1081 0.0287 0.0598 0.1296 0.1185
0.6733 50.0 750 0.7148 0.1101 0.0290 0.0603 0.1283 0.1245
0.6964 51.0 765 0.7147 0.1153 0.0306 0.0638 0.1362 0.1285
0.691 52.0 780 0.7143 0.1153 0.0306 0.0638 0.1362 0.1285
0.6811 53.0 795 0.7139 0.1153 0.0306 0.0638 0.1362 0.1285
0.6519 54.0 810 0.7135 0.1153 0.0306 0.0638 0.1362 0.1285
0.6752 55.0 825 0.7133 0.1101 0.0290 0.0603 0.1283 0.1245
0.6827 56.0 840 0.7131 0.1101 0.0290 0.0603 0.1283 0.1245
0.6807 57.0 855 0.7128 0.1101 0.0290 0.0603 0.1283 0.1245
0.6722 58.0 870 0.7126 0.1101 0.0290 0.0603 0.1283 0.1245
0.6913 59.0 885 0.7125 0.1101 0.0290 0.0603 0.1283 0.1245
0.6672 60.0 900 0.7125 0.1101 0.0290 0.0603 0.1283 0.1245
0.6873 61.0 915 0.7125 0.1101 0.0290 0.0603 0.1283 0.1245
0.6704 62.0 930 0.7125 0.1101 0.0290 0.0603 0.1283 0.1245
0.6751 63.0 945 0.7124 0.1101 0.0290 0.0603 0.1283 0.1245
0.6605 64.0 960 0.7124 0.1101 0.0290 0.0603 0.1283 0.1245

Framework versions

  • PEFT 0.4.0
  • Transformers 4.31.0
  • Pytorch 2.0.1
  • Datasets 2.14.4
  • Tokenizers 0.13.3