Hugging Face's logo

vichyt
/
codet5p-770m-py-sanitized-codebleu-1-True-5e-05-0.1-lora-layer_22

Generated from Trainer
Model card Files Community
codet5p-770m-py-sanitized-codebleu-1-True-5e-05-0.1-lora-layer_22 / README.md
vichyt's picture
vichyt
update model card README.md
ac2d14f
preview code
|
raw
history blame
No virus
11.7 kB
metadata
license: bsd-3-clause
base_model: Salesforce/codet5p-770m-py
tags:
  - generated_from_trainer
datasets:
  - mbpp
model-index:
  - name: codet5p-770m-py-sanitized-codebleu-1-True-5e-05-0.1-lora-layer_22
    results: []

codet5p-770m-py-sanitized-codebleu-1-True-5e-05-0.1-lora-layer_22

This model is a fine-tuned version of Salesforce/codet5p-770m-py on the mbpp dataset. It achieves the following results on the evaluation set:

  • Loss: 0.7042
  • Codebleu: 0.1212
  • Ngram Match Score: 0.0274
  • Weighted Ngram Match Score: 0.0565
  • Syntax Match Score: 0.1495
  • Dataflow Match Score: 0.1325

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

  • learning_rate: 5e-05
  • train_batch_size: 8
  • eval_batch_size: 8
  • seed: 42
  • optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
  • lr_scheduler_type: linear
  • lr_scheduler_warmup_steps: 100
  • num_epochs: 64

Training results

Training Loss Epoch Step Validation Loss Codebleu Ngram Match Score Weighted Ngram Match Score Syntax Match Score Dataflow Match Score
0.9723 1.0 15 0.9246 0.0072 0.0000 0.0000 0.0079 0.0100
0.9639 2.0 30 0.9234 0.0072 0.0000 0.0000 0.0079 0.0100
0.9718 3.0 45 0.9206 0.0072 0.0000 0.0000 0.0079 0.0100
0.9428 4.0 60 0.9142 0.0080 0.0000 0.0000 0.0079 0.0120
0.9587 5.0 75 0.9003 0.0268 0.0000 0.0118 0.0238 0.0402
0.9449 6.0 90 0.8766 0.0564 0.0022 0.0266 0.0635 0.0703
0.9286 7.0 105 0.8498 0.0988 0.0260 0.0581 0.1257 0.1004
0.8737 8.0 120 0.8287 0.0962 0.0243 0.0517 0.1230 0.0984
0.8563 9.0 135 0.8129 0.0913 0.0219 0.0477 0.1164 0.0944
0.8353 10.0 150 0.7987 0.0906 0.0218 0.0470 0.1190 0.0904
0.8101 11.0 165 0.7838 0.0961 0.0255 0.0557 0.1257 0.0944
0.806 12.0 180 0.7687 0.1089 0.0248 0.0585 0.1349 0.1165
0.7869 13.0 195 0.7588 0.1070 0.0245 0.0585 0.1323 0.1145
0.7652 14.0 210 0.7518 0.1092 0.0244 0.0595 0.1336 0.1185
0.7805 15.0 225 0.7472 0.1087 0.0256 0.0609 0.1336 0.1165
0.7846 16.0 240 0.7444 0.1086 0.0292 0.0642 0.1336 0.1145
0.7664 17.0 255 0.7423 0.1157 0.0281 0.0590 0.1429 0.1245
0.7486 18.0 270 0.7400 0.1112 0.0259 0.0571 0.1389 0.1185
0.7587 19.0 285 0.7376 0.1147 0.0259 0.0570 0.1415 0.1245
0.7496 20.0 300 0.7356 0.1169 0.0266 0.0571 0.1429 0.1285
0.736 21.0 315 0.7327 0.1151 0.0263 0.0553 0.1429 0.1245
0.7302 22.0 330 0.7302 0.1172 0.0265 0.0551 0.1442 0.1285
0.7346 23.0 345 0.7293 0.1143 0.0264 0.0550 0.1389 0.1265
0.7345 24.0 360 0.7277 0.1143 0.0264 0.0550 0.1389 0.1265
0.7519 25.0 375 0.7257 0.1143 0.0267 0.0549 0.1389 0.1265
0.7312 26.0 390 0.7243 0.1121 0.0264 0.0549 0.1376 0.1225
0.7171 27.0 405 0.7226 0.1143 0.0266 0.0547 0.1389 0.1265
0.7245 28.0 420 0.7215 0.1122 0.0263 0.0550 0.1376 0.1225
0.7097 29.0 435 0.7205 0.1148 0.0264 0.0548 0.1402 0.1265
0.713 30.0 450 0.7196 0.1127 0.0262 0.0550 0.1389 0.1225
0.705 31.0 465 0.7191 0.1120 0.0266 0.0555 0.1389 0.1205
0.7059 32.0 480 0.7182 0.1120 0.0266 0.0555 0.1389 0.1205
0.7122 33.0 495 0.7170 0.1120 0.0266 0.0555 0.1389 0.1205
0.7114 34.0 510 0.7152 0.1120 0.0266 0.0556 0.1389 0.1205
0.6947 35.0 525 0.7142 0.1120 0.0267 0.0555 0.1389 0.1205
0.7165 36.0 540 0.7134 0.1158 0.0269 0.0560 0.1442 0.1245
0.7029 37.0 555 0.7131 0.1158 0.0273 0.0560 0.1442 0.1245
0.7117 38.0 570 0.7126 0.1155 0.0269 0.0561 0.1455 0.1225
0.7037 39.0 585 0.7117 0.1174 0.0275 0.0560 0.1481 0.1245
0.7089 40.0 600 0.7113 0.1220 0.0278 0.0557 0.1495 0.1345
0.6944 41.0 615 0.7107 0.1200 0.0272 0.0559 0.1468 0.1325
0.6907 42.0 630 0.7101 0.1200 0.0272 0.0559 0.1468 0.1325
0.691 43.0 645 0.7097 0.1233 0.0275 0.0563 0.1548 0.1325
0.6967 44.0 660 0.7091 0.1233 0.0275 0.0563 0.1548 0.1325
0.6893 45.0 675 0.7087 0.1233 0.0275 0.0563 0.1548 0.1325
0.6881 46.0 690 0.7086 0.1233 0.0275 0.0563 0.1548 0.1325
0.6908 47.0 705 0.7081 0.1233 0.0276 0.0563 0.1548 0.1325
0.6895 48.0 720 0.7077 0.1222 0.0274 0.0563 0.1521 0.1325
0.6951 49.0 735 0.7072 0.1222 0.0274 0.0563 0.1521 0.1325
0.6833 50.0 750 0.7069 0.1244 0.0279 0.0563 0.1534 0.1365
0.709 51.0 765 0.7065 0.1244 0.0279 0.0563 0.1534 0.1365
0.6997 52.0 780 0.7060 0.1238 0.0273 0.0563 0.1521 0.1365
0.6982 53.0 795 0.7056 0.1217 0.0271 0.0565 0.1508 0.1325
0.6658 54.0 810 0.7053 0.1212 0.0274 0.0565 0.1495 0.1325
0.6897 55.0 825 0.7050 0.1212 0.0274 0.0565 0.1495 0.1325
0.6889 56.0 840 0.7049 0.1212 0.0274 0.0565 0.1495 0.1325
0.693 57.0 855 0.7047 0.1212 0.0274 0.0565 0.1495 0.1325
0.6859 58.0 870 0.7045 0.1212 0.0274 0.0565 0.1495 0.1325
0.6962 59.0 885 0.7044 0.1212 0.0274 0.0565 0.1495 0.1325
0.6827 60.0 900 0.7043 0.1212 0.0274 0.0565 0.1495 0.1325
0.695 61.0 915 0.7043 0.1212 0.0274 0.0565 0.1495 0.1325
0.681 62.0 930 0.7042 0.1212 0.0274 0.0565 0.1495 0.1325
0.6854 63.0 945 0.7042 0.1212 0.0274 0.0565 0.1495 0.1325
0.6778 64.0 960 0.7042 0.1212 0.0274 0.0565 0.1495 0.1325

Framework versions

  • Transformers 4.31.0
  • Pytorch 2.0.1
  • Datasets 2.14.4
  • Tokenizers 0.13.3