Hugging Face's logo

vichyt
/
codet5p-770m-py-sanitized-codebleu-1-True-5e-05-0.1-lora-layer_18

Generated from Trainer
Model card Files Community
codet5p-770m-py-sanitized-codebleu-1-True-5e-05-0.1-lora-layer_18 / README.md
vichyt's picture
vichyt
End of training
1dae879
preview code
|
raw
history blame
No virus
11.7 kB
metadata
license: bsd-3-clause
base_model: Salesforce/codet5p-770m-py
tags:
  - generated_from_trainer
datasets:
  - mbpp
model-index:
  - name: codet5p-770m-py-sanitized-codebleu-1-True-5e-05-0.1-lora-layer_18
    results: []
library_name: peft

codet5p-770m-py-sanitized-codebleu-1-True-5e-05-0.1-lora-layer_18

This model is a fine-tuned version of Salesforce/codet5p-770m-py on the mbpp dataset. It achieves the following results on the evaluation set:

  • Loss: 0.7028
  • Codebleu: 0.1061
  • Ngram Match Score: 0.0250
  • Weighted Ngram Match Score: 0.0538
  • Syntax Match Score: 0.1310
  • Dataflow Match Score: 0.1145

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

  • learning_rate: 5e-05
  • train_batch_size: 8
  • eval_batch_size: 8
  • seed: 42
  • optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
  • lr_scheduler_type: linear
  • lr_scheduler_warmup_steps: 100
  • num_epochs: 64

Training results

Training Loss Epoch Step Validation Loss Codebleu Ngram Match Score Weighted Ngram Match Score Syntax Match Score Dataflow Match Score
0.9722 1.0 15 0.9246 0.0072 0.0000 0.0000 0.0079 0.0100
0.9623 2.0 30 0.9232 0.0072 0.0000 0.0000 0.0079 0.0100
0.9702 3.0 45 0.9197 0.0072 0.0000 0.0000 0.0079 0.0100
0.944 4.0 60 0.9118 0.0080 0.0000 0.0000 0.0079 0.0120
0.953 5.0 75 0.8956 0.0413 0.0007 0.0230 0.0370 0.0602
0.9402 6.0 90 0.8719 0.0750 0.0134 0.0426 0.0913 0.0823
0.9279 7.0 105 0.8508 0.0990 0.0215 0.0480 0.1217 0.1084
0.8723 8.0 120 0.8362 0.0989 0.0221 0.0519 0.1243 0.1044
0.8598 9.0 135 0.8227 0.0998 0.0231 0.0521 0.1243 0.1064
0.8459 10.0 150 0.8105 0.1034 0.0148 0.0396 0.1283 0.1165
0.8238 11.0 165 0.7952 0.0991 0.0162 0.0411 0.1190 0.1145
0.8176 12.0 180 0.7802 0.1020 0.0185 0.0459 0.1243 0.1145
0.7965 13.0 195 0.7719 0.1017 0.0173 0.0441 0.1243 0.1145
0.7755 14.0 210 0.7616 0.1017 0.0181 0.0441 0.1243 0.1145
0.7876 15.0 225 0.7538 0.1018 0.0186 0.0440 0.1243 0.1145
0.7887 16.0 240 0.7509 0.0992 0.0174 0.0438 0.1204 0.1124
0.7723 17.0 255 0.7467 0.1015 0.0182 0.0438 0.1217 0.1165
0.753 18.0 270 0.7440 0.1015 0.0182 0.0438 0.1217 0.1165
0.762 19.0 285 0.7405 0.1045 0.0200 0.0458 0.1243 0.1205
0.7537 20.0 300 0.7377 0.1029 0.0182 0.0447 0.1230 0.1185
0.7381 21.0 315 0.7344 0.1056 0.0188 0.0449 0.1296 0.1185
0.7389 22.0 330 0.7314 0.1048 0.0189 0.0449 0.1296 0.1165
0.7352 23.0 345 0.7301 0.1030 0.0189 0.0449 0.1270 0.1145
0.7421 24.0 360 0.7288 0.1029 0.0188 0.0449 0.1270 0.1145
0.7569 25.0 375 0.7271 0.1053 0.0190 0.0441 0.1270 0.1205
0.7339 26.0 390 0.7256 0.1071 0.0233 0.0529 0.1323 0.1165
0.7169 27.0 405 0.7238 0.1072 0.0236 0.0530 0.1323 0.1165
0.7278 28.0 420 0.7224 0.1062 0.0242 0.0535 0.1296 0.1165
0.7185 29.0 435 0.7215 0.1063 0.0250 0.0536 0.1296 0.1165
0.713 30.0 450 0.7204 0.1098 0.0254 0.0533 0.1283 0.1265
0.7145 31.0 465 0.7195 0.1101 0.0266 0.0551 0.1283 0.1265
0.7128 32.0 480 0.7180 0.1149 0.0282 0.0588 0.1389 0.1265
0.7131 33.0 495 0.7172 0.1140 0.0276 0.0588 0.1389 0.1245
0.7116 34.0 510 0.7154 0.1140 0.0276 0.0588 0.1389 0.1245
0.6959 35.0 525 0.7140 0.1148 0.0276 0.0588 0.1389 0.1265
0.7259 36.0 540 0.7131 0.1148 0.0276 0.0588 0.1389 0.1265
0.7094 37.0 555 0.7127 0.1148 0.0276 0.0588 0.1389 0.1265
0.7151 38.0 570 0.7119 0.1148 0.0276 0.0588 0.1389 0.1265
0.7082 39.0 585 0.7108 0.1140 0.0280 0.0586 0.1389 0.1245
0.7101 40.0 600 0.7102 0.1136 0.0271 0.0576 0.1402 0.1225
0.696 41.0 615 0.7098 0.1136 0.0271 0.0576 0.1402 0.1225
0.6955 42.0 630 0.7090 0.1136 0.0271 0.0576 0.1402 0.1225
0.6967 43.0 645 0.7083 0.1136 0.0271 0.0576 0.1402 0.1225
0.7006 44.0 660 0.7077 0.1136 0.0271 0.0576 0.1402 0.1225
0.6921 45.0 675 0.7072 0.1061 0.0250 0.0538 0.1310 0.1145
0.6866 46.0 690 0.7069 0.1061 0.0250 0.0538 0.1310 0.1145
0.6971 47.0 705 0.7067 0.1068 0.0247 0.0540 0.1310 0.1165
0.6943 48.0 720 0.7065 0.1060 0.0248 0.0538 0.1310 0.1145
0.6988 49.0 735 0.7060 0.1061 0.0250 0.0538 0.1310 0.1145
0.6865 50.0 750 0.7056 0.1068 0.0245 0.0539 0.1310 0.1165
0.7076 51.0 765 0.7053 0.1060 0.0248 0.0538 0.1310 0.1145
0.7049 52.0 780 0.7050 0.1061 0.0250 0.0538 0.1310 0.1145
0.7008 53.0 795 0.7045 0.1119 0.0266 0.0576 0.1402 0.1185
0.6728 54.0 810 0.7043 0.1119 0.0266 0.0576 0.1402 0.1185
0.6918 55.0 825 0.7040 0.1119 0.0266 0.0576 0.1402 0.1185
0.6952 56.0 840 0.7037 0.1119 0.0266 0.0576 0.1402 0.1185
0.6986 57.0 855 0.7034 0.1061 0.0250 0.0538 0.1310 0.1145
0.687 58.0 870 0.7032 0.1061 0.0250 0.0538 0.1310 0.1145
0.7026 59.0 885 0.7030 0.1061 0.0250 0.0538 0.1310 0.1145
0.6817 60.0 900 0.7030 0.1061 0.0250 0.0538 0.1310 0.1145
0.6994 61.0 915 0.7029 0.1061 0.0250 0.0538 0.1310 0.1145
0.6843 62.0 930 0.7029 0.1061 0.0250 0.0538 0.1310 0.1145
0.6876 63.0 945 0.7028 0.1061 0.0250 0.0538 0.1310 0.1145
0.6783 64.0 960 0.7028 0.1061 0.0250 0.0538 0.1310 0.1145

Framework versions

  • PEFT 0.4.0
  • Transformers 4.31.0
  • Pytorch 2.0.1
  • Datasets 2.14.4
  • Tokenizers 0.13.3