Hugging Face's logo

vichyt
/
codet5p-770m-py-sanitized-codebleu-1-True-5e-05-0.1-lora-layer_21

Generated from Trainer
Model card Files Community
codet5p-770m-py-sanitized-codebleu-1-True-5e-05-0.1-lora-layer_21 / README.md
vichyt's picture
vichyt
update model card README.md
693e8e8
preview code
|
raw
history blame
No virus
11.7 kB
metadata
license: bsd-3-clause
base_model: Salesforce/codet5p-770m-py
tags:
  - generated_from_trainer
datasets:
  - mbpp
model-index:
  - name: codet5p-770m-py-sanitized-codebleu-1-True-5e-05-0.1-lora-layer_21
    results: []

codet5p-770m-py-sanitized-codebleu-1-True-5e-05-0.1-lora-layer_21

This model is a fine-tuned version of Salesforce/codet5p-770m-py on the mbpp dataset. It achieves the following results on the evaluation set:

  • Loss: 0.7161
  • Codebleu: 0.1126
  • Ngram Match Score: 0.0280
  • Weighted Ngram Match Score: 0.0604
  • Syntax Match Score: 0.1389
  • Dataflow Match Score: 0.1205

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

  • learning_rate: 5e-05
  • train_batch_size: 8
  • eval_batch_size: 8
  • seed: 42
  • optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
  • lr_scheduler_type: linear
  • lr_scheduler_warmup_steps: 100
  • num_epochs: 64

Training results

Training Loss Epoch Step Validation Loss Codebleu Ngram Match Score Weighted Ngram Match Score Syntax Match Score Dataflow Match Score
0.9738 1.0 15 0.9247 0.0072 0.0000 0.0000 0.0079 0.0100
0.9612 2.0 30 0.9236 0.0072 0.0000 0.0000 0.0079 0.0100
0.9731 3.0 45 0.9209 0.0072 0.0000 0.0000 0.0079 0.0100
0.9424 4.0 60 0.9145 0.0080 0.0000 0.0000 0.0079 0.0120
0.9588 5.0 75 0.9004 0.0104 0.0000 0.0003 0.0079 0.0181
0.9447 6.0 90 0.8748 0.0543 0.0018 0.0269 0.0622 0.0663
0.9237 7.0 105 0.8428 0.0921 0.0207 0.0498 0.1204 0.0924
0.8665 8.0 120 0.8210 0.0996 0.0220 0.0507 0.1283 0.1024
0.8448 9.0 135 0.8068 0.0993 0.0213 0.0493 0.1323 0.0984
0.8224 10.0 150 0.7944 0.1001 0.0205 0.0495 0.1323 0.1004
0.8045 11.0 165 0.7813 0.1042 0.0187 0.0471 0.1336 0.1104
0.8003 12.0 180 0.7709 0.1010 0.0181 0.0474 0.1257 0.1104
0.7818 13.0 195 0.7654 0.0983 0.0181 0.0476 0.1230 0.1064
0.7641 14.0 210 0.7610 0.0984 0.0188 0.0476 0.1230 0.1064
0.7824 15.0 225 0.7570 0.0952 0.0168 0.0438 0.1164 0.1064
0.7851 16.0 240 0.7540 0.0960 0.0194 0.0495 0.1164 0.1064
0.7675 17.0 255 0.7512 0.0944 0.0192 0.0495 0.1124 0.1064
0.7507 18.0 270 0.7487 0.0959 0.0185 0.0494 0.1124 0.1104
0.7612 19.0 285 0.7459 0.0932 0.0178 0.0490 0.1098 0.1064
0.7476 20.0 300 0.7433 0.0933 0.0186 0.0497 0.1138 0.1024
0.7357 21.0 315 0.7410 0.1083 0.0241 0.0607 0.1270 0.1225
0.7371 22.0 330 0.7384 0.0961 0.0152 0.0387 0.1204 0.1064
0.733 23.0 345 0.7368 0.0932 0.0152 0.0388 0.1151 0.1044
0.7354 24.0 360 0.7353 0.0924 0.0154 0.0390 0.1111 0.1064
0.7527 25.0 375 0.7336 0.0915 0.0150 0.0384 0.1111 0.1044
0.7314 26.0 390 0.7323 0.0975 0.0196 0.0451 0.1190 0.1084
0.7167 27.0 405 0.7313 0.0975 0.0196 0.0451 0.1190 0.1084
0.7248 28.0 420 0.7303 0.1004 0.0212 0.0491 0.1230 0.1104
0.7101 29.0 435 0.7290 0.0999 0.0230 0.0507 0.1230 0.1084
0.7138 30.0 450 0.7280 0.1064 0.0288 0.0612 0.1270 0.1165
0.7087 31.0 465 0.7270 0.1034 0.0285 0.0610 0.1217 0.1145
0.7068 32.0 480 0.7263 0.1063 0.0285 0.0608 0.1270 0.1165
0.7101 33.0 495 0.7260 0.1063 0.0285 0.0608 0.1270 0.1165
0.7124 34.0 510 0.7241 0.1034 0.0285 0.0610 0.1217 0.1145
0.6968 35.0 525 0.7233 0.1034 0.0285 0.0610 0.1217 0.1145
0.7215 36.0 540 0.7224 0.1005 0.0264 0.0603 0.1190 0.1104
0.703 37.0 555 0.7219 0.1052 0.0264 0.0599 0.1270 0.1145
0.7096 38.0 570 0.7216 0.1023 0.0264 0.0601 0.1217 0.1124
0.7004 39.0 585 0.7208 0.1080 0.0296 0.0631 0.1283 0.1185
0.7109 40.0 600 0.7206 0.1048 0.0281 0.0597 0.1257 0.1145
0.6934 41.0 615 0.7201 0.1048 0.0281 0.0597 0.1257 0.1145
0.6898 42.0 630 0.7194 0.1024 0.0273 0.0596 0.1217 0.1124
0.6905 43.0 645 0.7192 0.1073 0.0298 0.0612 0.1310 0.1145
0.6982 44.0 660 0.7188 0.1083 0.0308 0.0647 0.1283 0.1185
0.6946 45.0 675 0.7186 0.1111 0.0304 0.0645 0.1336 0.1205
0.6861 46.0 690 0.7186 0.1133 0.0310 0.0645 0.1389 0.1205
0.6923 47.0 705 0.7180 0.1105 0.0282 0.0603 0.1336 0.1205
0.6888 48.0 720 0.7177 0.1105 0.0282 0.0603 0.1336 0.1205
0.6922 49.0 735 0.7174 0.1105 0.0282 0.0603 0.1336 0.1205
0.684 50.0 750 0.7174 0.1105 0.0282 0.0603 0.1336 0.1205
0.7088 51.0 765 0.7172 0.1096 0.0276 0.0603 0.1336 0.1185
0.698 52.0 780 0.7167 0.1067 0.0276 0.0605 0.1283 0.1165
0.699 53.0 795 0.7165 0.1067 0.0276 0.0605 0.1283 0.1165
0.6646 54.0 810 0.7165 0.1118 0.0282 0.0604 0.1389 0.1185
0.689 55.0 825 0.7163 0.1118 0.0282 0.0604 0.1389 0.1185
0.6882 56.0 840 0.7161 0.1118 0.0282 0.0604 0.1389 0.1185
0.6893 57.0 855 0.7161 0.1118 0.0282 0.0604 0.1389 0.1185
0.6833 58.0 870 0.7161 0.1118 0.0282 0.0604 0.1389 0.1185
0.6994 59.0 885 0.7160 0.1118 0.0282 0.0604 0.1389 0.1185
0.679 60.0 900 0.7160 0.1118 0.0282 0.0604 0.1389 0.1185
0.6921 61.0 915 0.7161 0.1126 0.0280 0.0604 0.1389 0.1205
0.6759 62.0 930 0.7161 0.1126 0.0280 0.0604 0.1389 0.1205
0.6861 63.0 945 0.7161 0.1126 0.0280 0.0604 0.1389 0.1205
0.6737 64.0 960 0.7161 0.1126 0.0280 0.0604 0.1389 0.1205

Framework versions

  • Transformers 4.31.0
  • Pytorch 2.0.1
  • Datasets 2.14.4
  • Tokenizers 0.13.3