Hugging Face's logo

vichyt
/
codet5p-770m-py-sanitized-codebleu-1-True-5e-05-0.1-lora-layer_14

Generated from Trainer
Model card Files Community
codet5p-770m-py-sanitized-codebleu-1-True-5e-05-0.1-lora-layer_14 / README.md
vichyt's picture
vichyt
update model card README.md
3bede40
preview code
|
raw history blame
No virus
11.7 kB
metadata
license: bsd-3-clause
base_model: Salesforce/codet5p-770m-py
tags:
  - generated_from_trainer
datasets:
  - mbpp
model-index:
  - name: codet5p-770m-py-sanitized-codebleu-1-True-5e-05-0.1-lora-layer_14
    results: []

codet5p-770m-py-sanitized-codebleu-1-True-5e-05-0.1-lora-layer_14

This model is a fine-tuned version of Salesforce/codet5p-770m-py on the mbpp dataset. It achieves the following results on the evaluation set:

  • Loss: 0.7195
  • Codebleu: 0.1029
  • Ngram Match Score: 0.0205
  • Weighted Ngram Match Score: 0.0424
  • Syntax Match Score: 0.1230
  • Dataflow Match Score: 0.1185

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

  • learning_rate: 5e-05
  • train_batch_size: 8
  • eval_batch_size: 8
  • seed: 42
  • optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
  • lr_scheduler_type: linear
  • lr_scheduler_warmup_steps: 100
  • num_epochs: 64

Training results

Training Loss Epoch Step Validation Loss Codebleu Ngram Match Score Weighted Ngram Match Score Syntax Match Score Dataflow Match Score
0.9766 1.0 15 0.9244 0.0072 0.0000 0.0000 0.0079 0.0100
0.965 2.0 30 0.9226 0.0072 0.0000 0.0000 0.0079 0.0100
0.9762 3.0 45 0.9181 0.0080 0.0000 0.0000 0.0079 0.0120
0.9451 4.0 60 0.9083 0.0096 0.0000 0.0001 0.0079 0.0161
0.9517 5.0 75 0.8892 0.0444 0.0014 0.0239 0.0423 0.0622
0.9375 6.0 90 0.8647 0.0894 0.0218 0.0480 0.1098 0.0964
0.9163 7.0 105 0.8474 0.0990 0.0226 0.0521 0.1243 0.1044
0.8645 8.0 120 0.8333 0.0991 0.0239 0.0522 0.1243 0.1044
0.855 9.0 135 0.8221 0.0996 0.0169 0.0398 0.1243 0.1104
0.8493 10.0 150 0.8122 0.1011 0.0182 0.0428 0.1270 0.1104
0.8388 11.0 165 0.8030 0.1054 0.0158 0.0403 0.1270 0.1225
0.8374 12.0 180 0.7955 0.1073 0.0165 0.0450 0.1283 0.1245
0.816 13.0 195 0.7893 0.1092 0.0161 0.0436 0.1296 0.1285
0.7974 14.0 210 0.7820 0.1092 0.0158 0.0436 0.1296 0.1285
0.804 15.0 225 0.7744 0.1080 0.0165 0.0439 0.1283 0.1265
0.8055 16.0 240 0.7697 0.1005 0.0155 0.0417 0.1204 0.1165
0.7875 17.0 255 0.7646 0.1021 0.0155 0.0418 0.1204 0.1205
0.7592 18.0 270 0.7602 0.1060 0.0170 0.0421 0.1217 0.1285
0.7714 19.0 285 0.7550 0.1037 0.0170 0.0431 0.1217 0.1225
0.7613 20.0 300 0.7515 0.1080 0.0218 0.0496 0.1257 0.1265
0.7469 21.0 315 0.7490 0.1042 0.0169 0.0372 0.1204 0.1265
0.7363 22.0 330 0.7458 0.1045 0.0213 0.0439 0.1164 0.1285
0.7404 23.0 345 0.7436 0.1060 0.0209 0.0437 0.1243 0.1245
0.74 24.0 360 0.7411 0.1122 0.0240 0.0499 0.1296 0.1325
0.7588 25.0 375 0.7380 0.1093 0.0239 0.0503 0.1283 0.1265
0.7315 26.0 390 0.7370 0.1063 0.0221 0.0455 0.1283 0.1205
0.7152 27.0 405 0.7342 0.1095 0.0257 0.0527 0.1296 0.1245
0.7183 28.0 420 0.7335 0.1060 0.0236 0.0491 0.1243 0.1225
0.7037 29.0 435 0.7327 0.1095 0.0256 0.0529 0.1296 0.1245
0.706 30.0 450 0.7315 0.1108 0.0266 0.0544 0.1323 0.1245
0.7004 31.0 465 0.7302 0.1131 0.0254 0.0541 0.1362 0.1265
0.7049 32.0 480 0.7294 0.1083 0.0233 0.0489 0.1283 0.1245
0.6944 33.0 495 0.7295 0.1101 0.0230 0.0483 0.1310 0.1265
0.7039 34.0 510 0.7283 0.1023 0.0197 0.0403 0.1204 0.1205
0.6837 35.0 525 0.7275 0.1014 0.0191 0.0400 0.1204 0.1185
0.706 36.0 540 0.7270 0.1023 0.0197 0.0403 0.1204 0.1205
0.6997 37.0 555 0.7267 0.1005 0.0199 0.0403 0.1177 0.1185
0.7007 38.0 570 0.7268 0.1026 0.0210 0.0419 0.1204 0.1205
0.6893 39.0 585 0.7252 0.1055 0.0242 0.0488 0.1230 0.1225
0.7017 40.0 600 0.7242 0.1005 0.0199 0.0403 0.1177 0.1185
0.6847 41.0 615 0.7238 0.1083 0.0257 0.0515 0.1230 0.1285
0.6803 42.0 630 0.7233 0.1020 0.0207 0.0414 0.1190 0.1205
0.6827 43.0 645 0.7232 0.1078 0.0268 0.0531 0.1230 0.1265
0.6888 44.0 660 0.7230 0.1000 0.0213 0.0419 0.1177 0.1165
0.6792 45.0 675 0.7229 0.1000 0.0213 0.0419 0.1177 0.1165
0.6761 46.0 690 0.7230 0.1005 0.0204 0.0403 0.1177 0.1185
0.6844 47.0 705 0.7226 0.1013 0.0202 0.0403 0.1177 0.1205
0.6799 48.0 720 0.7226 0.1008 0.0212 0.0419 0.1177 0.1185
0.6884 49.0 735 0.7218 0.1008 0.0212 0.0419 0.1177 0.1185
0.6694 50.0 750 0.7216 0.1034 0.0196 0.0403 0.1230 0.1205
0.6934 51.0 765 0.7214 0.1112 0.0254 0.0515 0.1283 0.1305
0.6902 52.0 780 0.7209 0.1008 0.0211 0.0424 0.1177 0.1185
0.6845 53.0 795 0.7206 0.1008 0.0211 0.0424 0.1177 0.1185
0.6517 54.0 810 0.7206 0.1008 0.0211 0.0424 0.1177 0.1185
0.6741 55.0 825 0.7204 0.0978 0.0218 0.0433 0.1177 0.1104
0.6805 56.0 840 0.7202 0.0978 0.0218 0.0433 0.1177 0.1104
0.6829 57.0 855 0.7199 0.0978 0.0218 0.0433 0.1177 0.1104
0.6693 58.0 870 0.7198 0.1029 0.0205 0.0424 0.1230 0.1185
0.6898 59.0 885 0.7196 0.1029 0.0205 0.0424 0.1230 0.1185
0.6658 60.0 900 0.7195 0.1029 0.0205 0.0424 0.1230 0.1185
0.6818 61.0 915 0.7195 0.0978 0.0218 0.0433 0.1177 0.1104
0.673 62.0 930 0.7195 0.1029 0.0205 0.0424 0.1230 0.1185
0.6703 63.0 945 0.7195 0.1008 0.0211 0.0424 0.1177 0.1185
0.6609 64.0 960 0.7195 0.1029 0.0205 0.0424 0.1230 0.1185

Framework versions

  • Transformers 4.31.0
  • Pytorch 2.0.1
  • Datasets 2.14.4
  • Tokenizers 0.13.3