codet5p-770m-py-sanitized-codebleu-1-True-5e-05-0.1-lora-layer_3

This model is a fine-tuned version of Salesforce/codet5p-770m-py on the mbpp dataset. It achieves the following results on the evaluation set:

• Loss: 0.7091
• Codebleu: 0.1023
• Ngram Match Score: 0.0222
• Weighted Ngram Match Score: 0.0462
• Syntax Match Score: 0.1283
• Dataflow Match Score: 0.1104

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 5e-05
• train_batch_size: 8
• eval_batch_size: 8
• seed: 42
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: linear
• lr_scheduler_warmup_steps: 100
• num_epochs: 64

Training results

Training Loss	Epoch	Step	Validation Loss	Codebleu	Ngram Match Score	Weighted Ngram Match Score	Syntax Match Score	Dataflow Match Score
0.979	1.0	15	0.9239	0.0072	0.0000	0.0000	0.0079	0.0100
0.9649	2.0	30	0.9204	0.0072	0.0000	0.0000	0.0079	0.0100
0.9697	3.0	45	0.9124	0.0080	0.0000	0.0000	0.0079	0.0120
0.9338	4.0	60	0.8964	0.0297	0.0001	0.0144	0.0265	0.0442
0.9264	5.0	75	0.8709	0.0792	0.0099	0.0320	0.0992	0.0884
0.9012	6.0	90	0.8547	0.0910	0.0208	0.0490	0.1177	0.0924
0.8802	7.0	105	0.8462	0.0971	0.0231	0.0516	0.1217	0.1024
0.854	8.0	120	0.8402	0.1020	0.0237	0.0524	0.1296	0.1064
0.8453	9.0	135	0.8336	0.1031	0.0236	0.0524	0.1323	0.1064
0.8498	10.0	150	0.8244	0.1044	0.0222	0.0511	0.1323	0.1104
0.841	11.0	165	0.8126	0.1034	0.0223	0.0511	0.1296	0.1104
0.8499	12.0	180	0.7990	0.1016	0.0229	0.0513	0.1270	0.1084
0.8231	13.0	195	0.7866	0.1010	0.0173	0.0399	0.1257	0.1124
0.8041	14.0	210	0.7748	0.1051	0.0197	0.0468	0.1336	0.1124
0.8148	15.0	225	0.7668	0.1014	0.0184	0.0459	0.1270	0.1104
0.8247	16.0	240	0.7604	0.1028	0.0168	0.0433	0.1336	0.1084
0.802	17.0	255	0.7562	0.1020	0.0164	0.0433	0.1336	0.1064
0.7836	18.0	270	0.7522	0.1086	0.0147	0.0422	0.1468	0.1104
0.798	19.0	285	0.7491	0.1086	0.0144	0.0424	0.1468	0.1104
0.7846	20.0	300	0.7465	0.1086	0.0146	0.0424	0.1468	0.1104
0.7735	21.0	315	0.7436	0.1086	0.0146	0.0424	0.1468	0.1104
0.7776	22.0	330	0.7416	0.1037	0.0179	0.0512	0.1296	0.1124
0.7719	23.0	345	0.7408	0.1043	0.0177	0.0512	0.1310	0.1124
0.7793	24.0	360	0.7388	0.0965	0.0129	0.0369	0.1204	0.1084
0.7989	25.0	375	0.7364	0.1041	0.0198	0.0530	0.1296	0.1124
0.7667	26.0	390	0.7341	0.0966	0.0160	0.0424	0.1164	0.1104
0.7536	27.0	405	0.7327	0.0967	0.0161	0.0439	0.1164	0.1104
0.7697	28.0	420	0.7306	0.0987	0.0170	0.0439	0.1190	0.1124
0.75	29.0	435	0.7288	0.0987	0.0170	0.0439	0.1190	0.1124
0.7497	30.0	450	0.7264	0.0977	0.0168	0.0424	0.1190	0.1104
0.7509	31.0	465	0.7247	0.1024	0.0201	0.0511	0.1257	0.1124
0.7486	32.0	480	0.7229	0.0982	0.0165	0.0424	0.1204	0.1104
0.7383	33.0	495	0.7214	0.0976	0.0162	0.0424	0.1230	0.1064
0.7624	34.0	510	0.7201	0.0982	0.0165	0.0422	0.1204	0.1104
0.7411	35.0	525	0.7189	0.0985	0.0169	0.0422	0.1230	0.1084
0.7633	36.0	540	0.7179	0.0985	0.0170	0.0422	0.1230	0.1084
0.7446	37.0	555	0.7171	0.1065	0.0171	0.0426	0.1389	0.1124
0.7541	38.0	570	0.7164	0.1067	0.0179	0.0439	0.1389	0.1124
0.7427	39.0	585	0.7154	0.1084	0.0181	0.0423	0.1455	0.1104
0.7573	40.0	600	0.7150	0.1062	0.0161	0.0384	0.1415	0.1104
0.7374	41.0	615	0.7145	0.1062	0.0161	0.0384	0.1415	0.1104
0.7351	42.0	630	0.7138	0.1094	0.0178	0.0423	0.1481	0.1104
0.7417	43.0	645	0.7133	0.1023	0.0172	0.0427	0.1323	0.1084
0.7491	44.0	660	0.7130	0.0994	0.0172	0.0428	0.1270	0.1064
0.742	45.0	675	0.7125	0.1010	0.0175	0.0428	0.1270	0.1104
0.7327	46.0	690	0.7122	0.1113	0.0157	0.0384	0.1442	0.1205
0.7417	47.0	705	0.7120	0.1005	0.0159	0.0389	0.1230	0.1145
0.7406	48.0	720	0.7120	0.1019	0.0183	0.0427	0.1270	0.1124
0.743	49.0	735	0.7115	0.1060	0.0191	0.0433	0.1349	0.1145
0.7224	50.0	750	0.7110	0.0997	0.0159	0.0389	0.1230	0.1124
0.7583	51.0	765	0.7106	0.0997	0.0159	0.0389	0.1230	0.1124
0.7425	52.0	780	0.7104	0.1001	0.0173	0.0395	0.1257	0.1104
0.7446	53.0	795	0.7101	0.1022	0.0213	0.0458	0.1283	0.1104
0.7119	54.0	810	0.7100	0.1027	0.0212	0.0458	0.1296	0.1104
0.7382	55.0	825	0.7098	0.1027	0.0212	0.0458	0.1296	0.1104
0.7391	56.0	840	0.7097	0.1027	0.0212	0.0458	0.1296	0.1104
0.7498	57.0	855	0.7095	0.1028	0.0218	0.0463	0.1296	0.1104
0.7313	58.0	870	0.7094	0.1028	0.0218	0.0463	0.1296	0.1104
0.7456	59.0	885	0.7092	0.1028	0.0218	0.0463	0.1296	0.1104
0.7291	60.0	900	0.7092	0.1028	0.0218	0.0463	0.1296	0.1104
0.7467	61.0	915	0.7092	0.1028	0.0218	0.0463	0.1296	0.1104
0.7353	62.0	930	0.7091	0.1023	0.0222	0.0462	0.1283	0.1104
0.7365	63.0	945	0.7091	0.1023	0.0222	0.0462	0.1283	0.1104
0.7277	64.0	960	0.7091	0.1023	0.0222	0.0462	0.1283	0.1104

Framework versions

• Transformers 4.31.0
• Pytorch 2.0.1
• Datasets 2.14.4
• Tokenizers 0.13.3