codet5p-770m-py-sanitized-codebleu-1-True-0.0001-0.1-lora-layer_16_17_18_19

This model is a fine-tuned version of Salesforce/codet5p-770m-py on the mbpp dataset. It achieves the following results on the evaluation set:

• Loss: 0.7418
• Codebleu: 0.1258
• Ngram Match Score: 0.0352
• Weighted Ngram Match Score: 0.0679
• Syntax Match Score: 0.1481
• Dataflow Match Score: 0.1406

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 0.0001
• train_batch_size: 8
• eval_batch_size: 8
• seed: 42
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: linear
• lr_scheduler_warmup_steps: 100
• num_epochs: 64

Training results

Training Loss	Epoch	Step	Validation Loss	Codebleu	Ngram Match Score	Weighted Ngram Match Score	Syntax Match Score	Dataflow Match Score
0.9818	1.0	15	0.9219	0.0072	0.0000	0.0000	0.0079	0.0100
0.9717	2.0	30	0.9098	0.0080	0.0000	0.0000	0.0079	0.0120
0.9428	3.0	45	0.8798	0.0533	0.0025	0.0270	0.0595	0.0663
0.8865	4.0	60	0.8411	0.1000	0.0226	0.0518	0.1270	0.1044
0.8473	5.0	75	0.8122	0.1023	0.0213	0.0493	0.1296	0.1084
0.8145	6.0	90	0.7809	0.0962	0.0116	0.0322	0.1151	0.1145
0.7814	7.0	105	0.7522	0.0975	0.0143	0.0395	0.1177	0.1124
0.74	8.0	120	0.7388	0.0992	0.0177	0.0430	0.1243	0.1084
0.7269	9.0	135	0.7272	0.1094	0.0240	0.0508	0.1362	0.1185
0.6985	10.0	150	0.7177	0.1108	0.0245	0.0510	0.1336	0.1245
0.6873	11.0	165	0.7093	0.1047	0.0220	0.0484	0.1217	0.1225
0.6805	12.0	180	0.7041	0.1038	0.0225	0.0473	0.1257	0.1165
0.6601	13.0	195	0.6994	0.1040	0.0250	0.0486	0.1190	0.1225
0.6371	14.0	210	0.6959	0.1061	0.0241	0.0494	0.1204	0.1265
0.6466	15.0	225	0.6919	0.1052	0.0250	0.0504	0.1138	0.1305
0.6336	16.0	240	0.6916	0.1043	0.0240	0.0504	0.1177	0.1245
0.6158	17.0	255	0.6930	0.1036	0.0246	0.0506	0.1257	0.1145
0.5909	18.0	270	0.6930	0.1201	0.0327	0.0608	0.1402	0.1365
0.5813	19.0	285	0.6951	0.1243	0.0354	0.0601	0.1362	0.1506
0.5738	20.0	300	0.6992	0.1147	0.0320	0.0613	0.1270	0.1365
0.5575	21.0	315	0.6974	0.1235	0.0304	0.0576	0.1362	0.1506
0.5492	22.0	330	0.6949	0.1159	0.0324	0.0595	0.1323	0.1345
0.5373	23.0	345	0.6988	0.1075	0.0259	0.0509	0.1230	0.1265
0.5311	24.0	360	0.7014	0.1105	0.0234	0.0460	0.1204	0.1386
0.526	25.0	375	0.7044	0.1179	0.0294	0.0579	0.1362	0.1365
0.5157	26.0	390	0.7028	0.1145	0.0262	0.0485	0.1190	0.1486
0.4857	27.0	405	0.7099	0.1164	0.0247	0.0477	0.1283	0.1446
0.5079	28.0	420	0.7047	0.1167	0.0260	0.0501	0.1323	0.1406
0.4826	29.0	435	0.7073	0.1208	0.0260	0.0511	0.1362	0.1466
0.4787	30.0	450	0.7149	0.1179	0.0290	0.0558	0.1230	0.1506
0.4698	31.0	465	0.7115	0.1198	0.0269	0.0506	0.1336	0.1466
0.4583	32.0	480	0.7158	0.1158	0.0298	0.0557	0.1296	0.1386
0.462	33.0	495	0.7108	0.1175	0.0326	0.0622	0.1415	0.1285
0.456	34.0	510	0.7176	0.1181	0.0297	0.0574	0.1310	0.1426
0.4385	35.0	525	0.7214	0.1146	0.0260	0.0503	0.1310	0.1365
0.4591	36.0	540	0.7117	0.1089	0.0254	0.0490	0.1190	0.1345
0.4391	37.0	555	0.7167	0.1169	0.0265	0.0510	0.1283	0.1446
0.439	38.0	570	0.7208	0.1122	0.0257	0.0493	0.1151	0.1466
0.4344	39.0	585	0.7244	0.1185	0.0264	0.0509	0.1362	0.1406
0.4412	40.0	600	0.7225	0.1179	0.0342	0.0619	0.1323	0.1386
0.427	41.0	615	0.7268	0.1217	0.0329	0.0635	0.1455	0.1345
0.4132	42.0	630	0.7292	0.1331	0.0310	0.0629	0.1627	0.1466
0.4228	43.0	645	0.7293	0.1214	0.0298	0.0585	0.1429	0.1386
0.4269	44.0	660	0.7295	0.1252	0.0297	0.0573	0.1508	0.1406
0.4132	45.0	675	0.7320	0.1229	0.0315	0.0587	0.1442	0.1406
0.4084	46.0	690	0.7343	0.1207	0.0348	0.0650	0.1442	0.1325
0.4147	47.0	705	0.7298	0.1239	0.0302	0.0570	0.1455	0.1426
0.4027	48.0	720	0.7295	0.1169	0.0300	0.0589	0.1415	0.1285
0.4116	49.0	735	0.7348	0.1146	0.0317	0.0603	0.1310	0.1325
0.4005	50.0	750	0.7387	0.1166	0.0303	0.0607	0.1402	0.1285
0.4018	51.0	765	0.7337	0.1201	0.0314	0.0601	0.1389	0.1386
0.4044	52.0	780	0.7343	0.1199	0.0323	0.0628	0.1415	0.1345
0.4007	53.0	795	0.7392	0.1200	0.0325	0.0630	0.1336	0.1426
0.3937	54.0	810	0.7392	0.1176	0.0321	0.0632	0.1336	0.1365
0.4059	55.0	825	0.7366	0.1208	0.0332	0.0622	0.1455	0.1325
0.3972	56.0	840	0.7363	0.1203	0.0319	0.0619	0.1429	0.1345
0.3889	57.0	855	0.7399	0.1213	0.0301	0.0602	0.1402	0.1406
0.3895	58.0	870	0.7410	0.1168	0.0313	0.0618	0.1362	0.1325
0.3997	59.0	885	0.7411	0.1169	0.0321	0.0622	0.1362	0.1325
0.3821	60.0	900	0.7409	0.1182	0.0305	0.0609	0.1402	0.1325
0.3943	61.0	915	0.7412	0.1268	0.0351	0.0680	0.1508	0.1406
0.3794	62.0	930	0.7416	0.1268	0.0351	0.0680	0.1508	0.1406
0.3962	63.0	945	0.7419	0.1258	0.0352	0.0679	0.1481	0.1406
0.3771	64.0	960	0.7418	0.1258	0.0352	0.0679	0.1481	0.1406

Framework versions

• Transformers 4.31.0
• Pytorch 2.0.1
• Datasets 2.14.4
• Tokenizers 0.13.3