codet5p-770m-py-sanitized-codebleu-1-True-0.0001-0.1-lora

This model is a fine-tuned version of Salesforce/codet5p-770m-py on the mbpp dataset. It achieves the following results on the evaluation set:

• Loss: 0.9830
• Codebleu: 0.1241
• Ngram Match Score: 0.0424
• Weighted Ngram Match Score: 0.0802
• Syntax Match Score: 0.1310
• Dataflow Match Score: 0.1486

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 0.0001
• train_batch_size: 6
• eval_batch_size: 6
• seed: 42
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: linear
• lr_scheduler_warmup_steps: 100
• num_epochs: 50

Training results

Training Loss	Epoch	Step	Validation Loss	Codebleu	Ngram Match Score	Weighted Ngram Match Score	Syntax Match Score	Dataflow Match Score
0.9803	1.0	20	0.9122	0.0451	0.0009	0.0261	0.0437	0.0622
0.899	2.0	40	0.8500	0.0969	0.0231	0.0517	0.1190	0.1044
0.8246	3.0	60	0.7960	0.0972	0.0183	0.0489	0.1217	0.1044
0.7556	4.0	80	0.7513	0.1063	0.0145	0.0405	0.1296	0.1225
0.7133	5.0	100	0.7276	0.1098	0.0226	0.0515	0.1336	0.1225
0.6932	6.0	120	0.7113	0.1033	0.0225	0.0474	0.1243	0.1165
0.6379	7.0	140	0.7016	0.1050	0.0257	0.0531	0.1204	0.1225
0.5922	8.0	160	0.7023	0.1071	0.0283	0.0524	0.1230	0.1245
0.5445	9.0	180	0.7068	0.1050	0.0208	0.0449	0.1257	0.1205
0.5165	10.0	200	0.7123	0.1003	0.0234	0.0474	0.1085	0.1245
0.4817	11.0	220	0.7109	0.1013	0.0198	0.0405	0.1177	0.1205
0.4608	12.0	240	0.7234	0.1141	0.0304	0.0538	0.1257	0.1386
0.4323	13.0	260	0.7305	0.1071	0.0286	0.0502	0.1257	0.1225
0.403	14.0	280	0.7538	0.0976	0.0222	0.0402	0.1019	0.1265
0.3987	15.0	300	0.7431	0.0995	0.0232	0.0454	0.1111	0.1205
0.3701	16.0	320	0.7689	0.1028	0.0334	0.0602	0.1190	0.1145
0.3361	17.0	340	0.7819	0.1032	0.0361	0.0594	0.1177	0.1165
0.321	18.0	360	0.7912	0.1184	0.0491	0.0785	0.1296	0.1345
0.3079	19.0	380	0.8008	0.1193	0.0442	0.0736	0.1323	0.1365
0.2863	20.0	400	0.8250	0.1031	0.0333	0.0638	0.1230	0.1104
0.2753	21.0	420	0.8410	0.1129	0.0479	0.0779	0.1204	0.1305
0.2669	22.0	440	0.8477	0.1101	0.0377	0.0682	0.1283	0.1205
0.2492	23.0	460	0.8404	0.1058	0.0471	0.0767	0.1190	0.1145
0.2293	24.0	480	0.8766	0.1048	0.0417	0.0695	0.1177	0.1165
0.229	25.0	500	0.8893	0.1043	0.0382	0.0621	0.1111	0.1245
0.2172	26.0	520	0.8777	0.1122	0.0387	0.0698	0.1310	0.1225
0.2135	27.0	540	0.8836	0.0997	0.0343	0.0553	0.1164	0.1104
0.2083	28.0	560	0.8862	0.1079	0.0386	0.0696	0.1243	0.1185
0.1958	29.0	580	0.8723	0.1186	0.0378	0.0655	0.1362	0.1345
0.1901	30.0	600	0.9106	0.1097	0.0322	0.0593	0.1310	0.1205
0.186	31.0	620	0.8958	0.1059	0.0398	0.0692	0.1190	0.1185
0.1709	32.0	640	0.9341	0.1106	0.0349	0.0644	0.1190	0.1325
0.176	33.0	660	0.9269	0.1078	0.0379	0.0691	0.1204	0.1225
0.1667	34.0	680	0.9310	0.1281	0.0404	0.0672	0.1548	0.1386
0.1614	35.0	700	0.9354	0.1137	0.0419	0.0729	0.1270	0.1285
0.1668	36.0	720	0.9297	0.1172	0.0477	0.0812	0.1283	0.1325
0.1594	37.0	740	0.9562	0.1175	0.0465	0.0830	0.1310	0.1305
0.1521	38.0	760	0.9478	0.1116	0.0398	0.0756	0.1296	0.1205
0.1486	39.0	780	0.9575	0.1340	0.0473	0.0794	0.1508	0.1526
0.1423	40.0	800	0.9661	0.1333	0.0413	0.0785	0.1508	0.1526
0.139	41.0	820	0.9598	0.1204	0.0374	0.0758	0.1442	0.1285
0.1333	42.0	840	0.9761	0.1206	0.0424	0.0750	0.1296	0.1426
0.1293	43.0	860	0.9717	0.1247	0.0415	0.0768	0.1376	0.1446
0.132	44.0	880	0.9827	0.1140	0.0392	0.0760	0.1296	0.1265
0.125	45.0	900	0.9940	0.1126	0.0372	0.0755	0.1310	0.1225
0.1318	46.0	920	0.9871	0.1245	0.0414	0.0772	0.1349	0.1466
0.1272	47.0	940	0.9773	0.1211	0.0437	0.0817	0.1310	0.1406
0.1264	48.0	960	0.9781	0.1315	0.0408	0.0765	0.1468	0.1526
0.1239	49.0	980	0.9827	0.1255	0.0404	0.0774	0.1336	0.1506
0.1277	50.0	1000	0.9830	0.1241	0.0424	0.0802	0.1310	0.1486

Framework versions

• Transformers 4.31.0
• Pytorch 2.0.1
• Datasets 2.14.4
• Tokenizers 0.13.3