codet5p-770m-py-sanitized-codebleu-1-True-5e-05-0.1-lora-layer_0_1_2_3

This model is a fine-tuned version of Salesforce/codet5p-770m-py on the mbpp dataset. It achieves the following results on the evaluation set:

• Loss: 0.6901
• Codebleu: 0.1306
• Ngram Match Score: 0.0314
• Weighted Ngram Match Score: 0.0585
• Syntax Match Score: 0.1495
• Dataflow Match Score: 0.1546

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 5e-05
• train_batch_size: 8
• eval_batch_size: 8
• seed: 42
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: linear
• lr_scheduler_warmup_steps: 100
• num_epochs: 128

Training results

Training Loss	Epoch	Step	Validation Loss	Codebleu	Ngram Match Score	Weighted Ngram Match Score	Syntax Match Score	Dataflow Match Score
0.9882	1.0	15	0.9229	0.0072	0.0000	0.0000	0.0079	0.0100
0.9681	2.0	30	0.9160	0.0080	0.0000	0.0000	0.0079	0.0120
0.9554	3.0	45	0.9006	0.0268	0.0000	0.0124	0.0238	0.0402
0.915	4.0	60	0.8736	0.0695	0.0115	0.0398	0.0807	0.0803
0.9066	5.0	75	0.8538	0.1023	0.0185	0.0469	0.1230	0.1165
0.8751	6.0	90	0.8434	0.1016	0.0229	0.0510	0.1270	0.1084
0.8642	7.0	105	0.8340	0.0983	0.0235	0.0520	0.1243	0.1024
0.8505	8.0	120	0.8211	0.0983	0.0225	0.0510	0.1270	0.1004
0.8303	9.0	135	0.8097	0.0983	0.0225	0.0509	0.1270	0.1004
0.8254	10.0	150	0.7979	0.0983	0.0225	0.0509	0.1270	0.1004
0.8095	11.0	165	0.7858	0.1003	0.0231	0.0515	0.1296	0.1024
0.8128	12.0	180	0.7688	0.1047	0.0249	0.0563	0.1310	0.1104
0.7953	13.0	195	0.7534	0.0993	0.0179	0.0439	0.1243	0.1084
0.7708	14.0	210	0.7435	0.1013	0.0142	0.0415	0.1310	0.1084
0.7846	15.0	225	0.7371	0.0940	0.0131	0.0386	0.1177	0.1044
0.7883	16.0	240	0.7320	0.1034	0.0164	0.0470	0.1283	0.1145
0.7718	17.0	255	0.7240	0.1030	0.0170	0.0471	0.1270	0.1145
0.7582	18.0	270	0.7217	0.1117	0.0183	0.0502	0.1415	0.1205
0.7627	19.0	285	0.7189	0.1125	0.0207	0.0507	0.1429	0.1205
0.7534	20.0	300	0.7167	0.1118	0.0203	0.0492	0.1415	0.1205
0.7398	21.0	315	0.7131	0.1102	0.0190	0.0454	0.1389	0.1205
0.7323	22.0	330	0.7098	0.1231	0.0230	0.0540	0.1640	0.1245
0.728	23.0	345	0.7087	0.1137	0.0248	0.0538	0.1481	0.1165
0.7304	24.0	360	0.7074	0.1093	0.0237	0.0503	0.1402	0.1145
0.7446	25.0	375	0.7050	0.1109	0.0259	0.0537	0.1429	0.1145
0.7288	26.0	390	0.7040	0.1159	0.0284	0.0593	0.1534	0.1145
0.7069	27.0	405	0.7035	0.1259	0.0270	0.0591	0.1627	0.1305
0.7245	28.0	420	0.7022	0.1146	0.0281	0.0589	0.1442	0.1205
0.7008	29.0	435	0.7016	0.1211	0.0254	0.0527	0.1587	0.1245
0.701	30.0	450	0.7000	0.1138	0.0261	0.0532	0.1362	0.1285
0.7036	31.0	465	0.6982	0.1164	0.0278	0.0589	0.1468	0.1225
0.7003	32.0	480	0.6993	0.1159	0.0266	0.0547	0.1389	0.1305
0.7001	33.0	495	0.6992	0.1108	0.0268	0.0543	0.1362	0.1205
0.7008	34.0	510	0.6963	0.1104	0.0253	0.0519	0.1402	0.1165
0.6912	35.0	525	0.6961	0.1156	0.0249	0.0508	0.1376	0.1325
0.7156	36.0	540	0.6948	0.1142	0.0245	0.0508	0.1442	0.1225
0.6899	37.0	555	0.6961	0.1184	0.0272	0.0548	0.1429	0.1325
0.6983	38.0	570	0.6957	0.1091	0.0249	0.0495	0.1257	0.1285
0.6847	39.0	585	0.6942	0.1107	0.0228	0.0488	0.1362	0.1225
0.6907	40.0	600	0.6957	0.1114	0.0252	0.0517	0.1389	0.1205
0.6764	41.0	615	0.6948	0.1075	0.0214	0.0476	0.1270	0.1245
0.6877	42.0	630	0.6940	0.1027	0.0229	0.0494	0.1323	0.1064
0.6734	43.0	645	0.6936	0.1093	0.0208	0.0452	0.1243	0.1325
0.6796	44.0	660	0.6941	0.1093	0.0208	0.0452	0.1243	0.1325
0.6731	45.0	675	0.6949	0.1095	0.0210	0.0460	0.1243	0.1325
0.6716	46.0	690	0.6946	0.1087	0.0205	0.0446	0.1230	0.1325
0.6767	47.0	705	0.6943	0.1046	0.0222	0.0447	0.1243	0.1205
0.6658	48.0	720	0.6947	0.1147	0.0219	0.0464	0.1270	0.1426
0.6796	49.0	735	0.6942	0.1169	0.0216	0.0453	0.1310	0.1446
0.656	50.0	750	0.6949	0.1081	0.0206	0.0465	0.1230	0.1305
0.6778	51.0	765	0.6926	0.1048	0.0205	0.0451	0.1190	0.1265
0.6734	52.0	780	0.6921	0.1057	0.0216	0.0451	0.1230	0.1245
0.6692	53.0	795	0.6915	0.1111	0.0218	0.0457	0.1323	0.1285
0.6452	54.0	810	0.6903	0.1083	0.0225	0.0468	0.1270	0.1265
0.6686	55.0	825	0.6899	0.1085	0.0205	0.0429	0.1270	0.1285
0.6654	56.0	840	0.6896	0.1102	0.0210	0.0429	0.1270	0.1325
0.6734	57.0	855	0.6887	0.1066	0.0202	0.0424	0.1204	0.1305
0.6567	58.0	870	0.6898	0.1135	0.0200	0.0423	0.1257	0.1426
0.6631	59.0	885	0.6915	0.1205	0.0230	0.0454	0.1296	0.1546
0.6507	60.0	900	0.6913	0.1205	0.0230	0.0454	0.1296	0.1546
0.6769	61.0	915	0.6929	0.1219	0.0238	0.0476	0.1323	0.1546
0.6527	62.0	930	0.6912	0.1160	0.0221	0.0437	0.1230	0.1506
0.6568	63.0	945	0.6892	0.1155	0.0205	0.0425	0.1243	0.1486
0.6496	64.0	960	0.6882	0.1161	0.0271	0.0557	0.1349	0.1345
0.6676	65.0	975	0.6888	0.1085	0.0203	0.0422	0.1190	0.1365
0.6529	66.0	990	0.6882	0.1057	0.0199	0.0417	0.1124	0.1365
0.6663	67.0	1005	0.6867	0.1124	0.0214	0.0453	0.1217	0.1426
0.6473	68.0	1020	0.6890	0.1213	0.0236	0.0472	0.1349	0.1506
0.6411	69.0	1035	0.6905	0.1187	0.0237	0.0476	0.1362	0.1426
0.6609	70.0	1050	0.6895	0.1224	0.0232	0.0456	0.1402	0.1486
0.6456	71.0	1065	0.6893	0.1107	0.0226	0.0462	0.1270	0.1325
0.6556	72.0	1080	0.6873	0.1090	0.0256	0.0525	0.1164	0.1365
0.6453	73.0	1095	0.6892	0.1140	0.0231	0.0470	0.1230	0.1446
0.6341	74.0	1110	0.6901	0.1272	0.0304	0.0568	0.1376	0.1586
0.6413	75.0	1125	0.6895	0.1272	0.0304	0.0568	0.1376	0.1586
0.6435	76.0	1140	0.6911	0.1298	0.0310	0.0583	0.1455	0.1566
0.6557	77.0	1155	0.6906	0.1276	0.0297	0.0566	0.1429	0.1546
0.6408	78.0	1170	0.6892	0.1206	0.0286	0.0561	0.1296	0.1506
0.6411	79.0	1185	0.6905	0.1284	0.0299	0.0566	0.1429	0.1566
0.6315	80.0	1200	0.6884	0.1289	0.0247	0.0478	0.1376	0.1667
0.6283	81.0	1215	0.6895	0.1256	0.0267	0.0495	0.1323	0.1627
0.635	82.0	1230	0.6902	0.1333	0.0255	0.0480	0.1481	0.1667
0.6487	83.0	1245	0.6921	0.1354	0.0263	0.0497	0.1508	0.1687
0.6452	84.0	1260	0.6900	0.1306	0.0261	0.0497	0.1429	0.1647
0.624	85.0	1275	0.6904	0.1274	0.0267	0.0495	0.1349	0.1647
0.6231	86.0	1290	0.6927	0.1266	0.0317	0.0603	0.1389	0.1546
0.6245	87.0	1305	0.6921	0.1250	0.0317	0.0603	0.1349	0.1546
0.6429	88.0	1320	0.6898	0.1315	0.0325	0.0610	0.1508	0.1546
0.6321	89.0	1335	0.6908	0.1291	0.0316	0.0585	0.1455	0.1546
0.6345	90.0	1350	0.6916	0.1325	0.0335	0.0623	0.1508	0.1566
0.6252	91.0	1365	0.6904	0.1324	0.0326	0.0613	0.1508	0.1566
0.6253	92.0	1380	0.6898	0.1324	0.0326	0.0613	0.1508	0.1566
0.6236	93.0	1395	0.6896	0.1327	0.0327	0.0592	0.1481	0.1606
0.6177	94.0	1410	0.6902	0.1303	0.0330	0.0592	0.1442	0.1586
0.6318	95.0	1425	0.6904	0.1332	0.0324	0.0590	0.1534	0.1566
0.6304	96.0	1440	0.6910	0.1306	0.0314	0.0585	0.1495	0.1546
0.6263	97.0	1455	0.6913	0.1306	0.0314	0.0585	0.1495	0.1546
0.619	98.0	1470	0.6918	0.1306	0.0314	0.0585	0.1495	0.1546
0.6401	99.0	1485	0.6896	0.1384	0.0264	0.0502	0.1561	0.1707
0.6298	100.0	1500	0.6888	0.1333	0.0262	0.0500	0.1495	0.1647
0.6166	101.0	1515	0.6896	0.1299	0.0314	0.0588	0.1495	0.1526
0.6128	102.0	1530	0.6909	0.1307	0.0316	0.0587	0.1495	0.1546
0.637	103.0	1545	0.6912	0.1306	0.0314	0.0585	0.1495	0.1546
0.6248	104.0	1560	0.6903	0.1290	0.0309	0.0584	0.1495	0.1506
0.6193	105.0	1575	0.6919	0.1306	0.0314	0.0585	0.1495	0.1546
0.6282	106.0	1590	0.6912	0.1261	0.0315	0.0583	0.1481	0.1446
0.6339	107.0	1605	0.6905	0.1306	0.0314	0.0585	0.1495	0.1546
0.6138	108.0	1620	0.6920	0.1266	0.0321	0.0609	0.1508	0.1426
0.6248	109.0	1635	0.6914	0.1312	0.0320	0.0611	0.1521	0.1526
0.6256	110.0	1650	0.6912	0.1312	0.0317	0.0613	0.1521	0.1526
0.6209	111.0	1665	0.6901	0.1287	0.0314	0.0610	0.1481	0.1506
0.6147	112.0	1680	0.6901	0.1304	0.0319	0.0613	0.1521	0.1506
0.6073	113.0	1695	0.6902	0.1319	0.0318	0.0605	0.1521	0.1546
0.6247	114.0	1710	0.6899	0.1306	0.0316	0.0585	0.1495	0.1546
0.6238	115.0	1725	0.6900	0.1306	0.0316	0.0585	0.1495	0.1546
0.6143	116.0	1740	0.6898	0.1261	0.0316	0.0583	0.1481	0.1446
0.6135	117.0	1755	0.6900	0.1261	0.0316	0.0583	0.1481	0.1446
0.6199	118.0	1770	0.6902	0.1261	0.0316	0.0583	0.1481	0.1446
0.6235	119.0	1785	0.6905	0.1254	0.0321	0.0588	0.1481	0.1426
0.6092	120.0	1800	0.6908	0.1261	0.0316	0.0583	0.1481	0.1446
0.6164	121.0	1815	0.6904	0.1261	0.0315	0.0583	0.1481	0.1446
0.6225	122.0	1830	0.6902	0.1261	0.0315	0.0583	0.1481	0.1446
0.6312	123.0	1845	0.6899	0.1298	0.0311	0.0582	0.1495	0.1526
0.6158	124.0	1860	0.6901	0.1306	0.0314	0.0585	0.1495	0.1546
0.6186	125.0	1875	0.6902	0.1306	0.0314	0.0585	0.1495	0.1546
0.6129	126.0	1890	0.6901	0.1306	0.0314	0.0585	0.1495	0.1546
0.6152	127.0	1905	0.6901	0.1306	0.0314	0.0585	0.1495	0.1546
0.6171	128.0	1920	0.6901	0.1306	0.0314	0.0585	0.1495	0.1546

Framework versions

• Transformers 4.31.0
• Pytorch 2.0.1
• Datasets 2.14.4
• Tokenizers 0.13.3