codet5p-770m-py-sanitized-codebleu-128-True-1e-06-0.1

This model is a fine-tuned version of Salesforce/codet5p-770m-py on the mbpp dataset. It achieves the following results on the evaluation set:

• Loss: 0.7224
• Codebleu: 0.1145
• Ngram Match Score: 0.0293
• Weighted Ngram Match Score: 0.0568
• Syntax Match Score: 0.1362
• Dataflow Match Score: 0.1285

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 1e-06
• train_batch_size: 6
• eval_batch_size: 6
• seed: 42
• gradient_accumulation_steps: 128
• total_train_batch_size: 768
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: linear
• lr_scheduler_warmup_steps: 100
• num_epochs: 200
• mixed_precision_training: Native AMP

Training results

Training Loss	Epoch	Step	Validation Loss	Codebleu	Ngram Match Score	Weighted Ngram Match Score	Syntax Match Score	Dataflow Match Score
0.1531	1.0	1	0.9499	0.0072	0.0000	0.0000	0.0079	0.0100
0.1518	2.0	2	0.9499	0.0072	0.0000	0.0000	0.0079	0.0100
0.1536	3.0	3	0.9499	0.0072	0.0000	0.0000	0.0079	0.0100
0.1541	4.0	4	0.9498	0.0072	0.0000	0.0000	0.0079	0.0100
0.1557	5.0	5	0.9498	0.0072	0.0000	0.0000	0.0079	0.0100
0.1553	6.0	6	0.9497	0.0080	0.0000	0.0000	0.0079	0.0120
0.0771	7.0	8	0.9492	0.0080	0.0000	0.0000	0.0079	0.0120
0.1532	8.0	9	0.9492	0.0080	0.0000	0.0000	0.0079	0.0120
0.1534	9.0	10	0.9490	0.0080	0.0000	0.0000	0.0079	0.0120
0.1538	10.0	11	0.9476	0.0096	0.0000	0.0002	0.0079	0.0161
0.1545	11.0	12	0.9473	0.0200	0.0000	0.0050	0.0185	0.0301
0.1547	12.0	13	0.9468	0.0297	0.0001	0.0144	0.0265	0.0442
0.0769	13.0	15	0.9423	0.0424	0.0007	0.0236	0.0397	0.0602
0.1513	14.0	16	0.9410	0.0451	0.0009	0.0261	0.0437	0.0622
0.1504	15.0	17	0.9402	0.0456	0.0011	0.0263	0.0450	0.0622
0.1542	16.0	18	0.9393	0.0553	0.0023	0.0265	0.0648	0.0663
0.1527	17.0	19	0.9384	0.0624	0.0044	0.0292	0.0754	0.0723
0.1496	18.0	20	0.9378	0.0712	0.0080	0.0387	0.0860	0.0803
0.1552	19.0	21	0.9241	0.0788	0.0126	0.0415	0.0952	0.0884
0.079	20.0	23	0.9182	0.0909	0.0168	0.0465	0.1111	0.1004
0.1507	21.0	24	0.9167	0.0966	0.0170	0.0466	0.1151	0.1104
0.1473	22.0	25	0.9156	0.1020	0.0199	0.0481	0.1257	0.1124
0.1506	23.0	26	0.9117	0.1021	0.0200	0.0488	0.1257	0.1124
0.1455	24.0	27	0.9103	0.1005	0.0201	0.0490	0.1296	0.1044
0.1503	25.0	28	0.9090	0.1005	0.0203	0.0490	0.1296	0.1044
0.0735	26.0	30	0.8779	0.1010	0.0218	0.0516	0.1296	0.1044
0.1416	27.0	31	0.8742	0.0979	0.0220	0.0524	0.1217	0.1044
0.1423	28.0	32	0.8722	0.0979	0.0220	0.0524	0.1217	0.1044
0.1376	29.0	33	0.8705	0.0971	0.0223	0.0523	0.1217	0.1024
0.1387	30.0	34	0.8691	0.0980	0.0231	0.0525	0.1217	0.1044
0.1394	31.0	35	0.8680	0.0980	0.0231	0.0525	0.1217	0.1044
0.1379	32.0	36	0.8662	0.0970	0.0232	0.0525	0.1190	0.1044
0.1394	33.0	37	0.8636	0.0972	0.0229	0.0525	0.1217	0.1024
0.1388	34.0	38	0.8622	0.0972	0.0229	0.0525	0.1217	0.1024
0.1394	35.0	39	0.8610	0.0973	0.0236	0.0528	0.1217	0.1024
0.1341	36.0	40	0.8590	0.0981	0.0232	0.0530	0.1217	0.1044
0.1385	37.0	41	0.8543	0.0981	0.0232	0.0530	0.1217	0.1044
0.1348	38.0	42	0.8476	0.0979	0.0227	0.0520	0.1217	0.1044
0.0659	39.0	44	0.8373	0.0990	0.0227	0.0519	0.1243	0.1044
0.1284	40.0	45	0.8351	0.0990	0.0227	0.0519	0.1243	0.1044
0.1294	41.0	46	0.8335	0.0990	0.0227	0.0519	0.1243	0.1044
0.1258	42.0	47	0.8319	0.0990	0.0227	0.0519	0.1243	0.1044
0.1286	43.0	48	0.8304	0.0990	0.0227	0.0519	0.1243	0.1044
0.128	44.0	49	0.8287	0.0996	0.0253	0.0562	0.1243	0.1044
0.0642	45.0	51	0.8251	0.0996	0.0251	0.0562	0.1243	0.1044
0.1257	46.0	52	0.8233	0.0995	0.0250	0.0554	0.1243	0.1044
0.1239	47.0	53	0.8214	0.1007	0.0255	0.0558	0.1270	0.1044
0.1282	48.0	54	0.8195	0.1007	0.0255	0.0558	0.1270	0.1044
0.1244	49.0	55	0.8174	0.1007	0.0255	0.0558	0.1270	0.1044
0.125	50.0	56	0.8154	0.1007	0.0255	0.0558	0.1270	0.1044
0.1228	51.0	57	0.8130	0.1007	0.0255	0.0558	0.1270	0.1044
0.0616	52.0	59	0.8084	0.1012	0.0254	0.0558	0.1283	0.1044
0.1213	53.0	60	0.8060	0.1022	0.0244	0.0560	0.1310	0.1044
0.1227	54.0	61	0.8036	0.1022	0.0244	0.0560	0.1310	0.1044
0.1192	55.0	62	0.8014	0.1018	0.0227	0.0559	0.1283	0.1064
0.1194	56.0	63	0.7991	0.1006	0.0187	0.0454	0.1270	0.1084
0.1177	57.0	64	0.7970	0.1006	0.0187	0.0454	0.1270	0.1084
0.058	58.0	66	0.7930	0.1005	0.0183	0.0454	0.1270	0.1084
0.1184	59.0	67	0.7911	0.1005	0.0183	0.0454	0.1270	0.1084
0.116	60.0	68	0.7892	0.1005	0.0183	0.0454	0.1270	0.1084
0.1166	61.0	69	0.7873	0.1006	0.0184	0.0456	0.1270	0.1084
0.1155	62.0	70	0.7853	0.1006	0.0183	0.0456	0.1270	0.1084
0.1157	63.0	71	0.7834	0.0987	0.0175	0.0440	0.1230	0.1084
0.1136	64.0	72	0.7816	0.0987	0.0175	0.0440	0.1230	0.1084
0.1142	65.0	73	0.7795	0.1005	0.0161	0.0423	0.1283	0.1084
0.1133	66.0	74	0.7777	0.1024	0.0158	0.0423	0.1310	0.1104
0.1134	67.0	75	0.7758	0.1042	0.0158	0.0423	0.1336	0.1124
0.1159	68.0	76	0.7739	0.1042	0.0158	0.0423	0.1336	0.1124
0.1106	69.0	77	0.7721	0.1042	0.0158	0.0423	0.1336	0.1124
0.1118	70.0	78	0.7704	0.1042	0.0158	0.0423	0.1336	0.1124
0.0543	71.0	80	0.7673	0.1093	0.0154	0.0425	0.1402	0.1185
0.1083	72.0	81	0.7658	0.1093	0.0154	0.0425	0.1402	0.1185
0.11	73.0	82	0.7644	0.1101	0.0154	0.0425	0.1402	0.1205
0.1089	74.0	83	0.7629	0.1101	0.0154	0.0425	0.1402	0.1205
0.1094	75.0	84	0.7617	0.1101	0.0154	0.0425	0.1402	0.1205
0.1094	76.0	85	0.7603	0.1101	0.0154	0.0425	0.1402	0.1205
0.0542	77.0	87	0.7575	0.1164	0.0210	0.0520	0.1481	0.1245
0.1064	78.0	88	0.7564	0.1164	0.0210	0.0520	0.1481	0.1245
0.1049	79.0	89	0.7551	0.1164	0.0210	0.0520	0.1481	0.1245
0.1062	80.0	90	0.7539	0.1164	0.0210	0.0520	0.1481	0.1245
0.1061	81.0	91	0.7527	0.1164	0.0210	0.0520	0.1481	0.1245
0.1033	82.0	92	0.7515	0.1164	0.0210	0.0520	0.1481	0.1245
0.1028	83.0	93	0.7503	0.1165	0.0222	0.0520	0.1481	0.1245
0.0514	84.0	95	0.7482	0.1157	0.0223	0.0524	0.1481	0.1225
0.1013	85.0	96	0.7472	0.1157	0.0223	0.0524	0.1481	0.1225
0.1002	86.0	97	0.7461	0.1157	0.0223	0.0524	0.1481	0.1225
0.099	87.0	98	0.7451	0.1157	0.0223	0.0524	0.1481	0.1225
0.0993	88.0	99	0.7440	0.1157	0.0223	0.0524	0.1481	0.1225
0.0989	89.0	100	0.7429	0.1157	0.0223	0.0524	0.1481	0.1225
0.0497	90.0	102	0.7410	0.1157	0.0224	0.0524	0.1481	0.1225
0.0972	91.0	103	0.7401	0.1158	0.0225	0.0528	0.1481	0.1225
0.0982	92.0	104	0.7392	0.1158	0.0225	0.0528	0.1481	0.1225
0.0956	93.0	105	0.7383	0.1131	0.0210	0.0490	0.1429	0.1225
0.0977	94.0	106	0.7375	0.1132	0.0213	0.0490	0.1429	0.1225
0.0947	95.0	107	0.7367	0.1132	0.0214	0.0490	0.1429	0.1225
0.0957	96.0	108	0.7359	0.1132	0.0214	0.0490	0.1429	0.1225
0.0959	97.0	109	0.7351	0.1132	0.0214	0.0490	0.1429	0.1225
0.0959	98.0	110	0.7344	0.1132	0.0214	0.0490	0.1429	0.1225
0.095	99.0	111	0.7336	0.1132	0.0214	0.0490	0.1429	0.1225
0.0938	100.0	112	0.7329	0.1143	0.0226	0.0508	0.1429	0.1245
0.0912	101.0	113	0.7323	0.1151	0.0223	0.0508	0.1429	0.1265
0.093	102.0	114	0.7317	0.1151	0.0223	0.0508	0.1429	0.1265
0.0461	103.0	116	0.7306	0.1151	0.0223	0.0508	0.1429	0.1265
0.092	104.0	117	0.7300	0.1151	0.0223	0.0508	0.1429	0.1265
0.0904	105.0	118	0.7296	0.1139	0.0218	0.0501	0.1402	0.1265
0.0917	106.0	119	0.7292	0.1158	0.0224	0.0502	0.1389	0.1325
0.09	107.0	120	0.7287	0.1145	0.0221	0.0500	0.1336	0.1345
0.0898	108.0	121	0.7279	0.1145	0.0221	0.0500	0.1336	0.1345
0.0464	109.0	123	0.7271	0.1145	0.0225	0.0501	0.1336	0.1345
0.0886	110.0	124	0.7269	0.1145	0.0225	0.0501	0.1336	0.1345
0.0895	111.0	125	0.7266	0.1145	0.0225	0.0501	0.1336	0.1345
0.0867	112.0	126	0.7263	0.1145	0.0225	0.0501	0.1336	0.1345
0.0875	113.0	127	0.7262	0.1145	0.0225	0.0501	0.1336	0.1345
0.0871	114.0	128	0.7258	0.1194	0.0233	0.0505	0.1376	0.1426
0.086	115.0	129	0.7255	0.1194	0.0233	0.0505	0.1376	0.1426
0.0437	116.0	131	0.7251	0.1189	0.0231	0.0503	0.1362	0.1426
0.0836	117.0	132	0.7249	0.1188	0.0229	0.0503	0.1362	0.1426
0.0847	118.0	133	0.7247	0.1162	0.0221	0.0484	0.1362	0.1365
0.0826	119.0	134	0.7245	0.1162	0.0224	0.0484	0.1362	0.1365
0.0832	120.0	135	0.7243	0.1162	0.0224	0.0484	0.1362	0.1365
0.0831	121.0	136	0.7241	0.1162	0.0224	0.0484	0.1362	0.1365
0.0427	122.0	138	0.7238	0.1162	0.0224	0.0484	0.1362	0.1365
0.0861	123.0	139	0.7236	0.1152	0.0226	0.0484	0.1336	0.1365
0.0819	124.0	140	0.7235	0.1152	0.0234	0.0484	0.1336	0.1365
0.0834	125.0	141	0.7233	0.1152	0.0234	0.0484	0.1336	0.1365
0.0825	126.0	142	0.7232	0.1152	0.0234	0.0484	0.1336	0.1365
0.0841	127.0	143	0.7230	0.1152	0.0234	0.0484	0.1336	0.1365
0.0813	128.0	144	0.7229	0.1152	0.0234	0.0484	0.1336	0.1365
0.0802	129.0	145	0.7228	0.1155	0.0249	0.0498	0.1336	0.1365
0.0808	130.0	146	0.7227	0.1155	0.0249	0.0498	0.1336	0.1365
0.0799	131.0	147	0.7226	0.1155	0.0249	0.0498	0.1336	0.1365
0.08	132.0	148	0.7225	0.1155	0.0249	0.0498	0.1336	0.1365
0.0794	133.0	149	0.7225	0.1155	0.0249	0.0498	0.1336	0.1365
0.08	134.0	150	0.7224	0.1155	0.0242	0.0498	0.1336	0.1365
0.04	135.0	152	0.7222	0.1155	0.0242	0.0498	0.1336	0.1365
0.0793	136.0	153	0.7222	0.1155	0.0242	0.0498	0.1336	0.1365
0.0782	137.0	154	0.7222	0.1155	0.0242	0.0498	0.1336	0.1365
0.0801	138.0	155	0.7222	0.1155	0.0242	0.0498	0.1336	0.1365
0.078	139.0	156	0.7221	0.1155	0.0242	0.0498	0.1336	0.1365
0.0805	140.0	157	0.7221	0.1155	0.0242	0.0498	0.1336	0.1365
0.0388	141.0	159	0.7219	0.1155	0.0242	0.0498	0.1336	0.1365
0.0768	142.0	160	0.7220	0.1155	0.0242	0.0498	0.1336	0.1365
0.079	143.0	161	0.7219	0.1155	0.0242	0.0498	0.1336	0.1365
0.0756	144.0	162	0.7220	0.1140	0.0275	0.0556	0.1336	0.1305
0.0766	145.0	163	0.7220	0.1140	0.0275	0.0556	0.1336	0.1305
0.0781	146.0	164	0.7220	0.1110	0.0261	0.0538	0.1310	0.1265
0.0768	147.0	165	0.7219	0.1110	0.0261	0.0538	0.1310	0.1265
0.0388	148.0	167	0.7220	0.1110	0.0261	0.0538	0.1310	0.1265
0.0795	149.0	168	0.7219	0.1110	0.0261	0.0538	0.1310	0.1265
0.0748	150.0	169	0.7220	0.1110	0.0261	0.0538	0.1310	0.1265
0.0777	151.0	170	0.7220	0.1110	0.0261	0.0538	0.1310	0.1265
0.0756	152.0	171	0.7220	0.1110	0.0261	0.0538	0.1310	0.1265
0.0757	153.0	172	0.7219	0.1110	0.0261	0.0538	0.1310	0.1265
0.0378	154.0	174	0.7220	0.1110	0.0261	0.0538	0.1310	0.1265
0.0757	155.0	175	0.7220	0.1110	0.0261	0.0538	0.1310	0.1265
0.0749	156.0	176	0.7221	0.1110	0.0261	0.0538	0.1310	0.1265
0.0764	157.0	177	0.7221	0.1110	0.0267	0.0536	0.1310	0.1265
0.0743	158.0	178	0.7221	0.1132	0.0280	0.0554	0.1336	0.1285
0.0758	159.0	179	0.7221	0.1132	0.0280	0.0554	0.1336	0.1285
0.0754	160.0	180	0.7221	0.1132	0.0280	0.0554	0.1336	0.1285
0.076	161.0	181	0.7222	0.1132	0.0280	0.0554	0.1336	0.1285
0.0778	162.0	182	0.7221	0.1132	0.0280	0.0554	0.1336	0.1285
0.0764	163.0	183	0.7221	0.1132	0.0280	0.0554	0.1336	0.1285
0.0769	164.0	184	0.7222	0.1132	0.0280	0.0554	0.1336	0.1285
0.0744	165.0	185	0.7221	0.1132	0.0280	0.0554	0.1336	0.1285
0.0744	166.0	186	0.7222	0.1132	0.0280	0.0554	0.1336	0.1285
0.0369	167.0	188	0.7223	0.1132	0.0280	0.0554	0.1336	0.1285
0.0732	168.0	189	0.7223	0.1132	0.0280	0.0554	0.1336	0.1285
0.0748	169.0	190	0.7222	0.1132	0.0280	0.0554	0.1336	0.1285
0.0743	170.0	191	0.7222	0.1132	0.0280	0.0554	0.1336	0.1285
0.0731	171.0	192	0.7221	0.1145	0.0293	0.0568	0.1362	0.1285
0.0748	172.0	193	0.7222	0.1145	0.0293	0.0568	0.1362	0.1285
0.0361	173.0	195	0.7223	0.1145	0.0293	0.0568	0.1362	0.1285
0.076	174.0	196	0.7223	0.1145	0.0293	0.0568	0.1362	0.1285
0.0744	175.0	197	0.7223	0.1145	0.0293	0.0568	0.1362	0.1285
0.0745	176.0	198	0.7223	0.1145	0.0293	0.0568	0.1362	0.1285
0.0741	177.0	199	0.7223	0.1145	0.0293	0.0568	0.1362	0.1285
0.0734	178.0	200	0.7224	0.1145	0.0293	0.0568	0.1362	0.1285

Framework versions

• Transformers 4.30.0.dev0
• Pytorch 2.0.1
• Datasets 2.13.1
• Tokenizers 0.13.3