codet5p-770m-py-sanitized-codebleu-1-True-5e-05-0.1-lora-layer_11

This model is a fine-tuned version of Salesforce/codet5p-770m-py on the mbpp dataset. It achieves the following results on the evaluation set:

• Loss: 0.7634
• Codebleu: 0.1162
• Ngram Match Score: 0.0258
• Weighted Ngram Match Score: 0.0511
• Syntax Match Score: 0.1429
• Dataflow Match Score: 0.1285

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 5e-05
• train_batch_size: 8
• eval_batch_size: 8
• seed: 42
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: linear
• lr_scheduler_warmup_steps: 100
• num_epochs: 300

Training results

Training Loss	Epoch	Step	Validation Loss	Codebleu	Ngram Match Score	Weighted Ngram Match Score	Syntax Match Score	Dataflow Match Score
0.9816	1.0	15	0.9245	0.0072	0.0000	0.0000	0.0079	0.0100
0.9651	2.0	30	0.9230	0.0072	0.0000	0.0000	0.0079	0.0100
0.9752	3.0	45	0.9197	0.0072	0.0000	0.0000	0.0079	0.0100
0.9428	4.0	60	0.9125	0.0080	0.0000	0.0000	0.0079	0.0120
0.9479	5.0	75	0.8986	0.0297	0.0001	0.0144	0.0265	0.0442
0.9446	6.0	90	0.8756	0.0649	0.0059	0.0309	0.0807	0.0723
0.9288	7.0	105	0.8560	0.1077	0.0264	0.0581	0.1376	0.1104
0.8762	8.0	120	0.8443	0.0985	0.0201	0.0501	0.1243	0.1044
0.8609	9.0	135	0.8315	0.1024	0.0156	0.0398	0.1217	0.1205
0.8526	10.0	150	0.8180	0.1043	0.0148	0.0376	0.1190	0.1285
0.8376	11.0	165	0.8058	0.1049	0.0132	0.0376	0.1270	0.1225
0.8335	12.0	180	0.7955	0.1046	0.0153	0.0437	0.1283	0.1185
0.8154	13.0	195	0.7892	0.1031	0.0147	0.0423	0.1310	0.1124
0.795	14.0	210	0.7833	0.1095	0.0150	0.0453	0.1362	0.1225
0.7976	15.0	225	0.7777	0.1068	0.0169	0.0511	0.1296	0.1205
0.7993	16.0	240	0.7734	0.1062	0.0184	0.0507	0.1296	0.1185
0.791	17.0	255	0.7697	0.1027	0.0162	0.0449	0.1270	0.1145
0.7596	18.0	270	0.7665	0.1044	0.0175	0.0450	0.1310	0.1145
0.7711	19.0	285	0.7633	0.1061	0.0178	0.0457	0.1270	0.1225
0.7616	20.0	300	0.7605	0.1090	0.0186	0.0462	0.1257	0.1305
0.7479	21.0	315	0.7567	0.1073	0.0186	0.0454	0.1177	0.1345
0.7383	22.0	330	0.7537	0.1072	0.0210	0.0471	0.1204	0.1305
0.7393	23.0	345	0.7524	0.1084	0.0243	0.0534	0.1270	0.1245
0.7331	24.0	360	0.7500	0.1089	0.0227	0.0522	0.1230	0.1305
0.7584	25.0	375	0.7482	0.1074	0.0223	0.0486	0.1243	0.1265
0.7227	26.0	390	0.7462	0.1137	0.0267	0.0562	0.1349	0.1285
0.7107	27.0	405	0.7452	0.1086	0.0265	0.0563	0.1283	0.1225
0.72	28.0	420	0.7448	0.1054	0.0249	0.0550	0.1270	0.1165
0.7061	29.0	435	0.7427	0.1027	0.0210	0.0475	0.1190	0.1205
0.6988	30.0	450	0.7421	0.1018	0.0248	0.0537	0.1243	0.1104
0.6977	31.0	465	0.7406	0.1018	0.0248	0.0537	0.1243	0.1104
0.6981	32.0	480	0.7399	0.1049	0.0279	0.0555	0.1230	0.1185
0.6877	33.0	495	0.7387	0.1082	0.0262	0.0550	0.1257	0.1245
0.6945	34.0	510	0.7365	0.1039	0.0227	0.0532	0.1283	0.1124
0.673	35.0	525	0.7367	0.1043	0.0198	0.0469	0.1257	0.1185
0.7016	36.0	540	0.7360	0.1084	0.0207	0.0467	0.1296	0.1245
0.6862	37.0	555	0.7335	0.1035	0.0203	0.0467	0.1257	0.1165
0.6827	38.0	570	0.7347	0.1066	0.0212	0.0466	0.1270	0.1225
0.6798	39.0	585	0.7338	0.1046	0.0193	0.0447	0.1270	0.1185
0.6862	40.0	600	0.7337	0.1052	0.0210	0.0461	0.1217	0.1245
0.6648	41.0	615	0.7318	0.1025	0.0211	0.0461	0.1190	0.1205
0.6694	42.0	630	0.7300	0.1053	0.0211	0.0467	0.1217	0.1245
0.6623	43.0	645	0.7309	0.1069	0.0215	0.0464	0.1217	0.1285
0.6661	44.0	660	0.7297	0.1066	0.0251	0.0535	0.1283	0.1185
0.6603	45.0	675	0.7298	0.1042	0.0243	0.0495	0.1217	0.1205
0.6536	46.0	690	0.7301	0.1139	0.0286	0.0557	0.1230	0.1406
0.6641	47.0	705	0.7281	0.1068	0.0224	0.0443	0.1177	0.1325
0.659	48.0	720	0.7280	0.1039	0.0229	0.0446	0.1204	0.1225
0.6608	49.0	735	0.7281	0.1046	0.0225	0.0443	0.1204	0.1245
0.6424	50.0	750	0.7282	0.1026	0.0215	0.0435	0.1138	0.1265
0.665	51.0	765	0.7264	0.1048	0.0218	0.0435	0.1151	0.1305
0.6594	52.0	780	0.7256	0.1079	0.0214	0.0436	0.1190	0.1345
0.6546	53.0	795	0.7248	0.1145	0.0264	0.0531	0.1217	0.1446
0.6226	54.0	810	0.7226	0.1124	0.0212	0.0429	0.1243	0.1406
0.65	55.0	825	0.7219	0.1165	0.0270	0.0550	0.1283	0.1426
0.6511	56.0	840	0.7223	0.1159	0.0269	0.0539	0.1270	0.1426
0.6516	57.0	855	0.7212	0.1175	0.0266	0.0539	0.1310	0.1426
0.636	58.0	870	0.7223	0.1180	0.0264	0.0538	0.1283	0.1466
0.6467	59.0	885	0.7239	0.1185	0.0267	0.0538	0.1296	0.1466
0.626	60.0	900	0.7254	0.1122	0.0276	0.0531	0.1257	0.1345
0.6434	61.0	915	0.7263	0.1129	0.0319	0.0591	0.1230	0.1365
0.6291	62.0	930	0.7257	0.1176	0.0354	0.0653	0.1323	0.1365
0.6323	63.0	945	0.7232	0.1031	0.0207	0.0410	0.1177	0.1245
0.6213	64.0	960	0.7249	0.1154	0.0304	0.0585	0.1296	0.1365
0.6513	65.0	975	0.7233	0.1111	0.0251	0.0502	0.1283	0.1305
0.617	66.0	990	0.7249	0.1154	0.0304	0.0585	0.1296	0.1365
0.6481	67.0	1005	0.7210	0.1112	0.0298	0.0578	0.1336	0.1225
0.6275	68.0	1020	0.7222	0.1154	0.0304	0.0585	0.1296	0.1365
0.609	69.0	1035	0.7252	0.1170	0.0309	0.0586	0.1296	0.1406
0.6407	70.0	1050	0.7241	0.1179	0.0369	0.0672	0.1323	0.1365
0.6238	71.0	1065	0.7237	0.1101	0.0302	0.0570	0.1270	0.1265
0.6291	72.0	1080	0.7237	0.1145	0.0293	0.0590	0.1296	0.1345
0.6288	73.0	1095	0.7240	0.1145	0.0293	0.0590	0.1296	0.1345
0.6098	74.0	1110	0.7235	0.1145	0.0293	0.0590	0.1296	0.1345
0.6056	75.0	1125	0.7266	0.1182	0.0259	0.0544	0.1349	0.1406
0.6194	76.0	1140	0.7239	0.1135	0.0267	0.0547	0.1310	0.1325
0.624	77.0	1155	0.7228	0.1057	0.0183	0.0402	0.1230	0.1265
0.6059	78.0	1170	0.7253	0.1099	0.0255	0.0512	0.1270	0.1285
0.6153	79.0	1185	0.7273	0.1150	0.0281	0.0569	0.1296	0.1365
0.6103	80.0	1200	0.7223	0.1117	0.0262	0.0553	0.1323	0.1265
0.6134	81.0	1215	0.7232	0.1080	0.0222	0.0462	0.1243	0.1285
0.6171	82.0	1230	0.7263	0.1169	0.0293	0.0595	0.1336	0.1365
0.626	83.0	1245	0.7284	0.1151	0.0264	0.0544	0.1310	0.1365
0.6132	84.0	1260	0.7241	0.1141	0.0264	0.0550	0.1323	0.1325
0.5848	85.0	1275	0.7267	0.1151	0.0264	0.0544	0.1310	0.1365
0.5989	86.0	1290	0.7279	0.1170	0.0279	0.0564	0.1310	0.1406
0.5904	87.0	1305	0.7289	0.1166	0.0284	0.0569	0.1296	0.1406
0.5943	88.0	1320	0.7290	0.1170	0.0278	0.0564	0.1310	0.1406
0.6001	89.0	1335	0.7295	0.1173	0.0282	0.0564	0.1296	0.1426
0.601	90.0	1350	0.7284	0.1197	0.0286	0.0590	0.1389	0.1386
0.5963	91.0	1365	0.7296	0.1175	0.0271	0.0570	0.1402	0.1325
0.5935	92.0	1380	0.7301	0.1146	0.0267	0.0552	0.1336	0.1325
0.5745	93.0	1395	0.7328	0.1154	0.0265	0.0549	0.1296	0.1386
0.5796	94.0	1410	0.7300	0.1093	0.0214	0.0464	0.1257	0.1305
0.6012	95.0	1425	0.7278	0.1095	0.0217	0.0463	0.1243	0.1325
0.6	96.0	1440	0.7290	0.1080	0.0217	0.0465	0.1243	0.1285
0.5865	97.0	1455	0.7314	0.1133	0.0221	0.0465	0.1376	0.1285
0.5815	98.0	1470	0.7323	0.1187	0.0273	0.0549	0.1415	0.1345
0.6043	99.0	1485	0.7337	0.1207	0.0263	0.0549	0.1429	0.1386
0.5934	100.0	1500	0.7327	0.1213	0.0269	0.0551	0.1442	0.1386
0.5756	101.0	1515	0.7327	0.1161	0.0283	0.0569	0.1283	0.1406
0.5756	102.0	1530	0.7308	0.1190	0.0286	0.0572	0.1415	0.1345
0.5874	103.0	1545	0.7322	0.1194	0.0272	0.0567	0.1389	0.1386
0.582	104.0	1560	0.7337	0.1181	0.0281	0.0567	0.1376	0.1365
0.5768	105.0	1575	0.7336	0.1228	0.0291	0.0572	0.1389	0.1466
0.594	106.0	1590	0.7308	0.1093	0.0219	0.0441	0.1362	0.1205
0.5941	107.0	1605	0.7306	0.1225	0.0280	0.0575	0.1402	0.1446
0.5692	108.0	1620	0.7289	0.1235	0.0296	0.0579	0.1402	0.1466
0.5766	109.0	1635	0.7291	0.1232	0.0269	0.0581	0.1481	0.1386
0.5886	110.0	1650	0.7350	0.1167	0.0280	0.0531	0.1349	0.1365
0.5762	111.0	1665	0.7352	0.1216	0.0306	0.0569	0.1376	0.1446
0.5757	112.0	1680	0.7350	0.1233	0.0306	0.0604	0.1468	0.1386
0.5727	113.0	1695	0.7331	0.1212	0.0285	0.0582	0.1468	0.1345
0.5794	114.0	1710	0.7351	0.1189	0.0298	0.0570	0.1349	0.1406
0.5757	115.0	1725	0.7360	0.1049	0.0236	0.0438	0.1310	0.1145
0.5715	116.0	1740	0.7352	0.1228	0.0313	0.0573	0.1402	0.1446
0.5666	117.0	1755	0.7335	0.1214	0.0308	0.0600	0.1481	0.1325
0.5789	118.0	1770	0.7352	0.1114	0.0286	0.0557	0.1310	0.1265
0.579	119.0	1785	0.7344	0.1165	0.0288	0.0563	0.1376	0.1325
0.5618	120.0	1800	0.7371	0.1194	0.0358	0.0645	0.1429	0.1305
0.5728	121.0	1815	0.7381	0.1200	0.0305	0.0569	0.1376	0.1406
0.5691	122.0	1830	0.7354	0.1134	0.0295	0.0563	0.1296	0.1325
0.5732	123.0	1845	0.7374	0.1115	0.0251	0.0492	0.1336	0.1265
0.5655	124.0	1860	0.7389	0.1141	0.0284	0.0563	0.1296	0.1345
0.5729	125.0	1875	0.7379	0.1028	0.0247	0.0478	0.1204	0.1185
0.5575	126.0	1890	0.7400	0.1079	0.0218	0.0468	0.1362	0.1165
0.5631	127.0	1905	0.7409	0.1183	0.0297	0.0570	0.1376	0.1365
0.5627	128.0	1920	0.7395	0.1174	0.0289	0.0543	0.1402	0.1325
0.5651	129.0	1935	0.7403	0.1089	0.0230	0.0467	0.1362	0.1185
0.5506	130.0	1950	0.7413	0.1236	0.0301	0.0586	0.1481	0.1386
0.561	131.0	1965	0.7413	0.1258	0.0313	0.0610	0.1468	0.1446
0.5587	132.0	1980	0.7461	0.1198	0.0294	0.0560	0.1376	0.1406
0.5759	133.0	1995	0.7455	0.1226	0.0286	0.0587	0.1481	0.1365
0.5426	134.0	2010	0.7414	0.1167	0.0303	0.0567	0.1376	0.1325
0.5541	135.0	2025	0.7440	0.1202	0.0320	0.0599	0.1389	0.1386
0.5605	136.0	2040	0.7434	0.1187	0.0298	0.0579	0.1402	0.1345
0.5361	137.0	2055	0.7417	0.1209	0.0320	0.0591	0.1429	0.1365
0.5676	138.0	2070	0.7439	0.1157	0.0341	0.0609	0.1310	0.1345
0.5587	139.0	2085	0.7421	0.1194	0.0338	0.0609	0.1362	0.1386
0.5541	140.0	2100	0.7396	0.1255	0.0348	0.0632	0.1548	0.1345
0.5586	141.0	2115	0.7421	0.1217	0.0320	0.0591	0.1429	0.1386
0.5705	142.0	2130	0.7445	0.1196	0.0290	0.0576	0.1429	0.1345
0.5536	143.0	2145	0.7434	0.1129	0.0233	0.0463	0.1362	0.1285
0.5655	144.0	2160	0.7414	0.1167	0.0240	0.0464	0.1376	0.1365
0.5453	145.0	2175	0.7411	0.1173	0.0246	0.0466	0.1389	0.1365
0.5657	146.0	2190	0.7432	0.1103	0.0240	0.0461	0.1336	0.1245
0.5552	147.0	2205	0.7416	0.1245	0.0367	0.0668	0.1389	0.1466
0.5409	148.0	2220	0.7446	0.1272	0.0382	0.0686	0.1468	0.1446
0.5513	149.0	2235	0.7454	0.1124	0.0280	0.0525	0.1323	0.1285
0.5425	150.0	2250	0.7446	0.1193	0.0291	0.0572	0.1402	0.1365
0.5344	151.0	2265	0.7454	0.1186	0.0290	0.0576	0.1402	0.1345
0.5501	152.0	2280	0.7467	0.1178	0.0293	0.0576	0.1402	0.1325
0.5346	153.0	2295	0.7459	0.1178	0.0293	0.0576	0.1402	0.1325
0.5477	154.0	2310	0.7457	0.1099	0.0233	0.0464	0.1349	0.1225
0.5572	155.0	2325	0.7476	0.1194	0.0342	0.0630	0.1376	0.1365
0.5635	156.0	2340	0.7478	0.1156	0.0349	0.0645	0.1376	0.1265
0.5346	157.0	2355	0.7460	0.1078	0.0291	0.0542	0.1323	0.1165
0.5499	158.0	2370	0.7500	0.1235	0.0375	0.0665	0.1442	0.1386
0.5424	159.0	2385	0.7506	0.1050	0.0278	0.0537	0.1217	0.1205
0.5462	160.0	2400	0.7495	0.1116	0.0284	0.0523	0.1323	0.1265
0.5285	161.0	2415	0.7476	0.1123	0.0274	0.0526	0.1323	0.1285
0.5464	162.0	2430	0.7481	0.1107	0.0274	0.0526	0.1323	0.1245
0.571	163.0	2445	0.7492	0.1137	0.0281	0.0524	0.1376	0.1265
0.5373	164.0	2460	0.7486	0.1099	0.0289	0.0541	0.1376	0.1165
0.5372	165.0	2475	0.7486	0.1121	0.0291	0.0549	0.1429	0.1165
0.5258	166.0	2490	0.7510	0.1142	0.0343	0.0624	0.1349	0.1265
0.5392	167.0	2505	0.7535	0.1159	0.0342	0.0626	0.1349	0.1305
0.5347	168.0	2520	0.7499	0.1099	0.0288	0.0542	0.1376	0.1165
0.5317	169.0	2535	0.7490	0.1128	0.0257	0.0485	0.1389	0.1245
0.5385	170.0	2550	0.7509	0.1270	0.0359	0.0665	0.1534	0.1386
0.5472	171.0	2565	0.7507	0.1270	0.0359	0.0665	0.1534	0.1386
0.5527	172.0	2580	0.7481	0.1165	0.0249	0.0464	0.1389	0.1345
0.5426	173.0	2595	0.7496	0.1173	0.0246	0.0464	0.1389	0.1365
0.5337	174.0	2610	0.7506	0.1165	0.0249	0.0465	0.1389	0.1345
0.5404	175.0	2625	0.7493	0.1209	0.0249	0.0482	0.1495	0.1345
0.5339	176.0	2640	0.7527	0.1160	0.0241	0.0478	0.1455	0.1265
0.5294	177.0	2655	0.7540	0.1118	0.0241	0.0478	0.1349	0.1265
0.526	178.0	2670	0.7512	0.1109	0.0254	0.0479	0.1243	0.1345
0.5438	179.0	2685	0.7518	0.1089	0.0287	0.0537	0.1230	0.1285
0.5183	180.0	2700	0.7520	0.1088	0.0287	0.0536	0.1230	0.1285
0.5329	181.0	2715	0.7524	0.1169	0.0293	0.0540	0.1389	0.1325
0.5423	182.0	2730	0.7511	0.1181	0.0256	0.0482	0.1402	0.1365
0.5279	183.0	2745	0.7508	0.1128	0.0261	0.0481	0.1310	0.1325
0.525	184.0	2760	0.7545	0.1146	0.0266	0.0502	0.1389	0.1285
0.53	185.0	2775	0.7531	0.1146	0.0266	0.0502	0.1389	0.1285
0.5284	186.0	2790	0.7518	0.1146	0.0266	0.0502	0.1389	0.1285
0.5214	187.0	2805	0.7535	0.1108	0.0241	0.0463	0.1310	0.1285
0.5395	188.0	2820	0.7551	0.1071	0.0240	0.0463	0.1257	0.1245
0.5346	189.0	2835	0.7550	0.1151	0.0252	0.0480	0.1389	0.1305
0.5343	190.0	2850	0.7552	0.1151	0.0254	0.0481	0.1389	0.1305
0.5311	191.0	2865	0.7568	0.1137	0.0250	0.0478	0.1336	0.1325
0.529	192.0	2880	0.7541	0.1179	0.0263	0.0481	0.1415	0.1345
0.5229	193.0	2895	0.7580	0.1179	0.0263	0.0481	0.1415	0.1345
0.5235	194.0	2910	0.7579	0.1137	0.0249	0.0479	0.1336	0.1325
0.5265	195.0	2925	0.7561	0.1137	0.0249	0.0479	0.1336	0.1325
0.5266	196.0	2940	0.7577	0.1137	0.0249	0.0479	0.1336	0.1325
0.5208	197.0	2955	0.7584	0.1129	0.0242	0.0478	0.1336	0.1305
0.5215	198.0	2970	0.7547	0.1165	0.0257	0.0481	0.1402	0.1325
0.5251	199.0	2985	0.7547	0.1146	0.0252	0.0481	0.1376	0.1305
0.5239	200.0	3000	0.7555	0.1164	0.0260	0.0502	0.1455	0.1265
0.5235	201.0	3015	0.7566	0.1132	0.0257	0.0502	0.1336	0.1305
0.5169	202.0	3030	0.7571	0.1063	0.0227	0.0445	0.1243	0.1245
0.524	203.0	3045	0.7561	0.1027	0.0218	0.0442	0.1177	0.1225
0.5109	204.0	3060	0.7574	0.1094	0.0233	0.0463	0.1257	0.1305
0.5275	205.0	3075	0.7609	0.1065	0.0223	0.0445	0.1230	0.1265
0.5238	206.0	3090	0.7595	0.1114	0.0249	0.0480	0.1257	0.1345
0.5207	207.0	3105	0.7584	0.1114	0.0249	0.0480	0.1257	0.1345
0.5114	208.0	3120	0.7574	0.1146	0.0262	0.0502	0.1349	0.1325
0.5233	209.0	3135	0.7583	0.1117	0.0252	0.0485	0.1323	0.1285
0.5214	210.0	3150	0.7585	0.1136	0.0257	0.0483	0.1349	0.1305
0.5263	211.0	3165	0.7612	0.1127	0.0250	0.0483	0.1349	0.1285
0.5232	212.0	3180	0.7609	0.1156	0.0260	0.0501	0.1376	0.1325
0.5226	213.0	3195	0.7585	0.1156	0.0260	0.0501	0.1376	0.1325
0.5167	214.0	3210	0.7580	0.1127	0.0250	0.0483	0.1349	0.1285
0.5127	215.0	3225	0.7579	0.1199	0.0262	0.0501	0.1481	0.1325
0.5133	216.0	3240	0.7591	0.1180	0.0257	0.0501	0.1455	0.1305
0.5182	217.0	3255	0.7603	0.1180	0.0257	0.0501	0.1455	0.1305
0.5061	218.0	3270	0.7603	0.1137	0.0256	0.0501	0.1349	0.1305
0.5055	219.0	3285	0.7597	0.1180	0.0256	0.0501	0.1455	0.1305
0.5086	220.0	3300	0.7585	0.1150	0.0247	0.0483	0.1429	0.1265
0.5167	221.0	3315	0.7578	0.1150	0.0247	0.0483	0.1429	0.1265
0.5092	222.0	3330	0.7598	0.1140	0.0240	0.0462	0.1349	0.1325
0.5286	223.0	3345	0.7606	0.1118	0.0234	0.0463	0.1336	0.1285
0.5246	224.0	3360	0.7588	0.1118	0.0234	0.0463	0.1336	0.1285
0.5243	225.0	3375	0.7573	0.1108	0.0236	0.0463	0.1349	0.1245
0.5019	226.0	3390	0.7574	0.1118	0.0234	0.0463	0.1336	0.1285
0.5181	227.0	3405	0.7593	0.1147	0.0243	0.0480	0.1362	0.1325
0.5125	228.0	3420	0.7609	0.1166	0.0251	0.0500	0.1442	0.1285
0.5111	229.0	3435	0.7613	0.1166	0.0251	0.0500	0.1442	0.1285
0.5049	230.0	3450	0.7625	0.1156	0.0248	0.0479	0.1362	0.1345
0.5213	231.0	3465	0.7617	0.1135	0.0242	0.0462	0.1336	0.1325
0.5078	232.0	3480	0.7620	0.1125	0.0254	0.0483	0.1323	0.1305
0.5052	233.0	3495	0.7614	0.1116	0.0261	0.0492	0.1296	0.1305
0.5252	234.0	3510	0.7617	0.1159	0.0265	0.0492	0.1402	0.1305
0.5081	235.0	3525	0.7608	0.1154	0.0252	0.0481	0.1415	0.1285
0.5053	236.0	3540	0.7601	0.1164	0.0264	0.0494	0.1415	0.1305
0.5038	237.0	3555	0.7614	0.1155	0.0257	0.0494	0.1415	0.1285
0.5152	238.0	3570	0.7605	0.1155	0.0257	0.0494	0.1415	0.1285
0.5164	239.0	3585	0.7579	0.1144	0.0253	0.0490	0.1349	0.1325
0.5043	240.0	3600	0.7583	0.1185	0.0272	0.0511	0.1442	0.1325
0.5087	241.0	3615	0.7589	0.1163	0.0261	0.0511	0.1429	0.1285
0.5156	242.0	3630	0.7599	0.1163	0.0261	0.0511	0.1429	0.1285
0.5108	243.0	3645	0.7597	0.1176	0.0265	0.0511	0.1442	0.1305
0.5098	244.0	3660	0.7586	0.1176	0.0265	0.0511	0.1442	0.1305
0.5048	245.0	3675	0.7599	0.1176	0.0265	0.0511	0.1442	0.1305
0.5124	246.0	3690	0.7606	0.1163	0.0261	0.0511	0.1429	0.1285
0.5099	247.0	3705	0.7617	0.1176	0.0265	0.0511	0.1442	0.1305
0.5125	248.0	3720	0.7618	0.1104	0.0235	0.0455	0.1323	0.1265
0.5085	249.0	3735	0.7614	0.1104	0.0237	0.0455	0.1323	0.1265
0.5184	250.0	3750	0.7612	0.1124	0.0251	0.0473	0.1323	0.1305
0.5014	251.0	3765	0.7618	0.1124	0.0251	0.0473	0.1323	0.1305
0.5144	252.0	3780	0.7629	0.1144	0.0253	0.0490	0.1349	0.1325
0.5069	253.0	3795	0.7633	0.1124	0.0234	0.0472	0.1349	0.1285
0.5019	254.0	3810	0.7619	0.1163	0.0267	0.0511	0.1429	0.1285
0.5118	255.0	3825	0.7615	0.1176	0.0265	0.0511	0.1442	0.1305
0.5033	256.0	3840	0.7614	0.1176	0.0265	0.0511	0.1442	0.1305
0.5143	257.0	3855	0.7618	0.1163	0.0261	0.0511	0.1429	0.1285
0.5032	258.0	3870	0.7618	0.1163	0.0261	0.0511	0.1429	0.1285
0.5086	259.0	3885	0.7611	0.1163	0.0267	0.0511	0.1429	0.1285
0.5154	260.0	3900	0.7617	0.1163	0.0261	0.0511	0.1429	0.1285
0.5031	261.0	3915	0.7621	0.1163	0.0261	0.0511	0.1429	0.1285
0.5129	262.0	3930	0.7629	0.1142	0.0253	0.0494	0.1402	0.1265
0.4982	263.0	3945	0.7633	0.1120	0.0260	0.0511	0.1323	0.1285
0.5145	264.0	3960	0.7643	0.1163	0.0261	0.0511	0.1429	0.1285
0.5096	265.0	3975	0.7632	0.1163	0.0261	0.0511	0.1429	0.1285
0.506	266.0	3990	0.7615	0.1125	0.0238	0.0473	0.1349	0.1285
0.4889	267.0	4005	0.7622	0.1125	0.0238	0.0473	0.1349	0.1285
0.5083	268.0	4020	0.7615	0.1124	0.0234	0.0472	0.1349	0.1285
0.5145	269.0	4035	0.7623	0.1125	0.0237	0.0472	0.1349	0.1285
0.4942	270.0	4050	0.7628	0.1143	0.0239	0.0473	0.1376	0.1305
0.5117	271.0	4065	0.7623	0.1157	0.0259	0.0509	0.1415	0.1285
0.5059	272.0	4080	0.7614	0.1176	0.0264	0.0509	0.1442	0.1305
0.5039	273.0	4095	0.7613	0.1158	0.0256	0.0488	0.1362	0.1345
0.4972	274.0	4110	0.7610	0.1158	0.0256	0.0488	0.1362	0.1345
0.4938	275.0	4125	0.7614	0.1163	0.0258	0.0490	0.1376	0.1345
0.5054	276.0	4140	0.7614	0.1182	0.0266	0.0511	0.1455	0.1305
0.5147	277.0	4155	0.7613	0.1163	0.0261	0.0511	0.1429	0.1285
0.5039	278.0	4170	0.7622	0.1163	0.0261	0.0511	0.1429	0.1285
0.5043	279.0	4185	0.7626	0.1163	0.0261	0.0511	0.1429	0.1285
0.4951	280.0	4200	0.7630	0.1163	0.0261	0.0511	0.1429	0.1285
0.5081	281.0	4215	0.7628	0.1163	0.0261	0.0511	0.1429	0.1285
0.4969	282.0	4230	0.7625	0.1163	0.0261	0.0511	0.1429	0.1285
0.4944	283.0	4245	0.7627	0.1163	0.0261	0.0511	0.1429	0.1285
0.5162	284.0	4260	0.7629	0.1163	0.0261	0.0511	0.1429	0.1285
0.5194	285.0	4275	0.7629	0.1163	0.0261	0.0511	0.1429	0.1285
0.5036	286.0	4290	0.7631	0.1163	0.0261	0.0511	0.1429	0.1285
0.4979	287.0	4305	0.7635	0.1163	0.0261	0.0511	0.1429	0.1285
0.5067	288.0	4320	0.7638	0.1163	0.0261	0.0511	0.1429	0.1285
0.503	289.0	4335	0.7638	0.1162	0.0258	0.0511	0.1429	0.1285
0.489	290.0	4350	0.7637	0.1163	0.0261	0.0511	0.1429	0.1285
0.4942	291.0	4365	0.7638	0.1163	0.0261	0.0511	0.1429	0.1285
0.4995	292.0	4380	0.7635	0.1162	0.0258	0.0511	0.1429	0.1285
0.5028	293.0	4395	0.7635	0.1162	0.0258	0.0511	0.1429	0.1285
0.5132	294.0	4410	0.7635	0.1162	0.0258	0.0511	0.1429	0.1285
0.5117	295.0	4425	0.7635	0.1162	0.0258	0.0511	0.1429	0.1285
0.4974	296.0	4440	0.7635	0.1162	0.0258	0.0511	0.1429	0.1285
0.503	297.0	4455	0.7634	0.1162	0.0258	0.0511	0.1429	0.1285
0.4987	298.0	4470	0.7635	0.1162	0.0258	0.0511	0.1429	0.1285
0.514	299.0	4485	0.7635	0.1162	0.0258	0.0511	0.1429	0.1285
0.4986	300.0	4500	0.7634	0.1162	0.0258	0.0511	0.1429	0.1285

Framework versions

• Transformers 4.31.0
• Pytorch 2.0.1
• Datasets 2.14.4
• Tokenizers 0.13.3