codet5p-770m-py-sanitized-codebleu-1-True-5e-05-0.1-lora-layer_6

This model is a fine-tuned version of Salesforce/codet5p-770m-py on the mbpp dataset. It achieves the following results on the evaluation set:

• Loss: 0.7095
• Codebleu: 0.1221
• Ngram Match Score: 0.0319
• Weighted Ngram Match Score: 0.0521
• Syntax Match Score: 0.1336
• Dataflow Match Score: 0.1506

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 5e-05
• train_batch_size: 8
• eval_batch_size: 8
• seed: 42
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: linear
• lr_scheduler_warmup_steps: 100
• num_epochs: 300

Training results

Training Loss	Epoch	Step	Validation Loss	Codebleu	Ngram Match Score	Weighted Ngram Match Score	Syntax Match Score	Dataflow Match Score
0.9812	1.0	15	0.9245	0.0072	0.0000	0.0000	0.0079	0.0100
0.9652	2.0	30	0.9231	0.0072	0.0000	0.0000	0.0079	0.0100
0.9684	3.0	45	0.9203	0.0072	0.0000	0.0000	0.0079	0.0100
0.9472	4.0	60	0.9151	0.0080	0.0000	0.0000	0.0079	0.0120
0.9481	5.0	75	0.9052	0.0096	0.0000	0.0002	0.0079	0.0161
0.949	6.0	90	0.8877	0.0353	0.0003	0.0173	0.0357	0.0482
0.9396	7.0	105	0.8647	0.0869	0.0124	0.0425	0.1071	0.0964
0.8927	8.0	120	0.8472	0.1021	0.0204	0.0480	0.1336	0.1044
0.863	9.0	135	0.8381	0.0968	0.0216	0.0504	0.1257	0.0984
0.861	10.0	150	0.8304	0.0978	0.0199	0.0507	0.1243	0.1024
0.8467	11.0	165	0.8218	0.0963	0.0179	0.0488	0.1177	0.1064
0.8521	12.0	180	0.8116	0.0951	0.0171	0.0480	0.1151	0.1064
0.8235	13.0	195	0.8012	0.0976	0.0124	0.0368	0.1111	0.1205
0.8009	14.0	210	0.7893	0.1025	0.0120	0.0361	0.1177	0.1265
0.8086	15.0	225	0.7784	0.1005	0.0124	0.0371	0.1204	0.1185
0.816	16.0	240	0.7706	0.1056	0.0114	0.0361	0.1336	0.1185
0.8003	17.0	255	0.7656	0.1077	0.0129	0.0374	0.1362	0.1205
0.7719	18.0	270	0.7612	0.0985	0.0111	0.0322	0.1190	0.1165
0.7864	19.0	285	0.7565	0.1093	0.0110	0.0312	0.1323	0.1305
0.7763	20.0	300	0.7539	0.1003	0.0111	0.0310	0.1177	0.1225
0.7602	21.0	315	0.7503	0.1005	0.0111	0.0310	0.1204	0.1205
0.764	22.0	330	0.7478	0.1089	0.0117	0.0312	0.1310	0.1305
0.7562	23.0	345	0.7471	0.1081	0.0116	0.0312	0.1310	0.1285
0.7553	24.0	360	0.7444	0.1070	0.0151	0.0384	0.1257	0.1285
0.776	25.0	375	0.7412	0.1081	0.0157	0.0377	0.1283	0.1285
0.7439	26.0	390	0.7402	0.1099	0.0203	0.0487	0.1310	0.1265
0.7386	27.0	405	0.7384	0.1058	0.0221	0.0509	0.1217	0.1245
0.7428	28.0	420	0.7361	0.1023	0.0152	0.0389	0.1217	0.1205
0.7231	29.0	435	0.7358	0.1025	0.0167	0.0396	0.1217	0.1205
0.7212	30.0	450	0.7355	0.1036	0.0189	0.0405	0.1177	0.1265
0.7221	31.0	465	0.7339	0.1029	0.0195	0.0402	0.1177	0.1245
0.7259	32.0	480	0.7323	0.1026	0.0182	0.0384	0.1177	0.1245
0.7167	33.0	495	0.7302	0.1021	0.0173	0.0401	0.1164	0.1245
0.7262	34.0	510	0.7290	0.1033	0.0177	0.0387	0.1177	0.1265
0.7027	35.0	525	0.7280	0.1032	0.0169	0.0383	0.1177	0.1265
0.7309	36.0	540	0.7267	0.1043	0.0169	0.0383	0.1204	0.1265
0.7133	37.0	555	0.7265	0.1061	0.0179	0.0399	0.1204	0.1305
0.7167	38.0	570	0.7255	0.1089	0.0193	0.0398	0.1230	0.1345
0.7125	39.0	585	0.7237	0.1054	0.0183	0.0399	0.1204	0.1285
0.7127	40.0	600	0.7234	0.1095	0.0231	0.0467	0.1257	0.1305
0.6962	41.0	615	0.7234	0.1103	0.0236	0.0466	0.1257	0.1325
0.6934	42.0	630	0.7221	0.1111	0.0239	0.0465	0.1257	0.1345
0.6975	43.0	645	0.7216	0.1096	0.0225	0.0462	0.1243	0.1325
0.6996	44.0	660	0.7214	0.1103	0.0235	0.0466	0.1257	0.1325
0.6944	45.0	675	0.7214	0.1097	0.0230	0.0465	0.1283	0.1285
0.6896	46.0	690	0.7202	0.1091	0.0224	0.0462	0.1270	0.1285
0.6906	47.0	705	0.7184	0.1106	0.0238	0.0464	0.1283	0.1305
0.6879	48.0	720	0.7186	0.1080	0.0225	0.0462	0.1243	0.1285
0.689	49.0	735	0.7175	0.1081	0.0227	0.0467	0.1243	0.1285
0.6727	50.0	750	0.7173	0.1097	0.0233	0.0467	0.1243	0.1325
0.6929	51.0	765	0.7159	0.1126	0.0231	0.0463	0.1296	0.1345
0.6916	52.0	780	0.7158	0.1110	0.0230	0.0465	0.1257	0.1345
0.6876	53.0	795	0.7154	0.1141	0.0237	0.0477	0.1310	0.1365
0.6534	54.0	810	0.7137	0.1131	0.0233	0.0455	0.1270	0.1386
0.6836	55.0	825	0.7127	0.1254	0.0246	0.0502	0.1442	0.1506
0.6767	56.0	840	0.7127	0.1247	0.0246	0.0512	0.1481	0.1446
0.6823	57.0	855	0.7115	0.1215	0.0251	0.0515	0.1481	0.1365
0.6594	58.0	870	0.7100	0.1267	0.0262	0.0519	0.1548	0.1426
0.681	59.0	885	0.7093	0.1239	0.0254	0.0509	0.1481	0.1426
0.6585	60.0	900	0.7100	0.1232	0.0258	0.0508	0.1442	0.1446
0.6756	61.0	915	0.7104	0.1232	0.0263	0.0505	0.1442	0.1446
0.6589	62.0	930	0.7086	0.1285	0.0269	0.0556	0.1561	0.1446
0.6591	63.0	945	0.7081	0.1322	0.0289	0.0559	0.1627	0.1466
0.654	64.0	960	0.7095	0.1262	0.0280	0.0553	0.1521	0.1426
0.6866	65.0	975	0.7074	0.1303	0.0274	0.0512	0.1574	0.1486
0.6462	66.0	990	0.7054	0.1311	0.0258	0.0504	0.1601	0.1486
0.6741	67.0	1005	0.7041	0.1369	0.0283	0.0523	0.1614	0.1606
0.6622	68.0	1020	0.7039	0.1253	0.0265	0.0506	0.1534	0.1406
0.6499	69.0	1035	0.7041	0.1236	0.0253	0.0502	0.1495	0.1406
0.6745	70.0	1050	0.7036	0.1220	0.0258	0.0502	0.1495	0.1365
0.6524	71.0	1065	0.7027	0.1212	0.0275	0.0515	0.1468	0.1365
0.6535	72.0	1080	0.7012	0.1296	0.0272	0.0501	0.1521	0.1526
0.6615	73.0	1095	0.7007	0.1320	0.0262	0.0505	0.1521	0.1586
0.6446	74.0	1110	0.7016	0.1399	0.0283	0.0539	0.1667	0.1627
0.6444	75.0	1125	0.7018	0.1240	0.0279	0.0521	0.1455	0.1446
0.6531	76.0	1140	0.7017	0.1232	0.0275	0.0519	0.1455	0.1426
0.6543	77.0	1155	0.7017	0.1292	0.0281	0.0533	0.1521	0.1506
0.6351	78.0	1170	0.7022	0.1275	0.0274	0.0527	0.1521	0.1466
0.6457	79.0	1185	0.7007	0.1342	0.0277	0.0524	0.1548	0.1606
0.6395	80.0	1200	0.6998	0.1308	0.0268	0.0520	0.1548	0.1526
0.6335	81.0	1215	0.7009	0.1308	0.0268	0.0520	0.1548	0.1526
0.6418	82.0	1230	0.7014	0.1295	0.0226	0.0459	0.1521	0.1546
0.6587	83.0	1245	0.7009	0.1352	0.0295	0.0556	0.1640	0.1526
0.6442	84.0	1260	0.7007	0.1352	0.0294	0.0558	0.1640	0.1526
0.6243	85.0	1275	0.7014	0.1326	0.0283	0.0550	0.1601	0.1506
0.6243	86.0	1290	0.7022	0.1293	0.0278	0.0540	0.1521	0.1506
0.624	87.0	1305	0.7024	0.1330	0.0281	0.0542	0.1614	0.1506
0.6322	88.0	1320	0.7012	0.1301	0.0280	0.0544	0.1561	0.1486
0.6336	89.0	1335	0.7007	0.1342	0.0278	0.0530	0.1627	0.1526
0.635	90.0	1350	0.7024	0.1286	0.0286	0.0544	0.1481	0.1526
0.6335	91.0	1365	0.7002	0.1326	0.0281	0.0522	0.1548	0.1566
0.63	92.0	1380	0.7016	0.1286	0.0286	0.0542	0.1481	0.1526
0.6122	93.0	1395	0.7009	0.1290	0.0273	0.0515	0.1521	0.1506
0.6098	94.0	1410	0.7010	0.1372	0.0285	0.0532	0.1640	0.1586
0.6315	95.0	1425	0.7028	0.1374	0.0277	0.0532	0.1627	0.1606
0.6364	96.0	1440	0.7035	0.1384	0.0261	0.0516	0.1680	0.1586
0.6245	97.0	1455	0.7023	0.1307	0.0299	0.0530	0.1534	0.1526
0.6238	98.0	1470	0.7001	0.1292	0.0305	0.0528	0.1455	0.1566
0.6447	99.0	1485	0.7001	0.1292	0.0306	0.0528	0.1455	0.1566
0.6302	100.0	1500	0.7001	0.1290	0.0310	0.0535	0.1468	0.1546
0.6127	101.0	1515	0.7022	0.1301	0.0310	0.0535	0.1495	0.1546
0.6142	102.0	1530	0.7012	0.1300	0.0303	0.0530	0.1495	0.1546
0.6269	103.0	1545	0.7011	0.1300	0.0305	0.0533	0.1495	0.1546
0.6183	104.0	1560	0.7002	0.1284	0.0305	0.0533	0.1495	0.1506
0.6164	105.0	1575	0.6994	0.1300	0.0305	0.0533	0.1495	0.1546
0.6265	106.0	1590	0.6996	0.1300	0.0305	0.0533	0.1495	0.1546
0.634	107.0	1605	0.7004	0.1300	0.0306	0.0535	0.1495	0.1546
0.6077	108.0	1620	0.7019	0.1300	0.0306	0.0535	0.1495	0.1546
0.6197	109.0	1635	0.7008	0.1320	0.0296	0.0531	0.1548	0.1546
0.629	110.0	1650	0.7008	0.1300	0.0305	0.0533	0.1495	0.1546
0.6145	111.0	1665	0.7008	0.1342	0.0344	0.0592	0.1495	0.1627
0.6124	112.0	1680	0.7011	0.1351	0.0346	0.0596	0.1534	0.1606
0.6055	113.0	1695	0.7014	0.1350	0.0345	0.0594	0.1534	0.1606
0.6172	114.0	1710	0.7021	0.1361	0.0345	0.0594	0.1561	0.1606
0.6144	115.0	1725	0.7002	0.1300	0.0305	0.0533	0.1495	0.1546
0.6129	116.0	1740	0.7003	0.1300	0.0306	0.0535	0.1495	0.1546
0.6074	117.0	1755	0.7003	0.1352	0.0339	0.0596	0.1561	0.1586
0.6208	118.0	1770	0.6995	0.1331	0.0321	0.0583	0.1495	0.1606
0.6135	119.0	1785	0.7004	0.1280	0.0267	0.0507	0.1481	0.1526
0.6033	120.0	1800	0.7003	0.1317	0.0337	0.0584	0.1455	0.1606
0.6016	121.0	1815	0.6984	0.1218	0.0294	0.0519	0.1336	0.1506
0.6097	122.0	1830	0.6970	0.1211	0.0282	0.0517	0.1362	0.1466
0.6162	123.0	1845	0.6994	0.1228	0.0291	0.0517	0.1323	0.1546
0.6073	124.0	1860	0.7005	0.1229	0.0298	0.0519	0.1362	0.1506
0.607	125.0	1875	0.7009	0.1303	0.0336	0.0584	0.1442	0.1586
0.5966	126.0	1890	0.7006	0.1311	0.0331	0.0583	0.1442	0.1606
0.6017	127.0	1905	0.7021	0.1341	0.0380	0.0655	0.1468	0.1627
0.6063	128.0	1920	0.7004	0.1270	0.0337	0.0590	0.1376	0.1566
0.6078	129.0	1935	0.6997	0.1221	0.0294	0.0519	0.1362	0.1486
0.5932	130.0	1950	0.7000	0.1254	0.0274	0.0495	0.1376	0.1566
0.5979	131.0	1965	0.7009	0.1287	0.0346	0.0597	0.1415	0.1566
0.6093	132.0	1980	0.7010	0.1229	0.0298	0.0519	0.1362	0.1506
0.6082	133.0	1995	0.7019	0.1260	0.0290	0.0513	0.1362	0.1586
0.5869	134.0	2010	0.7005	0.1248	0.0275	0.0496	0.1362	0.1566
0.6037	135.0	2025	0.6998	0.1229	0.0297	0.0519	0.1362	0.1506
0.6043	136.0	2040	0.6999	0.1229	0.0294	0.0522	0.1362	0.1506
0.5848	137.0	2055	0.7001	0.1260	0.0292	0.0517	0.1362	0.1586
0.6078	138.0	2070	0.7007	0.1213	0.0296	0.0519	0.1323	0.1506
0.5996	139.0	2085	0.7022	0.1195	0.0268	0.0472	0.1296	0.1506
0.597	140.0	2100	0.7029	0.1166	0.0267	0.0472	0.1243	0.1486
0.6041	141.0	2115	0.7029	0.1170	0.0298	0.0511	0.1257	0.1466
0.6153	142.0	2130	0.7030	0.1190	0.0258	0.0462	0.1349	0.1446
0.6016	143.0	2145	0.7018	0.1176	0.0282	0.0505	0.1296	0.1446
0.6051	144.0	2160	0.7018	0.1190	0.0297	0.0523	0.1283	0.1486
0.5881	145.0	2175	0.7026	0.1188	0.0324	0.0557	0.1283	0.1466
0.6035	146.0	2190	0.7030	0.1204	0.0327	0.0557	0.1283	0.1506
0.5931	147.0	2205	0.7028	0.1204	0.0328	0.0557	0.1283	0.1506
0.5838	148.0	2220	0.7038	0.1209	0.0326	0.0557	0.1296	0.1506
0.5945	149.0	2235	0.7041	0.1193	0.0326	0.0557	0.1257	0.1506
0.5828	150.0	2250	0.7043	0.1213	0.0321	0.0549	0.1349	0.1466
0.5849	151.0	2265	0.7025	0.1191	0.0319	0.0545	0.1296	0.1466
0.5962	152.0	2280	0.7034	0.1223	0.0318	0.0543	0.1376	0.1466
0.5908	153.0	2295	0.7026	0.1214	0.0338	0.0565	0.1283	0.1526
0.5851	154.0	2310	0.7040	0.1194	0.0323	0.0544	0.1283	0.1486
0.595	155.0	2325	0.7030	0.1210	0.0326	0.0542	0.1283	0.1526
0.606	156.0	2340	0.7047	0.1182	0.0306	0.0523	0.1283	0.1466
0.5727	157.0	2355	0.7029	0.1188	0.0307	0.0526	0.1296	0.1466
0.5959	158.0	2370	0.7027	0.1257	0.0292	0.0514	0.1376	0.1566
0.5968	159.0	2385	0.7035	0.1254	0.0318	0.0538	0.1415	0.1506
0.5854	160.0	2400	0.7030	0.1196	0.0306	0.0520	0.1296	0.1486
0.5872	161.0	2415	0.7038	0.1221	0.0322	0.0542	0.1310	0.1526
0.5979	162.0	2430	0.7033	0.1231	0.0320	0.0542	0.1336	0.1526
0.6124	163.0	2445	0.7020	0.1200	0.0324	0.0542	0.1257	0.1526
0.5912	164.0	2460	0.7008	0.1266	0.0294	0.0518	0.1376	0.1586
0.5758	165.0	2475	0.7015	0.1271	0.0297	0.0518	0.1429	0.1546
0.5759	166.0	2490	0.7029	0.1271	0.0297	0.0518	0.1429	0.1546
0.5795	167.0	2505	0.7030	0.1262	0.0315	0.0535	0.1336	0.1606
0.5868	168.0	2520	0.7022	0.1233	0.0314	0.0538	0.1362	0.1506
0.5685	169.0	2535	0.7029	0.1299	0.0306	0.0522	0.1455	0.1586
0.5893	170.0	2550	0.7037	0.1280	0.0303	0.0518	0.1429	0.1566
0.5935	171.0	2565	0.7042	0.1281	0.0306	0.0524	0.1429	0.1566
0.5977	172.0	2580	0.7036	0.1281	0.0307	0.0520	0.1429	0.1566
0.5957	173.0	2595	0.7039	0.1271	0.0311	0.0522	0.1402	0.1566
0.5799	174.0	2610	0.7053	0.1249	0.0311	0.0516	0.1349	0.1566
0.5807	175.0	2625	0.7059	0.1207	0.0320	0.0520	0.1323	0.1486
0.5851	176.0	2640	0.7036	0.1265	0.0332	0.0549	0.1376	0.1566
0.5777	177.0	2655	0.7037	0.1276	0.0328	0.0554	0.1402	0.1566
0.5724	178.0	2670	0.7040	0.1241	0.0311	0.0516	0.1349	0.1546
0.5956	179.0	2685	0.7036	0.1231	0.0316	0.0521	0.1323	0.1546
0.5715	180.0	2700	0.7038	0.1255	0.0330	0.0535	0.1336	0.1586
0.5846	181.0	2715	0.7038	0.1251	0.0309	0.0516	0.1376	0.1546
0.5879	182.0	2730	0.7030	0.1230	0.0295	0.0500	0.1349	0.1526
0.5756	183.0	2745	0.7040	0.1228	0.0302	0.0502	0.1323	0.1546
0.5795	184.0	2760	0.7043	0.1219	0.0298	0.0498	0.1323	0.1526
0.5703	185.0	2775	0.7043	0.1238	0.0299	0.0504	0.1349	0.1546
0.5718	186.0	2790	0.7054	0.1189	0.0289	0.0477	0.1336	0.1446
0.5654	187.0	2805	0.7056	0.1173	0.0300	0.0516	0.1323	0.1406
0.5854	188.0	2820	0.7061	0.1188	0.0318	0.0537	0.1310	0.1446
0.5812	189.0	2835	0.7061	0.1188	0.0303	0.0507	0.1323	0.1446
0.5826	190.0	2850	0.7050	0.1188	0.0303	0.0507	0.1323	0.1446
0.5836	191.0	2865	0.7062	0.1178	0.0306	0.0504	0.1296	0.1446
0.5722	192.0	2880	0.7057	0.1179	0.0297	0.0496	0.1283	0.1466
0.5739	193.0	2895	0.7073	0.1179	0.0297	0.0496	0.1283	0.1466
0.5639	194.0	2910	0.7065	0.1297	0.0341	0.0574	0.1429	0.1586
0.5805	195.0	2925	0.7062	0.1297	0.0341	0.0574	0.1429	0.1586
0.5725	196.0	2940	0.7063	0.1210	0.0294	0.0494	0.1323	0.1506
0.5787	197.0	2955	0.7057	0.1231	0.0290	0.0494	0.1376	0.1506
0.5672	198.0	2970	0.7056	0.1219	0.0299	0.0496	0.1323	0.1526
0.5695	199.0	2985	0.7046	0.1225	0.0310	0.0513	0.1310	0.1546
0.5711	200.0	3000	0.7048	0.1219	0.0298	0.0498	0.1323	0.1526
0.5699	201.0	3015	0.7039	0.1277	0.0347	0.0574	0.1376	0.1586
0.5714	202.0	3030	0.7043	0.1277	0.0352	0.0575	0.1376	0.1586
0.5721	203.0	3045	0.7052	0.1280	0.0349	0.0574	0.1402	0.1566
0.5618	204.0	3060	0.7037	0.1280	0.0349	0.0574	0.1402	0.1566
0.5802	205.0	3075	0.7037	0.1280	0.0353	0.0578	0.1402	0.1566
0.5723	206.0	3090	0.7033	0.1290	0.0341	0.0577	0.1429	0.1566
0.5654	207.0	3105	0.7051	0.1295	0.0368	0.0597	0.1389	0.1606
0.5554	208.0	3120	0.7059	0.1280	0.0349	0.0574	0.1402	0.1566
0.5684	209.0	3135	0.7059	0.1222	0.0300	0.0499	0.1349	0.1506
0.5657	210.0	3150	0.7057	0.1222	0.0300	0.0499	0.1349	0.1506
0.5696	211.0	3165	0.7066	0.1222	0.0302	0.0499	0.1349	0.1506
0.5738	212.0	3180	0.7069	0.1273	0.0344	0.0564	0.1389	0.1566
0.5759	213.0	3195	0.7065	0.1272	0.0352	0.0578	0.1402	0.1546
0.5737	214.0	3210	0.7064	0.1289	0.0357	0.0583	0.1402	0.1586
0.568	215.0	3225	0.7054	0.1265	0.0343	0.0564	0.1389	0.1546
0.557	216.0	3240	0.7072	0.1272	0.0352	0.0578	0.1402	0.1546
0.5714	217.0	3255	0.7075	0.1272	0.0352	0.0578	0.1402	0.1546
0.5607	218.0	3270	0.7084	0.1265	0.0326	0.0536	0.1402	0.1546
0.5535	219.0	3285	0.7083	0.1271	0.0339	0.0553	0.1389	0.1566
0.5577	220.0	3300	0.7071	0.1271	0.0339	0.0553	0.1389	0.1566
0.5698	221.0	3315	0.7057	0.1272	0.0348	0.0574	0.1402	0.1546
0.5571	222.0	3330	0.7049	0.1272	0.0348	0.0574	0.1402	0.1546
0.5731	223.0	3345	0.7057	0.1272	0.0348	0.0574	0.1402	0.1546
0.5735	224.0	3360	0.7061	0.1271	0.0343	0.0574	0.1402	0.1546
0.5598	225.0	3375	0.7065	0.1289	0.0341	0.0567	0.1429	0.1566
0.5507	226.0	3390	0.7074	0.1295	0.0367	0.0608	0.1429	0.1566
0.561	227.0	3405	0.7075	0.1271	0.0343	0.0574	0.1402	0.1546
0.5703	228.0	3420	0.7075	0.1272	0.0348	0.0574	0.1402	0.1546
0.5687	229.0	3435	0.7081	0.1272	0.0348	0.0574	0.1402	0.1546
0.5656	230.0	3450	0.7082	0.1272	0.0348	0.0574	0.1402	0.1546
0.5722	231.0	3465	0.7071	0.1272	0.0348	0.0574	0.1402	0.1546
0.5613	232.0	3480	0.7075	0.1272	0.0349	0.0574	0.1402	0.1546
0.5491	233.0	3495	0.7072	0.1264	0.0340	0.0561	0.1389	0.1546
0.5802	234.0	3510	0.7085	0.1278	0.0363	0.0592	0.1389	0.1566
0.5559	235.0	3525	0.7092	0.1275	0.0363	0.0591	0.1362	0.1586
0.5526	236.0	3540	0.7092	0.1268	0.0337	0.0548	0.1362	0.1586
0.5583	237.0	3555	0.7086	0.1262	0.0323	0.0530	0.1376	0.1566
0.5558	238.0	3570	0.7095	0.1261	0.0309	0.0503	0.1362	0.1586
0.5607	239.0	3585	0.7101	0.1261	0.0309	0.0503	0.1362	0.1586
0.5636	240.0	3600	0.7098	0.1255	0.0295	0.0486	0.1376	0.1566
0.5531	241.0	3615	0.7089	0.1255	0.0295	0.0486	0.1376	0.1566
0.5618	242.0	3630	0.7092	0.1255	0.0295	0.0486	0.1376	0.1566
0.5576	243.0	3645	0.7097	0.1255	0.0295	0.0486	0.1376	0.1566
0.5585	244.0	3660	0.7096	0.1255	0.0295	0.0486	0.1376	0.1566
0.56	245.0	3675	0.7087	0.1254	0.0313	0.0517	0.1362	0.1566
0.565	246.0	3690	0.7077	0.1254	0.0313	0.0517	0.1362	0.1566
0.5613	247.0	3705	0.7071	0.1265	0.0313	0.0517	0.1389	0.1566
0.5601	248.0	3720	0.7073	0.1254	0.0313	0.0517	0.1362	0.1566
0.5616	249.0	3735	0.7073	0.1254	0.0313	0.0517	0.1362	0.1566
0.5673	250.0	3750	0.7075	0.1221	0.0319	0.0521	0.1336	0.1506
0.5579	251.0	3765	0.7077	0.1248	0.0289	0.0471	0.1362	0.1566
0.5576	252.0	3780	0.7086	0.1221	0.0319	0.0521	0.1336	0.1506
0.555	253.0	3795	0.7084	0.1221	0.0319	0.0521	0.1336	0.1506
0.5512	254.0	3810	0.7081	0.1254	0.0313	0.0517	0.1362	0.1566
0.5649	255.0	3825	0.7083	0.1254	0.0313	0.0517	0.1362	0.1566
0.5533	256.0	3840	0.7086	0.1254	0.0313	0.0517	0.1362	0.1566
0.5588	257.0	3855	0.7086	0.1254	0.0313	0.0517	0.1362	0.1566
0.5511	258.0	3870	0.7088	0.1252	0.0313	0.0516	0.1336	0.1586
0.558	259.0	3885	0.7083	0.1254	0.0313	0.0517	0.1362	0.1566
0.5645	260.0	3900	0.7084	0.1254	0.0313	0.0517	0.1362	0.1566
0.5557	261.0	3915	0.7080	0.1254	0.0313	0.0517	0.1362	0.1566
0.5609	262.0	3930	0.7083	0.1254	0.0313	0.0517	0.1362	0.1566
0.5477	263.0	3945	0.7090	0.1260	0.0326	0.0535	0.1349	0.1586
0.5625	264.0	3960	0.7091	0.1260	0.0328	0.0535	0.1349	0.1586
0.5518	265.0	3975	0.7091	0.1254	0.0313	0.0517	0.1362	0.1566
0.563	266.0	3990	0.7089	0.1255	0.0314	0.0517	0.1362	0.1566
0.546	267.0	4005	0.7092	0.1255	0.0314	0.0517	0.1362	0.1566
0.5563	268.0	4020	0.7096	0.1260	0.0328	0.0535	0.1349	0.1586
0.5651	269.0	4035	0.7102	0.1254	0.0313	0.0517	0.1362	0.1566
0.5471	270.0	4050	0.7097	0.1254	0.0313	0.0517	0.1362	0.1566
0.5675	271.0	4065	0.7088	0.1254	0.0313	0.0517	0.1362	0.1566
0.5564	272.0	4080	0.7086	0.1260	0.0328	0.0535	0.1349	0.1586
0.556	273.0	4095	0.7087	0.1260	0.0328	0.0535	0.1349	0.1586
0.5446	274.0	4110	0.7088	0.1260	0.0328	0.0535	0.1349	0.1586
0.5393	275.0	4125	0.7089	0.1260	0.0328	0.0535	0.1349	0.1586
0.5487	276.0	4140	0.7093	0.1255	0.0314	0.0517	0.1362	0.1566
0.5693	277.0	4155	0.7094	0.1221	0.0320	0.0521	0.1336	0.1506
0.5569	278.0	4170	0.7096	0.1221	0.0320	0.0521	0.1336	0.1506
0.5587	279.0	4185	0.7097	0.1227	0.0334	0.0539	0.1323	0.1526
0.55	280.0	4200	0.7098	0.1221	0.0320	0.0521	0.1336	0.1506
0.5582	281.0	4215	0.7101	0.1218	0.0319	0.0520	0.1310	0.1526
0.5469	282.0	4230	0.7101	0.1218	0.0319	0.0520	0.1310	0.1526
0.5458	283.0	4245	0.7102	0.1218	0.0319	0.0520	0.1310	0.1526
0.5708	284.0	4260	0.7104	0.1218	0.0319	0.0520	0.1310	0.1526
0.557	285.0	4275	0.7101	0.1221	0.0320	0.0521	0.1336	0.1506
0.5578	286.0	4290	0.7099	0.1221	0.0320	0.0521	0.1336	0.1506
0.5596	287.0	4305	0.7097	0.1221	0.0320	0.0521	0.1336	0.1506
0.5544	288.0	4320	0.7097	0.1221	0.0320	0.0521	0.1336	0.1506
0.55	289.0	4335	0.7096	0.1221	0.0320	0.0521	0.1336	0.1506
0.5464	290.0	4350	0.7096	0.1221	0.0320	0.0521	0.1336	0.1506
0.5423	291.0	4365	0.7095	0.1221	0.0320	0.0521	0.1336	0.1506
0.5421	292.0	4380	0.7094	0.1221	0.0320	0.0521	0.1336	0.1506
0.5624	293.0	4395	0.7094	0.1221	0.0319	0.0521	0.1336	0.1506
0.5658	294.0	4410	0.7094	0.1221	0.0319	0.0521	0.1336	0.1506
0.5497	295.0	4425	0.7093	0.1221	0.0319	0.0521	0.1336	0.1506
0.5553	296.0	4440	0.7094	0.1221	0.0319	0.0521	0.1336	0.1506
0.5613	297.0	4455	0.7094	0.1221	0.0319	0.0521	0.1336	0.1506
0.554	298.0	4470	0.7095	0.1221	0.0319	0.0521	0.1336	0.1506
0.5613	299.0	4485	0.7095	0.1221	0.0319	0.0521	0.1336	0.1506
0.5528	300.0	4500	0.7095	0.1221	0.0319	0.0521	0.1336	0.1506

Framework versions

• Transformers 4.31.0
• Pytorch 2.0.1
• Datasets 2.14.4
• Tokenizers 0.13.3