codet5p-770m-py-sanitized-codebleu-1-True-5e-05-0.1-lora-layer_2

This model is a fine-tuned version of Salesforce/codet5p-770m-py on the mbpp dataset. It achieves the following results on the evaluation set:

• Loss: 0.6793
• Codebleu: 0.1069
• Ngram Match Score: 0.0215
• Weighted Ngram Match Score: 0.0442
• Syntax Match Score: 0.1204
• Dataflow Match Score: 0.1305

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 5e-05
• train_batch_size: 8
• eval_batch_size: 8
• seed: 42
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: linear
• lr_scheduler_warmup_steps: 100
• num_epochs: 300

Training results

Training Loss	Epoch	Step	Validation Loss	Codebleu	Ngram Match Score	Weighted Ngram Match Score	Syntax Match Score	Dataflow Match Score
0.9782	1.0	15	0.9243	0.0072	0.0000	0.0000	0.0079	0.0100
0.9653	2.0	30	0.9221	0.0072	0.0000	0.0000	0.0079	0.0100
0.9713	3.0	45	0.9171	0.0080	0.0000	0.0000	0.0079	0.0120
0.9332	4.0	60	0.9059	0.0126	0.0000	0.0008	0.0093	0.0221
0.9336	5.0	75	0.8843	0.0532	0.0023	0.0239	0.0582	0.0683
0.9203	6.0	90	0.8627	0.0820	0.0153	0.0382	0.0992	0.0924
0.8979	7.0	105	0.8524	0.1026	0.0187	0.0473	0.1257	0.1145
0.8653	8.0	120	0.8454	0.1014	0.0212	0.0508	0.1270	0.1084
0.8561	9.0	135	0.8391	0.0989	0.0227	0.0510	0.1243	0.1044
0.8619	10.0	150	0.8324	0.0979	0.0231	0.0510	0.1217	0.1044
0.8537	11.0	165	0.8247	0.1042	0.0244	0.0522	0.1389	0.1024
0.862	12.0	180	0.8140	0.1032	0.0251	0.0520	0.1362	0.1024
0.8357	13.0	195	0.8044	0.1004	0.0234	0.0520	0.1217	0.1104
0.8185	14.0	210	0.7950	0.1006	0.0230	0.0520	0.1243	0.1084
0.834	15.0	225	0.7855	0.1019	0.0223	0.0521	0.1257	0.1104
0.8433	16.0	240	0.7762	0.1013	0.0216	0.0521	0.1243	0.1104
0.8241	17.0	255	0.7656	0.0940	0.0155	0.0405	0.1124	0.1084
0.7977	18.0	270	0.7555	0.0974	0.0151	0.0405	0.1190	0.1104
0.8031	19.0	285	0.7494	0.1009	0.0179	0.0469	0.1257	0.1104
0.7928	20.0	300	0.7463	0.1016	0.0187	0.0470	0.1230	0.1145
0.7781	21.0	315	0.7415	0.0964	0.0177	0.0466	0.1124	0.1124
0.7852	22.0	330	0.7375	0.0886	0.0138	0.0423	0.1071	0.1004
0.7763	23.0	345	0.7350	0.0907	0.0132	0.0424	0.1124	0.1004
0.7818	24.0	360	0.7323	0.0916	0.0125	0.0411	0.1151	0.1004
0.7999	25.0	375	0.7287	0.0905	0.0130	0.0410	0.1124	0.1004
0.7655	26.0	390	0.7270	0.0916	0.0129	0.0413	0.1151	0.1004
0.7594	27.0	405	0.7246	0.0913	0.0127	0.0411	0.1164	0.0984
0.7688	28.0	420	0.7222	0.0932	0.0130	0.0410	0.1151	0.1044
0.7516	29.0	435	0.7209	0.0988	0.0151	0.0498	0.1243	0.1064
0.7447	30.0	450	0.7200	0.0960	0.0146	0.0484	0.1177	0.1064
0.7525	31.0	465	0.7183	0.1018	0.0145	0.0485	0.1283	0.1104
0.7504	32.0	480	0.7168	0.1057	0.0155	0.0489	0.1336	0.1145
0.7377	33.0	495	0.7150	0.0970	0.0154	0.0506	0.1257	0.1004
0.7563	34.0	510	0.7133	0.1053	0.0174	0.0519	0.1336	0.1124
0.7383	35.0	525	0.7125	0.1036	0.0167	0.0514	0.1296	0.1124
0.7507	36.0	540	0.7108	0.1004	0.0185	0.0524	0.1310	0.1024
0.7406	37.0	555	0.7107	0.1013	0.0173	0.0492	0.1323	0.1044
0.7472	38.0	570	0.7101	0.1107	0.0202	0.0519	0.1402	0.1185
0.7394	39.0	585	0.7085	0.1107	0.0206	0.0519	0.1402	0.1185
0.7496	40.0	600	0.7077	0.1003	0.0192	0.0505	0.1270	0.1064
0.731	41.0	615	0.7073	0.1031	0.0225	0.0565	0.1296	0.1084
0.7276	42.0	630	0.7064	0.1145	0.0213	0.0520	0.1455	0.1225
0.7353	43.0	645	0.7052	0.1156	0.0241	0.0566	0.1402	0.1285
0.7431	44.0	660	0.7047	0.1202	0.0253	0.0571	0.1495	0.1305
0.7303	45.0	675	0.7038	0.1175	0.0248	0.0567	0.1429	0.1305
0.7253	46.0	690	0.7036	0.1012	0.0214	0.0538	0.1217	0.1124
0.7301	47.0	705	0.7025	0.1128	0.0248	0.0572	0.1389	0.1225
0.7281	48.0	720	0.7031	0.1117	0.0249	0.0568	0.1362	0.1225
0.7315	49.0	735	0.7030	0.1019	0.0247	0.0553	0.1243	0.1104
0.7144	50.0	750	0.7024	0.1022	0.0233	0.0539	0.1257	0.1104
0.7411	51.0	765	0.7024	0.1057	0.0249	0.0557	0.1296	0.1145
0.7296	52.0	780	0.7015	0.1066	0.0250	0.0570	0.1376	0.1084
0.7291	53.0	795	0.7012	0.1030	0.0237	0.0538	0.1257	0.1124
0.6991	54.0	810	0.6998	0.1089	0.0232	0.0493	0.1336	0.1205
0.7239	55.0	825	0.6994	0.1055	0.0230	0.0480	0.1296	0.1165
0.7181	56.0	840	0.6992	0.1126	0.0244	0.0506	0.1402	0.1225
0.7315	57.0	855	0.6980	0.1042	0.0235	0.0495	0.1217	0.1205
0.7129	58.0	870	0.6975	0.1031	0.0229	0.0495	0.1190	0.1205
0.7223	59.0	885	0.6965	0.1011	0.0240	0.0556	0.1204	0.1124
0.7075	60.0	900	0.6959	0.1005	0.0248	0.0568	0.1243	0.1064
0.7277	61.0	915	0.6958	0.1074	0.0238	0.0492	0.1257	0.1245
0.7124	62.0	930	0.6957	0.1053	0.0234	0.0506	0.1204	0.1245
0.7129	63.0	945	0.6967	0.1019	0.0223	0.0495	0.1204	0.1165
0.7064	64.0	960	0.6965	0.0983	0.0237	0.0493	0.1111	0.1165
0.7349	65.0	975	0.6961	0.1040	0.0235	0.0504	0.1230	0.1185
0.7	66.0	990	0.6969	0.1051	0.0212	0.0479	0.1270	0.1185
0.7188	67.0	1005	0.6943	0.1084	0.0243	0.0507	0.1257	0.1265
0.7086	68.0	1020	0.6943	0.1011	0.0221	0.0493	0.1243	0.1104
0.6988	69.0	1035	0.6935	0.1185	0.0249	0.0530	0.1402	0.1365
0.7259	70.0	1050	0.6934	0.1080	0.0228	0.0514	0.1270	0.1245
0.7113	71.0	1065	0.6934	0.1027	0.0211	0.0477	0.1230	0.1165
0.7073	72.0	1080	0.6926	0.1068	0.0220	0.0505	0.1283	0.1205
0.7118	73.0	1095	0.6920	0.1071	0.0224	0.0508	0.1310	0.1185
0.7002	74.0	1110	0.6918	0.1197	0.0226	0.0512	0.1442	0.1365
0.6918	75.0	1125	0.6921	0.1172	0.0243	0.0513	0.1376	0.1365
0.7052	76.0	1140	0.6923	0.1208	0.0246	0.0527	0.1402	0.1426
0.7175	77.0	1155	0.6913	0.1146	0.0214	0.0501	0.1402	0.1285
0.6881	78.0	1170	0.6919	0.1181	0.0243	0.0519	0.1336	0.1426
0.7001	79.0	1185	0.6909	0.1144	0.0233	0.0508	0.1349	0.1325
0.6945	80.0	1200	0.6894	0.1115	0.0240	0.0507	0.1336	0.1265
0.6883	81.0	1215	0.6901	0.1194	0.0259	0.0535	0.1402	0.1386
0.6924	82.0	1230	0.6898	0.1166	0.0257	0.0520	0.1336	0.1386
0.7127	83.0	1245	0.6889	0.1222	0.0263	0.0544	0.1429	0.1426
0.6976	84.0	1260	0.6895	0.1156	0.0257	0.0528	0.1349	0.1345
0.6798	85.0	1275	0.6888	0.1196	0.0279	0.0528	0.1362	0.1426
0.6849	86.0	1290	0.6873	0.1261	0.0282	0.0562	0.1455	0.1486
0.6868	87.0	1305	0.6877	0.1215	0.0246	0.0515	0.1442	0.1406
0.6902	88.0	1320	0.6885	0.1214	0.0252	0.0529	0.1415	0.1426
0.6917	89.0	1335	0.6892	0.1243	0.0264	0.0537	0.1442	0.1466
0.6864	90.0	1350	0.6897	0.1174	0.0267	0.0531	0.1349	0.1386
0.6843	91.0	1365	0.6882	0.1238	0.0261	0.0542	0.1468	0.1426
0.6813	92.0	1380	0.6898	0.1197	0.0274	0.0548	0.1442	0.1345
0.6714	93.0	1395	0.6885	0.1156	0.0280	0.0532	0.1323	0.1365
0.6713	94.0	1410	0.6882	0.1194	0.0251	0.0538	0.1402	0.1386
0.6935	95.0	1425	0.6873	0.1162	0.0256	0.0535	0.1362	0.1345
0.6909	96.0	1440	0.6876	0.1242	0.0291	0.0576	0.1402	0.1486
0.6824	97.0	1455	0.6883	0.1183	0.0278	0.0531	0.1349	0.1406
0.6808	98.0	1470	0.6869	0.1212	0.0292	0.0544	0.1415	0.1406
0.7102	99.0	1485	0.6846	0.1134	0.0266	0.0539	0.1389	0.1245
0.6851	100.0	1500	0.6855	0.1202	0.0302	0.0563	0.1402	0.1386
0.6808	101.0	1515	0.6854	0.1284	0.0313	0.0581	0.1481	0.1506
0.6711	102.0	1530	0.6853	0.1286	0.0321	0.0585	0.1481	0.1506
0.685	103.0	1545	0.6846	0.1271	0.0312	0.0580	0.1468	0.1486
0.6823	104.0	1560	0.6838	0.1129	0.0287	0.0542	0.1349	0.1265
0.6744	105.0	1575	0.6847	0.1146	0.0276	0.0532	0.1296	0.1365
0.6891	106.0	1590	0.6841	0.1193	0.0289	0.0513	0.1336	0.1446
0.6876	107.0	1605	0.6845	0.1200	0.0248	0.0495	0.1310	0.1506
0.6703	108.0	1620	0.6848	0.1213	0.0262	0.0500	0.1376	0.1466
0.6689	109.0	1635	0.6845	0.1165	0.0260	0.0474	0.1283	0.1446
0.6881	110.0	1650	0.6839	0.1218	0.0283	0.0534	0.1376	0.1466
0.6822	111.0	1665	0.6825	0.1171	0.0298	0.0551	0.1389	0.1325
0.6663	112.0	1680	0.6830	0.1227	0.0315	0.0563	0.1402	0.1446
0.6673	113.0	1695	0.6835	0.1259	0.0309	0.0565	0.1442	0.1486
0.6845	114.0	1710	0.6829	0.1186	0.0298	0.0543	0.1389	0.1365
0.6795	115.0	1725	0.6828	0.1104	0.0288	0.0532	0.1270	0.1285
0.6816	116.0	1740	0.6823	0.1246	0.0298	0.0560	0.1455	0.1446
0.6719	117.0	1755	0.6823	0.1224	0.0289	0.0560	0.1362	0.1486
0.689	118.0	1770	0.6827	0.1181	0.0276	0.0538	0.1323	0.1426
0.6801	119.0	1785	0.6826	0.1224	0.0289	0.0560	0.1362	0.1486
0.6632	120.0	1800	0.6825	0.1259	0.0282	0.0572	0.1508	0.1426
0.6663	121.0	1815	0.6832	0.1266	0.0276	0.0537	0.1376	0.1586
0.6841	122.0	1830	0.6807	0.1157	0.0264	0.0524	0.1270	0.1426
0.6876	123.0	1845	0.6805	0.1135	0.0264	0.0526	0.1336	0.1305
0.6767	124.0	1860	0.6817	0.1160	0.0274	0.0522	0.1296	0.1406
0.6769	125.0	1875	0.6812	0.1131	0.0257	0.0488	0.1296	0.1345
0.6589	126.0	1890	0.6810	0.1175	0.0266	0.0514	0.1296	0.1446
0.6729	127.0	1905	0.6818	0.1227	0.0271	0.0519	0.1323	0.1546
0.6649	128.0	1920	0.6818	0.1115	0.0231	0.0456	0.1230	0.1386
0.6704	129.0	1935	0.6813	0.1097	0.0278	0.0527	0.1296	0.1245
0.664	130.0	1950	0.6815	0.1239	0.0303	0.0563	0.1415	0.1466
0.6654	131.0	1965	0.6824	0.1275	0.0292	0.0560	0.1389	0.1586
0.6713	132.0	1980	0.6819	0.1279	0.0303	0.0563	0.1415	0.1566
0.6825	133.0	1995	0.6819	0.1228	0.0298	0.0560	0.1389	0.1466
0.6539	134.0	2010	0.6825	0.1286	0.0304	0.0545	0.1336	0.1667
0.6662	135.0	2025	0.6814	0.1279	0.0297	0.0562	0.1376	0.1606
0.6715	136.0	2040	0.6819	0.1245	0.0305	0.0535	0.1296	0.1606
0.6552	137.0	2055	0.6805	0.1283	0.0307	0.0566	0.1402	0.1586
0.6813	138.0	2070	0.6796	0.1064	0.0270	0.0493	0.1204	0.1265
0.6757	139.0	2085	0.6796	0.1115	0.0275	0.0493	0.1230	0.1365
0.6659	140.0	2100	0.6804	0.1152	0.0295	0.0522	0.1270	0.1406
0.668	141.0	2115	0.6807	0.1187	0.0269	0.0520	0.1243	0.1526
0.6827	142.0	2130	0.6811	0.1244	0.0286	0.0521	0.1283	0.1627
0.6685	143.0	2145	0.6801	0.1094	0.0268	0.0529	0.1270	0.1265
0.6783	144.0	2160	0.6801	0.1089	0.0274	0.0531	0.1296	0.1225
0.6659	145.0	2175	0.6792	0.1213	0.0288	0.0554	0.1296	0.1526
0.6739	146.0	2190	0.6792	0.1119	0.0268	0.0519	0.1257	0.1345
0.6667	147.0	2205	0.6794	0.1112	0.0267	0.0526	0.1376	0.1205
0.6581	148.0	2220	0.6795	0.1164	0.0272	0.0530	0.1323	0.1386
0.6623	149.0	2235	0.6789	0.1128	0.0252	0.0486	0.1230	0.1406
0.649	150.0	2250	0.6793	0.1270	0.0277	0.0551	0.1362	0.1606
0.6594	151.0	2265	0.6791	0.1233	0.0277	0.0545	0.1270	0.1606
0.6663	152.0	2280	0.6805	0.1208	0.0270	0.0514	0.1257	0.1566
0.6616	153.0	2295	0.6793	0.1218	0.0284	0.0557	0.1349	0.1486
0.659	154.0	2310	0.6788	0.1206	0.0280	0.0550	0.1323	0.1486
0.6713	155.0	2325	0.6791	0.1266	0.0289	0.0547	0.1389	0.1566
0.6909	156.0	2340	0.6793	0.1272	0.0282	0.0541	0.1389	0.1586
0.6457	157.0	2355	0.6792	0.1274	0.0301	0.0562	0.1402	0.1566
0.6699	158.0	2370	0.6789	0.1245	0.0290	0.0558	0.1415	0.1486
0.6675	159.0	2385	0.6796	0.1155	0.0254	0.0484	0.1257	0.1446
0.6529	160.0	2400	0.6801	0.1275	0.0288	0.0527	0.1336	0.1647
0.6581	161.0	2415	0.6796	0.1275	0.0288	0.0527	0.1336	0.1647
0.6628	162.0	2430	0.6788	0.1102	0.0269	0.0507	0.1257	0.1305
0.6881	163.0	2445	0.6783	0.1111	0.0264	0.0522	0.1296	0.1285
0.6624	164.0	2460	0.6782	0.1284	0.0298	0.0560	0.1389	0.1606
0.6545	165.0	2475	0.6786	0.1270	0.0285	0.0541	0.1362	0.1606
0.6539	166.0	2490	0.6784	0.1287	0.0289	0.0548	0.1402	0.1606
0.654	167.0	2505	0.6794	0.1263	0.0291	0.0545	0.1362	0.1586
0.6564	168.0	2520	0.6799	0.1158	0.0274	0.0526	0.1310	0.1386
0.6473	169.0	2535	0.6798	0.1250	0.0279	0.0527	0.1336	0.1586
0.6635	170.0	2550	0.6792	0.1263	0.0285	0.0522	0.1310	0.1647
0.668	171.0	2565	0.6795	0.1277	0.0285	0.0527	0.1362	0.1627
0.675	172.0	2580	0.6786	0.1270	0.0284	0.0541	0.1402	0.1566
0.668	173.0	2595	0.6780	0.1266	0.0289	0.0547	0.1389	0.1566
0.6587	174.0	2610	0.6788	0.1272	0.0278	0.0541	0.1389	0.1586
0.6542	175.0	2625	0.6786	0.1276	0.0284	0.0543	0.1336	0.1647
0.6626	176.0	2640	0.6779	0.1277	0.0292	0.0543	0.1336	0.1647
0.6541	177.0	2655	0.6777	0.1249	0.0288	0.0546	0.1389	0.1526
0.6467	178.0	2670	0.6789	0.1169	0.0263	0.0483	0.1230	0.1506
0.6713	179.0	2685	0.6784	0.1263	0.0300	0.0564	0.1415	0.1526
0.6453	180.0	2700	0.6785	0.1141	0.0279	0.0512	0.1270	0.1386
0.661	181.0	2715	0.6788	0.1180	0.0277	0.0520	0.1243	0.1506
0.6603	182.0	2730	0.6785	0.1177	0.0262	0.0485	0.1230	0.1526
0.6578	183.0	2745	0.6783	0.1131	0.0266	0.0504	0.1230	0.1406
0.6481	184.0	2760	0.6786	0.1125	0.0272	0.0512	0.1270	0.1345
0.6479	185.0	2775	0.6786	0.1225	0.0293	0.0560	0.1362	0.1486
0.6521	186.0	2790	0.6782	0.1225	0.0293	0.0560	0.1362	0.1486
0.642	187.0	2805	0.6775	0.1202	0.0274	0.0534	0.1336	0.1466
0.6599	188.0	2820	0.6787	0.1220	0.0240	0.0486	0.1362	0.1506
0.6686	189.0	2835	0.6788	0.1118	0.0221	0.0446	0.1243	0.1386
0.6614	190.0	2850	0.6795	0.1267	0.0290	0.0564	0.1429	0.1526
0.6655	191.0	2865	0.6795	0.1227	0.0275	0.0524	0.1362	0.1506
0.6537	192.0	2880	0.6797	0.1198	0.0277	0.0520	0.1310	0.1486
0.657	193.0	2895	0.6808	0.1187	0.0272	0.0522	0.1323	0.1446
0.6427	194.0	2910	0.6804	0.1158	0.0269	0.0503	0.1257	0.1446
0.6564	195.0	2925	0.6804	0.1217	0.0283	0.0541	0.1349	0.1486
0.6584	196.0	2940	0.6789	0.1175	0.0238	0.0488	0.1349	0.1406
0.6636	197.0	2955	0.6784	0.1077	0.0215	0.0443	0.1243	0.1285
0.6415	198.0	2970	0.6783	0.1204	0.0257	0.0523	0.1310	0.1506
0.6466	199.0	2985	0.6776	0.1219	0.0268	0.0527	0.1323	0.1526
0.6442	200.0	3000	0.6777	0.1138	0.0270	0.0512	0.1283	0.1365
0.6433	201.0	3015	0.6784	0.1087	0.0268	0.0517	0.1257	0.1265
0.6472	202.0	3030	0.6781	0.1194	0.0269	0.0516	0.1362	0.1426
0.6553	203.0	3045	0.6775	0.1150	0.0263	0.0516	0.1336	0.1345
0.6419	204.0	3060	0.6777	0.1124	0.0265	0.0516	0.1310	0.1305
0.664	205.0	3075	0.6777	0.1124	0.0266	0.0516	0.1310	0.1305
0.6441	206.0	3090	0.6778	0.1124	0.0266	0.0516	0.1310	0.1305
0.6576	207.0	3105	0.6782	0.1101	0.0233	0.0453	0.1257	0.1325
0.6361	208.0	3120	0.6773	0.1088	0.0233	0.0454	0.1243	0.1305
0.6509	209.0	3135	0.6771	0.1154	0.0243	0.0486	0.1296	0.1406
0.652	210.0	3150	0.6776	0.1226	0.0272	0.0545	0.1376	0.1486
0.653	211.0	3165	0.6779	0.1176	0.0273	0.0516	0.1336	0.1406
0.6485	212.0	3180	0.6781	0.1162	0.0273	0.0512	0.1283	0.1426
0.6495	213.0	3195	0.6773	0.1175	0.0270	0.0516	0.1336	0.1406
0.658	214.0	3210	0.6766	0.1096	0.0227	0.0456	0.1283	0.1285
0.6538	215.0	3225	0.6762	0.1073	0.0219	0.0451	0.1270	0.1245
0.6394	216.0	3240	0.6769	0.1090	0.0224	0.0455	0.1270	0.1285
0.6511	217.0	3255	0.6771	0.1143	0.0240	0.0494	0.1349	0.1325
0.6427	218.0	3270	0.6776	0.1193	0.0266	0.0515	0.1362	0.1426
0.6384	219.0	3285	0.6767	0.1170	0.0268	0.0515	0.1323	0.1406
0.6344	220.0	3300	0.6767	0.1150	0.0235	0.0486	0.1310	0.1386
0.647	221.0	3315	0.6766	0.1065	0.0222	0.0444	0.1190	0.1305
0.6348	222.0	3330	0.6763	0.1049	0.0222	0.0444	0.1190	0.1265
0.6553	223.0	3345	0.6764	0.1074	0.0223	0.0456	0.1270	0.1245
0.6554	224.0	3360	0.6767	0.1065	0.0223	0.0444	0.1190	0.1305
0.6497	225.0	3375	0.6772	0.1101	0.0226	0.0453	0.1257	0.1325
0.6342	226.0	3390	0.6774	0.1089	0.0220	0.0455	0.1270	0.1285
0.6469	227.0	3405	0.6778	0.1144	0.0259	0.0503	0.1243	0.1426
0.6482	228.0	3420	0.6781	0.1169	0.0263	0.0515	0.1323	0.1406
0.6492	229.0	3435	0.6784	0.1169	0.0263	0.0515	0.1323	0.1406
0.6398	230.0	3450	0.6790	0.1141	0.0224	0.0455	0.1296	0.1386
0.6524	231.0	3465	0.6795	0.1161	0.0262	0.0511	0.1283	0.1426
0.641	232.0	3480	0.6798	0.1214	0.0312	0.0597	0.1362	0.1446
0.6346	233.0	3495	0.6792	0.1146	0.0226	0.0456	0.1310	0.1386
0.6586	234.0	3510	0.6800	0.1201	0.0285	0.0567	0.1323	0.1466
0.6398	235.0	3525	0.6800	0.1147	0.0269	0.0530	0.1243	0.1426
0.6405	236.0	3540	0.6792	0.1141	0.0228	0.0455	0.1296	0.1386
0.6389	237.0	3555	0.6790	0.1205	0.0309	0.0588	0.1323	0.1466
0.6452	238.0	3570	0.6786	0.1205	0.0309	0.0588	0.1323	0.1466
0.6443	239.0	3585	0.6780	0.1144	0.0263	0.0504	0.1243	0.1426
0.6522	240.0	3600	0.6783	0.1145	0.0269	0.0510	0.1243	0.1426
0.6423	241.0	3615	0.6782	0.1144	0.0263	0.0504	0.1243	0.1426
0.6416	242.0	3630	0.6784	0.1144	0.0263	0.0504	0.1243	0.1426
0.6344	243.0	3645	0.6787	0.1116	0.0223	0.0443	0.1217	0.1406
0.6455	244.0	3660	0.6793	0.1064	0.0219	0.0443	0.1190	0.1305
0.6464	245.0	3675	0.6797	0.1101	0.0226	0.0453	0.1257	0.1325
0.6461	246.0	3690	0.6793	0.1106	0.0225	0.0453	0.1270	0.1325
0.6472	247.0	3705	0.6795	0.1224	0.0307	0.0593	0.1389	0.1446
0.6425	248.0	3720	0.6798	0.1144	0.0263	0.0535	0.1336	0.1325
0.6418	249.0	3735	0.6795	0.1070	0.0218	0.0443	0.1204	0.1305
0.652	250.0	3750	0.6793	0.1070	0.0218	0.0443	0.1204	0.1305
0.6356	251.0	3765	0.6790	0.1063	0.0208	0.0439	0.1190	0.1305
0.6421	252.0	3780	0.6790	0.1114	0.0212	0.0439	0.1217	0.1406
0.6486	253.0	3795	0.6789	0.1143	0.0250	0.0500	0.1243	0.1426
0.6368	254.0	3810	0.6786	0.1114	0.0212	0.0439	0.1217	0.1406
0.646	255.0	3825	0.6782	0.1109	0.0213	0.0439	0.1204	0.1406
0.637	256.0	3840	0.6782	0.1109	0.0209	0.0438	0.1204	0.1406
0.6432	257.0	3855	0.6786	0.1109	0.0209	0.0438	0.1204	0.1406
0.6359	258.0	3870	0.6785	0.1063	0.0207	0.0440	0.1190	0.1305
0.6505	259.0	3885	0.6783	0.1058	0.0209	0.0440	0.1177	0.1305
0.6497	260.0	3900	0.6783	0.1063	0.0204	0.0438	0.1190	0.1305
0.6378	261.0	3915	0.6785	0.1063	0.0207	0.0440	0.1190	0.1305
0.6446	262.0	3930	0.6786	0.1063	0.0207	0.0440	0.1190	0.1305
0.6367	263.0	3945	0.6790	0.1063	0.0207	0.0440	0.1190	0.1305
0.6461	264.0	3960	0.6793	0.1063	0.0207	0.0440	0.1190	0.1305
0.6324	265.0	3975	0.6794	0.1063	0.0207	0.0440	0.1190	0.1305
0.6375	266.0	3990	0.6795	0.1063	0.0207	0.0440	0.1190	0.1305
0.6231	267.0	4005	0.6796	0.1070	0.0217	0.0444	0.1204	0.1305
0.6467	268.0	4020	0.6796	0.1070	0.0217	0.0444	0.1204	0.1305
0.6456	269.0	4035	0.6798	0.1070	0.0217	0.0444	0.1204	0.1305
0.63	270.0	4050	0.6795	0.1070	0.0217	0.0444	0.1204	0.1305
0.645	271.0	4065	0.6794	0.1070	0.0217	0.0444	0.1204	0.1305
0.6427	272.0	4080	0.6792	0.1070	0.0217	0.0444	0.1204	0.1305
0.6398	273.0	4095	0.6792	0.1070	0.0217	0.0444	0.1204	0.1305
0.6244	274.0	4110	0.6795	0.1069	0.0215	0.0442	0.1204	0.1305
0.6248	275.0	4125	0.6795	0.1069	0.0215	0.0442	0.1204	0.1305
0.6359	276.0	4140	0.6796	0.1120	0.0218	0.0442	0.1230	0.1406
0.6515	277.0	4155	0.6798	0.1120	0.0218	0.0442	0.1230	0.1406
0.6341	278.0	4170	0.6798	0.1069	0.0215	0.0442	0.1204	0.1305
0.6391	279.0	4185	0.6797	0.1070	0.0217	0.0444	0.1204	0.1305
0.638	280.0	4200	0.6799	0.1095	0.0222	0.0456	0.1283	0.1285
0.6425	281.0	4215	0.6799	0.1069	0.0215	0.0442	0.1204	0.1305
0.6412	282.0	4230	0.6796	0.1120	0.0218	0.0442	0.1230	0.1406
0.6324	283.0	4245	0.6796	0.1069	0.0215	0.0442	0.1204	0.1305
0.6476	284.0	4260	0.6797	0.1069	0.0215	0.0442	0.1204	0.1305
0.6484	285.0	4275	0.6795	0.1070	0.0217	0.0444	0.1204	0.1305
0.6448	286.0	4290	0.6796	0.1070	0.0217	0.0444	0.1204	0.1305
0.6418	287.0	4305	0.6795	0.1070	0.0217	0.0444	0.1204	0.1305
0.6402	288.0	4320	0.6795	0.1070	0.0217	0.0444	0.1204	0.1305
0.6335	289.0	4335	0.6794	0.1070	0.0217	0.0444	0.1204	0.1305
0.6321	290.0	4350	0.6795	0.1070	0.0217	0.0444	0.1204	0.1305
0.6353	291.0	4365	0.6794	0.1070	0.0217	0.0444	0.1204	0.1305
0.6307	292.0	4380	0.6792	0.1070	0.0217	0.0444	0.1204	0.1305
0.6478	293.0	4395	0.6792	0.1070	0.0217	0.0444	0.1204	0.1305
0.6478	294.0	4410	0.6792	0.1070	0.0217	0.0444	0.1204	0.1305
0.6298	295.0	4425	0.6792	0.1069	0.0215	0.0442	0.1204	0.1305
0.6395	296.0	4440	0.6793	0.1069	0.0215	0.0442	0.1204	0.1305
0.6424	297.0	4455	0.6793	0.1069	0.0215	0.0442	0.1204	0.1305
0.6372	298.0	4470	0.6793	0.1069	0.0215	0.0442	0.1204	0.1305
0.6498	299.0	4485	0.6793	0.1069	0.0215	0.0442	0.1204	0.1305
0.6332	300.0	4500	0.6793	0.1069	0.0215	0.0442	0.1204	0.1305

Framework versions

• Transformers 4.31.0
• Pytorch 2.0.1
• Datasets 2.14.4
• Tokenizers 0.13.3