codet5p-770m-py-sanitized-codebleu-1-True-5e-05-0.1-lora-layer_7

This model is a fine-tuned version of Salesforce/codet5p-770m-py on the mbpp dataset. It achieves the following results on the evaluation set:

• Loss: 0.7246
• Codebleu: 0.1248
• Ngram Match Score: 0.0376
• Weighted Ngram Match Score: 0.0632
• Syntax Match Score: 0.1323
• Dataflow Match Score: 0.1546

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 5e-05
• train_batch_size: 8
• eval_batch_size: 8
• seed: 42
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: linear
• lr_scheduler_warmup_steps: 100
• num_epochs: 300

Training results

Training Loss	Epoch	Step	Validation Loss	Codebleu	Ngram Match Score	Weighted Ngram Match Score	Syntax Match Score	Dataflow Match Score
0.9826	1.0	15	0.9244	0.0072	0.0000	0.0000	0.0079	0.0100
0.9646	2.0	30	0.9229	0.0072	0.0000	0.0000	0.0079	0.0100
0.9698	3.0	45	0.9194	0.0072	0.0000	0.0000	0.0079	0.0100
0.9444	4.0	60	0.9121	0.0080	0.0000	0.0000	0.0079	0.0120
0.9475	5.0	75	0.8977	0.0305	0.0001	0.0144	0.0265	0.0462
0.9411	6.0	90	0.8746	0.0693	0.0034	0.0297	0.0767	0.0884
0.9255	7.0	105	0.8540	0.0962	0.0226	0.0517	0.1257	0.0964
0.8724	8.0	120	0.8438	0.0941	0.0226	0.0517	0.1243	0.0924
0.8552	9.0	135	0.8344	0.0937	0.0208	0.0518	0.1217	0.0944
0.8526	10.0	150	0.8233	0.0976	0.0198	0.0516	0.1257	0.1004
0.8385	11.0	165	0.8094	0.0983	0.0124	0.0367	0.1270	0.1064
0.83	12.0	180	0.7948	0.0974	0.0121	0.0367	0.1270	0.1044
0.8104	13.0	195	0.7843	0.0963	0.0118	0.0367	0.1283	0.1004
0.7863	14.0	210	0.7742	0.0958	0.0102	0.0349	0.1217	0.1064
0.7979	15.0	225	0.7668	0.0981	0.0105	0.0340	0.1296	0.1044
0.7991	16.0	240	0.7611	0.0998	0.0117	0.0346	0.1336	0.1044
0.7867	17.0	255	0.7563	0.0986	0.0116	0.0351	0.1283	0.1064
0.7644	18.0	270	0.7524	0.1082	0.0122	0.0351	0.1362	0.1225
0.7763	19.0	285	0.7487	0.1098	0.0120	0.0351	0.1362	0.1265
0.7586	20.0	300	0.7452	0.1098	0.0141	0.0414	0.1362	0.1245
0.7474	21.0	315	0.7423	0.1091	0.0142	0.0414	0.1362	0.1225
0.7511	22.0	330	0.7398	0.1106	0.0163	0.0415	0.1336	0.1285
0.7459	23.0	345	0.7387	0.1106	0.0142	0.0352	0.1336	0.1305
0.7421	24.0	360	0.7379	0.1098	0.0140	0.0352	0.1336	0.1285
0.7669	25.0	375	0.7366	0.1081	0.0172	0.0422	0.1389	0.1165
0.7352	26.0	390	0.7351	0.1124	0.0173	0.0422	0.1415	0.1245
0.7208	27.0	405	0.7333	0.1140	0.0175	0.0422	0.1455	0.1245
0.7273	28.0	420	0.7335	0.1063	0.0134	0.0356	0.1349	0.1185
0.7153	29.0	435	0.7342	0.1044	0.0122	0.0339	0.1270	0.1225
0.7153	30.0	450	0.7334	0.1088	0.0161	0.0419	0.1349	0.1225
0.7103	31.0	465	0.7312	0.1072	0.0161	0.0419	0.1349	0.1185
0.7164	32.0	480	0.7290	0.1088	0.0167	0.0419	0.1349	0.1225
0.7027	33.0	495	0.7292	0.1072	0.0162	0.0419	0.1349	0.1185
0.7138	34.0	510	0.7270	0.1088	0.0163	0.0419	0.1349	0.1225
0.6931	35.0	525	0.7263	0.1082	0.0163	0.0413	0.1336	0.1225
0.7202	36.0	540	0.7268	0.1030	0.0147	0.0356	0.1243	0.1205
0.7019	37.0	555	0.7263	0.1030	0.0148	0.0360	0.1243	0.1205
0.7038	38.0	570	0.7283	0.1147	0.0186	0.0429	0.1429	0.1285
0.6953	39.0	585	0.7258	0.1119	0.0156	0.0366	0.1402	0.1265
0.703	40.0	600	0.7263	0.1028	0.0151	0.0365	0.1257	0.1185
0.6843	41.0	615	0.7248	0.1062	0.0153	0.0405	0.1310	0.1205
0.684	42.0	630	0.7243	0.1066	0.0153	0.0389	0.1243	0.1285
0.6861	43.0	645	0.7266	0.1043	0.0156	0.0376	0.1230	0.1245
0.6884	44.0	660	0.7246	0.1063	0.0159	0.0386	0.1257	0.1265
0.6833	45.0	675	0.7265	0.0983	0.0152	0.0360	0.1124	0.1205
0.6796	46.0	690	0.7216	0.1037	0.0161	0.0389	0.1230	0.1225
0.6842	47.0	705	0.7195	0.1127	0.0160	0.0384	0.1376	0.1305
0.679	48.0	720	0.7213	0.1063	0.0161	0.0386	0.1257	0.1265
0.6724	49.0	735	0.7213	0.1032	0.0154	0.0371	0.1204	0.1245
0.6615	50.0	750	0.7215	0.1056	0.0164	0.0387	0.1257	0.1245
0.6832	51.0	765	0.7202	0.1051	0.0154	0.0375	0.1230	0.1265
0.6792	52.0	780	0.7212	0.1070	0.0155	0.0375	0.1257	0.1285
0.6758	53.0	795	0.7202	0.1057	0.0169	0.0392	0.1257	0.1245
0.6424	54.0	810	0.7182	0.1057	0.0167	0.0392	0.1257	0.1245
0.6707	55.0	825	0.7151	0.1079	0.0167	0.0405	0.1270	0.1285
0.6709	56.0	840	0.7148	0.1124	0.0178	0.0421	0.1336	0.1325
0.677	57.0	855	0.7153	0.1166	0.0204	0.0443	0.1389	0.1365
0.66	58.0	870	0.7155	0.1109	0.0180	0.0403	0.1362	0.1265
0.6686	59.0	885	0.7161	0.1079	0.0167	0.0382	0.1296	0.1265
0.6486	60.0	900	0.7156	0.1092	0.0177	0.0393	0.1323	0.1265
0.6699	61.0	915	0.7174	0.1090	0.0177	0.0400	0.1296	0.1285
0.6555	62.0	930	0.7149	0.1153	0.0189	0.0435	0.1402	0.1325
0.6544	63.0	945	0.7138	0.1178	0.0195	0.0433	0.1402	0.1386
0.6424	64.0	960	0.7169	0.1172	0.0207	0.0447	0.1402	0.1365
0.6775	65.0	975	0.7135	0.1180	0.0206	0.0448	0.1402	0.1386
0.6391	66.0	990	0.7141	0.1222	0.0228	0.0470	0.1455	0.1426
0.6614	67.0	1005	0.7160	0.1202	0.0237	0.0473	0.1402	0.1426
0.66	68.0	1020	0.7165	0.1153	0.0203	0.0438	0.1336	0.1386
0.6372	69.0	1035	0.7140	0.1157	0.0199	0.0434	0.1349	0.1386
0.6668	70.0	1050	0.7133	0.1177	0.0227	0.0474	0.1402	0.1365
0.646	71.0	1065	0.7134	0.1207	0.0274	0.0539	0.1429	0.1386
0.6483	72.0	1080	0.7144	0.1198	0.0224	0.0471	0.1455	0.1365
0.6518	73.0	1095	0.7147	0.1198	0.0224	0.0471	0.1455	0.1365
0.6351	74.0	1110	0.7152	0.1205	0.0235	0.0484	0.1468	0.1365
0.6352	75.0	1125	0.7162	0.1160	0.0224	0.0471	0.1442	0.1285
0.6462	76.0	1140	0.7168	0.1153	0.0214	0.0458	0.1429	0.1285
0.6458	77.0	1155	0.7157	0.1190	0.0216	0.0457	0.1442	0.1365
0.6262	78.0	1170	0.7163	0.1198	0.0227	0.0469	0.1455	0.1365
0.6423	79.0	1185	0.7173	0.1152	0.0217	0.0448	0.1389	0.1325
0.6308	80.0	1200	0.7137	0.1153	0.0214	0.0458	0.1429	0.1285
0.6317	81.0	1215	0.7160	0.1143	0.0224	0.0460	0.1442	0.1245
0.642	82.0	1230	0.7153	0.1127	0.0201	0.0423	0.1376	0.1285
0.653	83.0	1245	0.7181	0.1123	0.0206	0.0434	0.1362	0.1285
0.6374	84.0	1260	0.7146	0.1152	0.0245	0.0499	0.1389	0.1305
0.6126	85.0	1275	0.7168	0.1212	0.0267	0.0482	0.1376	0.1466
0.6217	86.0	1290	0.7173	0.1190	0.0250	0.0499	0.1362	0.1426
0.6205	87.0	1305	0.7146	0.1205	0.0283	0.0561	0.1455	0.1345
0.6261	88.0	1320	0.7144	0.1177	0.0255	0.0528	0.1442	0.1305
0.6268	89.0	1335	0.7180	0.1195	0.0269	0.0528	0.1442	0.1345
0.6304	90.0	1350	0.7178	0.1202	0.0251	0.0511	0.1468	0.1345
0.6224	91.0	1365	0.7150	0.1130	0.0213	0.0448	0.1415	0.1245
0.6239	92.0	1380	0.7184	0.1205	0.0287	0.0563	0.1455	0.1345
0.6067	93.0	1395	0.7175	0.1241	0.0341	0.0654	0.1508	0.1345
0.6062	94.0	1410	0.7149	0.1197	0.0307	0.0595	0.1442	0.1325
0.6227	95.0	1425	0.7174	0.1149	0.0208	0.0428	0.1349	0.1365
0.6279	96.0	1440	0.7224	0.1221	0.0281	0.0542	0.1442	0.1406
0.6176	97.0	1455	0.7175	0.1231	0.0297	0.0596	0.1468	0.1386
0.6074	98.0	1470	0.7184	0.1196	0.0344	0.0625	0.1323	0.1426
0.6396	99.0	1485	0.7181	0.1272	0.0338	0.0647	0.1508	0.1426
0.6272	100.0	1500	0.7147	0.1158	0.0268	0.0540	0.1389	0.1305
0.6122	101.0	1515	0.7177	0.1222	0.0316	0.0563	0.1389	0.1446
0.605	102.0	1530	0.7167	0.1184	0.0284	0.0563	0.1442	0.1305
0.6204	103.0	1545	0.7170	0.1184	0.0286	0.0567	0.1442	0.1305
0.6125	104.0	1560	0.7182	0.1229	0.0324	0.0635	0.1548	0.1285
0.6073	105.0	1575	0.7183	0.1237	0.0328	0.0627	0.1548	0.1305
0.6215	106.0	1590	0.7147	0.1269	0.0324	0.0609	0.1495	0.1446
0.6332	107.0	1605	0.7145	0.1173	0.0262	0.0530	0.1468	0.1265
0.6063	108.0	1620	0.7155	0.1178	0.0300	0.0571	0.1442	0.1285
0.6059	109.0	1635	0.7146	0.1280	0.0335	0.0622	0.1574	0.1386
0.622	110.0	1650	0.7165	0.1316	0.0360	0.0612	0.1481	0.1566
0.6177	111.0	1665	0.7144	0.1204	0.0284	0.0551	0.1495	0.1305
0.6141	112.0	1680	0.7157	0.1232	0.0279	0.0542	0.1508	0.1365
0.5999	113.0	1695	0.7175	0.1235	0.0335	0.0626	0.1521	0.1325
0.6057	114.0	1710	0.7187	0.1276	0.0368	0.0630	0.1495	0.1446
0.6096	115.0	1725	0.7185	0.1290	0.0360	0.0622	0.1495	0.1486
0.6058	116.0	1740	0.7185	0.1293	0.0363	0.0622	0.1521	0.1466
0.6036	117.0	1755	0.7186	0.1299	0.0361	0.0624	0.1534	0.1466
0.6139	118.0	1770	0.7188	0.1302	0.0358	0.0609	0.1508	0.1506
0.6064	119.0	1785	0.7186	0.1280	0.0342	0.0614	0.1534	0.1426
0.5942	120.0	1800	0.7165	0.1312	0.0344	0.0612	0.1534	0.1506
0.5998	121.0	1815	0.7167	0.1297	0.0356	0.0611	0.1495	0.1506
0.6066	122.0	1830	0.7166	0.1314	0.0353	0.0626	0.1534	0.1506
0.606	123.0	1845	0.7186	0.1285	0.0350	0.0628	0.1521	0.1446
0.6017	124.0	1860	0.7193	0.1290	0.0350	0.0628	0.1534	0.1446
0.6087	125.0	1875	0.7195	0.1315	0.0367	0.0623	0.1495	0.1546
0.5982	126.0	1890	0.7201	0.1291	0.0359	0.0623	0.1455	0.1526
0.5976	127.0	1905	0.7208	0.1298	0.0346	0.0627	0.1495	0.1506
0.6024	128.0	1920	0.7174	0.1307	0.0366	0.0622	0.1495	0.1526
0.5963	129.0	1935	0.7182	0.1260	0.0347	0.0628	0.1521	0.1386
0.5936	130.0	1950	0.7185	0.1260	0.0347	0.0628	0.1521	0.1386
0.5968	131.0	1965	0.7176	0.1296	0.0363	0.0625	0.1508	0.1486
0.6023	132.0	1980	0.7177	0.1282	0.0365	0.0634	0.1468	0.1486
0.612	133.0	1995	0.7192	0.1274	0.0364	0.0636	0.1468	0.1466
0.5913	134.0	2010	0.7201	0.1303	0.0349	0.0598	0.1495	0.1526
0.5905	135.0	2025	0.7217	0.1303	0.0348	0.0600	0.1495	0.1526
0.6031	136.0	2040	0.7200	0.1307	0.0366	0.0625	0.1495	0.1526
0.5856	137.0	2055	0.7180	0.1312	0.0357	0.0623	0.1508	0.1526
0.6089	138.0	2070	0.7217	0.1317	0.0376	0.0634	0.1495	0.1546
0.5952	139.0	2085	0.7254	0.1250	0.0340	0.0608	0.1442	0.1446
0.5933	140.0	2100	0.7222	0.1246	0.0370	0.0669	0.1429	0.1426
0.5971	141.0	2115	0.7224	0.1276	0.0388	0.0663	0.1402	0.1526
0.6112	142.0	2130	0.7234	0.1306	0.0396	0.0663	0.1455	0.1546
0.5907	143.0	2145	0.7237	0.1329	0.0384	0.0633	0.1481	0.1586
0.5987	144.0	2160	0.7211	0.1287	0.0355	0.0621	0.1468	0.1506
0.578	145.0	2175	0.7234	0.1336	0.0380	0.0632	0.1481	0.1606
0.5984	146.0	2190	0.7226	0.1324	0.0383	0.0635	0.1468	0.1586
0.5928	147.0	2205	0.7230	0.1301	0.0366	0.0635	0.1455	0.1546
0.5775	148.0	2220	0.7226	0.1301	0.0366	0.0635	0.1455	0.1546
0.5849	149.0	2235	0.7216	0.1315	0.0380	0.0633	0.1468	0.1566
0.5821	150.0	2250	0.7210	0.1320	0.0368	0.0616	0.1468	0.1586
0.5766	151.0	2265	0.7196	0.1293	0.0368	0.0633	0.1455	0.1526
0.5894	152.0	2280	0.7207	0.1308	0.0383	0.0636	0.1468	0.1546
0.5848	153.0	2295	0.7207	0.1285	0.0367	0.0636	0.1455	0.1506
0.5853	154.0	2310	0.7246	0.1306	0.0367	0.0636	0.1468	0.1546
0.6032	155.0	2325	0.7204	0.1290	0.0367	0.0636	0.1468	0.1506
0.5995	156.0	2340	0.7201	0.1279	0.0355	0.0620	0.1468	0.1486
0.5766	157.0	2355	0.7211	0.1295	0.0355	0.0620	0.1468	0.1526
0.5916	158.0	2370	0.7230	0.1329	0.0383	0.0636	0.1481	0.1586
0.5909	159.0	2385	0.7254	0.1296	0.0373	0.0635	0.1481	0.1506
0.585	160.0	2400	0.7227	0.1273	0.0357	0.0635	0.1468	0.1466
0.578	161.0	2415	0.7208	0.1284	0.0360	0.0635	0.1455	0.1506
0.5822	162.0	2430	0.7199	0.1289	0.0366	0.0623	0.1468	0.1506
0.6	163.0	2445	0.7205	0.1322	0.0373	0.0624	0.1468	0.1586
0.5862	164.0	2460	0.7184	0.1306	0.0380	0.0626	0.1468	0.1546
0.573	165.0	2475	0.7206	0.1272	0.0359	0.0589	0.1376	0.1566
0.5695	166.0	2490	0.7245	0.1246	0.0348	0.0586	0.1376	0.1506
0.5683	167.0	2505	0.7221	0.1280	0.0342	0.0611	0.1455	0.1506
0.5696	168.0	2520	0.7215	0.1298	0.0355	0.0622	0.1455	0.1546
0.5652	169.0	2535	0.7217	0.1313	0.0380	0.0637	0.1442	0.1586
0.5819	170.0	2550	0.7246	0.1276	0.0345	0.0565	0.1415	0.1546
0.5903	171.0	2565	0.7258	0.1292	0.0348	0.0565	0.1415	0.1586
0.595	172.0	2580	0.7216	0.1337	0.0375	0.0620	0.1508	0.1586
0.5833	173.0	2595	0.7234	0.1268	0.0350	0.0587	0.1389	0.1546
0.5737	174.0	2610	0.7222	0.1268	0.0350	0.0587	0.1389	0.1546
0.5739	175.0	2625	0.7223	0.1262	0.0350	0.0587	0.1376	0.1546
0.582	176.0	2640	0.7225	0.1282	0.0375	0.0651	0.1402	0.1546
0.5715	177.0	2655	0.7227	0.1290	0.0345	0.0610	0.1481	0.1506
0.5667	178.0	2670	0.7223	0.1307	0.0352	0.0612	0.1481	0.1546
0.5854	179.0	2685	0.7221	0.1299	0.0351	0.0610	0.1481	0.1526
0.5713	180.0	2700	0.7246	0.1310	0.0369	0.0622	0.1481	0.1546
0.5801	181.0	2715	0.7221	0.1257	0.0368	0.0653	0.1402	0.1486
0.5758	182.0	2730	0.7209	0.1288	0.0382	0.0649	0.1415	0.1546
0.5709	183.0	2745	0.7205	0.1269	0.0367	0.0635	0.1415	0.1506
0.5639	184.0	2760	0.7212	0.1221	0.0344	0.0601	0.1310	0.1506
0.5663	185.0	2775	0.7202	0.1238	0.0348	0.0638	0.1402	0.1446
0.5647	186.0	2790	0.7203	0.1246	0.0354	0.0637	0.1402	0.1466
0.5594	187.0	2805	0.7221	0.1246	0.0354	0.0637	0.1402	0.1466
0.5781	188.0	2820	0.7248	0.1304	0.0396	0.0662	0.1429	0.1566
0.5748	189.0	2835	0.7245	0.1271	0.0379	0.0649	0.1415	0.1506
0.5778	190.0	2850	0.7251	0.1198	0.0356	0.0602	0.1310	0.1446
0.5752	191.0	2865	0.7242	0.1198	0.0356	0.0605	0.1310	0.1446
0.5732	192.0	2880	0.7210	0.1274	0.0392	0.0664	0.1415	0.1506
0.5743	193.0	2895	0.7217	0.1257	0.0363	0.0651	0.1402	0.1486
0.5593	194.0	2910	0.7225	0.1177	0.0348	0.0618	0.1296	0.1406
0.5764	195.0	2925	0.7224	0.1190	0.0342	0.0615	0.1310	0.1426
0.581	196.0	2940	0.7223	0.1191	0.0348	0.0619	0.1310	0.1426
0.5725	197.0	2955	0.7212	0.1188	0.0336	0.0605	0.1310	0.1426
0.5636	198.0	2970	0.7202	0.1191	0.0348	0.0619	0.1310	0.1426
0.5683	199.0	2985	0.7197	0.1188	0.0335	0.0604	0.1310	0.1426
0.5703	200.0	3000	0.7197	0.1125	0.0317	0.0603	0.1296	0.1285
0.5642	201.0	3015	0.7199	0.1210	0.0348	0.0603	0.1323	0.1466
0.5621	202.0	3030	0.7198	0.1209	0.0342	0.0599	0.1323	0.1466
0.5614	203.0	3045	0.7233	0.1125	0.0317	0.0603	0.1296	0.1285
0.5614	204.0	3060	0.7244	0.1121	0.0329	0.0606	0.1283	0.1285
0.5814	205.0	3075	0.7237	0.1104	0.0322	0.0605	0.1283	0.1245
0.5623	206.0	3090	0.7226	0.1104	0.0322	0.0605	0.1283	0.1245
0.5613	207.0	3105	0.7239	0.1170	0.0336	0.0587	0.1310	0.1386
0.5531	208.0	3120	0.7233	0.1202	0.0345	0.0599	0.1323	0.1446
0.5667	209.0	3135	0.7225	0.1170	0.0336	0.0587	0.1310	0.1386
0.561	210.0	3150	0.7222	0.1171	0.0340	0.0589	0.1310	0.1386
0.5619	211.0	3165	0.7245	0.1133	0.0332	0.0589	0.1296	0.1305
0.5619	212.0	3180	0.7249	0.1133	0.0337	0.0591	0.1296	0.1305
0.5691	213.0	3195	0.7241	0.1141	0.0333	0.0590	0.1296	0.1325
0.5685	214.0	3210	0.7231	0.1133	0.0332	0.0589	0.1296	0.1305
0.5601	215.0	3225	0.7220	0.1210	0.0346	0.0597	0.1323	0.1466
0.5527	216.0	3240	0.7226	0.1210	0.0346	0.0597	0.1323	0.1466
0.563	217.0	3255	0.7220	0.1210	0.0346	0.0597	0.1323	0.1466
0.5495	218.0	3270	0.7234	0.1133	0.0337	0.0591	0.1296	0.1305
0.55	219.0	3285	0.7234	0.1172	0.0336	0.0601	0.1349	0.1345
0.5518	220.0	3300	0.7225	0.1156	0.0339	0.0603	0.1310	0.1345
0.5617	221.0	3315	0.7230	0.1164	0.0336	0.0602	0.1310	0.1365
0.5567	222.0	3330	0.7237	0.1210	0.0346	0.0599	0.1362	0.1426
0.561	223.0	3345	0.7226	0.1202	0.0345	0.0601	0.1362	0.1406
0.5631	224.0	3360	0.7225	0.1178	0.0343	0.0603	0.1323	0.1386
0.5644	225.0	3375	0.7225	0.1195	0.0344	0.0588	0.1310	0.1446
0.5475	226.0	3390	0.7204	0.1262	0.0363	0.0623	0.1402	0.1506
0.5566	227.0	3405	0.7224	0.1248	0.0357	0.0593	0.1336	0.1546
0.5631	228.0	3420	0.7232	0.1293	0.0369	0.0608	0.1402	0.1586
0.5603	229.0	3435	0.7250	0.1282	0.0397	0.0650	0.1336	0.1606
0.5581	230.0	3450	0.7247	0.1197	0.0354	0.0600	0.1310	0.1446
0.566	231.0	3465	0.7243	0.1189	0.0352	0.0602	0.1310	0.1426
0.5556	232.0	3480	0.7243	0.1189	0.0352	0.0602	0.1310	0.1426
0.541	233.0	3495	0.7242	0.1187	0.0344	0.0588	0.1310	0.1426
0.5681	234.0	3510	0.7261	0.1214	0.0360	0.0600	0.1310	0.1486
0.549	235.0	3525	0.7271	0.1223	0.0393	0.0655	0.1310	0.1486
0.5499	236.0	3540	0.7269	0.1223	0.0393	0.0655	0.1310	0.1486
0.5482	237.0	3555	0.7267	0.1215	0.0392	0.0657	0.1310	0.1466
0.5558	238.0	3570	0.7257	0.1200	0.0360	0.0617	0.1310	0.1446
0.5623	239.0	3585	0.7261	0.1199	0.0354	0.0616	0.1310	0.1446
0.5576	240.0	3600	0.7269	0.1231	0.0390	0.0659	0.1310	0.1506
0.5462	241.0	3615	0.7269	0.1239	0.0392	0.0657	0.1310	0.1526
0.5573	242.0	3630	0.7264	0.1239	0.0395	0.0654	0.1310	0.1526
0.55	243.0	3645	0.7257	0.1206	0.0384	0.0658	0.1310	0.1446
0.5564	244.0	3660	0.7247	0.1204	0.0376	0.0645	0.1310	0.1446
0.552	245.0	3675	0.7243	0.1223	0.0389	0.0661	0.1310	0.1486
0.5596	246.0	3690	0.7242	0.1214	0.0386	0.0656	0.1310	0.1466
0.5527	247.0	3705	0.7240	0.1261	0.0374	0.0627	0.1336	0.1566
0.5629	248.0	3720	0.7239	0.1261	0.0374	0.0627	0.1336	0.1566
0.5605	249.0	3735	0.7249	0.1249	0.0380	0.0635	0.1323	0.1546
0.5604	250.0	3750	0.7247	0.1248	0.0371	0.0636	0.1362	0.1506
0.5516	251.0	3765	0.7238	0.1239	0.0362	0.0638	0.1362	0.1486
0.559	252.0	3780	0.7235	0.1229	0.0355	0.0622	0.1362	0.1466
0.5567	253.0	3795	0.7224	0.1221	0.0354	0.0624	0.1362	0.1446
0.5475	254.0	3810	0.7225	0.1240	0.0367	0.0638	0.1362	0.1486
0.5549	255.0	3825	0.7232	0.1287	0.0380	0.0646	0.1376	0.1586
0.5572	256.0	3840	0.7231	0.1210	0.0367	0.0632	0.1310	0.1466
0.5618	257.0	3855	0.7223	0.1210	0.0367	0.0632	0.1310	0.1466
0.5487	258.0	3870	0.7238	0.1226	0.0368	0.0632	0.1349	0.1466
0.5601	259.0	3885	0.7237	0.1211	0.0372	0.0637	0.1349	0.1426
0.5581	260.0	3900	0.7247	0.1226	0.0368	0.0632	0.1349	0.1466
0.5483	261.0	3915	0.7249	0.1226	0.0368	0.0632	0.1349	0.1466
0.5531	262.0	3930	0.7241	0.1270	0.0394	0.0671	0.1442	0.1466
0.5467	263.0	3945	0.7230	0.1277	0.0387	0.0669	0.1442	0.1486
0.5565	264.0	3960	0.7228	0.1277	0.0387	0.0669	0.1442	0.1486
0.5469	265.0	3975	0.7234	0.1277	0.0387	0.0669	0.1442	0.1486
0.5527	266.0	3990	0.7238	0.1315	0.0396	0.0671	0.1455	0.1566
0.5402	267.0	4005	0.7243	0.1323	0.0398	0.0669	0.1455	0.1586
0.5561	268.0	4020	0.7245	0.1234	0.0369	0.0630	0.1349	0.1486
0.5452	269.0	4035	0.7255	0.1218	0.0374	0.0628	0.1310	0.1486
0.5399	270.0	4050	0.7249	0.1218	0.0374	0.0628	0.1310	0.1486
0.5623	271.0	4065	0.7241	0.1218	0.0374	0.0628	0.1310	0.1486
0.5552	272.0	4080	0.7235	0.1249	0.0381	0.0632	0.1323	0.1546
0.558	273.0	4095	0.7233	0.1234	0.0386	0.0637	0.1323	0.1506
0.5359	274.0	4110	0.7236	0.1234	0.0386	0.0637	0.1323	0.1506
0.533	275.0	4125	0.7240	0.1234	0.0386	0.0637	0.1323	0.1506
0.5488	276.0	4140	0.7241	0.1234	0.0386	0.0637	0.1323	0.1506
0.5684	277.0	4155	0.7238	0.1221	0.0387	0.0637	0.1310	0.1486
0.5507	278.0	4170	0.7239	0.1251	0.0395	0.0641	0.1323	0.1546
0.5534	279.0	4185	0.7238	0.1218	0.0374	0.0628	0.1310	0.1486
0.5401	280.0	4200	0.7243	0.1218	0.0374	0.0628	0.1310	0.1486
0.5586	281.0	4215	0.7240	0.1211	0.0378	0.0637	0.1349	0.1426
0.5392	282.0	4230	0.7238	0.1227	0.0373	0.0633	0.1349	0.1466
0.5489	283.0	4245	0.7239	0.1218	0.0374	0.0628	0.1310	0.1486
0.5659	284.0	4260	0.7243	0.1249	0.0381	0.0632	0.1323	0.1546
0.549	285.0	4275	0.7246	0.1249	0.0381	0.0632	0.1323	0.1546
0.5501	286.0	4290	0.7246	0.1249	0.0381	0.0632	0.1323	0.1546
0.5517	287.0	4305	0.7244	0.1249	0.0381	0.0632	0.1323	0.1546
0.5516	288.0	4320	0.7247	0.1249	0.0381	0.0632	0.1323	0.1546
0.5507	289.0	4335	0.7247	0.1249	0.0381	0.0632	0.1323	0.1546
0.5407	290.0	4350	0.7246	0.1249	0.0381	0.0632	0.1323	0.1546
0.5399	291.0	4365	0.7245	0.1248	0.0376	0.0632	0.1323	0.1546
0.5447	292.0	4380	0.7244	0.1248	0.0376	0.0632	0.1323	0.1546
0.5601	293.0	4395	0.7246	0.1248	0.0376	0.0632	0.1323	0.1546
0.5575	294.0	4410	0.7246	0.1248	0.0376	0.0632	0.1323	0.1546
0.5504	295.0	4425	0.7245	0.1248	0.0376	0.0632	0.1323	0.1546
0.5423	296.0	4440	0.7245	0.1248	0.0376	0.0632	0.1323	0.1546
0.5527	297.0	4455	0.7245	0.1248	0.0376	0.0632	0.1323	0.1546
0.5504	298.0	4470	0.7246	0.1248	0.0376	0.0632	0.1323	0.1546
0.5592	299.0	4485	0.7246	0.1248	0.0376	0.0632	0.1323	0.1546
0.546	300.0	4500	0.7246	0.1248	0.0376	0.0632	0.1323	0.1546

Framework versions

• Transformers 4.31.0
• Pytorch 2.0.1
• Datasets 2.14.4
• Tokenizers 0.13.3