codet5p-770m-py-sanitized-codebleu-1-True-5e-05-0.1-lora-layer_17

This model is a fine-tuned version of Salesforce/codet5p-770m-py on the mbpp dataset. It achieves the following results on the evaluation set:

• Loss: 0.7311
• Codebleu: 0.1184
• Ngram Match Score: 0.0300
• Weighted Ngram Match Score: 0.0545
• Syntax Match Score: 0.1402
• Dataflow Match Score: 0.1345

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 5e-05
• train_batch_size: 8
• eval_batch_size: 8
• seed: 42
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: linear
• lr_scheduler_warmup_steps: 100
• num_epochs: 300

Training results

Training Loss	Epoch	Step	Validation Loss	Codebleu	Ngram Match Score	Weighted Ngram Match Score	Syntax Match Score	Dataflow Match Score
0.9723	1.0	15	0.9246	0.0072	0.0000	0.0000	0.0079	0.0100
0.9651	2.0	30	0.9235	0.0072	0.0000	0.0000	0.0079	0.0100
0.9723	3.0	45	0.9208	0.0072	0.0000	0.0000	0.0079	0.0100
0.9441	4.0	60	0.9149	0.0080	0.0000	0.0000	0.0079	0.0120
0.9537	5.0	75	0.9025	0.0096	0.0000	0.0002	0.0079	0.0161
0.9445	6.0	90	0.8811	0.0469	0.0010	0.0264	0.0503	0.0602
0.9318	7.0	105	0.8526	0.0879	0.0149	0.0398	0.1138	0.0924
0.874	8.0	120	0.8300	0.0947	0.0178	0.0407	0.1217	0.1004
0.8532	9.0	135	0.8090	0.0971	0.0152	0.0379	0.1111	0.1185
0.8348	10.0	150	0.7929	0.0952	0.0155	0.0365	0.1085	0.1165
0.8147	11.0	165	0.7826	0.1038	0.0188	0.0457	0.1230	0.1205
0.8024	12.0	180	0.7757	0.0962	0.0178	0.0446	0.1204	0.1044
0.7862	13.0	195	0.7705	0.1055	0.0177	0.0448	0.1336	0.1145
0.7697	14.0	210	0.7653	0.0963	0.0163	0.0442	0.1111	0.1145
0.781	15.0	225	0.7606	0.0979	0.0169	0.0441	0.1190	0.1104
0.7809	16.0	240	0.7567	0.1041	0.0166	0.0428	0.1270	0.1185
0.7622	17.0	255	0.7532	0.0979	0.0138	0.0371	0.1217	0.1104
0.7428	18.0	270	0.7500	0.0983	0.0133	0.0354	0.1230	0.1104
0.7511	19.0	285	0.7459	0.0996	0.0188	0.0465	0.1243	0.1084
0.7422	20.0	300	0.7425	0.1063	0.0200	0.0483	0.1323	0.1165
0.7271	21.0	315	0.7393	0.1121	0.0243	0.0567	0.1376	0.1225
0.7239	22.0	330	0.7357	0.1080	0.0255	0.0569	0.1310	0.1185
0.7239	23.0	345	0.7342	0.1145	0.0279	0.0583	0.1362	0.1285
0.7209	24.0	360	0.7325	0.1089	0.0268	0.0567	0.1310	0.1205
0.7414	25.0	375	0.7296	0.1150	0.0277	0.0583	0.1376	0.1285
0.7141	26.0	390	0.7280	0.1066	0.0256	0.0509	0.1270	0.1205
0.7012	27.0	405	0.7261	0.1043	0.0257	0.0510	0.1230	0.1185
0.7083	28.0	420	0.7250	0.1072	0.0257	0.0514	0.1283	0.1205
0.6938	29.0	435	0.7242	0.1052	0.0241	0.0512	0.1296	0.1145
0.692	30.0	450	0.7237	0.1022	0.0239	0.0509	0.1243	0.1124
0.6887	31.0	465	0.7223	0.1022	0.0239	0.0509	0.1243	0.1124
0.6855	32.0	480	0.7206	0.0997	0.0247	0.0513	0.1177	0.1124
0.6819	33.0	495	0.7192	0.1034	0.0248	0.0514	0.1230	0.1165
0.6835	34.0	510	0.7157	0.1070	0.0253	0.0516	0.1257	0.1225
0.6652	35.0	525	0.7147	0.1124	0.0269	0.0532	0.1283	0.1325
0.6905	36.0	540	0.7132	0.1057	0.0241	0.0511	0.1230	0.1225
0.6756	37.0	555	0.7133	0.1065	0.0257	0.0516	0.1204	0.1265
0.6782	38.0	570	0.7144	0.1047	0.0248	0.0510	0.1204	0.1225
0.67	39.0	585	0.7117	0.1059	0.0256	0.0516	0.1230	0.1225
0.673	40.0	600	0.7112	0.1088	0.0260	0.0527	0.1217	0.1305
0.66	41.0	615	0.7127	0.1088	0.0256	0.0512	0.1204	0.1325
0.6564	42.0	630	0.7138	0.1077	0.0211	0.0446	0.1164	0.1365
0.6546	43.0	645	0.7111	0.1076	0.0247	0.0507	0.1177	0.1325
0.6542	44.0	660	0.7099	0.1076	0.0244	0.0503	0.1177	0.1325
0.6489	45.0	675	0.7107	0.1085	0.0249	0.0511	0.1177	0.1345
0.644	46.0	690	0.7098	0.1075	0.0195	0.0409	0.1151	0.1386
0.6441	47.0	705	0.7086	0.1099	0.0216	0.0445	0.1177	0.1406
0.6482	48.0	720	0.7098	0.1146	0.0260	0.0520	0.1243	0.1426
0.642	49.0	735	0.7089	0.1068	0.0247	0.0505	0.1138	0.1345
0.6359	50.0	750	0.7096	0.1190	0.0283	0.0565	0.1296	0.1466
0.6582	51.0	765	0.7100	0.1167	0.0294	0.0567	0.1257	0.1446
0.648	52.0	780	0.7093	0.1056	0.0283	0.0586	0.1138	0.1285
0.6416	53.0	795	0.7079	0.1056	0.0283	0.0586	0.1138	0.1285
0.6124	54.0	810	0.7077	0.1033	0.0235	0.0488	0.1098	0.1305
0.6341	55.0	825	0.7081	0.1060	0.0239	0.0482	0.1124	0.1345
0.6356	56.0	840	0.7085	0.1083	0.0272	0.0544	0.1177	0.1325
0.6364	57.0	855	0.7083	0.1121	0.0252	0.0495	0.1151	0.1466
0.6268	58.0	870	0.7079	0.1044	0.0239	0.0481	0.1045	0.1386
0.6438	59.0	885	0.7078	0.1047	0.0250	0.0499	0.1045	0.1386
0.6108	60.0	900	0.7090	0.1144	0.0282	0.0557	0.1204	0.1446
0.6298	61.0	915	0.7098	0.1110	0.0277	0.0546	0.1164	0.1406
0.6173	62.0	930	0.7092	0.1059	0.0248	0.0490	0.1098	0.1365
0.6199	63.0	945	0.7078	0.1022	0.0276	0.0545	0.1045	0.1305
0.6077	64.0	960	0.7099	0.1041	0.0241	0.0478	0.1098	0.1325
0.6355	65.0	975	0.7082	0.1099	0.0289	0.0559	0.1151	0.1386
0.5966	66.0	990	0.7103	0.1102	0.0237	0.0476	0.1190	0.1386
0.6213	67.0	1005	0.7072	0.0968	0.0183	0.0392	0.0992	0.1285
0.6106	68.0	1020	0.7078	0.1031	0.0247	0.0502	0.1045	0.1345
0.593	69.0	1035	0.7080	0.1006	0.0198	0.0408	0.1058	0.1305
0.6202	70.0	1050	0.7081	0.0929	0.0187	0.0394	0.0952	0.1225
0.5993	71.0	1065	0.7094	0.0937	0.0198	0.0411	0.0926	0.1265
0.602	72.0	1080	0.7093	0.0937	0.0198	0.0411	0.0926	0.1265
0.6061	73.0	1095	0.7103	0.0962	0.0187	0.0385	0.1058	0.1205
0.6005	74.0	1110	0.7073	0.1012	0.0199	0.0408	0.1032	0.1345
0.59	75.0	1125	0.7094	0.0950	0.0222	0.0459	0.0979	0.1225
0.6021	76.0	1140	0.7079	0.0870	0.0140	0.0307	0.0939	0.1124
0.6003	77.0	1155	0.7072	0.1043	0.0274	0.0543	0.1138	0.1265
0.5919	78.0	1170	0.7067	0.0994	0.0230	0.0470	0.1124	0.1185
0.5945	79.0	1185	0.7071	0.0925	0.0187	0.0388	0.1005	0.1165
0.591	80.0	1200	0.7062	0.0940	0.0190	0.0395	0.0979	0.1225
0.5979	81.0	1215	0.7097	0.1059	0.0244	0.0490	0.1138	0.1325
0.5914	82.0	1230	0.7066	0.0999	0.0259	0.0522	0.1138	0.1165
0.6099	83.0	1245	0.7077	0.1012	0.0267	0.0541	0.1164	0.1165
0.5859	84.0	1260	0.7083	0.1002	0.0258	0.0524	0.1164	0.1145
0.5767	85.0	1275	0.7094	0.1002	0.0258	0.0524	0.1164	0.1145
0.5828	86.0	1290	0.7090	0.1010	0.0263	0.0524	0.1164	0.1165
0.578	87.0	1305	0.7078	0.1008	0.0266	0.0525	0.1177	0.1145
0.5889	88.0	1320	0.7066	0.1000	0.0243	0.0465	0.1138	0.1185
0.5857	89.0	1335	0.7066	0.1011	0.0269	0.0529	0.1204	0.1124
0.5789	90.0	1350	0.7091	0.1006	0.0233	0.0461	0.1217	0.1124
0.5823	91.0	1365	0.7084	0.1005	0.0233	0.0454	0.1217	0.1124
0.576	92.0	1380	0.7090	0.0993	0.0237	0.0454	0.1164	0.1145
0.5619	93.0	1395	0.7098	0.1027	0.0239	0.0454	0.1270	0.1124
0.5678	94.0	1410	0.7085	0.1027	0.0239	0.0454	0.1270	0.1124
0.5733	95.0	1425	0.7099	0.1035	0.0239	0.0454	0.1230	0.1185
0.5811	96.0	1440	0.7096	0.1019	0.0239	0.0454	0.1230	0.1145
0.5832	97.0	1455	0.7074	0.1015	0.0242	0.0460	0.1217	0.1145
0.563	98.0	1470	0.7086	0.1028	0.0242	0.0456	0.1270	0.1124
0.5849	99.0	1485	0.7092	0.1047	0.0275	0.0514	0.1296	0.1124
0.574	100.0	1500	0.7080	0.1048	0.0279	0.0517	0.1296	0.1124
0.569	101.0	1515	0.7077	0.1047	0.0275	0.0514	0.1296	0.1124
0.5583	102.0	1530	0.7074	0.1027	0.0236	0.0454	0.1270	0.1124
0.5714	103.0	1545	0.7074	0.1076	0.0310	0.0582	0.1323	0.1145
0.5657	104.0	1560	0.7084	0.1076	0.0310	0.0582	0.1323	0.1145
0.5609	105.0	1575	0.7089	0.1056	0.0277	0.0521	0.1296	0.1145
0.5699	106.0	1590	0.7076	0.1011	0.0240	0.0452	0.1230	0.1124
0.5782	107.0	1605	0.7104	0.1011	0.0240	0.0452	0.1230	0.1124
0.5476	108.0	1620	0.7092	0.1012	0.0243	0.0456	0.1230	0.1124
0.5651	109.0	1635	0.7084	0.1032	0.0279	0.0515	0.1257	0.1124
0.5676	110.0	1650	0.7123	0.1001	0.0254	0.0470	0.1217	0.1104
0.5586	111.0	1665	0.7108	0.1030	0.0260	0.0486	0.1243	0.1145
0.5527	112.0	1680	0.7120	0.1067	0.0297	0.0533	0.1296	0.1165
0.5539	113.0	1695	0.7091	0.1040	0.0248	0.0468	0.1257	0.1165
0.5587	114.0	1710	0.7094	0.1050	0.0257	0.0476	0.1257	0.1185
0.5591	115.0	1725	0.7110	0.1064	0.0286	0.0532	0.1270	0.1185
0.5517	116.0	1740	0.7113	0.1072	0.0297	0.0549	0.1283	0.1185
0.5458	117.0	1755	0.7109	0.1070	0.0295	0.0536	0.1283	0.1185
0.5634	118.0	1770	0.7105	0.1067	0.0292	0.0532	0.1296	0.1165
0.5565	119.0	1785	0.7105	0.1070	0.0292	0.0532	0.1283	0.1185
0.5406	120.0	1800	0.7115	0.1074	0.0297	0.0543	0.1270	0.1205
0.5497	121.0	1815	0.7126	0.1030	0.0264	0.0484	0.1243	0.1145
0.5488	122.0	1830	0.7115	0.1098	0.0289	0.0532	0.1376	0.1165
0.5517	123.0	1845	0.7117	0.1123	0.0335	0.0600	0.1389	0.1185
0.5478	124.0	1860	0.7156	0.1097	0.0303	0.0551	0.1283	0.1245
0.5516	125.0	1875	0.7143	0.1101	0.0340	0.0608	0.1310	0.1205
0.5352	126.0	1890	0.7125	0.1101	0.0332	0.0600	0.1336	0.1185
0.5382	127.0	1905	0.7119	0.1024	0.0272	0.0490	0.1204	0.1165
0.5421	128.0	1920	0.7139	0.1032	0.0273	0.0490	0.1243	0.1145
0.5463	129.0	1935	0.7138	0.1104	0.0350	0.0611	0.1336	0.1185
0.5378	130.0	1950	0.7142	0.1084	0.0313	0.0553	0.1310	0.1185
0.5401	131.0	1965	0.7137	0.1104	0.0345	0.0609	0.1336	0.1185
0.5486	132.0	1980	0.7154	0.1084	0.0313	0.0553	0.1310	0.1185
0.5526	133.0	1995	0.7166	0.1056	0.0261	0.0477	0.1270	0.1185
0.5196	134.0	2010	0.7162	0.1028	0.0228	0.0413	0.1204	0.1205
0.5389	135.0	2025	0.7151	0.1058	0.0263	0.0477	0.1296	0.1165
0.5383	136.0	2040	0.7133	0.1142	0.0348	0.0616	0.1349	0.1265
0.5219	137.0	2055	0.7120	0.1142	0.0348	0.0616	0.1349	0.1265
0.541	138.0	2070	0.7147	0.1077	0.0292	0.0532	0.1323	0.1165
0.5477	139.0	2085	0.7160	0.1045	0.0259	0.0475	0.1243	0.1185
0.5403	140.0	2100	0.7128	0.1049	0.0228	0.0423	0.1376	0.1084
0.5439	141.0	2115	0.7127	0.1036	0.0257	0.0472	0.1283	0.1124
0.5401	142.0	2130	0.7122	0.1005	0.0223	0.0410	0.1230	0.1124
0.5229	143.0	2145	0.7147	0.1026	0.0224	0.0410	0.1283	0.1124
0.5444	144.0	2160	0.7130	0.1198	0.0346	0.0628	0.1548	0.1205
0.5272	145.0	2175	0.7121	0.1068	0.0228	0.0423	0.1402	0.1104
0.5363	146.0	2190	0.7149	0.1098	0.0254	0.0482	0.1415	0.1145
0.5377	147.0	2205	0.7173	0.1118	0.0291	0.0543	0.1442	0.1145
0.5264	148.0	2220	0.7165	0.1120	0.0263	0.0488	0.1468	0.1145
0.5395	149.0	2235	0.7155	0.1139	0.0270	0.0507	0.1468	0.1185
0.5202	150.0	2250	0.7156	0.1205	0.0311	0.0566	0.1548	0.1245
0.528	151.0	2265	0.7160	0.1158	0.0277	0.0502	0.1376	0.1325
0.5392	152.0	2280	0.7169	0.1188	0.0278	0.0512	0.1548	0.1225
0.5289	153.0	2295	0.7144	0.1238	0.0326	0.0594	0.1601	0.1265
0.5197	154.0	2310	0.7161	0.1217	0.0325	0.0594	0.1548	0.1265
0.533	155.0	2325	0.7158	0.1218	0.0354	0.0653	0.1548	0.1245
0.5468	156.0	2340	0.7162	0.1226	0.0361	0.0651	0.1548	0.1265
0.5252	157.0	2355	0.7137	0.1217	0.0327	0.0596	0.1548	0.1265
0.5315	158.0	2370	0.7160	0.1213	0.0320	0.0581	0.1521	0.1285
0.5226	159.0	2385	0.7203	0.1225	0.0346	0.0631	0.1574	0.1245
0.5243	160.0	2400	0.7219	0.1227	0.0330	0.0585	0.1574	0.1265
0.5246	161.0	2415	0.7168	0.1247	0.0332	0.0598	0.1601	0.1285
0.5235	162.0	2430	0.7143	0.1226	0.0349	0.0631	0.1574	0.1245
0.5412	163.0	2445	0.7153	0.1206	0.0313	0.0575	0.1548	0.1245
0.5279	164.0	2460	0.7136	0.1151	0.0307	0.0562	0.1376	0.1285
0.5103	165.0	2475	0.7142	0.1206	0.0316	0.0578	0.1548	0.1245
0.5197	166.0	2490	0.7153	0.1256	0.0336	0.0596	0.1601	0.1305
0.5201	167.0	2505	0.7172	0.1256	0.0336	0.0596	0.1601	0.1305
0.5119	168.0	2520	0.7181	0.1198	0.0317	0.0573	0.1548	0.1225
0.5058	169.0	2535	0.7177	0.1184	0.0285	0.0519	0.1495	0.1265
0.512	170.0	2550	0.7186	0.1184	0.0274	0.0500	0.1521	0.1245
0.5258	171.0	2565	0.7195	0.1132	0.0270	0.0493	0.1455	0.1185
0.5302	172.0	2580	0.7186	0.1198	0.0314	0.0573	0.1548	0.1225
0.5185	173.0	2595	0.7186	0.1146	0.0284	0.0513	0.1481	0.1185
0.5184	174.0	2610	0.7220	0.1197	0.0315	0.0570	0.1548	0.1225
0.5162	175.0	2625	0.7214	0.1200	0.0314	0.0569	0.1534	0.1245
0.5148	176.0	2640	0.7212	0.1200	0.0312	0.0566	0.1534	0.1245
0.51	177.0	2655	0.7205	0.1059	0.0225	0.0416	0.1243	0.1245
0.5035	178.0	2670	0.7203	0.1135	0.0242	0.0445	0.1442	0.1225
0.5199	179.0	2685	0.7212	0.1188	0.0276	0.0508	0.1508	0.1265
0.503	180.0	2700	0.7226	0.1267	0.0364	0.0653	0.1587	0.1325
0.5107	181.0	2715	0.7233	0.1267	0.0366	0.0656	0.1587	0.1325
0.5144	182.0	2730	0.7226	0.1187	0.0311	0.0573	0.1481	0.1265
0.5172	183.0	2745	0.7218	0.1245	0.0331	0.0603	0.1534	0.1345
0.5074	184.0	2760	0.7224	0.1194	0.0278	0.0515	0.1481	0.1305
0.5063	185.0	2775	0.7229	0.1246	0.0362	0.0656	0.1534	0.1325
0.5019	186.0	2790	0.7236	0.1239	0.0373	0.0657	0.1534	0.1305
0.5008	187.0	2805	0.7214	0.1238	0.0367	0.0656	0.1534	0.1305
0.5105	188.0	2820	0.7243	0.1226	0.0356	0.0656	0.1508	0.1305
0.521	189.0	2835	0.7234	0.1250	0.0371	0.0660	0.1561	0.1305
0.5139	190.0	2850	0.7223	0.1248	0.0363	0.0656	0.1561	0.1305
0.5229	191.0	2865	0.7215	0.1267	0.0366	0.0656	0.1587	0.1325
0.4978	192.0	2880	0.7209	0.1260	0.0371	0.0656	0.1587	0.1305
0.5117	193.0	2895	0.7227	0.1260	0.0371	0.0656	0.1587	0.1305
0.5017	194.0	2910	0.7204	0.1205	0.0365	0.0643	0.1415	0.1345
0.5047	195.0	2925	0.7192	0.1259	0.0363	0.0656	0.1587	0.1305
0.512	196.0	2940	0.7219	0.1267	0.0361	0.0656	0.1587	0.1325
0.5023	197.0	2955	0.7236	0.1267	0.0366	0.0656	0.1587	0.1325
0.5	198.0	2970	0.7233	0.1266	0.0357	0.0656	0.1587	0.1325
0.5083	199.0	2985	0.7226	0.1266	0.0357	0.0656	0.1587	0.1325
0.5083	200.0	3000	0.7222	0.1283	0.0362	0.0659	0.1627	0.1325
0.5027	201.0	3015	0.7246	0.1197	0.0365	0.0645	0.1415	0.1325
0.4968	202.0	3030	0.7250	0.1197	0.0365	0.0645	0.1415	0.1325
0.5022	203.0	3045	0.7240	0.1234	0.0362	0.0644	0.1508	0.1325
0.5024	204.0	3060	0.7250	0.1234	0.0362	0.0644	0.1508	0.1325
0.5076	205.0	3075	0.7253	0.1276	0.0367	0.0659	0.1627	0.1305
0.5086	206.0	3090	0.7251	0.1155	0.0325	0.0588	0.1415	0.1245
0.5016	207.0	3105	0.7259	0.1233	0.0342	0.0599	0.1561	0.1285
0.4897	208.0	3120	0.7251	0.1170	0.0336	0.0585	0.1389	0.1305
0.5062	209.0	3135	0.7260	0.1150	0.0270	0.0513	0.1495	0.1185
0.5138	210.0	3150	0.7258	0.1143	0.0276	0.0516	0.1495	0.1165
0.5058	211.0	3165	0.7275	0.1201	0.0319	0.0576	0.1534	0.1245
0.5097	212.0	3180	0.7274	0.1144	0.0283	0.0516	0.1495	0.1165
0.5003	213.0	3195	0.7260	0.1109	0.0272	0.0500	0.1376	0.1205
0.4944	214.0	3210	0.7264	0.1169	0.0326	0.0585	0.1429	0.1265
0.4892	215.0	3225	0.7267	0.1098	0.0268	0.0500	0.1349	0.1205
0.4944	216.0	3240	0.7277	0.1157	0.0321	0.0585	0.1402	0.1265
0.4995	217.0	3255	0.7289	0.1191	0.0331	0.0599	0.1521	0.1225
0.4902	218.0	3270	0.7278	0.1202	0.0336	0.0599	0.1548	0.1225
0.4876	219.0	3285	0.7273	0.1226	0.0330	0.0604	0.1587	0.1245
0.481	220.0	3300	0.7269	0.1215	0.0326	0.0604	0.1561	0.1245
0.499	221.0	3315	0.7280	0.1174	0.0320	0.0590	0.1442	0.1265
0.5023	222.0	3330	0.7291	0.1108	0.0276	0.0502	0.1310	0.1265
0.4998	223.0	3345	0.7302	0.1107	0.0274	0.0502	0.1310	0.1265
0.5044	224.0	3360	0.7299	0.1097	0.0232	0.0441	0.1310	0.1265
0.4955	225.0	3375	0.7301	0.1177	0.0274	0.0515	0.1481	0.1265
0.485	226.0	3390	0.7296	0.1238	0.0336	0.0605	0.1534	0.1325
0.4939	227.0	3405	0.7286	0.1223	0.0332	0.0593	0.1481	0.1345
0.4984	228.0	3420	0.7285	0.1195	0.0323	0.0587	0.1415	0.1345
0.4902	229.0	3435	0.7292	0.1174	0.0321	0.0587	0.1362	0.1345
0.4894	230.0	3450	0.7304	0.1138	0.0279	0.0506	0.1362	0.1285
0.4988	231.0	3465	0.7286	0.1146	0.0301	0.0542	0.1310	0.1345
0.4854	232.0	3480	0.7291	0.1178	0.0305	0.0542	0.1389	0.1345
0.4853	233.0	3495	0.7296	0.1119	0.0249	0.0453	0.1336	0.1285
0.5064	234.0	3510	0.7304	0.1119	0.0249	0.0453	0.1336	0.1285
0.4847	235.0	3525	0.7299	0.1147	0.0273	0.0502	0.1389	0.1285
0.489	236.0	3540	0.7297	0.1206	0.0327	0.0587	0.1442	0.1345
0.4896	237.0	3555	0.7286	0.1183	0.0289	0.0525	0.1389	0.1365
0.4824	238.0	3570	0.7281	0.1183	0.0289	0.0525	0.1389	0.1365
0.4963	239.0	3585	0.7275	0.1178	0.0305	0.0542	0.1389	0.1345
0.482	240.0	3600	0.7287	0.1154	0.0294	0.0523	0.1336	0.1345
0.488	241.0	3615	0.7286	0.1178	0.0305	0.0542	0.1389	0.1345
0.488	242.0	3630	0.7286	0.1168	0.0305	0.0543	0.1362	0.1345
0.4873	243.0	3645	0.7295	0.1169	0.0312	0.0547	0.1362	0.1345
0.4839	244.0	3660	0.7299	0.1169	0.0312	0.0547	0.1362	0.1345
0.4804	245.0	3675	0.7297	0.1188	0.0284	0.0527	0.1402	0.1365
0.4971	246.0	3690	0.7305	0.1172	0.0285	0.0525	0.1362	0.1365
0.4902	247.0	3705	0.7304	0.1169	0.0308	0.0546	0.1362	0.1345
0.4893	248.0	3720	0.7296	0.1184	0.0304	0.0546	0.1402	0.1345
0.4904	249.0	3735	0.7298	0.1185	0.0308	0.0549	0.1402	0.1345
0.4942	250.0	3750	0.7300	0.1196	0.0330	0.0591	0.1415	0.1345
0.4781	251.0	3765	0.7302	0.1197	0.0334	0.0591	0.1415	0.1345
0.489	252.0	3780	0.7301	0.1212	0.0330	0.0594	0.1455	0.1345
0.4853	253.0	3795	0.7305	0.1212	0.0330	0.0594	0.1455	0.1345
0.4833	254.0	3810	0.7306	0.1125	0.0254	0.0459	0.1349	0.1285
0.4916	255.0	3825	0.7300	0.1109	0.0255	0.0457	0.1310	0.1285
0.4846	256.0	3840	0.7289	0.1184	0.0300	0.0545	0.1402	0.1345
0.4844	257.0	3855	0.7284	0.1184	0.0300	0.0545	0.1402	0.1345
0.4694	258.0	3870	0.7289	0.1184	0.0300	0.0545	0.1402	0.1345
0.4918	259.0	3885	0.7292	0.1184	0.0304	0.0546	0.1402	0.1345
0.4987	260.0	3900	0.7291	0.1184	0.0304	0.0546	0.1402	0.1345
0.4856	261.0	3915	0.7296	0.1184	0.0304	0.0546	0.1402	0.1345
0.4824	262.0	3930	0.7299	0.1184	0.0304	0.0546	0.1402	0.1345
0.4829	263.0	3945	0.7299	0.1184	0.0304	0.0546	0.1402	0.1345
0.4912	264.0	3960	0.7299	0.1182	0.0280	0.0529	0.1429	0.1325
0.4839	265.0	3975	0.7297	0.1226	0.0286	0.0531	0.1455	0.1406
0.4824	266.0	3990	0.7299	0.1226	0.0286	0.0531	0.1455	0.1406
0.4688	267.0	4005	0.7303	0.1182	0.0280	0.0529	0.1429	0.1325
0.4841	268.0	4020	0.7309	0.1182	0.0280	0.0529	0.1429	0.1325
0.4902	269.0	4035	0.7314	0.1183	0.0283	0.0530	0.1429	0.1325
0.4788	270.0	4050	0.7311	0.1180	0.0273	0.0510	0.1429	0.1325
0.4894	271.0	4065	0.7314	0.1181	0.0280	0.0514	0.1429	0.1325
0.4803	272.0	4080	0.7310	0.1182	0.0280	0.0529	0.1429	0.1325
0.4902	273.0	4095	0.7308	0.1182	0.0280	0.0529	0.1429	0.1325
0.4759	274.0	4110	0.7307	0.1182	0.0280	0.0529	0.1429	0.1325
0.4727	275.0	4125	0.7310	0.1182	0.0280	0.0529	0.1429	0.1325
0.4766	276.0	4140	0.7312	0.1184	0.0287	0.0533	0.1429	0.1325
0.4987	277.0	4155	0.7309	0.1182	0.0280	0.0529	0.1429	0.1325
0.4753	278.0	4170	0.7309	0.1182	0.0280	0.0529	0.1429	0.1325
0.4841	279.0	4185	0.7311	0.1182	0.0280	0.0529	0.1429	0.1325
0.4733	280.0	4200	0.7312	0.1200	0.0298	0.0550	0.1481	0.1305
0.4736	281.0	4215	0.7311	0.1211	0.0303	0.0550	0.1508	0.1305
0.482	282.0	4230	0.7310	0.1200	0.0298	0.0550	0.1481	0.1305
0.4824	283.0	4245	0.7308	0.1200	0.0298	0.0550	0.1481	0.1305
0.4953	284.0	4260	0.7309	0.1182	0.0280	0.0529	0.1429	0.1325
0.4912	285.0	4275	0.7305	0.1182	0.0280	0.0529	0.1429	0.1325
0.4766	286.0	4290	0.7304	0.1193	0.0284	0.0529	0.1455	0.1325
0.4852	287.0	4305	0.7307	0.1193	0.0284	0.0529	0.1455	0.1325
0.4821	288.0	4320	0.7308	0.1182	0.0280	0.0529	0.1429	0.1325
0.4755	289.0	4335	0.7307	0.1182	0.0280	0.0529	0.1429	0.1325
0.4731	290.0	4350	0.7309	0.1184	0.0300	0.0545	0.1402	0.1345
0.4791	291.0	4365	0.7309	0.1179	0.0269	0.0510	0.1429	0.1325
0.4816	292.0	4380	0.7309	0.1181	0.0290	0.0526	0.1402	0.1345
0.4791	293.0	4395	0.7310	0.1184	0.0300	0.0545	0.1402	0.1345
0.4932	294.0	4410	0.7312	0.1181	0.0293	0.0526	0.1402	0.1345
0.4779	295.0	4425	0.7312	0.1181	0.0293	0.0526	0.1402	0.1345
0.4834	296.0	4440	0.7311	0.1184	0.0300	0.0545	0.1402	0.1345
0.4891	297.0	4455	0.7311	0.1184	0.0300	0.0545	0.1402	0.1345
0.4877	298.0	4470	0.7311	0.1184	0.0300	0.0545	0.1402	0.1345
0.4901	299.0	4485	0.7311	0.1184	0.0300	0.0545	0.1402	0.1345
0.4765	300.0	4500	0.7311	0.1184	0.0300	0.0545	0.1402	0.1345

Framework versions

• Transformers 4.31.0
• Pytorch 2.0.1
• Datasets 2.14.4
• Tokenizers 0.13.3