codet5p-770m-py-sanitized-codebleu-1-True-5e-05-0.1-lora-layer_8

This model is a fine-tuned version of Salesforce/codet5p-770m-py on the mbpp dataset. It achieves the following results on the evaluation set:

• Loss: 0.7328
• Codebleu: 0.1166
• Ngram Match Score: 0.0342
• Weighted Ngram Match Score: 0.0566
• Syntax Match Score: 0.1283
• Dataflow Match Score: 0.1406

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 5e-05
• train_batch_size: 8
• eval_batch_size: 8
• seed: 42
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: linear
• lr_scheduler_warmup_steps: 100
• num_epochs: 300

Training results

Training Loss	Epoch	Step	Validation Loss	Codebleu	Ngram Match Score	Weighted Ngram Match Score	Syntax Match Score	Dataflow Match Score
0.9839	1.0	15	0.9244	0.0072	0.0000	0.0000	0.0079	0.0100
0.9639	2.0	30	0.9227	0.0072	0.0000	0.0000	0.0079	0.0100
0.9712	3.0	45	0.9186	0.0080	0.0000	0.0000	0.0079	0.0120
0.9418	4.0	60	0.9098	0.0096	0.0000	0.0001	0.0079	0.0161
0.9483	5.0	75	0.8931	0.0432	0.0009	0.0230	0.0397	0.0622
0.9433	6.0	90	0.8701	0.0794	0.0100	0.0362	0.0926	0.0944
0.9247	7.0	105	0.8526	0.1005	0.0181	0.0479	0.1204	0.1145
0.8731	8.0	120	0.8400	0.0998	0.0211	0.0506	0.1190	0.1124
0.8526	9.0	135	0.8289	0.1039	0.0179	0.0496	0.1283	0.1145
0.8506	10.0	150	0.8171	0.1036	0.0126	0.0357	0.1243	0.1225
0.8413	11.0	165	0.8044	0.0977	0.0109	0.0344	0.1204	0.1124
0.8355	12.0	180	0.7931	0.0995	0.0117	0.0363	0.1204	0.1165
0.8173	13.0	195	0.7857	0.0979	0.0114	0.0363	0.1164	0.1165
0.794	14.0	210	0.7785	0.1066	0.0160	0.0489	0.1217	0.1285
0.8087	15.0	225	0.7727	0.1053	0.0156	0.0476	0.1190	0.1285
0.8078	16.0	240	0.7670	0.1105	0.0185	0.0511	0.1243	0.1345
0.7929	17.0	255	0.7619	0.1089	0.0240	0.0591	0.1190	0.1325
0.7698	18.0	270	0.7576	0.1089	0.0240	0.0591	0.1190	0.1325
0.7808	19.0	285	0.7533	0.0950	0.0147	0.0410	0.1111	0.1124
0.7647	20.0	300	0.7494	0.0933	0.0135	0.0410	0.1111	0.1084
0.755	21.0	315	0.7460	0.0991	0.0153	0.0413	0.1151	0.1185
0.7539	22.0	330	0.7428	0.0967	0.0152	0.0414	0.1151	0.1124
0.7481	23.0	345	0.7410	0.0984	0.0161	0.0420	0.1190	0.1124
0.7458	24.0	360	0.7398	0.0967	0.0156	0.0416	0.1190	0.1084
0.7709	25.0	375	0.7375	0.1048	0.0173	0.0415	0.1310	0.1165
0.7321	26.0	390	0.7361	0.1043	0.0170	0.0414	0.1257	0.1205
0.7233	27.0	405	0.7343	0.1063	0.0175	0.0424	0.1283	0.1225
0.7295	28.0	420	0.7332	0.1039	0.0159	0.0413	0.1310	0.1145
0.7186	29.0	435	0.7325	0.1046	0.0169	0.0426	0.1323	0.1145
0.7113	30.0	450	0.7316	0.1036	0.0165	0.0408	0.1283	0.1165
0.7136	31.0	465	0.7304	0.1036	0.0162	0.0408	0.1283	0.1165
0.7145	32.0	480	0.7283	0.1037	0.0169	0.0413	0.1283	0.1165
0.7073	33.0	495	0.7267	0.1049	0.0173	0.0417	0.1310	0.1165
0.7129	34.0	510	0.7259	0.1069	0.0194	0.0435	0.1310	0.1205
0.6861	35.0	525	0.7254	0.1065	0.0181	0.0417	0.1310	0.1205
0.7154	36.0	540	0.7245	0.1087	0.0185	0.0417	0.1362	0.1205
0.6996	37.0	555	0.7246	0.1085	0.0180	0.0402	0.1323	0.1245
0.6974	38.0	570	0.7252	0.1120	0.0236	0.0481	0.1336	0.1285
0.6906	39.0	585	0.7239	0.1136	0.0235	0.0479	0.1336	0.1325
0.6995	40.0	600	0.7236	0.1141	0.0231	0.0478	0.1310	0.1365
0.6798	41.0	615	0.7234	0.1124	0.0227	0.0478	0.1310	0.1325
0.6777	42.0	630	0.7224	0.1117	0.0230	0.0480	0.1310	0.1305
0.6773	43.0	645	0.7246	0.1067	0.0218	0.0444	0.1217	0.1285
0.6835	44.0	660	0.7242	0.1111	0.0226	0.0483	0.1336	0.1265
0.6785	45.0	675	0.7255	0.1064	0.0227	0.0451	0.1164	0.1325
0.6749	46.0	690	0.7236	0.1017	0.0220	0.0441	0.1111	0.1265
0.6741	47.0	705	0.7216	0.1060	0.0229	0.0474	0.1190	0.1285
0.6699	48.0	720	0.7218	0.1118	0.0242	0.0481	0.1310	0.1305
0.6737	49.0	735	0.7218	0.1102	0.0239	0.0481	0.1270	0.1305
0.6593	50.0	750	0.7225	0.1118	0.0240	0.0481	0.1310	0.1305
0.6768	51.0	765	0.7228	0.1079	0.0228	0.0474	0.1257	0.1265
0.6743	52.0	780	0.7215	0.1108	0.0242	0.0481	0.1283	0.1305
0.6695	53.0	795	0.7210	0.0983	0.0193	0.0378	0.1151	0.1165
0.6372	54.0	810	0.7213	0.1063	0.0248	0.0482	0.1270	0.1205
0.6644	55.0	825	0.7207	0.1073	0.0258	0.0488	0.1270	0.1225
0.6634	56.0	840	0.7220	0.1075	0.0259	0.0488	0.1296	0.1205
0.6686	57.0	855	0.7203	0.0983	0.0202	0.0390	0.1164	0.1145
0.6459	58.0	870	0.7201	0.0983	0.0202	0.0390	0.1164	0.1145
0.6594	59.0	885	0.7206	0.1068	0.0260	0.0497	0.1257	0.1225
0.6461	60.0	900	0.7212	0.1060	0.0272	0.0503	0.1230	0.1225
0.6594	61.0	915	0.7219	0.1129	0.0260	0.0518	0.1362	0.1265
0.6493	62.0	930	0.7220	0.1073	0.0254	0.0493	0.1230	0.1265
0.648	63.0	945	0.7201	0.1046	0.0253	0.0495	0.1204	0.1225
0.6339	64.0	960	0.7233	0.1052	0.0275	0.0501	0.1230	0.1205
0.6654	65.0	975	0.7218	0.1118	0.0313	0.0547	0.1376	0.1205
0.6368	66.0	990	0.7212	0.1105	0.0314	0.0546	0.1323	0.1225
0.6554	67.0	1005	0.7204	0.1060	0.0273	0.0488	0.1296	0.1165
0.6454	68.0	1020	0.7204	0.1074	0.0241	0.0467	0.1323	0.1185
0.6284	69.0	1035	0.7207	0.1109	0.0261	0.0478	0.1323	0.1265
0.6582	70.0	1050	0.7203	0.1022	0.0297	0.0506	0.1151	0.1205
0.639	71.0	1065	0.7193	0.1083	0.0289	0.0535	0.1336	0.1165
0.636	72.0	1080	0.7200	0.1103	0.0254	0.0476	0.1349	0.1225
0.6417	73.0	1095	0.7204	0.1103	0.0257	0.0472	0.1349	0.1225
0.6323	74.0	1110	0.7196	0.1027	0.0244	0.0443	0.1230	0.1165
0.6254	75.0	1125	0.7184	0.1003	0.0230	0.0438	0.1217	0.1124
0.6322	76.0	1140	0.7189	0.1000	0.0219	0.0441	0.1270	0.1064
0.6352	77.0	1155	0.7201	0.1114	0.0279	0.0537	0.1415	0.1165
0.6119	78.0	1170	0.7218	0.1080	0.0287	0.0533	0.1270	0.1225
0.6232	79.0	1185	0.7218	0.1007	0.0255	0.0495	0.1164	0.1165
0.6185	80.0	1200	0.7193	0.0990	0.0229	0.0437	0.1164	0.1145
0.622	81.0	1215	0.7185	0.1022	0.0231	0.0437	0.1243	0.1145
0.6218	82.0	1230	0.7213	0.1000	0.0218	0.0436	0.1151	0.1185
0.6413	83.0	1245	0.7227	0.0995	0.0225	0.0437	0.1177	0.1145
0.6292	84.0	1260	0.7194	0.1005	0.0224	0.0436	0.1164	0.1185
0.5999	85.0	1275	0.7195	0.1033	0.0227	0.0437	0.1190	0.1225
0.6062	86.0	1290	0.7204	0.1021	0.0241	0.0437	0.1138	0.1245
0.6073	87.0	1305	0.7184	0.1089	0.0252	0.0472	0.1296	0.1245
0.6145	88.0	1320	0.7176	0.1108	0.0253	0.0477	0.1323	0.1265
0.6114	89.0	1335	0.7216	0.0997	0.0224	0.0436	0.1164	0.1165
0.6138	90.0	1350	0.7192	0.1017	0.0229	0.0437	0.1190	0.1185
0.6096	91.0	1365	0.7169	0.1049	0.0232	0.0436	0.1230	0.1225
0.6119	92.0	1380	0.7185	0.1040	0.0243	0.0436	0.1164	0.1265
0.5908	93.0	1395	0.7200	0.0996	0.0238	0.0432	0.1138	0.1185
0.5943	94.0	1410	0.7187	0.1079	0.0259	0.0473	0.1230	0.1285
0.6172	95.0	1425	0.7189	0.1097	0.0251	0.0475	0.1296	0.1265
0.6154	96.0	1440	0.7188	0.1075	0.0247	0.0476	0.1283	0.1225
0.6025	97.0	1455	0.7205	0.1106	0.0254	0.0476	0.1296	0.1285
0.601	98.0	1470	0.7211	0.1096	0.0290	0.0506	0.1217	0.1325
0.6221	99.0	1485	0.7218	0.1108	0.0277	0.0506	0.1270	0.1305
0.6097	100.0	1500	0.7225	0.1124	0.0274	0.0510	0.1310	0.1305
0.5939	101.0	1515	0.7236	0.1089	0.0286	0.0511	0.1217	0.1305
0.5909	102.0	1530	0.7245	0.1089	0.0289	0.0515	0.1217	0.1305
0.6038	103.0	1545	0.7234	0.1030	0.0266	0.0473	0.1124	0.1265
0.5947	104.0	1560	0.7204	0.1096	0.0284	0.0537	0.1270	0.1265
0.5931	105.0	1575	0.7245	0.1088	0.0287	0.0509	0.1217	0.1305
0.6119	106.0	1590	0.7228	0.1041	0.0252	0.0437	0.1124	0.1305
0.6118	107.0	1605	0.7212	0.1046	0.0273	0.0472	0.1124	0.1305
0.5812	108.0	1620	0.7228	0.1051	0.0268	0.0472	0.1177	0.1265
0.5913	109.0	1635	0.7215	0.1126	0.0289	0.0510	0.1270	0.1345
0.6083	110.0	1650	0.7201	0.1127	0.0291	0.0514	0.1230	0.1386
0.6012	111.0	1665	0.7198	0.1096	0.0286	0.0510	0.1217	0.1325
0.5938	112.0	1680	0.7206	0.1129	0.0266	0.0507	0.1323	0.1305
0.5826	113.0	1695	0.7208	0.1154	0.0292	0.0520	0.1296	0.1386
0.591	114.0	1710	0.7238	0.1037	0.0266	0.0469	0.1124	0.1285
0.5891	115.0	1725	0.7218	0.1088	0.0281	0.0510	0.1217	0.1305
0.5866	116.0	1740	0.7226	0.1092	0.0277	0.0506	0.1230	0.1305
0.5862	117.0	1755	0.7216	0.1095	0.0276	0.0506	0.1257	0.1285
0.5997	118.0	1770	0.7211	0.1075	0.0286	0.0508	0.1204	0.1285
0.5893	119.0	1785	0.7234	0.1091	0.0282	0.0511	0.1243	0.1285
0.5796	120.0	1800	0.7228	0.1087	0.0281	0.0506	0.1257	0.1265
0.5808	121.0	1815	0.7227	0.1099	0.0316	0.0560	0.1283	0.1245
0.587	122.0	1830	0.7216	0.1099	0.0316	0.0560	0.1283	0.1245
0.5923	123.0	1845	0.7217	0.1072	0.0283	0.0513	0.1217	0.1265
0.5856	124.0	1860	0.7215	0.1073	0.0272	0.0509	0.1243	0.1245
0.5823	125.0	1875	0.7228	0.1074	0.0277	0.0506	0.1204	0.1285
0.5722	126.0	1890	0.7222	0.1104	0.0279	0.0509	0.1257	0.1305
0.5824	127.0	1905	0.7210	0.1147	0.0311	0.0568	0.1323	0.1325
0.5735	128.0	1920	0.7222	0.1127	0.0278	0.0508	0.1257	0.1365
0.5779	129.0	1935	0.7226	0.1141	0.0289	0.0530	0.1323	0.1325
0.5674	130.0	1950	0.7240	0.1092	0.0319	0.0574	0.1283	0.1225
0.5753	131.0	1965	0.7217	0.1085	0.0325	0.0574	0.1243	0.1245
0.581	132.0	1980	0.7212	0.1093	0.0325	0.0574	0.1243	0.1265
0.5906	133.0	1995	0.7213	0.1093	0.0325	0.0574	0.1243	0.1265
0.564	134.0	2010	0.7228	0.1108	0.0321	0.0542	0.1230	0.1325
0.5737	135.0	2025	0.7224	0.1154	0.0340	0.0581	0.1310	0.1345
0.578	136.0	2040	0.7200	0.1170	0.0342	0.0579	0.1310	0.1386
0.5543	137.0	2055	0.7221	0.1187	0.0345	0.0585	0.1349	0.1386
0.5858	138.0	2070	0.7210	0.1136	0.0314	0.0528	0.1243	0.1386
0.5762	139.0	2085	0.7238	0.1152	0.0311	0.0528	0.1243	0.1426
0.5682	140.0	2100	0.7237	0.1197	0.0313	0.0531	0.1296	0.1486
0.572	141.0	2115	0.7220	0.1147	0.0299	0.0523	0.1257	0.1406
0.5787	142.0	2130	0.7231	0.1193	0.0301	0.0526	0.1310	0.1466
0.5623	143.0	2145	0.7235	0.1134	0.0332	0.0546	0.1190	0.1426
0.5758	144.0	2160	0.7242	0.1142	0.0326	0.0546	0.1190	0.1446
0.5619	145.0	2175	0.7238	0.1159	0.0333	0.0579	0.1283	0.1386
0.5738	146.0	2190	0.7245	0.1159	0.0333	0.0579	0.1283	0.1386
0.5624	147.0	2205	0.7267	0.1204	0.0331	0.0584	0.1336	0.1446
0.5571	148.0	2220	0.7236	0.1204	0.0331	0.0584	0.1336	0.1446
0.5654	149.0	2235	0.7233	0.1161	0.0279	0.0524	0.1296	0.1406
0.551	150.0	2250	0.7263	0.1181	0.0317	0.0580	0.1323	0.1406
0.5534	151.0	2265	0.7254	0.1212	0.0332	0.0582	0.1336	0.1466
0.5685	152.0	2280	0.7273	0.1162	0.0324	0.0544	0.1243	0.1446
0.5641	153.0	2295	0.7250	0.1201	0.0293	0.0530	0.1310	0.1486
0.5585	154.0	2310	0.7242	0.1146	0.0290	0.0525	0.1257	0.1406
0.5715	155.0	2325	0.7238	0.1200	0.0291	0.0527	0.1310	0.1486
0.5828	156.0	2340	0.7231	0.1195	0.0277	0.0494	0.1310	0.1486
0.5488	157.0	2355	0.7217	0.1147	0.0295	0.0526	0.1257	0.1406
0.5711	158.0	2370	0.7250	0.1142	0.0283	0.0487	0.1217	0.1446
0.5642	159.0	2385	0.7238	0.1155	0.0300	0.0524	0.1257	0.1426
0.555	160.0	2400	0.7244	0.1185	0.0283	0.0514	0.1296	0.1466
0.5573	161.0	2415	0.7224	0.1177	0.0283	0.0514	0.1296	0.1446
0.5617	162.0	2430	0.7215	0.1179	0.0302	0.0524	0.1296	0.1446
0.5737	163.0	2445	0.7233	0.1185	0.0300	0.0528	0.1310	0.1446
0.5602	164.0	2460	0.7224	0.1130	0.0290	0.0491	0.1204	0.1426
0.5446	165.0	2475	0.7247	0.1128	0.0284	0.0481	0.1204	0.1426
0.5463	166.0	2490	0.7252	0.1137	0.0283	0.0487	0.1204	0.1446
0.5519	167.0	2505	0.7263	0.1137	0.0283	0.0487	0.1204	0.1446
0.5521	168.0	2520	0.7258	0.1192	0.0301	0.0520	0.1310	0.1466
0.5457	169.0	2535	0.7257	0.1193	0.0302	0.0522	0.1310	0.1466
0.5557	170.0	2550	0.7285	0.1192	0.0327	0.0569	0.1270	0.1486
0.5537	171.0	2565	0.7278	0.1200	0.0323	0.0571	0.1270	0.1506
0.5668	172.0	2580	0.7256	0.1192	0.0323	0.0571	0.1270	0.1486
0.5543	173.0	2595	0.7267	0.1192	0.0323	0.0571	0.1270	0.1486
0.5522	174.0	2610	0.7269	0.1192	0.0323	0.0571	0.1270	0.1486
0.5547	175.0	2625	0.7261	0.1219	0.0333	0.0593	0.1349	0.1466
0.5582	176.0	2640	0.7266	0.1179	0.0264	0.0480	0.1296	0.1466
0.5481	177.0	2655	0.7246	0.1146	0.0252	0.0481	0.1296	0.1386
0.5355	178.0	2670	0.7278	0.1112	0.0239	0.0439	0.1204	0.1406
0.5612	179.0	2685	0.7280	0.1133	0.0274	0.0481	0.1217	0.1426
0.5442	180.0	2700	0.7276	0.1202	0.0273	0.0487	0.1310	0.1506
0.5545	181.0	2715	0.7288	0.1245	0.0319	0.0572	0.1362	0.1526
0.5535	182.0	2730	0.7251	0.1258	0.0339	0.0603	0.1362	0.1546
0.5436	183.0	2745	0.7258	0.1192	0.0297	0.0521	0.1310	0.1466
0.5449	184.0	2760	0.7271	0.1175	0.0284	0.0529	0.1310	0.1426
0.5402	185.0	2775	0.7270	0.1198	0.0280	0.0523	0.1349	0.1446
0.5394	186.0	2790	0.7288	0.1143	0.0276	0.0481	0.1243	0.1426
0.5311	187.0	2805	0.7286	0.1208	0.0299	0.0520	0.1310	0.1506
0.5464	188.0	2820	0.7316	0.1117	0.0265	0.0472	0.1204	0.1406
0.5517	189.0	2835	0.7291	0.1141	0.0277	0.0481	0.1217	0.1446
0.5533	190.0	2850	0.7270	0.1141	0.0281	0.0481	0.1217	0.1446
0.5536	191.0	2865	0.7267	0.1250	0.0348	0.0601	0.1362	0.1526
0.5365	192.0	2880	0.7276	0.1168	0.0312	0.0555	0.1257	0.1446
0.5463	193.0	2895	0.7293	0.1170	0.0311	0.0555	0.1283	0.1426
0.531	194.0	2910	0.7295	0.1244	0.0337	0.0601	0.1389	0.1486
0.5407	195.0	2925	0.7264	0.1244	0.0342	0.0601	0.1389	0.1486
0.5449	196.0	2940	0.7274	0.1202	0.0329	0.0563	0.1296	0.1486
0.5459	197.0	2955	0.7290	0.1186	0.0325	0.0563	0.1296	0.1446
0.5332	198.0	2970	0.7283	0.1186	0.0325	0.0563	0.1296	0.1446
0.5399	199.0	2985	0.7280	0.1202	0.0331	0.0563	0.1296	0.1486
0.538	200.0	3000	0.7281	0.1154	0.0289	0.0498	0.1243	0.1446
0.5429	201.0	3015	0.7280	0.1216	0.0296	0.0496	0.1296	0.1546
0.5345	202.0	3030	0.7299	0.1195	0.0336	0.0565	0.1296	0.1466
0.5433	203.0	3045	0.7276	0.1192	0.0332	0.0591	0.1323	0.1426
0.5356	204.0	3060	0.7259	0.1199	0.0348	0.0598	0.1336	0.1426
0.5519	205.0	3075	0.7267	0.1208	0.0338	0.0563	0.1270	0.1526
0.5401	206.0	3090	0.7265	0.1251	0.0352	0.0601	0.1362	0.1526
0.5364	207.0	3105	0.7289	0.1205	0.0345	0.0579	0.1296	0.1486
0.5308	208.0	3120	0.7305	0.1250	0.0344	0.0579	0.1349	0.1546
0.535	209.0	3135	0.7290	0.1181	0.0340	0.0579	0.1296	0.1426
0.5303	210.0	3150	0.7286	0.1181	0.0340	0.0579	0.1296	0.1426
0.5356	211.0	3165	0.7299	0.1189	0.0344	0.0579	0.1296	0.1446
0.5406	212.0	3180	0.7299	0.1152	0.0346	0.0576	0.1243	0.1406
0.532	213.0	3195	0.7295	0.1151	0.0343	0.0576	0.1243	0.1406
0.5321	214.0	3210	0.7298	0.1151	0.0343	0.0576	0.1243	0.1406
0.5402	215.0	3225	0.7300	0.1127	0.0321	0.0568	0.1230	0.1365
0.5247	216.0	3240	0.7328	0.1163	0.0317	0.0557	0.1283	0.1406
0.5437	217.0	3255	0.7314	0.1119	0.0323	0.0568	0.1230	0.1345
0.5255	218.0	3270	0.7309	0.1108	0.0307	0.0552	0.1230	0.1325
0.5307	219.0	3285	0.7292	0.1175	0.0329	0.0591	0.1323	0.1386
0.5215	220.0	3300	0.7286	0.1229	0.0327	0.0593	0.1376	0.1466
0.5329	221.0	3315	0.7280	0.1212	0.0322	0.0591	0.1376	0.1426
0.5264	222.0	3330	0.7278	0.1212	0.0322	0.0591	0.1376	0.1426
0.5364	223.0	3345	0.7300	0.1171	0.0313	0.0557	0.1283	0.1426
0.5439	224.0	3360	0.7300	0.1163	0.0318	0.0557	0.1283	0.1406
0.5328	225.0	3375	0.7300	0.1149	0.0327	0.0571	0.1283	0.1365
0.5212	226.0	3390	0.7298	0.1158	0.0333	0.0569	0.1283	0.1386
0.5313	227.0	3405	0.7298	0.1162	0.0313	0.0555	0.1283	0.1406
0.5339	228.0	3420	0.7299	0.1173	0.0324	0.0570	0.1283	0.1426
0.5306	229.0	3435	0.7320	0.1235	0.0332	0.0571	0.1336	0.1526
0.5327	230.0	3450	0.7323	0.1235	0.0332	0.0570	0.1336	0.1526
0.5346	231.0	3465	0.7306	0.1173	0.0328	0.0570	0.1283	0.1426
0.5208	232.0	3480	0.7307	0.1173	0.0328	0.0570	0.1283	0.1426
0.5189	233.0	3495	0.7306	0.1173	0.0322	0.0571	0.1283	0.1426
0.5399	234.0	3510	0.7310	0.1212	0.0338	0.0575	0.1296	0.1506
0.5255	235.0	3525	0.7317	0.1150	0.0333	0.0575	0.1243	0.1406
0.5188	236.0	3540	0.7317	0.1125	0.0323	0.0573	0.1243	0.1345
0.5278	237.0	3555	0.7315	0.1172	0.0335	0.0581	0.1296	0.1406
0.5282	238.0	3570	0.7297	0.1134	0.0330	0.0578	0.1243	0.1365
0.5321	239.0	3585	0.7295	0.1134	0.0330	0.0578	0.1243	0.1365
0.5233	240.0	3600	0.7304	0.1118	0.0313	0.0563	0.1230	0.1345
0.523	241.0	3615	0.7313	0.1118	0.0313	0.0563	0.1230	0.1345
0.5302	242.0	3630	0.7338	0.1146	0.0310	0.0552	0.1243	0.1406
0.5171	243.0	3645	0.7338	0.1115	0.0303	0.0549	0.1230	0.1345
0.5341	244.0	3660	0.7323	0.1117	0.0314	0.0554	0.1230	0.1345
0.5242	245.0	3675	0.7314	0.1117	0.0314	0.0554	0.1230	0.1345
0.5259	246.0	3690	0.7320	0.1141	0.0328	0.0562	0.1243	0.1386
0.5191	247.0	3705	0.7317	0.1203	0.0335	0.0562	0.1296	0.1486
0.5266	248.0	3720	0.7319	0.1117	0.0315	0.0554	0.1230	0.1345
0.5239	249.0	3735	0.7325	0.1141	0.0331	0.0562	0.1243	0.1386
0.5323	250.0	3750	0.7338	0.1084	0.0312	0.0549	0.1190	0.1305
0.5158	251.0	3765	0.7339	0.1093	0.0316	0.0549	0.1190	0.1325
0.5316	252.0	3780	0.7337	0.1170	0.0329	0.0557	0.1257	0.1446
0.5364	253.0	3795	0.7323	0.1185	0.0324	0.0557	0.1296	0.1446
0.5156	254.0	3810	0.7327	0.1185	0.0324	0.0557	0.1296	0.1446
0.5257	255.0	3825	0.7326	0.1185	0.0324	0.0557	0.1296	0.1446
0.5193	256.0	3840	0.7318	0.1185	0.0324	0.0557	0.1296	0.1446
0.5247	257.0	3855	0.7313	0.1193	0.0328	0.0557	0.1296	0.1466
0.518	258.0	3870	0.7312	0.1193	0.0325	0.0557	0.1296	0.1466
0.5252	259.0	3885	0.7309	0.1204	0.0338	0.0571	0.1296	0.1486
0.5352	260.0	3900	0.7302	0.1196	0.0337	0.0571	0.1296	0.1466
0.5223	261.0	3915	0.7303	0.1196	0.0337	0.0571	0.1296	0.1466
0.5195	262.0	3930	0.7305	0.1134	0.0338	0.0571	0.1243	0.1365
0.5218	263.0	3945	0.7309	0.1134	0.0338	0.0571	0.1243	0.1365
0.533	264.0	3960	0.7315	0.1134	0.0338	0.0571	0.1243	0.1365
0.5234	265.0	3975	0.7318	0.1125	0.0337	0.0559	0.1243	0.1345
0.5274	266.0	3990	0.7310	0.1137	0.0352	0.0578	0.1243	0.1365
0.5103	267.0	4005	0.7316	0.1137	0.0352	0.0578	0.1243	0.1365
0.5287	268.0	4020	0.7310	0.1137	0.0352	0.0578	0.1243	0.1365
0.5293	269.0	4035	0.7313	0.1141	0.0336	0.0562	0.1243	0.1386
0.5076	270.0	4050	0.7318	0.1141	0.0331	0.0562	0.1243	0.1386
0.5247	271.0	4065	0.7318	0.1141	0.0336	0.0562	0.1243	0.1386
0.5231	272.0	4080	0.7312	0.1134	0.0338	0.0571	0.1243	0.1365
0.5252	273.0	4095	0.7312	0.1142	0.0338	0.0570	0.1243	0.1386
0.51	274.0	4110	0.7311	0.1152	0.0345	0.0574	0.1243	0.1406
0.5057	275.0	4125	0.7316	0.1213	0.0344	0.0574	0.1296	0.1506
0.5155	276.0	4140	0.7321	0.1213	0.0344	0.0574	0.1296	0.1506
0.5327	277.0	4155	0.7325	0.1172	0.0324	0.0563	0.1283	0.1426
0.5193	278.0	4170	0.7326	0.1179	0.0322	0.0554	0.1283	0.1446
0.5189	279.0	4185	0.7329	0.1179	0.0322	0.0554	0.1283	0.1446
0.5122	280.0	4200	0.7330	0.1172	0.0324	0.0563	0.1283	0.1426
0.524	281.0	4215	0.7331	0.1180	0.0324	0.0562	0.1283	0.1446
0.5095	282.0	4230	0.7332	0.1163	0.0322	0.0552	0.1283	0.1406
0.521	283.0	4245	0.7330	0.1163	0.0322	0.0552	0.1283	0.1406
0.5336	284.0	4260	0.7330	0.1165	0.0331	0.0566	0.1283	0.1406
0.5342	285.0	4275	0.7324	0.1181	0.0335	0.0562	0.1283	0.1446
0.5227	286.0	4290	0.7322	0.1181	0.0335	0.0562	0.1283	0.1446
0.5192	287.0	4305	0.7322	0.1181	0.0335	0.0562	0.1283	0.1446
0.5277	288.0	4320	0.7323	0.1181	0.0335	0.0562	0.1283	0.1446
0.5162	289.0	4335	0.7321	0.1181	0.0335	0.0562	0.1283	0.1446
0.505	290.0	4350	0.7323	0.1181	0.0335	0.0562	0.1283	0.1446
0.5151	291.0	4365	0.7324	0.1181	0.0335	0.0562	0.1283	0.1446
0.5157	292.0	4380	0.7325	0.1181	0.0335	0.0562	0.1283	0.1446
0.5303	293.0	4395	0.7326	0.1181	0.0335	0.0562	0.1283	0.1446
0.5239	294.0	4410	0.7328	0.1181	0.0335	0.0562	0.1283	0.1446
0.5144	295.0	4425	0.7328	0.1166	0.0342	0.0566	0.1283	0.1406
0.5224	296.0	4440	0.7328	0.1166	0.0342	0.0566	0.1283	0.1406
0.5219	297.0	4455	0.7328	0.1166	0.0342	0.0566	0.1283	0.1406
0.5179	298.0	4470	0.7328	0.1166	0.0342	0.0566	0.1283	0.1406
0.5279	299.0	4485	0.7328	0.1166	0.0342	0.0566	0.1283	0.1406
0.5193	300.0	4500	0.7328	0.1166	0.0342	0.0566	0.1283	0.1406

Framework versions

• Transformers 4.31.0
• Pytorch 2.0.1
• Datasets 2.14.4
• Tokenizers 0.13.3