codet5p-770m-py-sanitized-codebleu-1-True-5e-05-0.1-lora-layer_19

This model is a fine-tuned version of Salesforce/codet5p-770m-py on the mbpp dataset. It achieves the following results on the evaluation set:

• Loss: 0.7236
• Codebleu: 0.1192
• Ngram Match Score: 0.0324
• Weighted Ngram Match Score: 0.0573
• Syntax Match Score: 0.1349
• Dataflow Match Score: 0.1406

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 5e-05
• train_batch_size: 8
• eval_batch_size: 8
• seed: 42
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: linear
• lr_scheduler_warmup_steps: 100
• num_epochs: 300

Training results

Training Loss	Epoch	Step	Validation Loss	Codebleu	Ngram Match Score	Weighted Ngram Match Score	Syntax Match Score	Dataflow Match Score
0.9718	1.0	15	0.9246	0.0072	0.0000	0.0000	0.0079	0.0100
0.963	2.0	30	0.9235	0.0072	0.0000	0.0000	0.0079	0.0100
0.975	3.0	45	0.9207	0.0072	0.0000	0.0000	0.0079	0.0100
0.9426	4.0	60	0.9145	0.0080	0.0000	0.0000	0.0079	0.0120
0.9546	5.0	75	0.9013	0.0113	0.0000	0.0004	0.0079	0.0201
0.9442	6.0	90	0.8780	0.0536	0.0030	0.0272	0.0542	0.0723
0.9347	7.0	105	0.8516	0.0925	0.0242	0.0554	0.1151	0.0964
0.8776	8.0	120	0.8329	0.1036	0.0245	0.0568	0.1283	0.1104
0.8621	9.0	135	0.8167	0.1014	0.0165	0.0396	0.1310	0.1084
0.8428	10.0	150	0.8004	0.1059	0.0177	0.0410	0.1336	0.1165
0.8156	11.0	165	0.7850	0.1034	0.0139	0.0358	0.1217	0.1245
0.8093	12.0	180	0.7714	0.1093	0.0132	0.0345	0.1349	0.1265
0.7869	13.0	195	0.7646	0.1062	0.0122	0.0334	0.1296	0.1245
0.77	14.0	210	0.7580	0.1062	0.0122	0.0334	0.1296	0.1245
0.7785	15.0	225	0.7520	0.1081	0.0133	0.0357	0.1336	0.1245
0.7823	16.0	240	0.7474	0.1019	0.0110	0.0311	0.1217	0.1225
0.7653	17.0	255	0.7435	0.1032	0.0126	0.0318	0.1243	0.1225
0.7458	18.0	270	0.7399	0.1063	0.0134	0.0331	0.1257	0.1285
0.7494	19.0	285	0.7355	0.1186	0.0208	0.0471	0.1349	0.1446
0.7414	20.0	300	0.7315	0.1201	0.0289	0.0592	0.1336	0.1446
0.7243	21.0	315	0.7280	0.1217	0.0289	0.0596	0.1415	0.1406
0.7251	22.0	330	0.7243	0.1196	0.0293	0.0592	0.1362	0.1406
0.719	23.0	345	0.7226	0.1237	0.0302	0.0601	0.1442	0.1426
0.7249	24.0	360	0.7203	0.1243	0.0304	0.0603	0.1455	0.1426
0.7372	25.0	375	0.7178	0.1242	0.0302	0.0600	0.1455	0.1426
0.7119	26.0	390	0.7144	0.1237	0.0309	0.0595	0.1442	0.1426
0.6965	27.0	405	0.7127	0.1208	0.0310	0.0595	0.1389	0.1406
0.7072	28.0	420	0.7121	0.1206	0.0307	0.0574	0.1389	0.1406
0.6888	29.0	435	0.7110	0.1209	0.0317	0.0595	0.1389	0.1406
0.6936	30.0	450	0.7090	0.1209	0.0317	0.0595	0.1389	0.1406
0.6868	31.0	465	0.7079	0.1209	0.0315	0.0595	0.1389	0.1406
0.6851	32.0	480	0.7068	0.1165	0.0306	0.0588	0.1323	0.1365
0.678	33.0	495	0.7060	0.1208	0.0315	0.0587	0.1349	0.1446
0.6844	34.0	510	0.7027	0.1158	0.0262	0.0485	0.1362	0.1345
0.669	35.0	525	0.7020	0.1245	0.0329	0.0599	0.1415	0.1466
0.6944	36.0	540	0.7000	0.1143	0.0266	0.0490	0.1362	0.1305
0.675	37.0	555	0.7008	0.1139	0.0257	0.0483	0.1296	0.1365
0.6824	38.0	570	0.7015	0.1158	0.0271	0.0503	0.1376	0.1325
0.6705	39.0	585	0.6989	0.1118	0.0261	0.0487	0.1243	0.1365
0.6768	40.0	600	0.6977	0.1082	0.0262	0.0495	0.1270	0.1245
0.6629	41.0	615	0.6966	0.1082	0.0264	0.0494	0.1270	0.1245
0.6621	42.0	630	0.6949	0.1020	0.0251	0.0481	0.1243	0.1124
0.6541	43.0	645	0.6951	0.1114	0.0268	0.0497	0.1349	0.1245
0.6549	44.0	660	0.6943	0.1085	0.0290	0.0532	0.1283	0.1225
0.6466	45.0	675	0.6945	0.1101	0.0310	0.0558	0.1270	0.1265
0.6502	46.0	690	0.6952	0.1101	0.0308	0.0558	0.1270	0.1265
0.6492	47.0	705	0.6935	0.1082	0.0287	0.0533	0.1296	0.1205
0.6476	48.0	720	0.6940	0.1155	0.0292	0.0537	0.1376	0.1305
0.6522	49.0	735	0.6936	0.1112	0.0295	0.0529	0.1270	0.1305
0.6436	50.0	750	0.6933	0.1128	0.0296	0.0527	0.1270	0.1345
0.6617	51.0	765	0.6924	0.1110	0.0263	0.0488	0.1283	0.1305
0.6564	52.0	780	0.6908	0.1039	0.0271	0.0512	0.1257	0.1145
0.654	53.0	795	0.6914	0.1094	0.0264	0.0488	0.1283	0.1265
0.6284	54.0	810	0.6918	0.1112	0.0271	0.0500	0.1323	0.1265
0.6405	55.0	825	0.6904	0.1099	0.0260	0.0488	0.1296	0.1265
0.6446	56.0	840	0.6906	0.1047	0.0264	0.0491	0.1283	0.1145
0.6378	57.0	855	0.6931	0.1104	0.0295	0.0529	0.1270	0.1285
0.6339	58.0	870	0.6914	0.1087	0.0285	0.0526	0.1230	0.1285
0.6453	59.0	885	0.6915	0.1039	0.0275	0.0507	0.1257	0.1145
0.6245	60.0	900	0.6926	0.1035	0.0275	0.0527	0.1243	0.1145
0.6366	61.0	915	0.6922	0.1035	0.0277	0.0523	0.1243	0.1145
0.6235	62.0	930	0.6912	0.1076	0.0279	0.0523	0.1243	0.1245
0.6281	63.0	945	0.6910	0.1071	0.0284	0.0548	0.1204	0.1265
0.6083	64.0	960	0.6925	0.1075	0.0291	0.0529	0.1257	0.1225
0.6372	65.0	975	0.6906	0.1079	0.0284	0.0531	0.1270	0.1225
0.6098	66.0	990	0.6897	0.1069	0.0313	0.0584	0.1204	0.1245
0.6299	67.0	1005	0.6888	0.1066	0.0312	0.0577	0.1177	0.1265
0.6149	68.0	1020	0.6906	0.1159	0.0329	0.0616	0.1336	0.1325
0.6048	69.0	1035	0.6915	0.1137	0.0325	0.0583	0.1310	0.1305
0.6315	70.0	1050	0.6903	0.1137	0.0326	0.0581	0.1310	0.1305
0.6115	71.0	1065	0.6902	0.1180	0.0326	0.0618	0.1349	0.1365
0.616	72.0	1080	0.6911	0.1080	0.0297	0.0548	0.1204	0.1285
0.6147	73.0	1095	0.6918	0.1153	0.0324	0.0587	0.1349	0.1305
0.604	74.0	1110	0.6905	0.1089	0.0309	0.0551	0.1243	0.1265
0.5975	75.0	1125	0.6920	0.1089	0.0305	0.0549	0.1243	0.1265
0.6013	76.0	1140	0.6924	0.1111	0.0314	0.0551	0.1257	0.1305
0.6081	77.0	1155	0.6917	0.1105	0.0310	0.0549	0.1243	0.1305
0.6021	78.0	1170	0.6919	0.1127	0.0312	0.0549	0.1296	0.1305
0.6018	79.0	1185	0.6904	0.1164	0.0328	0.0588	0.1336	0.1345
0.5945	80.0	1200	0.6892	0.1185	0.0325	0.0587	0.1389	0.1345
0.6023	81.0	1215	0.6916	0.1208	0.0321	0.0583	0.1429	0.1365
0.6011	82.0	1230	0.6921	0.1165	0.0321	0.0582	0.1362	0.1325
0.6101	83.0	1245	0.6936	0.1203	0.0322	0.0586	0.1415	0.1365
0.5996	84.0	1260	0.6930	0.1183	0.0371	0.0662	0.1415	0.1285
0.5797	85.0	1275	0.6928	0.1178	0.0319	0.0582	0.1415	0.1305
0.587	86.0	1290	0.6926	0.1133	0.0319	0.0583	0.1362	0.1245
0.5876	87.0	1305	0.6923	0.1217	0.0353	0.0640	0.1468	0.1325
0.5955	88.0	1320	0.6917	0.1171	0.0341	0.0587	0.1349	0.1345
0.5926	89.0	1335	0.6905	0.1233	0.0365	0.0633	0.1429	0.1406
0.5946	90.0	1350	0.6915	0.1237	0.0353	0.0629	0.1442	0.1406
0.5906	91.0	1365	0.6912	0.1238	0.0358	0.0633	0.1442	0.1406
0.5897	92.0	1380	0.6919	0.1229	0.0351	0.0628	0.1442	0.1386
0.5713	93.0	1395	0.6931	0.1238	0.0354	0.0635	0.1442	0.1406
0.5737	94.0	1410	0.6930	0.1213	0.0352	0.0633	0.1442	0.1345
0.5857	95.0	1425	0.6946	0.1155	0.0307	0.0568	0.1362	0.1305
0.5888	96.0	1440	0.6939	0.1172	0.0312	0.0573	0.1362	0.1345
0.5876	97.0	1455	0.6934	0.1218	0.0354	0.0647	0.1389	0.1406
0.5755	98.0	1470	0.6932	0.1214	0.0369	0.0642	0.1376	0.1406
0.597	99.0	1485	0.6926	0.1189	0.0362	0.0643	0.1376	0.1345
0.5813	100.0	1500	0.6923	0.1214	0.0366	0.0645	0.1376	0.1406
0.5816	101.0	1515	0.6932	0.1214	0.0366	0.0645	0.1376	0.1406
0.5683	102.0	1530	0.6938	0.1214	0.0366	0.0645	0.1376	0.1406
0.5808	103.0	1545	0.6953	0.1172	0.0325	0.0585	0.1296	0.1406
0.5782	104.0	1560	0.6951	0.1197	0.0363	0.0640	0.1376	0.1365
0.5654	105.0	1575	0.6954	0.1197	0.0361	0.0640	0.1376	0.1365
0.584	106.0	1590	0.6949	0.1203	0.0369	0.0639	0.1389	0.1365
0.5929	107.0	1605	0.6940	0.1203	0.0371	0.0639	0.1389	0.1365
0.5575	108.0	1620	0.6943	0.1203	0.0369	0.0639	0.1389	0.1365
0.5728	109.0	1635	0.6950	0.1203	0.0371	0.0639	0.1389	0.1365
0.5757	110.0	1650	0.6969	0.1187	0.0364	0.0619	0.1376	0.1345
0.5673	111.0	1665	0.6977	0.1160	0.0328	0.0577	0.1310	0.1365
0.5571	112.0	1680	0.6985	0.1160	0.0326	0.0579	0.1310	0.1365
0.5562	113.0	1695	0.6976	0.1202	0.0368	0.0636	0.1389	0.1365
0.5663	114.0	1710	0.6968	0.1187	0.0363	0.0619	0.1376	0.1345
0.5742	115.0	1725	0.6967	0.1202	0.0367	0.0639	0.1389	0.1365
0.5614	116.0	1740	0.6963	0.1202	0.0367	0.0639	0.1389	0.1365
0.5569	117.0	1755	0.6961	0.1160	0.0324	0.0579	0.1310	0.1365
0.5721	118.0	1770	0.6969	0.1191	0.0368	0.0637	0.1402	0.1325
0.5669	119.0	1785	0.6964	0.1165	0.0315	0.0581	0.1323	0.1365
0.5514	120.0	1800	0.6966	0.1132	0.0309	0.0577	0.1283	0.1325
0.5578	121.0	1815	0.6962	0.1121	0.0311	0.0576	0.1296	0.1285
0.5634	122.0	1830	0.6963	0.1149	0.0320	0.0579	0.1323	0.1325
0.5693	123.0	1845	0.6971	0.1149	0.0320	0.0579	0.1323	0.1325
0.5616	124.0	1860	0.6980	0.1149	0.0322	0.0579	0.1323	0.1325
0.5676	125.0	1875	0.6989	0.1132	0.0315	0.0578	0.1323	0.1285
0.5445	126.0	1890	0.7001	0.1128	0.0310	0.0563	0.1296	0.1305
0.5506	127.0	1905	0.6996	0.1138	0.0322	0.0573	0.1296	0.1325
0.5548	128.0	1920	0.6998	0.1143	0.0329	0.0588	0.1323	0.1305
0.5489	129.0	1935	0.6999	0.1128	0.0310	0.0563	0.1296	0.1305
0.5421	130.0	1950	0.7002	0.1138	0.0322	0.0573	0.1296	0.1325
0.5477	131.0	1965	0.7025	0.1153	0.0324	0.0589	0.1310	0.1345
0.5597	132.0	1980	0.7025	0.1160	0.0334	0.0589	0.1323	0.1345
0.5638	133.0	1995	0.7024	0.1154	0.0321	0.0576	0.1336	0.1325
0.5431	134.0	2010	0.7010	0.1154	0.0321	0.0576	0.1336	0.1325
0.5434	135.0	2025	0.7020	0.1148	0.0314	0.0577	0.1323	0.1325
0.5467	136.0	2040	0.7021	0.1153	0.0304	0.0580	0.1336	0.1325
0.5285	137.0	2055	0.7014	0.1131	0.0319	0.0586	0.1336	0.1265
0.5544	138.0	2070	0.7021	0.1131	0.0319	0.0586	0.1336	0.1265
0.5543	139.0	2085	0.7030	0.1125	0.0311	0.0587	0.1323	0.1265
0.5442	140.0	2100	0.7032	0.1131	0.0320	0.0589	0.1336	0.1265
0.554	141.0	2115	0.7035	0.1131	0.0320	0.0589	0.1336	0.1265
0.5526	142.0	2130	0.7046	0.1125	0.0311	0.0587	0.1323	0.1265
0.5377	143.0	2145	0.7058	0.1125	0.0311	0.0587	0.1323	0.1265
0.5556	144.0	2160	0.7042	0.1125	0.0311	0.0587	0.1323	0.1265
0.5428	145.0	2175	0.7047	0.1098	0.0315	0.0582	0.1257	0.1265
0.5436	146.0	2190	0.7039	0.1098	0.0315	0.0582	0.1257	0.1265
0.5541	147.0	2205	0.7041	0.1135	0.0309	0.0588	0.1349	0.1265
0.5343	148.0	2220	0.7046	0.1086	0.0291	0.0587	0.1230	0.1265
0.5511	149.0	2235	0.7046	0.1131	0.0308	0.0602	0.1336	0.1265
0.5383	150.0	2250	0.7054	0.1135	0.0309	0.0588	0.1349	0.1265
0.5362	151.0	2265	0.7041	0.1131	0.0316	0.0588	0.1336	0.1265
0.5485	152.0	2280	0.7066	0.1093	0.0312	0.0584	0.1204	0.1305
0.5366	153.0	2295	0.7044	0.1125	0.0308	0.0589	0.1323	0.1265
0.5386	154.0	2310	0.7055	0.1131	0.0316	0.0588	0.1336	0.1265
0.55	155.0	2325	0.7052	0.1120	0.0311	0.0587	0.1270	0.1305
0.5543	156.0	2340	0.7047	0.1094	0.0310	0.0598	0.1243	0.1265
0.5279	157.0	2355	0.7055	0.1118	0.0334	0.0598	0.1257	0.1305
0.5433	158.0	2370	0.7055	0.1141	0.0304	0.0562	0.1270	0.1365
0.5324	159.0	2385	0.7072	0.1137	0.0303	0.0549	0.1283	0.1345
0.5352	160.0	2400	0.7085	0.1119	0.0288	0.0548	0.1283	0.1305
0.5344	161.0	2415	0.7090	0.1113	0.0283	0.0549	0.1270	0.1305
0.5315	162.0	2430	0.7081	0.1122	0.0315	0.0601	0.1270	0.1305
0.5486	163.0	2445	0.7080	0.1122	0.0315	0.0601	0.1270	0.1305
0.5366	164.0	2460	0.7067	0.1122	0.0315	0.0601	0.1270	0.1305
0.5241	165.0	2475	0.7073	0.1128	0.0323	0.0600	0.1283	0.1305
0.5288	166.0	2490	0.7071	0.1129	0.0297	0.0560	0.1283	0.1325
0.5366	167.0	2505	0.7091	0.1121	0.0297	0.0560	0.1283	0.1305
0.5137	168.0	2520	0.7091	0.1125	0.0300	0.0549	0.1296	0.1305
0.5188	169.0	2535	0.7079	0.1115	0.0290	0.0561	0.1270	0.1305
0.5276	170.0	2550	0.7092	0.1136	0.0285	0.0564	0.1283	0.1345
0.5318	171.0	2565	0.7116	0.1126	0.0288	0.0563	0.1296	0.1305
0.5371	172.0	2580	0.7128	0.1149	0.0316	0.0607	0.1296	0.1345
0.5302	173.0	2595	0.7126	0.1136	0.0285	0.0564	0.1283	0.1345
0.5294	174.0	2610	0.7128	0.1130	0.0293	0.0596	0.1257	0.1345
0.5302	175.0	2625	0.7121	0.1135	0.0308	0.0608	0.1283	0.1325
0.5224	176.0	2640	0.7111	0.1135	0.0307	0.0609	0.1283	0.1325
0.5211	177.0	2655	0.7098	0.1135	0.0307	0.0609	0.1283	0.1325
0.52	178.0	2670	0.7094	0.1136	0.0322	0.0598	0.1204	0.1406
0.5333	179.0	2685	0.7093	0.1120	0.0324	0.0597	0.1204	0.1365
0.5178	180.0	2700	0.7116	0.1128	0.0309	0.0590	0.1230	0.1365
0.5321	181.0	2715	0.7144	0.1143	0.0296	0.0592	0.1270	0.1365
0.5181	182.0	2730	0.7130	0.1122	0.0293	0.0596	0.1257	0.1325
0.5262	183.0	2745	0.7122	0.1121	0.0277	0.0551	0.1270	0.1325
0.5173	184.0	2760	0.7125	0.1122	0.0293	0.0597	0.1257	0.1325
0.517	185.0	2775	0.7131	0.1134	0.0327	0.0635	0.1270	0.1325
0.5106	186.0	2790	0.7138	0.1134	0.0327	0.0635	0.1270	0.1325
0.5145	187.0	2805	0.7131	0.1125	0.0279	0.0542	0.1283	0.1325
0.5147	188.0	2820	0.7151	0.1146	0.0291	0.0579	0.1283	0.1365
0.5252	189.0	2835	0.7160	0.1177	0.0298	0.0579	0.1296	0.1426
0.5176	190.0	2850	0.7156	0.1131	0.0294	0.0582	0.1283	0.1325
0.5269	191.0	2865	0.7151	0.1140	0.0317	0.0592	0.1296	0.1325
0.5062	192.0	2880	0.7149	0.1141	0.0325	0.0596	0.1296	0.1325
0.5181	193.0	2895	0.7145	0.1141	0.0325	0.0595	0.1296	0.1325
0.5125	194.0	2910	0.7132	0.1161	0.0313	0.0594	0.1310	0.1365
0.5165	195.0	2925	0.7133	0.1155	0.0332	0.0625	0.1283	0.1365
0.5242	196.0	2940	0.7138	0.1149	0.0323	0.0627	0.1270	0.1365
0.5182	197.0	2955	0.7138	0.1165	0.0320	0.0625	0.1270	0.1406
0.5169	198.0	2970	0.7131	0.1133	0.0318	0.0627	0.1270	0.1325
0.5105	199.0	2985	0.7128	0.1150	0.0339	0.0623	0.1270	0.1365
0.5224	200.0	3000	0.7130	0.1134	0.0334	0.0623	0.1270	0.1325
0.5128	201.0	3015	0.7153	0.1173	0.0311	0.0579	0.1283	0.1426
0.5094	202.0	3030	0.7154	0.1184	0.0312	0.0583	0.1270	0.1466
0.5169	203.0	3045	0.7145	0.1157	0.0288	0.0581	0.1270	0.1406
0.5028	204.0	3060	0.7146	0.1193	0.0299	0.0579	0.1296	0.1466
0.5185	205.0	3075	0.7154	0.1173	0.0311	0.0580	0.1283	0.1426
0.5186	206.0	3090	0.7151	0.1167	0.0307	0.0581	0.1270	0.1426
0.5117	207.0	3105	0.7156	0.1173	0.0311	0.0579	0.1283	0.1426
0.4978	208.0	3120	0.7156	0.1167	0.0307	0.0581	0.1270	0.1426
0.5116	209.0	3135	0.7166	0.1174	0.0319	0.0583	0.1283	0.1426
0.5138	210.0	3150	0.7169	0.1173	0.0315	0.0579	0.1283	0.1426
0.5182	211.0	3165	0.7171	0.1174	0.0323	0.0583	0.1283	0.1426
0.5124	212.0	3180	0.7183	0.1167	0.0310	0.0581	0.1270	0.1426
0.5092	213.0	3195	0.7184	0.1169	0.0318	0.0585	0.1270	0.1426
0.5139	214.0	3210	0.7190	0.1144	0.0316	0.0583	0.1270	0.1365
0.5072	215.0	3225	0.7182	0.1128	0.0311	0.0583	0.1270	0.1325
0.5027	216.0	3240	0.7183	0.1151	0.0305	0.0581	0.1270	0.1386
0.508	217.0	3255	0.7196	0.1167	0.0310	0.0581	0.1270	0.1426
0.5016	218.0	3270	0.7190	0.1138	0.0311	0.0585	0.1257	0.1365
0.4966	219.0	3285	0.7192	0.1144	0.0316	0.0583	0.1270	0.1365
0.4946	220.0	3300	0.7195	0.1134	0.0306	0.0574	0.1270	0.1345
0.5109	221.0	3315	0.7196	0.1138	0.0308	0.0585	0.1257	0.1365
0.5047	222.0	3330	0.7193	0.1174	0.0323	0.0583	0.1283	0.1426
0.5146	223.0	3345	0.7187	0.1144	0.0316	0.0583	0.1270	0.1365
0.5133	224.0	3360	0.7180	0.1144	0.0316	0.0583	0.1270	0.1365
0.5054	225.0	3375	0.7182	0.1144	0.0316	0.0583	0.1270	0.1365
0.4917	226.0	3390	0.7175	0.1128	0.0311	0.0583	0.1270	0.1325
0.5053	227.0	3405	0.7174	0.1122	0.0303	0.0585	0.1257	0.1325
0.5085	228.0	3420	0.7184	0.1144	0.0313	0.0583	0.1270	0.1365
0.502	229.0	3435	0.7195	0.1118	0.0304	0.0573	0.1270	0.1305
0.4979	230.0	3450	0.7203	0.1113	0.0306	0.0573	0.1257	0.1305
0.5132	231.0	3465	0.7202	0.1129	0.0311	0.0573	0.1257	0.1345
0.5008	232.0	3480	0.7204	0.1129	0.0311	0.0573	0.1257	0.1345
0.4988	233.0	3495	0.7202	0.1137	0.0304	0.0575	0.1257	0.1365
0.5159	234.0	3510	0.7197	0.1142	0.0309	0.0573	0.1270	0.1365
0.4901	235.0	3525	0.7206	0.1107	0.0298	0.0575	0.1243	0.1305
0.5024	236.0	3540	0.7204	0.1137	0.0308	0.0575	0.1257	0.1365
0.5049	237.0	3555	0.7201	0.1143	0.0312	0.0573	0.1270	0.1365
0.5022	238.0	3570	0.7202	0.1143	0.0312	0.0573	0.1270	0.1365
0.5086	239.0	3585	0.7196	0.1142	0.0309	0.0573	0.1270	0.1365
0.4943	240.0	3600	0.7207	0.1143	0.0312	0.0573	0.1270	0.1365
0.4963	241.0	3615	0.7207	0.1143	0.0312	0.0573	0.1270	0.1365
0.5052	242.0	3630	0.7203	0.1147	0.0308	0.0573	0.1283	0.1365
0.5032	243.0	3645	0.7203	0.1164	0.0312	0.0573	0.1283	0.1406
0.5002	244.0	3660	0.7202	0.1159	0.0314	0.0573	0.1270	0.1406
0.4937	245.0	3675	0.7201	0.1164	0.0312	0.0573	0.1283	0.1406
0.5078	246.0	3690	0.7198	0.1146	0.0300	0.0569	0.1283	0.1365
0.5003	247.0	3705	0.7200	0.1141	0.0301	0.0569	0.1270	0.1365
0.4985	248.0	3720	0.7200	0.1164	0.0312	0.0573	0.1283	0.1406
0.4968	249.0	3735	0.7198	0.1164	0.0315	0.0573	0.1283	0.1406
0.5151	250.0	3750	0.7193	0.1164	0.0315	0.0573	0.1283	0.1406
0.4937	251.0	3765	0.7196	0.1164	0.0315	0.0573	0.1283	0.1406
0.5037	252.0	3780	0.7203	0.1163	0.0308	0.0569	0.1283	0.1406
0.4947	253.0	3795	0.7205	0.1164	0.0312	0.0573	0.1283	0.1406
0.4997	254.0	3810	0.7206	0.1164	0.0315	0.0573	0.1283	0.1406
0.4991	255.0	3825	0.7208	0.1164	0.0315	0.0573	0.1283	0.1406
0.4955	256.0	3840	0.7202	0.1153	0.0309	0.0575	0.1257	0.1406
0.4952	257.0	3855	0.7206	0.1191	0.0321	0.0573	0.1349	0.1406
0.4887	258.0	3870	0.7208	0.1191	0.0321	0.0573	0.1349	0.1406
0.5016	259.0	3885	0.7206	0.1191	0.0321	0.0573	0.1349	0.1406
0.5068	260.0	3900	0.7208	0.1191	0.0321	0.0573	0.1349	0.1406
0.4983	261.0	3915	0.7212	0.1191	0.0321	0.0573	0.1349	0.1406
0.4905	262.0	3930	0.7212	0.1191	0.0321	0.0573	0.1349	0.1406
0.4986	263.0	3945	0.7212	0.1186	0.0316	0.0575	0.1336	0.1406
0.5006	264.0	3960	0.7216	0.1191	0.0321	0.0573	0.1349	0.1406
0.4953	265.0	3975	0.7217	0.1191	0.0321	0.0573	0.1349	0.1406
0.4879	266.0	3990	0.7218	0.1191	0.0321	0.0573	0.1349	0.1406
0.4842	267.0	4005	0.7221	0.1191	0.0321	0.0573	0.1349	0.1406
0.4959	268.0	4020	0.7221	0.1191	0.0320	0.0569	0.1349	0.1406
0.504	269.0	4035	0.7220	0.1191	0.0321	0.0573	0.1349	0.1406
0.4928	270.0	4050	0.7219	0.1191	0.0321	0.0573	0.1349	0.1406
0.506	271.0	4065	0.7223	0.1233	0.0364	0.0630	0.1429	0.1406
0.4981	272.0	4080	0.7224	0.1233	0.0364	0.0630	0.1429	0.1406
0.503	273.0	4095	0.7223	0.1233	0.0364	0.0630	0.1429	0.1406
0.4887	274.0	4110	0.7222	0.1192	0.0324	0.0573	0.1349	0.1406
0.4895	275.0	4125	0.7220	0.1192	0.0324	0.0573	0.1349	0.1406
0.4921	276.0	4140	0.7219	0.1186	0.0319	0.0575	0.1336	0.1406
0.5102	277.0	4155	0.7220	0.1186	0.0319	0.0575	0.1336	0.1406
0.4958	278.0	4170	0.7221	0.1192	0.0324	0.0573	0.1349	0.1406
0.4958	279.0	4185	0.7221	0.1192	0.0324	0.0573	0.1349	0.1406
0.4837	280.0	4200	0.7221	0.1191	0.0321	0.0573	0.1349	0.1406
0.4901	281.0	4215	0.7222	0.1191	0.0321	0.0573	0.1349	0.1406
0.4881	282.0	4230	0.7223	0.1191	0.0321	0.0573	0.1349	0.1406
0.4913	283.0	4245	0.7224	0.1191	0.0321	0.0573	0.1349	0.1406
0.5032	284.0	4260	0.7227	0.1191	0.0321	0.0573	0.1349	0.1406
0.5038	285.0	4275	0.7227	0.1191	0.0321	0.0573	0.1349	0.1406
0.4914	286.0	4290	0.7230	0.1192	0.0324	0.0573	0.1349	0.1406
0.4973	287.0	4305	0.7232	0.1192	0.0324	0.0573	0.1349	0.1406
0.4973	288.0	4320	0.7231	0.1192	0.0324	0.0573	0.1349	0.1406
0.4804	289.0	4335	0.7233	0.1192	0.0324	0.0573	0.1349	0.1406
0.4884	290.0	4350	0.7234	0.1192	0.0324	0.0573	0.1349	0.1406
0.4896	291.0	4365	0.7234	0.1192	0.0324	0.0573	0.1349	0.1406
0.4893	292.0	4380	0.7235	0.1192	0.0324	0.0573	0.1349	0.1406
0.502	293.0	4395	0.7234	0.1192	0.0324	0.0573	0.1349	0.1406
0.5068	294.0	4410	0.7234	0.1192	0.0324	0.0573	0.1349	0.1406
0.488	295.0	4425	0.7234	0.1192	0.0324	0.0573	0.1349	0.1406
0.4884	296.0	4440	0.7235	0.1192	0.0324	0.0573	0.1349	0.1406
0.4912	297.0	4455	0.7236	0.1192	0.0324	0.0573	0.1349	0.1406
0.4943	298.0	4470	0.7236	0.1192	0.0324	0.0573	0.1349	0.1406
0.5055	299.0	4485	0.7236	0.1192	0.0324	0.0573	0.1349	0.1406
0.4919	300.0	4500	0.7236	0.1192	0.0324	0.0573	0.1349	0.1406

Framework versions

• Transformers 4.31.0
• Pytorch 2.0.1
• Datasets 2.14.4
• Tokenizers 0.13.3