codet5p-770m-py-sanitized-codebleu-1-True-5e-05-0.1-lora-layer_12_13_14_15

This model is a fine-tuned version of Salesforce/codet5p-770m-py on the mbpp dataset. It achieves the following results on the evaluation set:

• Loss: 0.9368
• Codebleu: 0.1323
• Ngram Match Score: 0.0461
• Weighted Ngram Match Score: 0.0758
• Syntax Match Score: 0.1376
• Dataflow Match Score: 0.1627

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 5e-05
• train_batch_size: 8
• eval_batch_size: 8
• seed: 42
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: linear
• lr_scheduler_warmup_steps: 100
• num_epochs: 300

Training results

Training Loss	Epoch	Step	Validation Loss	Codebleu	Ngram Match Score	Weighted Ngram Match Score	Syntax Match Score	Dataflow Match Score
0.9788	1.0	15	0.9234	0.0072	0.0000	0.0000	0.0079	0.0100
0.9762	2.0	30	0.9179	0.0080	0.0000	0.0000	0.0079	0.0120
0.9544	3.0	45	0.9058	0.0096	0.0000	0.0002	0.0079	0.0161
0.9201	4.0	60	0.8840	0.0484	0.0017	0.0266	0.0476	0.0663
0.9115	5.0	75	0.8543	0.1000	0.0219	0.0496	0.1257	0.1064
0.8918	6.0	90	0.8318	0.0975	0.0226	0.0527	0.1204	0.1044
0.8565	7.0	105	0.8134	0.0990	0.0226	0.0521	0.1204	0.1084
0.8205	8.0	120	0.7937	0.1013	0.0178	0.0451	0.1230	0.1145
0.7938	9.0	135	0.7794	0.1035	0.0167	0.0446	0.1310	0.1124
0.778	10.0	150	0.7663	0.1067	0.0151	0.0408	0.1243	0.1285
0.7625	11.0	165	0.7553	0.1056	0.0150	0.0406	0.1257	0.1245
0.7674	12.0	180	0.7478	0.1081	0.0159	0.0406	0.1336	0.1225
0.7429	13.0	195	0.7420	0.1165	0.0227	0.0516	0.1402	0.1325
0.7151	14.0	210	0.7380	0.1176	0.0262	0.0588	0.1442	0.1285
0.7247	15.0	225	0.7335	0.1246	0.0302	0.0633	0.1495	0.1386
0.7241	16.0	240	0.7289	0.1171	0.0292	0.0620	0.1455	0.1245
0.7093	17.0	255	0.7260	0.1118	0.0295	0.0618	0.1402	0.1165
0.6852	18.0	270	0.7240	0.1086	0.0247	0.0532	0.1376	0.1145
0.6869	19.0	285	0.7226	0.1165	0.0314	0.0616	0.1415	0.1265
0.6726	20.0	300	0.7232	0.1138	0.0309	0.0613	0.1389	0.1225
0.6522	21.0	315	0.7213	0.1135	0.0307	0.0613	0.1362	0.1245
0.6452	22.0	330	0.7186	0.1148	0.0286	0.0574	0.1349	0.1305
0.6425	23.0	345	0.7194	0.1118	0.0294	0.0581	0.1270	0.1305
0.6381	24.0	360	0.7171	0.1120	0.0280	0.0571	0.1283	0.1305
0.6331	25.0	375	0.7191	0.1088	0.0286	0.0583	0.1217	0.1285
0.6167	26.0	390	0.7164	0.1062	0.0255	0.0518	0.1217	0.1245
0.5954	27.0	405	0.7164	0.1122	0.0316	0.0605	0.1310	0.1265
0.5953	28.0	420	0.7214	0.0982	0.0254	0.0518	0.1138	0.1124
0.5859	29.0	435	0.7169	0.1102	0.0301	0.0582	0.1310	0.1225
0.5787	30.0	450	0.7169	0.1039	0.0274	0.0532	0.1151	0.1245
0.5781	31.0	465	0.7152	0.1057	0.0279	0.0524	0.1177	0.1265
0.5642	32.0	480	0.7165	0.1048	0.0330	0.0572	0.1151	0.1245
0.5775	33.0	495	0.7161	0.1090	0.0279	0.0506	0.1243	0.1285
0.5588	34.0	510	0.7173	0.1058	0.0273	0.0513	0.1204	0.1245
0.5436	35.0	525	0.7216	0.1042	0.0232	0.0419	0.1177	0.1265
0.5674	36.0	540	0.7169	0.1022	0.0237	0.0428	0.1164	0.1225
0.5336	37.0	555	0.7206	0.1050	0.0236	0.0439	0.1190	0.1265
0.5378	38.0	570	0.7215	0.1041	0.0232	0.0438	0.1190	0.1245
0.5297	39.0	585	0.7267	0.1041	0.0241	0.0424	0.1071	0.1365
0.5299	40.0	600	0.7275	0.1103	0.0302	0.0526	0.1164	0.1386
0.5203	41.0	615	0.7235	0.1108	0.0303	0.0519	0.1098	0.1466
0.5133	42.0	630	0.7244	0.1130	0.0297	0.0539	0.1270	0.1345
0.5098	43.0	645	0.7289	0.1109	0.0301	0.0510	0.1204	0.1365
0.5182	44.0	660	0.7263	0.1185	0.0314	0.0538	0.1323	0.1426
0.5025	45.0	675	0.7334	0.1158	0.0307	0.0520	0.1283	0.1406
0.4925	46.0	690	0.7307	0.1117	0.0321	0.0518	0.1098	0.1486
0.4983	47.0	705	0.7285	0.1134	0.0301	0.0524	0.1204	0.1426
0.4982	48.0	720	0.7318	0.1041	0.0277	0.0466	0.1111	0.1305
0.497	49.0	735	0.7372	0.1126	0.0320	0.0526	0.1177	0.1426
0.4802	50.0	750	0.7304	0.1092	0.0301	0.0524	0.1177	0.1345
0.481	51.0	765	0.7327	0.1037	0.0246	0.0432	0.1098	0.1325
0.4874	52.0	780	0.7340	0.1012	0.0190	0.0350	0.1190	0.1205
0.475	53.0	795	0.7346	0.1077	0.0273	0.0466	0.1243	0.1265
0.4611	54.0	810	0.7366	0.1045	0.0302	0.0506	0.1085	0.1325
0.4719	55.0	825	0.7413	0.1126	0.0336	0.0565	0.1164	0.1426
0.4626	56.0	840	0.7432	0.1099	0.0333	0.0565	0.1138	0.1386
0.4608	57.0	855	0.7460	0.1036	0.0273	0.0477	0.1138	0.1265
0.4488	58.0	870	0.7456	0.1055	0.0259	0.0439	0.1138	0.1325
0.4612	59.0	885	0.7433	0.0982	0.0228	0.0381	0.1058	0.1245
0.4476	60.0	900	0.7517	0.0982	0.0226	0.0381	0.1058	0.1245
0.4525	61.0	915	0.7507	0.1209	0.0318	0.0543	0.1362	0.1446
0.4377	62.0	930	0.7466	0.1232	0.0395	0.0668	0.1349	0.1466
0.4502	63.0	945	0.7510	0.1091	0.0341	0.0559	0.1138	0.1365
0.4212	64.0	960	0.7569	0.1111	0.0340	0.0578	0.1204	0.1345
0.447	65.0	975	0.7539	0.1176	0.0340	0.0586	0.1323	0.1386
0.4191	66.0	990	0.7549	0.1096	0.0338	0.0562	0.1190	0.1325
0.4351	67.0	1005	0.7584	0.1000	0.0286	0.0479	0.1085	0.1225
0.4264	68.0	1020	0.7587	0.1186	0.0326	0.0568	0.1336	0.1406
0.4166	69.0	1035	0.7535	0.1077	0.0340	0.0575	0.1098	0.1365
0.4352	70.0	1050	0.7698	0.1075	0.0304	0.0541	0.1111	0.1365
0.4193	71.0	1065	0.7648	0.1090	0.0314	0.0548	0.1164	0.1345
0.4225	72.0	1080	0.7598	0.1064	0.0310	0.0538	0.1164	0.1285
0.4017	73.0	1095	0.7650	0.1153	0.0318	0.0570	0.1296	0.1365
0.4029	74.0	1110	0.7691	0.1035	0.0280	0.0458	0.1138	0.1265
0.3986	75.0	1125	0.7680	0.1124	0.0289	0.0494	0.1310	0.1305
0.4065	76.0	1140	0.7685	0.1036	0.0236	0.0405	0.1164	0.1265
0.3938	77.0	1155	0.7816	0.1057	0.0285	0.0482	0.1124	0.1325
0.4065	78.0	1170	0.7753	0.1115	0.0320	0.0559	0.1243	0.1325
0.392	79.0	1185	0.7788	0.1069	0.0294	0.0494	0.1190	0.1285
0.3846	80.0	1200	0.7769	0.1100	0.0325	0.0553	0.1164	0.1365
0.391	81.0	1215	0.7805	0.0950	0.0212	0.0373	0.1045	0.1185
0.3848	82.0	1230	0.7829	0.1027	0.0267	0.0470	0.1058	0.1325
0.3996	83.0	1245	0.7832	0.1081	0.0294	0.0514	0.1257	0.1245
0.3795	84.0	1260	0.7853	0.1042	0.0270	0.0462	0.1138	0.1285
0.3732	85.0	1275	0.7866	0.1018	0.0237	0.0409	0.1098	0.1285
0.3718	86.0	1290	0.7855	0.1104	0.0352	0.0594	0.1138	0.1386
0.3672	87.0	1305	0.7740	0.1129	0.0327	0.0554	0.1257	0.1345
0.379	88.0	1320	0.7882	0.0985	0.0300	0.0525	0.1111	0.1145
0.3791	89.0	1335	0.7797	0.1059	0.0301	0.0548	0.1230	0.1205
0.371	90.0	1350	0.7886	0.1118	0.0366	0.0647	0.1257	0.1285
0.362	91.0	1365	0.7944	0.0999	0.0281	0.0474	0.1045	0.1265
0.361	92.0	1380	0.7896	0.1168	0.0324	0.0554	0.1336	0.1365
0.3545	93.0	1395	0.7975	0.1042	0.0312	0.0522	0.1151	0.1245
0.3524	94.0	1410	0.7947	0.1094	0.0311	0.0546	0.1217	0.1305
0.363	95.0	1425	0.8025	0.1096	0.0292	0.0527	0.1230	0.1305
0.3725	96.0	1440	0.7875	0.1083	0.0348	0.0582	0.1151	0.1325
0.3565	97.0	1455	0.8006	0.1088	0.0346	0.0579	0.1204	0.1285
0.3447	98.0	1470	0.8110	0.1162	0.0367	0.0610	0.1296	0.1365
0.3564	99.0	1485	0.7999	0.1190	0.0435	0.0736	0.1336	0.1345
0.3581	100.0	1500	0.7950	0.1107	0.0360	0.0595	0.1243	0.1285
0.3529	101.0	1515	0.7983	0.1127	0.0446	0.0704	0.1204	0.1325
0.3388	102.0	1530	0.7993	0.1099	0.0485	0.0759	0.1190	0.1245
0.3514	103.0	1545	0.8133	0.1095	0.0442	0.0737	0.1217	0.1225
0.3424	104.0	1560	0.8172	0.1092	0.0388	0.0656	0.1283	0.1185
0.338	105.0	1575	0.8139	0.1076	0.0403	0.0672	0.1217	0.1205
0.3417	106.0	1590	0.8082	0.1105	0.0402	0.0661	0.1190	0.1305
0.355	107.0	1605	0.8005	0.1135	0.0430	0.0700	0.1270	0.1285
0.3334	108.0	1620	0.8019	0.1066	0.0341	0.0579	0.1230	0.1205
0.3386	109.0	1635	0.8084	0.1086	0.0360	0.0598	0.1230	0.1245
0.3285	110.0	1650	0.8217	0.1080	0.0361	0.0594	0.1217	0.1245
0.3322	111.0	1665	0.8170	0.1155	0.0379	0.0657	0.1323	0.1305
0.3255	112.0	1680	0.8138	0.1120	0.0447	0.0723	0.1243	0.1265
0.3174	113.0	1695	0.8314	0.1084	0.0398	0.0648	0.1164	0.1285
0.3273	114.0	1710	0.8122	0.1116	0.0452	0.0727	0.1190	0.1305
0.3259	115.0	1725	0.8261	0.1095	0.0368	0.0597	0.1190	0.1305
0.3147	116.0	1740	0.8261	0.1095	0.0368	0.0600	0.1190	0.1305
0.3149	117.0	1755	0.8246	0.1090	0.0349	0.0570	0.1190	0.1305
0.3171	118.0	1770	0.8284	0.1141	0.0388	0.0643	0.1270	0.1325
0.3263	119.0	1785	0.8195	0.1043	0.0382	0.0623	0.1071	0.1285
0.3196	120.0	1800	0.8266	0.1135	0.0316	0.0517	0.1243	0.1386
0.3169	121.0	1815	0.8312	0.1180	0.0389	0.0651	0.1243	0.1446
0.3095	122.0	1830	0.8306	0.1179	0.0463	0.0733	0.1243	0.1406
0.3166	123.0	1845	0.8373	0.1074	0.0393	0.0628	0.1164	0.1265
0.3047	124.0	1860	0.8377	0.1060	0.0399	0.0645	0.1124	0.1265
0.3047	125.0	1875	0.8286	0.1148	0.0392	0.0658	0.1283	0.1325
0.298	126.0	1890	0.8361	0.1136	0.0389	0.0640	0.1257	0.1325
0.3052	127.0	1905	0.8467	0.1130	0.0433	0.0692	0.1177	0.1365
0.3106	128.0	1920	0.8325	0.1245	0.0474	0.0744	0.1402	0.1406
0.312	129.0	1935	0.8384	0.1162	0.0374	0.0596	0.1296	0.1365
0.3058	130.0	1950	0.8465	0.1085	0.0390	0.0608	0.1138	0.1325
0.3043	131.0	1965	0.8454	0.1148	0.0393	0.0647	0.1243	0.1365
0.3035	132.0	1980	0.8473	0.1039	0.0365	0.0568	0.1019	0.1345
0.3109	133.0	1995	0.8378	0.1144	0.0415	0.0666	0.1164	0.1426
0.2892	134.0	2010	0.8542	0.1023	0.0335	0.0543	0.1032	0.1305
0.286	135.0	2025	0.8387	0.1100	0.0357	0.0582	0.1151	0.1365
0.2922	136.0	2040	0.8519	0.1102	0.0357	0.0572	0.1138	0.1386
0.2828	137.0	2055	0.8429	0.1099	0.0338	0.0562	0.1177	0.1345
0.2874	138.0	2070	0.8537	0.0993	0.0340	0.0560	0.1032	0.1225
0.3	139.0	2085	0.8486	0.1130	0.0354	0.0593	0.1243	0.1345
0.2997	140.0	2100	0.8563	0.1017	0.0322	0.0557	0.1098	0.1225
0.2893	141.0	2115	0.8536	0.1103	0.0379	0.0640	0.1177	0.1325
0.3039	142.0	2130	0.8451	0.1075	0.0399	0.0636	0.1085	0.1345
0.2795	143.0	2145	0.8577	0.1172	0.0398	0.0671	0.1257	0.1406
0.2941	144.0	2160	0.8644	0.1093	0.0334	0.0563	0.1204	0.1305
0.2742	145.0	2175	0.8632	0.1083	0.0363	0.0624	0.1217	0.1245
0.2951	146.0	2190	0.8588	0.1161	0.0457	0.0715	0.1164	0.1446
0.2917	147.0	2205	0.8648	0.1126	0.0438	0.0703	0.1124	0.1406
0.28	148.0	2220	0.8670	0.1162	0.0433	0.0728	0.1230	0.1386
0.2784	149.0	2235	0.8641	0.1181	0.0424	0.0710	0.1204	0.1466
0.2696	150.0	2250	0.8689	0.1164	0.0439	0.0712	0.1257	0.1365
0.2811	151.0	2265	0.8709	0.1128	0.0359	0.0590	0.1177	0.1406
0.2761	152.0	2280	0.8685	0.1146	0.0439	0.0685	0.1138	0.1446
0.2632	153.0	2295	0.8795	0.1191	0.0468	0.0741	0.1270	0.1406
0.2794	154.0	2310	0.8597	0.1163	0.0440	0.0724	0.1190	0.1426
0.2724	155.0	2325	0.8575	0.1046	0.0380	0.0628	0.1058	0.1305
0.2856	156.0	2340	0.8721	0.1168	0.0412	0.0672	0.1243	0.1406
0.2713	157.0	2355	0.8782	0.1198	0.0459	0.0740	0.1230	0.1466
0.2814	158.0	2370	0.8795	0.1161	0.0443	0.0727	0.1204	0.1406
0.277	159.0	2385	0.8797	0.1098	0.0401	0.0669	0.1111	0.1365
0.2712	160.0	2400	0.8753	0.1108	0.0352	0.0579	0.1151	0.1386
0.2666	161.0	2415	0.8782	0.1036	0.0316	0.0510	0.1098	0.1285
0.2809	162.0	2430	0.8742	0.1141	0.0358	0.0593	0.1270	0.1345
0.2761	163.0	2445	0.8810	0.1218	0.0426	0.0700	0.1296	0.1466
0.2623	164.0	2460	0.8755	0.1141	0.0342	0.0576	0.1217	0.1406
0.2648	165.0	2475	0.8730	0.1162	0.0368	0.0603	0.1177	0.1486
0.2599	166.0	2490	0.8832	0.1194	0.0409	0.0666	0.1230	0.1486
0.2631	167.0	2505	0.8871	0.1171	0.0464	0.0729	0.1204	0.1426
0.2554	168.0	2520	0.8846	0.1175	0.0441	0.0742	0.1296	0.1345
0.2609	169.0	2535	0.8968	0.1167	0.0422	0.0676	0.1217	0.1426
0.2601	170.0	2550	0.8919	0.1086	0.0383	0.0623	0.1177	0.1285
0.2586	171.0	2565	0.8835	0.1191	0.0431	0.0697	0.1310	0.1386
0.2609	172.0	2580	0.8916	0.1152	0.0398	0.0663	0.1230	0.1386
0.2682	173.0	2595	0.8925	0.1140	0.0398	0.0647	0.1204	0.1386
0.2569	174.0	2610	0.8935	0.1176	0.0387	0.0646	0.1296	0.1386
0.2625	175.0	2625	0.8954	0.1147	0.0382	0.0652	0.1243	0.1365
0.267	176.0	2640	0.8911	0.1079	0.0390	0.0653	0.1111	0.1325
0.2494	177.0	2655	0.9008	0.1211	0.0416	0.0706	0.1362	0.1386
0.2504	178.0	2670	0.8889	0.1181	0.0400	0.0655	0.1283	0.1406
0.2513	179.0	2685	0.8913	0.1164	0.0404	0.0670	0.1257	0.1386
0.2522	180.0	2700	0.9002	0.1136	0.0396	0.0661	0.1230	0.1345
0.2498	181.0	2715	0.9021	0.1215	0.0469	0.0736	0.1230	0.1506
0.2454	182.0	2730	0.8965	0.1192	0.0405	0.0651	0.1310	0.1406
0.2472	183.0	2745	0.8992	0.1130	0.0393	0.0657	0.1217	0.1345
0.255	184.0	2760	0.8963	0.1140	0.0405	0.0660	0.1217	0.1365
0.2425	185.0	2775	0.9088	0.1187	0.0454	0.0737	0.1243	0.1426
0.2457	186.0	2790	0.9082	0.1293	0.0485	0.0761	0.1376	0.1546
0.241	187.0	2805	0.8973	0.1232	0.0474	0.0739	0.1270	0.1506
0.2499	188.0	2820	0.8996	0.1230	0.0464	0.0737	0.1310	0.1466
0.2439	189.0	2835	0.8972	0.1180	0.0457	0.0718	0.1230	0.1426
0.2559	190.0	2850	0.8999	0.1181	0.0457	0.0729	0.1230	0.1426
0.2525	191.0	2865	0.9092	0.1232	0.0466	0.0729	0.1296	0.1486
0.2478	192.0	2880	0.9184	0.1152	0.0409	0.0642	0.1190	0.1426
0.2428	193.0	2895	0.9130	0.1182	0.0466	0.0733	0.1230	0.1426
0.2444	194.0	2910	0.8997	0.1241	0.0458	0.0747	0.1376	0.1426
0.2356	195.0	2925	0.9104	0.1241	0.0458	0.0750	0.1415	0.1386
0.2503	196.0	2940	0.9133	0.1180	0.0470	0.0741	0.1283	0.1365
0.2515	197.0	2955	0.8995	0.1116	0.0410	0.0657	0.1177	0.1345
0.2354	198.0	2970	0.8983	0.1113	0.0394	0.0641	0.1177	0.1345
0.2466	199.0	2985	0.9004	0.1183	0.0461	0.0716	0.1217	0.1446
0.2343	200.0	3000	0.9103	0.1275	0.0505	0.0805	0.1415	0.1446
0.2412	201.0	3015	0.9088	0.1275	0.0506	0.0798	0.1336	0.1526
0.2311	202.0	3030	0.9107	0.1208	0.0448	0.0721	0.1283	0.1446
0.2387	203.0	3045	0.9054	0.1202	0.0407	0.0675	0.1349	0.1386
0.2206	204.0	3060	0.9117	0.1164	0.0434	0.0693	0.1204	0.1426
0.2414	205.0	3075	0.9124	0.1213	0.0457	0.0727	0.1230	0.1506
0.2332	206.0	3090	0.9115	0.1263	0.0481	0.0810	0.1349	0.1486
0.2287	207.0	3105	0.9107	0.1389	0.0525	0.0857	0.1521	0.1606
0.2313	208.0	3120	0.9165	0.1231	0.0406	0.0671	0.1362	0.1446
0.2367	209.0	3135	0.9178	0.1235	0.0461	0.0740	0.1362	0.1426
0.2341	210.0	3150	0.9163	0.1141	0.0435	0.0698	0.1204	0.1365
0.2301	211.0	3165	0.9261	0.1187	0.0432	0.0736	0.1310	0.1365
0.2397	212.0	3180	0.9267	0.1082	0.0379	0.0621	0.1151	0.1305
0.2283	213.0	3195	0.9086	0.1163	0.0408	0.0655	0.1257	0.1386
0.2294	214.0	3210	0.9078	0.1330	0.0466	0.0746	0.1455	0.1566
0.2336	215.0	3225	0.9139	0.1213	0.0419	0.0691	0.1310	0.1446
0.2235	216.0	3240	0.9250	0.1261	0.0429	0.0706	0.1362	0.1506
0.2305	217.0	3255	0.9197	0.1166	0.0413	0.0680	0.1217	0.1426
0.2278	218.0	3270	0.9183	0.1183	0.0412	0.0662	0.1283	0.1406
0.2297	219.0	3285	0.9224	0.1203	0.0441	0.0697	0.1296	0.1426
0.2241	220.0	3300	0.9240	0.1288	0.0440	0.0730	0.1362	0.1566
0.2334	221.0	3315	0.9224	0.1281	0.0446	0.0729	0.1362	0.1546
0.2305	222.0	3330	0.9252	0.1283	0.0440	0.0730	0.1389	0.1526
0.2275	223.0	3345	0.9244	0.1172	0.0397	0.0650	0.1204	0.1466
0.229	224.0	3360	0.9247	0.1179	0.0377	0.0635	0.1270	0.1426
0.2188	225.0	3375	0.9272	0.1166	0.0367	0.0618	0.1243	0.1426
0.2237	226.0	3390	0.9289	0.1245	0.0431	0.0704	0.1323	0.1506
0.2188	227.0	3405	0.9245	0.1277	0.0427	0.0705	0.1323	0.1586
0.22	228.0	3420	0.9236	0.1254	0.0439	0.0703	0.1323	0.1526
0.2311	229.0	3435	0.9298	0.1254	0.0434	0.0705	0.1323	0.1526
0.2166	230.0	3450	0.9316	0.1223	0.0431	0.0696	0.1270	0.1506
0.2248	231.0	3465	0.9223	0.1240	0.0460	0.0730	0.1257	0.1546
0.2162	232.0	3480	0.9277	0.1294	0.0461	0.0737	0.1349	0.1586
0.2198	233.0	3495	0.9313	0.1310	0.0444	0.0733	0.1415	0.1566
0.2286	234.0	3510	0.9356	0.1317	0.0451	0.0734	0.1389	0.1606
0.2297	235.0	3525	0.9263	0.1317	0.0451	0.0734	0.1389	0.1606
0.2141	236.0	3540	0.9304	0.1317	0.0454	0.0734	0.1389	0.1606
0.2184	237.0	3555	0.9337	0.1266	0.0468	0.0742	0.1257	0.1606
0.225	238.0	3570	0.9267	0.1271	0.0454	0.0727	0.1296	0.1586
0.2201	239.0	3585	0.9258	0.1247	0.0414	0.0686	0.1296	0.1546
0.2143	240.0	3600	0.9301	0.1237	0.0415	0.0688	0.1270	0.1546
0.2196	241.0	3615	0.9347	0.1206	0.0424	0.0690	0.1270	0.1466
0.2238	242.0	3630	0.9343	0.1222	0.0460	0.0737	0.1230	0.1526
0.2154	243.0	3645	0.9353	0.1257	0.0446	0.0729	0.1323	0.1526
0.2136	244.0	3660	0.9401	0.1233	0.0427	0.0698	0.1296	0.1506
0.2191	245.0	3675	0.9384	0.1219	0.0408	0.0679	0.1270	0.1506
0.229	246.0	3690	0.9280	0.1297	0.0444	0.0732	0.1442	0.1506
0.2188	247.0	3705	0.9266	0.1297	0.0443	0.0732	0.1442	0.1506
0.2093	248.0	3720	0.9273	0.1272	0.0441	0.0723	0.1362	0.1526
0.2253	249.0	3735	0.9277	0.1280	0.0443	0.0721	0.1362	0.1546
0.2229	250.0	3750	0.9298	0.1197	0.0398	0.0677	0.1257	0.1466
0.2109	251.0	3765	0.9319	0.1196	0.0395	0.0645	0.1243	0.1486
0.2171	252.0	3780	0.9290	0.1257	0.0447	0.0729	0.1323	0.1526
0.2124	253.0	3795	0.9276	0.1265	0.0450	0.0727	0.1323	0.1546
0.2158	254.0	3810	0.9281	0.1211	0.0407	0.0679	0.1270	0.1486
0.2189	255.0	3825	0.9300	0.1188	0.0390	0.0676	0.1257	0.1446
0.2087	256.0	3840	0.9335	0.1188	0.0390	0.0676	0.1257	0.1446
0.2209	257.0	3855	0.9325	0.1157	0.0382	0.0666	0.1204	0.1426
0.2018	258.0	3870	0.9303	0.1149	0.0385	0.0666	0.1204	0.1406
0.2081	259.0	3885	0.9344	0.1190	0.0435	0.0730	0.1217	0.1466
0.219	260.0	3900	0.9388	0.1218	0.0454	0.0732	0.1243	0.1506
0.2066	261.0	3915	0.9376	0.1218	0.0455	0.0731	0.1243	0.1506
0.2105	262.0	3930	0.9365	0.1211	0.0448	0.0719	0.1230	0.1506
0.2146	263.0	3945	0.9372	0.1211	0.0450	0.0719	0.1230	0.1506
0.2174	264.0	3960	0.9383	0.1211	0.0450	0.0719	0.1230	0.1506
0.2048	265.0	3975	0.9396	0.1211	0.0450	0.0719	0.1230	0.1506
0.216	266.0	3990	0.9411	0.1314	0.0462	0.0746	0.1376	0.1606
0.1976	267.0	4005	0.9390	0.1314	0.0461	0.0747	0.1376	0.1606
0.2127	268.0	4020	0.9428	0.1314	0.0461	0.0747	0.1376	0.1606
0.2268	269.0	4035	0.9429	0.1314	0.0461	0.0747	0.1376	0.1606
0.2088	270.0	4050	0.9418	0.1305	0.0457	0.0748	0.1376	0.1586
0.2065	271.0	4065	0.9412	0.1305	0.0458	0.0748	0.1376	0.1586
0.2162	272.0	4080	0.9363	0.1305	0.0458	0.0748	0.1376	0.1586
0.2105	273.0	4095	0.9373	0.1313	0.0460	0.0746	0.1376	0.1606
0.209	274.0	4110	0.9373	0.1313	0.0459	0.0747	0.1376	0.1606
0.2027	275.0	4125	0.9362	0.1305	0.0454	0.0748	0.1376	0.1586
0.2081	276.0	4140	0.9346	0.1315	0.0451	0.0748	0.1402	0.1586
0.2143	277.0	4155	0.9347	0.1305	0.0454	0.0748	0.1376	0.1586
0.2092	278.0	4170	0.9362	0.1313	0.0459	0.0747	0.1376	0.1606
0.2128	279.0	4185	0.9353	0.1313	0.0459	0.0747	0.1376	0.1606
0.2086	280.0	4200	0.9364	0.1333	0.0467	0.0753	0.1402	0.1627
0.2134	281.0	4215	0.9353	0.1333	0.0467	0.0753	0.1402	0.1627
0.1979	282.0	4230	0.9343	0.1333	0.0467	0.0753	0.1402	0.1627
0.2036	283.0	4245	0.9330	0.1333	0.0467	0.0753	0.1402	0.1627
0.2165	284.0	4260	0.9351	0.1344	0.0479	0.0766	0.1402	0.1647
0.2163	285.0	4275	0.9361	0.1344	0.0479	0.0766	0.1402	0.1647
0.2101	286.0	4290	0.9364	0.1316	0.0467	0.0761	0.1376	0.1606
0.2095	287.0	4305	0.9376	0.1299	0.0465	0.0761	0.1376	0.1566
0.2035	288.0	4320	0.9368	0.1299	0.0465	0.0761	0.1376	0.1566
0.2037	289.0	4335	0.9367	0.1299	0.0466	0.0761	0.1376	0.1566
0.2063	290.0	4350	0.9360	0.1317	0.0473	0.0765	0.1376	0.1606
0.213	291.0	4365	0.9362	0.1316	0.0468	0.0761	0.1376	0.1606
0.2115	292.0	4380	0.9353	0.1316	0.0468	0.0761	0.1376	0.1606
0.2042	293.0	4395	0.9354	0.1316	0.0468	0.0761	0.1376	0.1606
0.2091	294.0	4410	0.9358	0.1316	0.0468	0.0761	0.1376	0.1606
0.2011	295.0	4425	0.9365	0.1316	0.0468	0.0761	0.1376	0.1606
0.2044	296.0	4440	0.9363	0.1316	0.0468	0.0761	0.1376	0.1606
0.2142	297.0	4455	0.9365	0.1316	0.0468	0.0761	0.1376	0.1606
0.2093	298.0	4470	0.9368	0.1323	0.0461	0.0758	0.1376	0.1627
0.2137	299.0	4485	0.9368	0.1323	0.0461	0.0758	0.1376	0.1627
0.2067	300.0	4500	0.9368	0.1323	0.0461	0.0758	0.1376	0.1627

Framework versions

• Transformers 4.31.0
• Pytorch 2.0.1
• Datasets 2.14.4
• Tokenizers 0.13.3