codet5p-770m-py-sanitized-codebleu-1-True-5e-05-0.1-lora-layer_0

This model is a fine-tuned version of Salesforce/codet5p-770m-py on the mbpp dataset. It achieves the following results on the evaluation set:

• Loss: 0.6994
• Codebleu: 0.1350
• Ngram Match Score: 0.0351
• Weighted Ngram Match Score: 0.0639
• Syntax Match Score: 0.1601
• Dataflow Match Score: 0.1526

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 5e-05
• train_batch_size: 8
• eval_batch_size: 8
• seed: 42
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: linear
• lr_scheduler_warmup_steps: 100
• num_epochs: 300

Training results

Training Loss	Epoch	Step	Validation Loss	Codebleu	Ngram Match Score	Weighted Ngram Match Score	Syntax Match Score	Dataflow Match Score
0.9778	1.0	15	0.9248	0.0072	0.0000	0.0000	0.0079	0.0100
0.9683	2.0	30	0.9242	0.0072	0.0000	0.0000	0.0079	0.0100
0.9758	3.0	45	0.9228	0.0072	0.0000	0.0000	0.0079	0.0100
0.9421	4.0	60	0.9196	0.0072	0.0000	0.0000	0.0079	0.0100
0.9556	5.0	75	0.9125	0.0080	0.0000	0.0000	0.0079	0.0120
0.9567	6.0	90	0.8998	0.0297	0.0001	0.0144	0.0265	0.0442
0.9412	7.0	105	0.8821	0.0537	0.0023	0.0263	0.0569	0.0703
0.9043	8.0	120	0.8647	0.0930	0.0202	0.0477	0.1111	0.1044
0.8851	9.0	135	0.8515	0.1011	0.0203	0.0490	0.1230	0.1124
0.878	10.0	150	0.8363	0.0954	0.0225	0.0514	0.1217	0.0984
0.8601	11.0	165	0.8153	0.0947	0.0227	0.0517	0.1217	0.0964
0.8547	12.0	180	0.7934	0.0953	0.0238	0.0541	0.1204	0.0984
0.8254	13.0	195	0.7745	0.0920	0.0263	0.0608	0.1098	0.0984
0.7997	14.0	210	0.7539	0.1058	0.0253	0.0617	0.1243	0.1185
0.8099	15.0	225	0.7448	0.1049	0.0201	0.0496	0.1243	0.1205
0.8184	16.0	240	0.7410	0.1078	0.0189	0.0510	0.1296	0.1225
0.7977	17.0	255	0.7376	0.1029	0.0163	0.0521	0.1296	0.1104
0.7769	18.0	270	0.7353	0.1025	0.0172	0.0476	0.1257	0.1145
0.7865	19.0	285	0.7307	0.1004	0.0176	0.0474	0.1243	0.1104
0.7784	20.0	300	0.7278	0.1036	0.0160	0.0440	0.1336	0.1104
0.7658	21.0	315	0.7254	0.1052	0.0159	0.0438	0.1336	0.1145
0.7704	22.0	330	0.7236	0.0998	0.0157	0.0427	0.1164	0.1185
0.7656	23.0	345	0.7224	0.0988	0.0141	0.0422	0.1204	0.1124
0.7706	24.0	360	0.7191	0.1072	0.0158	0.0425	0.1310	0.1225
0.7921	25.0	375	0.7193	0.1069	0.0163	0.0444	0.1257	0.1265
0.7637	26.0	390	0.7184	0.1034	0.0152	0.0420	0.1217	0.1225
0.7533	27.0	405	0.7178	0.1035	0.0167	0.0415	0.1217	0.1225
0.7633	28.0	420	0.7170	0.1002	0.0161	0.0412	0.1177	0.1185
0.7463	29.0	435	0.7162	0.1016	0.0149	0.0408	0.1217	0.1185
0.7437	30.0	450	0.7157	0.0969	0.0137	0.0371	0.1151	0.1145
0.7547	31.0	465	0.7151	0.0977	0.0140	0.0371	0.1151	0.1165
0.7491	32.0	480	0.7146	0.0977	0.0140	0.0367	0.1151	0.1165
0.7366	33.0	495	0.7130	0.1036	0.0162	0.0405	0.1204	0.1245
0.7538	34.0	510	0.7127	0.1067	0.0149	0.0407	0.1204	0.1325
0.7358	35.0	525	0.7121	0.1084	0.0208	0.0491	0.1230	0.1305
0.7591	36.0	540	0.7124	0.1037	0.0182	0.0474	0.1164	0.1265
0.739	37.0	555	0.7125	0.1059	0.0184	0.0474	0.1177	0.1305
0.7451	38.0	570	0.7127	0.1059	0.0184	0.0474	0.1177	0.1305
0.7433	39.0	585	0.7111	0.1060	0.0195	0.0474	0.1177	0.1305
0.7517	40.0	600	0.7108	0.1116	0.0210	0.0491	0.1270	0.1345
0.7367	41.0	615	0.7098	0.1116	0.0210	0.0491	0.1270	0.1345
0.7319	42.0	630	0.7098	0.1123	0.0185	0.0478	0.1257	0.1386
0.7396	43.0	645	0.7096	0.1104	0.0201	0.0478	0.1204	0.1386
0.7425	44.0	660	0.7089	0.1085	0.0186	0.0474	0.1243	0.1305
0.7362	45.0	675	0.7095	0.1016	0.0152	0.0394	0.1138	0.1265
0.7304	46.0	690	0.7085	0.1031	0.0150	0.0391	0.1177	0.1265
0.7326	47.0	705	0.7083	0.1091	0.0161	0.0395	0.1204	0.1386
0.7377	48.0	720	0.7079	0.1140	0.0180	0.0410	0.1296	0.1406
0.7423	49.0	735	0.7072	0.1140	0.0180	0.0410	0.1296	0.1406
0.7182	50.0	750	0.7074	0.0997	0.0166	0.0407	0.1124	0.1225
0.7473	51.0	765	0.7081	0.1083	0.0199	0.0491	0.1230	0.1305
0.7365	52.0	780	0.7082	0.1067	0.0198	0.0487	0.1230	0.1265
0.7367	53.0	795	0.7077	0.1018	0.0164	0.0405	0.1177	0.1225
0.7067	54.0	810	0.7067	0.1105	0.0160	0.0375	0.1243	0.1386
0.7302	55.0	825	0.7067	0.1086	0.0145	0.0354	0.1204	0.1386
0.729	56.0	840	0.7079	0.1047	0.0133	0.0353	0.1190	0.1305
0.7382	57.0	855	0.7066	0.1103	0.0143	0.0370	0.1243	0.1386
0.7233	58.0	870	0.7065	0.1086	0.0143	0.0367	0.1243	0.1345
0.7334	59.0	885	0.7057	0.1094	0.0170	0.0412	0.1164	0.1426
0.7169	60.0	900	0.7062	0.1096	0.0163	0.0412	0.1190	0.1406
0.7346	61.0	915	0.7070	0.1109	0.0168	0.0409	0.1204	0.1426
0.7251	62.0	930	0.7072	0.1168	0.0181	0.0427	0.1362	0.1406
0.7278	63.0	945	0.7070	0.1136	0.0209	0.0484	0.1362	0.1305
0.712	64.0	960	0.7083	0.1072	0.0198	0.0467	0.1270	0.1245
0.743	65.0	975	0.7061	0.1101	0.0190	0.0466	0.1283	0.1305
0.7102	66.0	990	0.7056	0.1193	0.0213	0.0510	0.1415	0.1386
0.7288	67.0	1005	0.7056	0.1155	0.0198	0.0489	0.1310	0.1406
0.7242	68.0	1020	0.7072	0.1125	0.0219	0.0548	0.1296	0.1325
0.7091	69.0	1035	0.7076	0.1106	0.0188	0.0467	0.1296	0.1305
0.7311	70.0	1050	0.7082	0.1099	0.0213	0.0484	0.1349	0.1225
0.7188	71.0	1065	0.7056	0.1137	0.0215	0.0487	0.1362	0.1305
0.7194	72.0	1080	0.7059	0.1069	0.0188	0.0466	0.1243	0.1265
0.7268	73.0	1095	0.7077	0.1077	0.0181	0.0450	0.1270	0.1265
0.7119	74.0	1110	0.7075	0.1074	0.0223	0.0510	0.1296	0.1205
0.7057	75.0	1125	0.7048	0.1099	0.0236	0.0511	0.1257	0.1305
0.7181	76.0	1140	0.7049	0.1068	0.0203	0.0466	0.1177	0.1325
0.7308	77.0	1155	0.7048	0.1048	0.0187	0.0446	0.1177	0.1285
0.7007	78.0	1170	0.7053	0.1064	0.0159	0.0388	0.1177	0.1345
0.7154	79.0	1185	0.7066	0.1057	0.0208	0.0483	0.1204	0.1265
0.7035	80.0	1200	0.7051	0.1128	0.0229	0.0510	0.1310	0.1325
0.7099	81.0	1215	0.7050	0.1075	0.0185	0.0446	0.1204	0.1325
0.7137	82.0	1230	0.7055	0.1077	0.0185	0.0448	0.1230	0.1305
0.7269	83.0	1245	0.7072	0.1087	0.0215	0.0471	0.1362	0.1185
0.7166	84.0	1260	0.7053	0.1103	0.0193	0.0452	0.1270	0.1325
0.6942	85.0	1275	0.7059	0.1103	0.0260	0.0552	0.1349	0.1205
0.6987	86.0	1290	0.7064	0.1141	0.0246	0.0547	0.1389	0.1265
0.6974	87.0	1305	0.7045	0.1102	0.0224	0.0524	0.1283	0.1285
0.7072	88.0	1320	0.7053	0.1111	0.0208	0.0473	0.1402	0.1205
0.7135	89.0	1335	0.7059	0.1125	0.0239	0.0529	0.1415	0.1205
0.7088	90.0	1350	0.7061	0.1122	0.0252	0.0567	0.1336	0.1265
0.7041	91.0	1365	0.7043	0.1115	0.0267	0.0618	0.1362	0.1205
0.7009	92.0	1380	0.7046	0.1160	0.0295	0.0635	0.1442	0.1225
0.6914	93.0	1395	0.7042	0.1091	0.0238	0.0539	0.1389	0.1145
0.6884	94.0	1410	0.7051	0.1113	0.0258	0.0576	0.1429	0.1145
0.7089	95.0	1425	0.7045	0.1065	0.0227	0.0522	0.1310	0.1165
0.7051	96.0	1440	0.7063	0.1097	0.0262	0.0576	0.1389	0.1145
0.7027	97.0	1455	0.7056	0.1120	0.0258	0.0545	0.1415	0.1185
0.697	98.0	1470	0.7051	0.1072	0.0249	0.0545	0.1336	0.1145
0.7217	99.0	1485	0.7049	0.1088	0.0250	0.0545	0.1376	0.1145
0.7076	100.0	1500	0.7051	0.1113	0.0263	0.0576	0.1429	0.1145
0.695	101.0	1515	0.7057	0.1148	0.0269	0.0574	0.1455	0.1205
0.6938	102.0	1530	0.7034	0.1172	0.0254	0.0537	0.1508	0.1225
0.7062	103.0	1545	0.7038	0.1189	0.0261	0.0537	0.1508	0.1265
0.7021	104.0	1560	0.7047	0.1140	0.0263	0.0544	0.1402	0.1245
0.6899	105.0	1575	0.7056	0.1225	0.0299	0.0596	0.1534	0.1305
0.7043	106.0	1590	0.7051	0.1190	0.0276	0.0558	0.1481	0.1285
0.7015	107.0	1605	0.7071	0.1145	0.0273	0.0559	0.1429	0.1225
0.6897	108.0	1620	0.7065	0.1208	0.0287	0.0595	0.1534	0.1265
0.6929	109.0	1635	0.7055	0.1174	0.0273	0.0557	0.1481	0.1245
0.7034	110.0	1650	0.7053	0.1145	0.0273	0.0559	0.1429	0.1225
0.7035	111.0	1665	0.7041	0.1145	0.0273	0.0559	0.1429	0.1225
0.6863	112.0	1680	0.7047	0.1208	0.0292	0.0595	0.1534	0.1265
0.6873	113.0	1695	0.7038	0.1149	0.0257	0.0540	0.1429	0.1245
0.6998	114.0	1710	0.7033	0.1174	0.0276	0.0560	0.1481	0.1245
0.7041	115.0	1725	0.7016	0.1112	0.0205	0.0454	0.1349	0.1265
0.697	116.0	1740	0.7040	0.1161	0.0273	0.0559	0.1429	0.1265
0.6863	117.0	1755	0.7057	0.1165	0.0268	0.0553	0.1481	0.1225
0.7015	118.0	1770	0.7052	0.1148	0.0260	0.0555	0.1481	0.1185
0.6919	119.0	1785	0.7055	0.1148	0.0262	0.0555	0.1481	0.1185
0.6857	120.0	1800	0.7049	0.1148	0.0260	0.0555	0.1481	0.1185
0.6829	121.0	1815	0.7053	0.1171	0.0288	0.0594	0.1402	0.1305
0.7007	122.0	1830	0.7028	0.1205	0.0299	0.0629	0.1455	0.1325
0.7041	123.0	1845	0.7058	0.1235	0.0306	0.0576	0.1521	0.1345
0.6939	124.0	1860	0.7043	0.1148	0.0264	0.0554	0.1481	0.1185
0.6945	125.0	1875	0.7029	0.1133	0.0260	0.0557	0.1402	0.1225
0.681	126.0	1890	0.7043	0.1141	0.0271	0.0551	0.1402	0.1245
0.6916	127.0	1905	0.7052	0.1192	0.0322	0.0634	0.1455	0.1285
0.6916	128.0	1920	0.7043	0.1117	0.0293	0.0559	0.1376	0.1205
0.689	129.0	1935	0.7029	0.1186	0.0322	0.0634	0.1481	0.1245
0.6796	130.0	1950	0.7044	0.1202	0.0324	0.0634	0.1481	0.1285
0.6913	131.0	1965	0.7036	0.1186	0.0324	0.0634	0.1481	0.1245
0.6918	132.0	1980	0.7012	0.1176	0.0302	0.0633	0.1481	0.1225
0.7077	133.0	1995	0.7004	0.1176	0.0302	0.0634	0.1481	0.1225
0.6689	134.0	2010	0.7017	0.1210	0.0316	0.0636	0.1481	0.1305
0.6828	135.0	2025	0.7002	0.1214	0.0308	0.0636	0.1534	0.1265
0.6893	136.0	2040	0.7009	0.1213	0.0298	0.0636	0.1534	0.1265
0.6671	137.0	2055	0.7026	0.1209	0.0311	0.0636	0.1481	0.1305
0.7065	138.0	2070	0.7032	0.1204	0.0348	0.0675	0.1429	0.1325
0.6986	139.0	2085	0.7013	0.1202	0.0317	0.0634	0.1481	0.1285
0.6849	140.0	2100	0.7014	0.1182	0.0304	0.0633	0.1455	0.1265
0.6874	141.0	2115	0.7018	0.1237	0.0303	0.0630	0.1534	0.1325
0.71	142.0	2130	0.7037	0.1285	0.0339	0.0670	0.1574	0.1386
0.6887	143.0	2145	0.7019	0.1210	0.0315	0.0639	0.1481	0.1305
0.6954	144.0	2160	0.7013	0.1215	0.0313	0.0639	0.1455	0.1345
0.6823	145.0	2175	0.7007	0.1231	0.0319	0.0637	0.1534	0.1305
0.6901	146.0	2190	0.7013	0.1289	0.0325	0.0641	0.1534	0.1446
0.6895	147.0	2205	0.7012	0.1294	0.0322	0.0641	0.1508	0.1486
0.6778	148.0	2220	0.6993	0.1238	0.0281	0.0579	0.1534	0.1345
0.6823	149.0	2235	0.6999	0.1234	0.0288	0.0581	0.1481	0.1386
0.6754	150.0	2250	0.7013	0.1297	0.0339	0.0659	0.1508	0.1486
0.6768	151.0	2265	0.7018	0.1281	0.0335	0.0657	0.1508	0.1446
0.6882	152.0	2280	0.7031	0.1313	0.0357	0.0660	0.1481	0.1546
0.675	153.0	2295	0.7007	0.1298	0.0349	0.0658	0.1508	0.1486
0.6838	154.0	2310	0.6994	0.1281	0.0333	0.0658	0.1508	0.1446
0.6915	155.0	2325	0.7006	0.1294	0.0328	0.0641	0.1508	0.1486
0.7073	156.0	2340	0.6996	0.1287	0.0339	0.0661	0.1481	0.1486
0.6721	157.0	2355	0.6987	0.1233	0.0331	0.0658	0.1429	0.1406
0.6906	158.0	2370	0.6986	0.1233	0.0340	0.0656	0.1429	0.1406
0.6867	159.0	2385	0.7006	0.1302	0.0357	0.0663	0.1455	0.1546
0.6746	160.0	2400	0.7026	0.1285	0.0343	0.0662	0.1455	0.1506
0.6812	161.0	2415	0.6997	0.1270	0.0332	0.0661	0.1481	0.1446
0.6834	162.0	2430	0.7007	0.1270	0.0332	0.0661	0.1481	0.1446
0.7009	163.0	2445	0.7027	0.1285	0.0322	0.0634	0.1508	0.1466
0.6838	164.0	2460	0.7016	0.1278	0.0323	0.0639	0.1508	0.1446
0.6702	165.0	2475	0.7010	0.1287	0.0339	0.0661	0.1481	0.1486
0.6709	166.0	2490	0.7006	0.1248	0.0345	0.0661	0.1402	0.1466
0.6708	167.0	2505	0.7026	0.1275	0.0350	0.0661	0.1429	0.1506
0.6789	168.0	2520	0.7017	0.1232	0.0345	0.0661	0.1402	0.1426
0.6685	169.0	2535	0.7010	0.1234	0.0341	0.0660	0.1429	0.1406
0.6898	170.0	2550	0.6992	0.1201	0.0345	0.0654	0.1429	0.1325
0.6952	171.0	2565	0.6992	0.1224	0.0300	0.0578	0.1455	0.1386
0.695	172.0	2580	0.7010	0.1217	0.0335	0.0660	0.1429	0.1365
0.6881	173.0	2595	0.7008	0.1225	0.0324	0.0640	0.1455	0.1365
0.6802	174.0	2610	0.7011	0.1225	0.0324	0.0640	0.1455	0.1365
0.6777	175.0	2625	0.7015	0.1241	0.0329	0.0640	0.1455	0.1406
0.6837	176.0	2640	0.7002	0.1225	0.0328	0.0640	0.1455	0.1365
0.6788	177.0	2655	0.6996	0.1229	0.0346	0.0661	0.1455	0.1365
0.6717	178.0	2670	0.7001	0.1241	0.0330	0.0638	0.1455	0.1406
0.6955	179.0	2685	0.7001	0.1261	0.0345	0.0659	0.1455	0.1446
0.6663	180.0	2700	0.7001	0.1233	0.0333	0.0659	0.1429	0.1406
0.683	181.0	2715	0.6999	0.1182	0.0333	0.0661	0.1402	0.1305
0.6791	182.0	2730	0.7007	0.1182	0.0333	0.0661	0.1402	0.1305
0.6823	183.0	2745	0.6999	0.1198	0.0305	0.0606	0.1402	0.1365
0.671	184.0	2760	0.7005	0.1241	0.0325	0.0638	0.1455	0.1406
0.6676	185.0	2775	0.7014	0.1284	0.0327	0.0639	0.1481	0.1486
0.6702	186.0	2790	0.7008	0.1281	0.0332	0.0639	0.1455	0.1506
0.6653	187.0	2805	0.6999	0.1284	0.0327	0.0639	0.1481	0.1486
0.68	188.0	2820	0.6996	0.1300	0.0349	0.0642	0.1455	0.1546
0.6917	189.0	2835	0.6994	0.1304	0.0341	0.0639	0.1508	0.1506
0.6909	190.0	2850	0.6998	0.1256	0.0323	0.0638	0.1455	0.1446
0.6846	191.0	2865	0.6990	0.1283	0.0355	0.0660	0.1508	0.1446
0.6787	192.0	2880	0.7000	0.1321	0.0350	0.0643	0.1508	0.1546
0.6755	193.0	2895	0.7018	0.1258	0.0336	0.0638	0.1455	0.1446
0.6725	194.0	2910	0.6990	0.1265	0.0336	0.0659	0.1508	0.1406
0.6813	195.0	2925	0.6990	0.1265	0.0336	0.0659	0.1508	0.1406
0.6823	196.0	2940	0.6992	0.1262	0.0323	0.0639	0.1508	0.1406
0.683	197.0	2955	0.6997	0.1265	0.0340	0.0661	0.1508	0.1406
0.6677	198.0	2970	0.7004	0.1265	0.0340	0.0661	0.1508	0.1406
0.6681	199.0	2985	0.6999	0.1265	0.0340	0.0661	0.1508	0.1406
0.6674	200.0	3000	0.7011	0.1281	0.0345	0.0673	0.1521	0.1426
0.6694	201.0	3015	0.7009	0.1289	0.0345	0.0673	0.1521	0.1446
0.6668	202.0	3030	0.7003	0.1290	0.0357	0.0675	0.1521	0.1446
0.6733	203.0	3045	0.7005	0.1330	0.0392	0.0699	0.1627	0.1426
0.6623	204.0	3060	0.6999	0.1288	0.0371	0.0695	0.1548	0.1406
0.6871	205.0	3075	0.6989	0.1306	0.0385	0.0696	0.1548	0.1446
0.6742	206.0	3090	0.6992	0.1306	0.0385	0.0696	0.1548	0.1446
0.6702	207.0	3105	0.7017	0.1341	0.0389	0.0699	0.1574	0.1506
0.661	208.0	3120	0.7010	0.1292	0.0383	0.0697	0.1495	0.1466
0.6778	209.0	3135	0.6990	0.1286	0.0376	0.0696	0.1521	0.1426
0.6735	210.0	3150	0.6997	0.1285	0.0370	0.0696	0.1521	0.1426
0.6736	211.0	3165	0.7003	0.1286	0.0376	0.0696	0.1521	0.1426
0.6748	212.0	3180	0.7004	0.1286	0.0376	0.0696	0.1521	0.1426
0.6742	213.0	3195	0.7001	0.1286	0.0376	0.0696	0.1521	0.1426
0.6785	214.0	3210	0.6996	0.1243	0.0356	0.0662	0.1429	0.1426
0.6721	215.0	3225	0.7003	0.1275	0.0368	0.0696	0.1495	0.1426
0.6672	216.0	3240	0.7007	0.1292	0.0383	0.0697	0.1495	0.1466
0.6792	217.0	3255	0.7001	0.1282	0.0370	0.0663	0.1481	0.1466
0.6675	218.0	3270	0.7003	0.1281	0.0365	0.0661	0.1481	0.1466
0.6583	219.0	3285	0.6993	0.1299	0.0331	0.0607	0.1508	0.1506
0.6513	220.0	3300	0.6999	0.1306	0.0385	0.0696	0.1548	0.1446
0.6704	221.0	3315	0.6999	0.1288	0.0371	0.0695	0.1548	0.1406
0.6617	222.0	3330	0.6997	0.1306	0.0385	0.0696	0.1548	0.1446
0.6744	223.0	3345	0.6992	0.1350	0.0351	0.0639	0.1601	0.1526
0.673	224.0	3360	0.6995	0.1306	0.0385	0.0696	0.1548	0.1446
0.6755	225.0	3375	0.7004	0.1294	0.0378	0.0696	0.1521	0.1446
0.6505	226.0	3390	0.6996	0.1287	0.0366	0.0695	0.1548	0.1406
0.6807	227.0	3405	0.6988	0.1287	0.0366	0.0695	0.1548	0.1406
0.6708	228.0	3420	0.6985	0.1288	0.0371	0.0695	0.1548	0.1406
0.6744	229.0	3435	0.6984	0.1316	0.0366	0.0693	0.1601	0.1426
0.6607	230.0	3450	0.6985	0.1349	0.0346	0.0639	0.1601	0.1526
0.6756	231.0	3465	0.6989	0.1335	0.0385	0.0694	0.1601	0.1466
0.6575	232.0	3480	0.6993	0.1317	0.0371	0.0693	0.1601	0.1426
0.655	233.0	3495	0.6988	0.1332	0.0337	0.0638	0.1601	0.1486
0.6871	234.0	3510	0.6995	0.1335	0.0385	0.0694	0.1601	0.1466
0.6608	235.0	3525	0.6991	0.1335	0.0385	0.0694	0.1601	0.1466
0.6675	236.0	3540	0.6985	0.1317	0.0376	0.0694	0.1601	0.1426
0.6643	237.0	3555	0.6989	0.1317	0.0376	0.0694	0.1601	0.1426
0.6607	238.0	3570	0.6988	0.1317	0.0376	0.0694	0.1601	0.1426
0.6642	239.0	3585	0.6985	0.1317	0.0376	0.0694	0.1601	0.1426
0.6763	240.0	3600	0.6994	0.1288	0.0376	0.0696	0.1548	0.1406
0.6645	241.0	3615	0.6999	0.1275	0.0373	0.0696	0.1495	0.1426
0.669	242.0	3630	0.6994	0.1315	0.0380	0.0694	0.1574	0.1446
0.662	243.0	3645	0.6990	0.1315	0.0380	0.0694	0.1574	0.1446
0.6735	244.0	3660	0.6987	0.1333	0.0341	0.0639	0.1601	0.1486
0.6668	245.0	3675	0.6996	0.1333	0.0341	0.0639	0.1601	0.1486
0.6673	246.0	3690	0.7003	0.1315	0.0380	0.0694	0.1574	0.1446
0.6641	247.0	3705	0.7020	0.1332	0.0373	0.0674	0.1521	0.1546
0.6736	248.0	3720	0.7022	0.1343	0.0389	0.0696	0.1521	0.1566
0.6597	249.0	3735	0.7011	0.1286	0.0380	0.0696	0.1521	0.1426
0.6711	250.0	3750	0.7009	0.1303	0.0390	0.0697	0.1521	0.1466
0.662	251.0	3765	0.7002	0.1332	0.0390	0.0695	0.1574	0.1486
0.6683	252.0	3780	0.6997	0.1335	0.0385	0.0694	0.1601	0.1466
0.6702	253.0	3795	0.6995	0.1332	0.0390	0.0695	0.1574	0.1486
0.6546	254.0	3810	0.7000	0.1332	0.0390	0.0695	0.1574	0.1486
0.6686	255.0	3825	0.7002	0.1332	0.0390	0.0695	0.1574	0.1486
0.6579	256.0	3840	0.7001	0.1332	0.0390	0.0695	0.1574	0.1486
0.673	257.0	3855	0.6999	0.1303	0.0390	0.0697	0.1521	0.1466
0.6639	258.0	3870	0.6995	0.1348	0.0355	0.0640	0.1574	0.1546
0.6758	259.0	3885	0.6994	0.1348	0.0355	0.0640	0.1574	0.1546
0.6735	260.0	3900	0.6995	0.1348	0.0355	0.0640	0.1574	0.1546
0.6683	261.0	3915	0.6996	0.1348	0.0355	0.0640	0.1574	0.1546
0.6651	262.0	3930	0.6996	0.1350	0.0351	0.0639	0.1601	0.1526
0.6524	263.0	3945	0.6999	0.1335	0.0385	0.0694	0.1601	0.1466
0.6655	264.0	3960	0.7002	0.1332	0.0390	0.0695	0.1574	0.1486
0.661	265.0	3975	0.7009	0.1331	0.0398	0.0701	0.1548	0.1506
0.6702	266.0	3990	0.7002	0.1360	0.0398	0.0699	0.1601	0.1526
0.6559	267.0	4005	0.6995	0.1375	0.0362	0.0644	0.1601	0.1586
0.6722	268.0	4020	0.6995	0.1375	0.0362	0.0644	0.1601	0.1586
0.6761	269.0	4035	0.6997	0.1375	0.0373	0.0660	0.1614	0.1566
0.6557	270.0	4050	0.6994	0.1375	0.0373	0.0660	0.1614	0.1566
0.67	271.0	4065	0.6992	0.1347	0.0365	0.0656	0.1587	0.1526
0.6638	272.0	4080	0.6986	0.1347	0.0365	0.0656	0.1587	0.1526
0.6673	273.0	4095	0.6983	0.1350	0.0361	0.0655	0.1614	0.1506
0.6555	274.0	4110	0.6987	0.1347	0.0365	0.0656	0.1587	0.1526
0.6488	275.0	4125	0.6987	0.1347	0.0365	0.0656	0.1587	0.1526
0.6627	276.0	4140	0.6986	0.1347	0.0365	0.0656	0.1587	0.1526
0.6835	277.0	4155	0.6988	0.1348	0.0355	0.0640	0.1574	0.1546
0.6661	278.0	4170	0.6986	0.1348	0.0355	0.0640	0.1574	0.1546
0.661	279.0	4185	0.6984	0.1350	0.0361	0.0655	0.1614	0.1506
0.6576	280.0	4200	0.6986	0.1350	0.0351	0.0639	0.1601	0.1526
0.6732	281.0	4215	0.6991	0.1332	0.0390	0.0695	0.1574	0.1486
0.6618	282.0	4230	0.6992	0.1332	0.0390	0.0695	0.1574	0.1486
0.6522	283.0	4245	0.6995	0.1332	0.0390	0.0695	0.1574	0.1486
0.6737	284.0	4260	0.6998	0.1332	0.0390	0.0695	0.1574	0.1486
0.6703	285.0	4275	0.7001	0.1360	0.0398	0.0699	0.1601	0.1526
0.6765	286.0	4290	0.7000	0.1332	0.0390	0.0695	0.1574	0.1486
0.6661	287.0	4305	0.7000	0.1332	0.0390	0.0695	0.1574	0.1486
0.6633	288.0	4320	0.7000	0.1332	0.0390	0.0695	0.1574	0.1486
0.6654	289.0	4335	0.6999	0.1332	0.0390	0.0695	0.1574	0.1486
0.6515	290.0	4350	0.6999	0.1332	0.0390	0.0695	0.1574	0.1486
0.6536	291.0	4365	0.6997	0.1332	0.0390	0.0695	0.1574	0.1486
0.6487	292.0	4380	0.6996	0.1348	0.0355	0.0640	0.1574	0.1546
0.6697	293.0	4395	0.6995	0.1350	0.0351	0.0639	0.1601	0.1526
0.6758	294.0	4410	0.6994	0.1350	0.0351	0.0639	0.1601	0.1526
0.6582	295.0	4425	0.6994	0.1350	0.0351	0.0639	0.1601	0.1526
0.6623	296.0	4440	0.6994	0.1350	0.0351	0.0639	0.1601	0.1526
0.6721	297.0	4455	0.6994	0.1350	0.0351	0.0639	0.1601	0.1526
0.6645	298.0	4470	0.6994	0.1350	0.0351	0.0639	0.1601	0.1526
0.6734	299.0	4485	0.6994	0.1350	0.0351	0.0639	0.1601	0.1526
0.6565	300.0	4500	0.6994	0.1350	0.0351	0.0639	0.1601	0.1526

Framework versions

• Transformers 4.31.0
• Pytorch 2.0.1
• Datasets 2.14.4
• Tokenizers 0.13.3