codet5p-770m-py-sanitized-codebleu-1-True-5e-05-0.1-lora-layer_10

This model is a fine-tuned version of Salesforce/codet5p-770m-py on the mbpp dataset. It achieves the following results on the evaluation set:

• Loss: 0.7501
• Codebleu: 0.1000
• Ngram Match Score: 0.0133
• Weighted Ngram Match Score: 0.0257
• Syntax Match Score: 0.1177
• Dataflow Match Score: 0.1225

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 5e-05
• train_batch_size: 8
• eval_batch_size: 8
• seed: 42
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: linear
• lr_scheduler_warmup_steps: 100
• num_epochs: 300

Training results

Training Loss	Epoch	Step	Validation Loss	Codebleu	Ngram Match Score	Weighted Ngram Match Score	Syntax Match Score	Dataflow Match Score
0.9841	1.0	15	0.9245	0.0072	0.0000	0.0000	0.0079	0.0100
0.9648	2.0	30	0.9231	0.0072	0.0000	0.0000	0.0079	0.0100
0.9738	3.0	45	0.9196	0.0072	0.0000	0.0000	0.0079	0.0100
0.9405	4.0	60	0.9119	0.0080	0.0000	0.0000	0.0079	0.0120
0.9472	5.0	75	0.8964	0.0297	0.0001	0.0144	0.0265	0.0442
0.9408	6.0	90	0.8720	0.0758	0.0092	0.0328	0.0886	0.0904
0.9252	7.0	105	0.8528	0.0996	0.0186	0.0485	0.1217	0.1104
0.8686	8.0	120	0.8405	0.0985	0.0148	0.0390	0.1204	0.1124
0.8533	9.0	135	0.8292	0.1009	0.0151	0.0380	0.1164	0.1225
0.8467	10.0	150	0.8161	0.1007	0.0142	0.0373	0.1164	0.1225
0.8327	11.0	165	0.8016	0.1061	0.0138	0.0390	0.1296	0.1225
0.831	12.0	180	0.7903	0.1129	0.0169	0.0455	0.1362	0.1305
0.8119	13.0	195	0.7819	0.1125	0.0157	0.0447	0.1376	0.1285
0.7917	14.0	210	0.7744	0.1084	0.0136	0.0431	0.1323	0.1245
0.7957	15.0	225	0.7676	0.1063	0.0140	0.0431	0.1310	0.1205
0.7948	16.0	240	0.7630	0.1091	0.0142	0.0388	0.1310	0.1285
0.7863	17.0	255	0.7596	0.1090	0.0138	0.0375	0.1230	0.1365
0.7624	18.0	270	0.7565	0.1070	0.0129	0.0373	0.1243	0.1305
0.7705	19.0	285	0.7526	0.0972	0.0150	0.0385	0.1151	0.1145
0.7602	20.0	300	0.7487	0.1005	0.0122	0.0375	0.1164	0.1225
0.745	21.0	315	0.7441	0.1047	0.0134	0.0378	0.1204	0.1285
0.7392	22.0	330	0.7406	0.1033	0.0178	0.0462	0.1177	0.1245
0.736	23.0	345	0.7386	0.1048	0.0177	0.0458	0.1177	0.1285
0.7325	24.0	360	0.7363	0.1037	0.0137	0.0354	0.1124	0.1345
0.758	25.0	375	0.7326	0.0997	0.0134	0.0356	0.1085	0.1285
0.7258	26.0	390	0.7323	0.1089	0.0230	0.0541	0.1243	0.1285
0.7114	27.0	405	0.7313	0.1019	0.0199	0.0460	0.1217	0.1165
0.7222	28.0	420	0.7297	0.1013	0.0160	0.0391	0.1151	0.1245
0.7071	29.0	435	0.7289	0.1028	0.0183	0.0457	0.1164	0.1245
0.7006	30.0	450	0.7273	0.1019	0.0201	0.0460	0.1217	0.1165
0.6988	31.0	465	0.7265	0.1020	0.0192	0.0456	0.1204	0.1185
0.6986	32.0	480	0.7239	0.1132	0.0220	0.0484	0.1310	0.1345
0.6931	33.0	495	0.7205	0.1022	0.0152	0.0384	0.1177	0.1245
0.6923	34.0	510	0.7189	0.0973	0.0124	0.0317	0.1138	0.1185
0.6746	35.0	525	0.7183	0.1000	0.0133	0.0339	0.1217	0.1165
0.6987	36.0	540	0.7165	0.0991	0.0137	0.0328	0.1177	0.1185
0.6871	37.0	555	0.7161	0.0991	0.0168	0.0398	0.1151	0.1185
0.6823	38.0	570	0.7173	0.1052	0.0237	0.0486	0.1204	0.1245
0.6805	39.0	585	0.7145	0.1093	0.0227	0.0484	0.1270	0.1285
0.6878	40.0	600	0.7141	0.1071	0.0173	0.0402	0.1270	0.1265
0.6692	41.0	615	0.7153	0.1026	0.0185	0.0414	0.1190	0.1225
0.6686	42.0	630	0.7137	0.1077	0.0217	0.0465	0.1257	0.1265
0.6698	43.0	645	0.7130	0.1072	0.0232	0.0477	0.1217	0.1285
0.673	44.0	660	0.7119	0.1074	0.0212	0.0467	0.1270	0.1245
0.6709	45.0	675	0.7116	0.1074	0.0212	0.0467	0.1270	0.1245
0.6615	46.0	690	0.7125	0.1116	0.0218	0.0485	0.1270	0.1345
0.668	47.0	705	0.7124	0.1055	0.0212	0.0486	0.1217	0.1245
0.6618	48.0	720	0.7126	0.1093	0.0224	0.0487	0.1270	0.1285
0.6632	49.0	735	0.7108	0.1092	0.0219	0.0485	0.1270	0.1285
0.6481	50.0	750	0.7126	0.1129	0.0216	0.0479	0.1323	0.1325
0.6673	51.0	765	0.7117	0.1061	0.0169	0.0436	0.1296	0.1205
0.6661	52.0	780	0.7106	0.1089	0.0208	0.0436	0.1296	0.1265
0.6638	53.0	795	0.7105	0.1052	0.0214	0.0483	0.1190	0.1265
0.6301	54.0	810	0.7103	0.1132	0.0230	0.0497	0.1283	0.1365
0.6539	55.0	825	0.7099	0.1081	0.0222	0.0475	0.1204	0.1325
0.6605	56.0	840	0.7110	0.1094	0.0210	0.0483	0.1296	0.1265
0.6664	57.0	855	0.7086	0.1143	0.0217	0.0489	0.1296	0.1386
0.6424	58.0	870	0.7095	0.1144	0.0237	0.0475	0.1296	0.1386
0.6563	59.0	885	0.7091	0.0995	0.0184	0.0397	0.1098	0.1245
0.634	60.0	900	0.7111	0.1038	0.0191	0.0414	0.1138	0.1305
0.6568	61.0	915	0.7123	0.1030	0.0192	0.0414	0.1138	0.1285
0.6394	62.0	930	0.7125	0.1058	0.0198	0.0422	0.1204	0.1285
0.6422	63.0	945	0.7111	0.1032	0.0190	0.0438	0.1177	0.1245
0.6277	64.0	960	0.7145	0.1137	0.0203	0.0439	0.1296	0.1386
0.6659	65.0	975	0.7119	0.1005	0.0169	0.0407	0.1164	0.1205
0.6258	66.0	990	0.7126	0.1211	0.0236	0.0459	0.1429	0.1426
0.6515	67.0	1005	0.7096	0.0988	0.0190	0.0398	0.1098	0.1225
0.6355	68.0	1020	0.7095	0.1091	0.0217	0.0477	0.1270	0.1285
0.619	69.0	1035	0.7127	0.1214	0.0248	0.0473	0.1429	0.1426
0.6505	70.0	1050	0.7125	0.1201	0.0229	0.0472	0.1402	0.1426
0.6315	71.0	1065	0.7133	0.1199	0.0221	0.0458	0.1402	0.1426
0.6282	72.0	1080	0.7127	0.1100	0.0207	0.0467	0.1296	0.1285
0.6394	73.0	1095	0.7129	0.1164	0.0240	0.0489	0.1402	0.1325
0.6174	74.0	1110	0.7135	0.1164	0.0242	0.0486	0.1402	0.1325
0.6191	75.0	1125	0.7133	0.1132	0.0236	0.0488	0.1323	0.1325
0.6237	76.0	1140	0.7138	0.1212	0.0247	0.0481	0.1442	0.1406
0.6327	77.0	1155	0.7125	0.1212	0.0247	0.0481	0.1442	0.1406
0.6154	78.0	1170	0.7135	0.1236	0.0248	0.0479	0.1442	0.1466
0.62	79.0	1185	0.7153	0.1178	0.0224	0.0457	0.1349	0.1426
0.617	80.0	1200	0.7129	0.1154	0.0233	0.0450	0.1349	0.1365
0.6157	81.0	1215	0.7155	0.1219	0.0245	0.0478	0.1402	0.1466
0.6179	82.0	1230	0.7160	0.1120	0.0218	0.0446	0.1270	0.1365
0.6355	83.0	1245	0.7147	0.1235	0.0242	0.0476	0.1442	0.1466
0.6196	84.0	1260	0.7140	0.1203	0.0242	0.0476	0.1402	0.1426
0.5984	85.0	1275	0.7147	0.1308	0.0297	0.0541	0.1455	0.1606
0.6024	86.0	1290	0.7162	0.1295	0.0284	0.0499	0.1415	0.1627
0.5975	87.0	1305	0.7154	0.1299	0.0287	0.0537	0.1495	0.1546
0.6062	88.0	1320	0.7173	0.1240	0.0268	0.0523	0.1415	0.1486
0.6081	89.0	1335	0.7179	0.1190	0.0255	0.0515	0.1336	0.1446
0.6079	90.0	1350	0.7173	0.1250	0.0278	0.0533	0.1415	0.1506
0.6027	91.0	1365	0.7191	0.1252	0.0297	0.0538	0.1415	0.1506
0.6002	92.0	1380	0.7182	0.1240	0.0302	0.0543	0.1402	0.1486
0.5834	93.0	1395	0.7182	0.1237	0.0287	0.0508	0.1389	0.1506
0.5887	94.0	1410	0.7175	0.1175	0.0260	0.0524	0.1336	0.1406
0.6087	95.0	1425	0.7186	0.1171	0.0252	0.0520	0.1349	0.1386
0.6059	96.0	1440	0.7204	0.1249	0.0296	0.0539	0.1429	0.1486
0.602	97.0	1455	0.7202	0.1249	0.0296	0.0539	0.1429	0.1486
0.5912	98.0	1470	0.7187	0.1237	0.0301	0.0548	0.1415	0.1466
0.6163	99.0	1485	0.7184	0.1195	0.0281	0.0541	0.1336	0.1446
0.6016	100.0	1500	0.7202	0.1178	0.0258	0.0476	0.1376	0.1386
0.5881	101.0	1515	0.7204	0.1188	0.0243	0.0455	0.1389	0.1406
0.5883	102.0	1530	0.7152	0.1187	0.0270	0.0476	0.1336	0.1446
0.5946	103.0	1545	0.7171	0.1150	0.0264	0.0478	0.1243	0.1446
0.5883	104.0	1560	0.7216	0.1188	0.0272	0.0480	0.1336	0.1446
0.5886	105.0	1575	0.7209	0.1182	0.0269	0.0476	0.1323	0.1446
0.6019	106.0	1590	0.7190	0.1173	0.0261	0.0473	0.1323	0.1426
0.6065	107.0	1605	0.7197	0.1173	0.0261	0.0473	0.1323	0.1426
0.5764	108.0	1620	0.7199	0.1141	0.0259	0.0474	0.1243	0.1426
0.5776	109.0	1635	0.7206	0.1161	0.0267	0.0483	0.1230	0.1486
0.5966	110.0	1650	0.7206	0.1164	0.0251	0.0452	0.1310	0.1426
0.5922	111.0	1665	0.7186	0.1137	0.0263	0.0479	0.1230	0.1426
0.5741	112.0	1680	0.7225	0.1117	0.0223	0.0436	0.1243	0.1386
0.5677	113.0	1695	0.7227	0.1148	0.0237	0.0434	0.1257	0.1446
0.5826	114.0	1710	0.7232	0.1138	0.0226	0.0427	0.1257	0.1426
0.579	115.0	1725	0.7242	0.1155	0.0230	0.0434	0.1296	0.1426
0.5758	116.0	1740	0.7240	0.1130	0.0229	0.0425	0.1296	0.1365
0.5736	117.0	1755	0.7230	0.1144	0.0225	0.0430	0.1270	0.1426
0.5885	118.0	1770	0.7251	0.1153	0.0231	0.0433	0.1270	0.1446
0.5873	119.0	1785	0.7250	0.1122	0.0220	0.0431	0.1296	0.1345
0.5708	120.0	1800	0.7237	0.1126	0.0228	0.0440	0.1283	0.1365
0.5748	121.0	1815	0.7258	0.1143	0.0234	0.0438	0.1283	0.1406
0.5767	122.0	1830	0.7248	0.1150	0.0244	0.0449	0.1296	0.1406
0.5848	123.0	1845	0.7252	0.1140	0.0243	0.0452	0.1270	0.1406
0.5738	124.0	1860	0.7239	0.1151	0.0226	0.0426	0.1349	0.1365
0.5807	125.0	1875	0.7239	0.1160	0.0236	0.0429	0.1389	0.1345
0.5618	126.0	1890	0.7237	0.1182	0.0242	0.0454	0.1376	0.1406
0.5655	127.0	1905	0.7251	0.1162	0.0239	0.0441	0.1349	0.1386
0.5672	128.0	1920	0.7275	0.1184	0.0251	0.0441	0.1442	0.1345
0.5722	129.0	1935	0.7285	0.1105	0.0232	0.0435	0.1270	0.1325
0.5601	130.0	1950	0.7285	0.1087	0.0186	0.0350	0.1177	0.1406
0.565	131.0	1965	0.7266	0.1106	0.0209	0.0413	0.1283	0.1325
0.5745	132.0	1980	0.7291	0.1092	0.0198	0.0370	0.1243	0.1345
0.5778	133.0	1995	0.7271	0.1098	0.0213	0.0411	0.1283	0.1305
0.5586	134.0	2010	0.7256	0.1109	0.0221	0.0430	0.1243	0.1365
0.5619	135.0	2025	0.7264	0.1110	0.0236	0.0425	0.1243	0.1365
0.5589	136.0	2040	0.7273	0.1114	0.0246	0.0432	0.1270	0.1345
0.5443	137.0	2055	0.7290	0.1130	0.0200	0.0347	0.1283	0.1406
0.5664	138.0	2070	0.7319	0.1188	0.0208	0.0359	0.1323	0.1506
0.5646	139.0	2085	0.7296	0.1057	0.0173	0.0336	0.1151	0.1365
0.5612	140.0	2100	0.7291	0.1149	0.0213	0.0413	0.1310	0.1406
0.5608	141.0	2115	0.7325	0.1144	0.0194	0.0357	0.1217	0.1506
0.5708	142.0	2130	0.7335	0.1123	0.0186	0.0339	0.1230	0.1446
0.5583	143.0	2145	0.7292	0.1104	0.0173	0.0324	0.1151	0.1486
0.5727	144.0	2160	0.7291	0.1093	0.0174	0.0329	0.1323	0.1285
0.5406	145.0	2175	0.7312	0.1151	0.0201	0.0362	0.1230	0.1506
0.5629	146.0	2190	0.7327	0.1115	0.0170	0.0324	0.1177	0.1486
0.5624	147.0	2205	0.7328	0.1020	0.0130	0.0245	0.1151	0.1305
0.5478	148.0	2220	0.7306	0.1055	0.0164	0.0323	0.1230	0.1285
0.5633	149.0	2235	0.7317	0.1089	0.0170	0.0339	0.1190	0.1406
0.5454	150.0	2250	0.7338	0.1146	0.0166	0.0324	0.1217	0.1526
0.5476	151.0	2265	0.7326	0.1108	0.0162	0.0321	0.1204	0.1446
0.5597	152.0	2280	0.7339	0.1076	0.0177	0.0334	0.1138	0.1426
0.546	153.0	2295	0.7322	0.1062	0.0188	0.0340	0.1177	0.1345
0.5507	154.0	2310	0.7333	0.1058	0.0179	0.0338	0.1190	0.1325
0.5521	155.0	2325	0.7328	0.1158	0.0217	0.0419	0.1270	0.1466
0.5623	156.0	2340	0.7334	0.1160	0.0227	0.0426	0.1270	0.1466
0.5455	157.0	2355	0.7349	0.1087	0.0133	0.0243	0.1177	0.1446
0.5578	158.0	2370	0.7360	0.1144	0.0181	0.0338	0.1204	0.1526
0.5505	159.0	2385	0.7360	0.1104	0.0194	0.0358	0.1217	0.1406
0.5464	160.0	2400	0.7361	0.1046	0.0139	0.0257	0.1190	0.1325
0.5349	161.0	2415	0.7371	0.1034	0.0136	0.0249	0.1164	0.1325
0.5493	162.0	2430	0.7357	0.1057	0.0137	0.0238	0.1164	0.1386
0.5675	163.0	2445	0.7346	0.1037	0.0135	0.0248	0.1151	0.1345
0.5564	164.0	2460	0.7333	0.1037	0.0139	0.0248	0.1151	0.1345
0.5372	165.0	2475	0.7333	0.1017	0.0146	0.0254	0.1138	0.1305
0.5322	166.0	2490	0.7365	0.1153	0.0206	0.0356	0.1257	0.1486
0.5341	167.0	2505	0.7368	0.1081	0.0141	0.0256	0.1217	0.1386
0.5274	168.0	2520	0.7366	0.1025	0.0133	0.0245	0.1164	0.1305
0.5331	169.0	2535	0.7385	0.1128	0.0181	0.0338	0.1204	0.1486
0.5478	170.0	2550	0.7379	0.1069	0.0124	0.0236	0.1177	0.1406
0.5412	171.0	2565	0.7377	0.1102	0.0140	0.0255	0.1230	0.1426
0.5515	172.0	2580	0.7363	0.1041	0.0143	0.0253	0.1177	0.1325
0.5422	173.0	2595	0.7367	0.1105	0.0142	0.0253	0.1217	0.1446
0.5348	174.0	2610	0.7365	0.1088	0.0136	0.0258	0.1217	0.1406
0.5396	175.0	2625	0.7359	0.1094	0.0142	0.0255	0.1230	0.1406
0.5461	176.0	2640	0.7380	0.1165	0.0188	0.0358	0.1270	0.1506
0.5342	177.0	2655	0.7389	0.1165	0.0187	0.0358	0.1270	0.1506
0.5336	178.0	2670	0.7393	0.1164	0.0184	0.0353	0.1270	0.1506
0.5506	179.0	2685	0.7380	0.1097	0.0146	0.0255	0.1177	0.1466
0.5271	180.0	2700	0.7393	0.1030	0.0117	0.0228	0.1124	0.1365
0.5463	181.0	2715	0.7402	0.1039	0.0123	0.0229	0.1164	0.1345
0.5382	182.0	2730	0.7397	0.1009	0.0122	0.0229	0.1190	0.1245
0.5343	183.0	2745	0.7385	0.1029	0.0148	0.0272	0.1243	0.1225
0.5249	184.0	2760	0.7403	0.1099	0.0141	0.0257	0.1243	0.1406
0.5278	185.0	2775	0.7420	0.1032	0.0138	0.0253	0.1177	0.1305
0.5265	186.0	2790	0.7421	0.1115	0.0182	0.0339	0.1190	0.1466
0.5158	187.0	2805	0.7427	0.1080	0.0183	0.0343	0.1164	0.1406
0.5364	188.0	2820	0.7428	0.1039	0.0132	0.0244	0.1177	0.1325
0.5375	189.0	2835	0.7426	0.1039	0.0131	0.0244	0.1177	0.1325
0.5344	190.0	2850	0.7416	0.1031	0.0131	0.0244	0.1177	0.1305
0.5364	191.0	2865	0.7407	0.1089	0.0128	0.0242	0.1204	0.1426
0.5219	192.0	2880	0.7410	0.1089	0.0126	0.0242	0.1204	0.1426
0.5322	193.0	2895	0.7420	0.1092	0.0130	0.0246	0.1230	0.1406
0.5246	194.0	2910	0.7423	0.1092	0.0133	0.0246	0.1230	0.1406
0.5308	195.0	2925	0.7421	0.1028	0.0130	0.0241	0.1151	0.1325
0.5318	196.0	2940	0.7431	0.1061	0.0135	0.0254	0.1190	0.1365
0.5224	197.0	2955	0.7439	0.1028	0.0132	0.0241	0.1151	0.1325
0.5226	198.0	2970	0.7447	0.1027	0.0129	0.0241	0.1151	0.1325
0.5267	199.0	2985	0.7431	0.1027	0.0139	0.0255	0.1164	0.1305
0.5263	200.0	3000	0.7432	0.1070	0.0138	0.0254	0.1190	0.1386
0.5235	201.0	3015	0.7423	0.1070	0.0138	0.0254	0.1190	0.1386
0.5161	202.0	3030	0.7444	0.1107	0.0137	0.0254	0.1243	0.1426
0.5215	203.0	3045	0.7433	0.1056	0.0138	0.0255	0.1217	0.1325
0.5137	204.0	3060	0.7425	0.1019	0.0136	0.0255	0.1164	0.1285
0.5333	205.0	3075	0.7448	0.1089	0.0128	0.0241	0.1204	0.1426
0.5218	206.0	3090	0.7449	0.1056	0.0128	0.0241	0.1204	0.1345
0.5187	207.0	3105	0.7436	0.0985	0.0129	0.0241	0.1164	0.1205
0.5098	208.0	3120	0.7440	0.1045	0.0135	0.0255	0.1230	0.1285
0.5114	209.0	3135	0.7435	0.0985	0.0129	0.0242	0.1164	0.1205
0.5265	210.0	3150	0.7434	0.0995	0.0136	0.0255	0.1164	0.1225
0.5197	211.0	3165	0.7447	0.0997	0.0137	0.0254	0.1151	0.1245
0.5228	212.0	3180	0.7458	0.1021	0.0134	0.0254	0.1151	0.1305
0.527	213.0	3195	0.7447	0.0995	0.0137	0.0254	0.1164	0.1225
0.5183	214.0	3210	0.7446	0.1029	0.0136	0.0254	0.1151	0.1325
0.5175	215.0	3225	0.7447	0.1021	0.0136	0.0254	0.1151	0.1305
0.516	216.0	3240	0.7442	0.1029	0.0136	0.0253	0.1190	0.1285
0.5186	217.0	3255	0.7450	0.1048	0.0136	0.0253	0.1177	0.1345
0.5079	218.0	3270	0.7465	0.1057	0.0128	0.0239	0.1164	0.1386
0.5119	219.0	3285	0.7453	0.1040	0.0136	0.0253	0.1177	0.1325
0.5118	220.0	3300	0.7421	0.1056	0.0132	0.0253	0.1177	0.1365
0.5213	221.0	3315	0.7415	0.1006	0.0125	0.0243	0.1177	0.1245
0.5106	222.0	3330	0.7423	0.1038	0.0124	0.0240	0.1138	0.1365
0.5204	223.0	3345	0.7428	0.1073	0.0127	0.0239	0.1164	0.1426
0.5216	224.0	3360	0.7439	0.1073	0.0127	0.0239	0.1164	0.1426
0.5191	225.0	3375	0.7436	0.1026	0.0135	0.0254	0.1204	0.1265
0.5053	226.0	3390	0.7429	0.1027	0.0129	0.0242	0.1190	0.1285
0.5134	227.0	3405	0.7434	0.1009	0.0126	0.0243	0.1164	0.1265
0.5144	228.0	3420	0.7429	0.1009	0.0126	0.0243	0.1164	0.1265
0.5132	229.0	3435	0.7430	0.1027	0.0126	0.0242	0.1190	0.1285
0.5138	230.0	3450	0.7437	0.1027	0.0129	0.0242	0.1190	0.1285
0.522	231.0	3465	0.7437	0.0950	0.0127	0.0244	0.1138	0.1145
0.5091	232.0	3480	0.7448	0.1027	0.0129	0.0242	0.1190	0.1285
0.5006	233.0	3495	0.7443	0.0992	0.0125	0.0243	0.1164	0.1225
0.5276	234.0	3510	0.7456	0.1046	0.0130	0.0245	0.1217	0.1305
0.5048	235.0	3525	0.7463	0.1046	0.0130	0.0245	0.1217	0.1305
0.5044	236.0	3540	0.7454	0.0985	0.0130	0.0243	0.1164	0.1205
0.5027	237.0	3555	0.7456	0.1027	0.0129	0.0242	0.1190	0.1285
0.5135	238.0	3570	0.7457	0.0992	0.0125	0.0243	0.1164	0.1225
0.5238	239.0	3585	0.7442	0.1016	0.0123	0.0243	0.1164	0.1285
0.5093	240.0	3600	0.7451	0.1027	0.0135	0.0256	0.1204	0.1265
0.5029	241.0	3615	0.7454	0.1027	0.0135	0.0256	0.1204	0.1265
0.5104	242.0	3630	0.7466	0.1027	0.0128	0.0242	0.1190	0.1285
0.5039	243.0	3645	0.7475	0.0949	0.0124	0.0242	0.1138	0.1145
0.5053	244.0	3660	0.7487	0.0952	0.0124	0.0241	0.1124	0.1165
0.5121	245.0	3675	0.7493	0.0987	0.0128	0.0241	0.1151	0.1225
0.5078	246.0	3690	0.7478	0.1030	0.0126	0.0240	0.1177	0.1305
0.5086	247.0	3705	0.7474	0.0992	0.0124	0.0241	0.1164	0.1225
0.5203	248.0	3720	0.7467	0.0992	0.0126	0.0243	0.1164	0.1225
0.5087	249.0	3735	0.7470	0.1016	0.0131	0.0257	0.1177	0.1265
0.5215	250.0	3750	0.7481	0.1016	0.0130	0.0257	0.1177	0.1265
0.5031	251.0	3765	0.7479	0.1016	0.0133	0.0257	0.1177	0.1265
0.5152	252.0	3780	0.7491	0.0992	0.0125	0.0243	0.1164	0.1225
0.5122	253.0	3795	0.7502	0.1030	0.0128	0.0241	0.1177	0.1305
0.5043	254.0	3810	0.7495	0.1030	0.0131	0.0241	0.1177	0.1305
0.5055	255.0	3825	0.7489	0.1030	0.0138	0.0255	0.1190	0.1285
0.5009	256.0	3840	0.7492	0.1054	0.0137	0.0255	0.1190	0.1345
0.5153	257.0	3855	0.7484	0.1017	0.0127	0.0243	0.1164	0.1285
0.4967	258.0	3870	0.7476	0.1048	0.0139	0.0259	0.1257	0.1265
0.5144	259.0	3885	0.7477	0.1049	0.0140	0.0259	0.1257	0.1265
0.5176	260.0	3900	0.7479	0.0995	0.0135	0.0257	0.1204	0.1185
0.5063	261.0	3915	0.7491	0.1016	0.0133	0.0257	0.1177	0.1265
0.5097	262.0	3930	0.7502	0.0949	0.0134	0.0258	0.1151	0.1124
0.5068	263.0	3945	0.7495	0.0992	0.0135	0.0257	0.1177	0.1205
0.5087	264.0	3960	0.7502	0.0992	0.0135	0.0257	0.1177	0.1205
0.507	265.0	3975	0.7505	0.1027	0.0139	0.0256	0.1204	0.1265
0.5058	266.0	3990	0.7493	0.0992	0.0135	0.0257	0.1177	0.1205
0.4866	267.0	4005	0.7489	0.0992	0.0135	0.0257	0.1177	0.1205
0.5048	268.0	4020	0.7495	0.0992	0.0135	0.0257	0.1177	0.1205
0.5186	269.0	4035	0.7493	0.0992	0.0135	0.0257	0.1177	0.1205
0.4905	270.0	4050	0.7492	0.0992	0.0135	0.0257	0.1177	0.1205
0.5046	271.0	4065	0.7497	0.0992	0.0135	0.0257	0.1177	0.1205
0.5105	272.0	4080	0.7497	0.0992	0.0135	0.0257	0.1177	0.1205
0.5084	273.0	4095	0.7490	0.1046	0.0140	0.0259	0.1230	0.1285
0.4971	274.0	4110	0.7492	0.1046	0.0140	0.0259	0.1230	0.1285
0.4922	275.0	4125	0.7496	0.1046	0.0140	0.0259	0.1230	0.1285
0.503	276.0	4140	0.7500	0.1028	0.0131	0.0242	0.1190	0.1285
0.5273	277.0	4155	0.7497	0.0985	0.0132	0.0243	0.1164	0.1205
0.5135	278.0	4170	0.7502	0.0985	0.0132	0.0243	0.1164	0.1205
0.4994	279.0	4185	0.7502	0.1028	0.0131	0.0242	0.1190	0.1285
0.498	280.0	4200	0.7505	0.1028	0.0131	0.0242	0.1190	0.1285
0.5109	281.0	4215	0.7508	0.0985	0.0132	0.0243	0.1164	0.1205
0.5049	282.0	4230	0.7509	0.1028	0.0131	0.0242	0.1190	0.1285
0.4991	283.0	4245	0.7510	0.1028	0.0131	0.0242	0.1190	0.1285
0.516	284.0	4260	0.7507	0.1035	0.0130	0.0242	0.1190	0.1305
0.5078	285.0	4275	0.7507	0.1000	0.0133	0.0257	0.1177	0.1225
0.5128	286.0	4290	0.7503	0.1000	0.0133	0.0257	0.1177	0.1225
0.4972	287.0	4305	0.7503	0.1000	0.0133	0.0257	0.1177	0.1225
0.5064	288.0	4320	0.7504	0.1000	0.0133	0.0257	0.1177	0.1225
0.5017	289.0	4335	0.7505	0.1035	0.0137	0.0256	0.1204	0.1285
0.4874	290.0	4350	0.7504	0.1000	0.0133	0.0257	0.1177	0.1225
0.4935	291.0	4365	0.7503	0.1000	0.0133	0.0257	0.1177	0.1225
0.5023	292.0	4380	0.7502	0.1000	0.0133	0.0257	0.1177	0.1225
0.5118	293.0	4395	0.7500	0.1000	0.0133	0.0257	0.1177	0.1225
0.5149	294.0	4410	0.7501	0.1000	0.0133	0.0257	0.1177	0.1225
0.504	295.0	4425	0.7501	0.1000	0.0133	0.0257	0.1177	0.1225
0.4974	296.0	4440	0.7502	0.1000	0.0133	0.0257	0.1177	0.1225
0.5083	297.0	4455	0.7501	0.1000	0.0133	0.0257	0.1177	0.1225
0.5018	298.0	4470	0.7502	0.1000	0.0133	0.0257	0.1177	0.1225
0.5162	299.0	4485	0.7501	0.1000	0.0133	0.0257	0.1177	0.1225
0.5066	300.0	4500	0.7501	0.1000	0.0133	0.0257	0.1177	0.1225

Framework versions

• Transformers 4.31.0
• Pytorch 2.0.1
• Datasets 2.14.4
• Tokenizers 0.13.3