codet5p-770m-py-sanitized-codebleu-1-True-5e-05-0.1-lora-layer_15

This model is a fine-tuned version of Salesforce/codet5p-770m-py on the mbpp dataset. It achieves the following results on the evaluation set:

• Loss: 0.7369
• Codebleu: 0.1024
• Ngram Match Score: 0.0159
• Weighted Ngram Match Score: 0.0260
• Syntax Match Score: 0.1151
• Dataflow Match Score: 0.1305

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 5e-05
• train_batch_size: 8
• eval_batch_size: 8
• seed: 42
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: linear
• lr_scheduler_warmup_steps: 100
• num_epochs: 300

Training results

Training Loss	Epoch	Step	Validation Loss	Codebleu	Ngram Match Score	Weighted Ngram Match Score	Syntax Match Score	Dataflow Match Score
0.9736	1.0	15	0.9245	0.0072	0.0000	0.0000	0.0079	0.0100
0.9636	2.0	30	0.9232	0.0072	0.0000	0.0000	0.0079	0.0100
0.9753	3.0	45	0.9202	0.0072	0.0000	0.0000	0.0079	0.0100
0.9465	4.0	60	0.9137	0.0080	0.0000	0.0000	0.0079	0.0120
0.9506	5.0	75	0.9007	0.0096	0.0000	0.0002	0.0079	0.0161
0.943	6.0	90	0.8790	0.0423	0.0006	0.0201	0.0503	0.0502
0.9268	7.0	105	0.8527	0.0836	0.0146	0.0397	0.1111	0.0843
0.8774	8.0	120	0.8341	0.0987	0.0226	0.0521	0.1257	0.1024
0.8581	9.0	135	0.8199	0.0947	0.0224	0.0519	0.1217	0.0964
0.8462	10.0	150	0.8046	0.0951	0.0164	0.0405	0.1190	0.1044
0.8244	11.0	165	0.7879	0.0967	0.0160	0.0406	0.1151	0.1124
0.8179	12.0	180	0.7734	0.0905	0.0137	0.0373	0.1032	0.1104
0.7953	13.0	195	0.7645	0.0954	0.0158	0.0445	0.1151	0.1084
0.7725	14.0	210	0.7571	0.1013	0.0160	0.0421	0.1204	0.1185
0.7795	15.0	225	0.7520	0.0988	0.0166	0.0429	0.1177	0.1145
0.7856	16.0	240	0.7491	0.0964	0.0166	0.0431	0.1177	0.1084
0.7665	17.0	255	0.7468	0.1036	0.0168	0.0432	0.1336	0.1104
0.7442	18.0	270	0.7447	0.1057	0.0172	0.0425	0.1310	0.1185
0.755	19.0	285	0.7411	0.1037	0.0163	0.0419	0.1283	0.1165
0.7454	20.0	300	0.7376	0.1068	0.0175	0.0425	0.1376	0.1145
0.7336	21.0	315	0.7346	0.1166	0.0217	0.0489	0.1495	0.1245
0.727	22.0	330	0.7318	0.1159	0.0228	0.0487	0.1495	0.1225
0.7292	23.0	345	0.7310	0.1143	0.0241	0.0495	0.1429	0.1245
0.7272	24.0	360	0.7300	0.1162	0.0243	0.0495	0.1455	0.1265
0.7456	25.0	375	0.7280	0.1143	0.0241	0.0495	0.1429	0.1245
0.716	26.0	390	0.7263	0.1041	0.0194	0.0429	0.1283	0.1165
0.7019	27.0	405	0.7247	0.1127	0.0238	0.0494	0.1389	0.1245
0.7059	28.0	420	0.7238	0.1133	0.0226	0.0494	0.1429	0.1225
0.6895	29.0	435	0.7229	0.1155	0.0251	0.0527	0.1429	0.1265
0.6927	30.0	450	0.7221	0.1178	0.0244	0.0489	0.1415	0.1345
0.686	31.0	465	0.7204	0.1177	0.0244	0.0486	0.1415	0.1345
0.6874	32.0	480	0.7186	0.1084	0.0205	0.0424	0.1349	0.1205
0.6844	33.0	495	0.7175	0.1035	0.0195	0.0417	0.1310	0.1124
0.684	34.0	510	0.7158	0.1058	0.0190	0.0418	0.1349	0.1145
0.6679	35.0	525	0.7147	0.1040	0.0212	0.0452	0.1310	0.1124
0.6884	36.0	540	0.7141	0.1120	0.0239	0.0476	0.1376	0.1245
0.6771	37.0	555	0.7144	0.0986	0.0253	0.0479	0.1098	0.1185
0.6778	38.0	570	0.7125	0.1066	0.0239	0.0473	0.1283	0.1205
0.6684	39.0	585	0.7085	0.1076	0.0247	0.0484	0.1323	0.1185
0.6719	40.0	600	0.7097	0.1031	0.0241	0.0490	0.1190	0.1205
0.6557	41.0	615	0.7100	0.1001	0.0231	0.0495	0.1257	0.1064
0.655	42.0	630	0.7090	0.1007	0.0202	0.0478	0.1323	0.1024
0.6553	43.0	645	0.7062	0.0955	0.0233	0.0478	0.1045	0.1165
0.6553	44.0	660	0.7072	0.1022	0.0262	0.0489	0.1204	0.1165
0.6451	45.0	675	0.7091	0.0988	0.0229	0.0442	0.1098	0.1205
0.6403	46.0	690	0.7069	0.1045	0.0238	0.0470	0.1230	0.1205
0.6516	47.0	705	0.7037	0.1009	0.0244	0.0485	0.1257	0.1084
0.6418	48.0	720	0.7039	0.1040	0.0223	0.0437	0.1230	0.1205
0.6466	49.0	735	0.7029	0.1057	0.0233	0.0438	0.1230	0.1245
0.631	50.0	750	0.7035	0.1016	0.0234	0.0444	0.1124	0.1245
0.6511	51.0	765	0.7034	0.1018	0.0253	0.0476	0.1098	0.1265
0.6544	52.0	780	0.7024	0.0963	0.0197	0.0382	0.1019	0.1245
0.6382	53.0	795	0.7004	0.1016	0.0246	0.0460	0.1098	0.1265
0.6134	54.0	810	0.7023	0.0945	0.0218	0.0420	0.1098	0.1104
0.6331	55.0	825	0.7029	0.0952	0.0214	0.0419	0.1058	0.1165
0.635	56.0	840	0.7033	0.0970	0.0243	0.0456	0.1045	0.1205
0.6325	57.0	855	0.7018	0.0942	0.0240	0.0475	0.1032	0.1145
0.6244	58.0	870	0.7009	0.0910	0.0216	0.0421	0.0992	0.1124
0.6339	59.0	885	0.7027	0.0937	0.0241	0.0477	0.1058	0.1104
0.6149	60.0	900	0.7049	0.0938	0.0249	0.0503	0.1071	0.1084
0.6243	61.0	915	0.7056	0.0917	0.0202	0.0418	0.0992	0.1145
0.6161	62.0	930	0.7024	0.0954	0.0268	0.0492	0.1071	0.1124
0.6179	63.0	945	0.7013	0.0953	0.0273	0.0503	0.1045	0.1145
0.6013	64.0	960	0.7044	0.0934	0.0256	0.0485	0.1045	0.1104
0.6341	65.0	975	0.7013	0.0901	0.0248	0.0482	0.1045	0.1024
0.5999	66.0	990	0.7044	0.0943	0.0265	0.0489	0.1045	0.1124
0.6217	67.0	1005	0.7028	0.0955	0.0256	0.0489	0.1098	0.1104
0.6076	68.0	1020	0.7056	0.0947	0.0250	0.0515	0.1032	0.1145
0.6001	69.0	1035	0.7050	0.0952	0.0266	0.0493	0.1045	0.1145
0.6198	70.0	1050	0.7042	0.0908	0.0258	0.0492	0.1019	0.1064
0.6056	71.0	1065	0.7047	0.0908	0.0258	0.0492	0.1019	0.1064
0.6074	72.0	1080	0.7051	0.0894	0.0227	0.0428	0.0966	0.1104
0.6089	73.0	1095	0.7069	0.0920	0.0213	0.0413	0.1058	0.1084
0.5955	74.0	1110	0.7056	0.0992	0.0267	0.0494	0.1124	0.1165
0.5896	75.0	1125	0.7029	0.1004	0.0276	0.0498	0.1111	0.1205
0.6026	76.0	1140	0.7008	0.0937	0.0271	0.0501	0.1085	0.1064
0.6052	77.0	1155	0.6999	0.0959	0.0228	0.0418	0.1032	0.1205
0.5953	78.0	1170	0.7019	0.0972	0.0262	0.0485	0.1098	0.1145
0.597	79.0	1185	0.7010	0.0990	0.0259	0.0484	0.1124	0.1165
0.5884	80.0	1200	0.6996	0.0972	0.0278	0.0499	0.1111	0.1124
0.5929	81.0	1215	0.7033	0.0978	0.0268	0.0514	0.1124	0.1124
0.5952	82.0	1230	0.7039	0.0979	0.0288	0.0504	0.1085	0.1165
0.6064	83.0	1245	0.7032	0.0937	0.0273	0.0499	0.1085	0.1064
0.5881	84.0	1260	0.7049	0.0966	0.0225	0.0437	0.1085	0.1165
0.5715	85.0	1275	0.7064	0.0953	0.0269	0.0500	0.1085	0.1104
0.5807	86.0	1290	0.7068	0.0919	0.0231	0.0439	0.1005	0.1124
0.5746	87.0	1305	0.7038	0.0937	0.0197	0.0389	0.1032	0.1165
0.5828	88.0	1320	0.7058	0.1024	0.0291	0.0525	0.1190	0.1165
0.5812	89.0	1335	0.7072	0.0977	0.0275	0.0504	0.1164	0.1084
0.5897	90.0	1350	0.7046	0.0993	0.0275	0.0504	0.1164	0.1124
0.5806	91.0	1365	0.7040	0.0993	0.0275	0.0504	0.1164	0.1124
0.5783	92.0	1380	0.7063	0.0995	0.0275	0.0496	0.1151	0.1145
0.566	93.0	1395	0.7071	0.1045	0.0285	0.0507	0.1270	0.1145
0.5672	94.0	1410	0.7090	0.1022	0.0288	0.0507	0.1190	0.1165
0.5801	95.0	1425	0.7117	0.1018	0.0287	0.0501	0.1204	0.1145
0.5772	96.0	1440	0.7108	0.1038	0.0275	0.0496	0.1257	0.1145
0.5804	97.0	1455	0.7100	0.0979	0.0230	0.0427	0.1098	0.1185
0.5726	98.0	1470	0.7095	0.1055	0.0283	0.0497	0.1257	0.1185
0.5849	99.0	1485	0.7092	0.1077	0.0282	0.0507	0.1310	0.1185
0.5808	100.0	1500	0.7071	0.0951	0.0231	0.0439	0.1085	0.1124
0.5693	101.0	1515	0.7087	0.1010	0.0229	0.0423	0.1138	0.1225
0.5611	102.0	1530	0.7113	0.1079	0.0290	0.0494	0.1257	0.1245
0.5707	103.0	1545	0.7111	0.0996	0.0247	0.0424	0.1098	0.1225
0.5702	104.0	1560	0.7102	0.1007	0.0241	0.0423	0.1045	0.1305
0.5635	105.0	1575	0.7136	0.1042	0.0246	0.0425	0.1111	0.1325
0.5744	106.0	1590	0.7099	0.1034	0.0245	0.0427	0.1111	0.1305
0.5822	107.0	1605	0.7106	0.1045	0.0289	0.0503	0.1190	0.1225
0.5557	108.0	1620	0.7132	0.1023	0.0249	0.0423	0.1124	0.1265
0.5654	109.0	1635	0.7103	0.1000	0.0239	0.0419	0.1071	0.1265
0.5701	110.0	1650	0.7097	0.1018	0.0250	0.0423	0.1071	0.1305
0.5632	111.0	1665	0.7094	0.0983	0.0248	0.0423	0.1045	0.1245
0.5569	112.0	1680	0.7118	0.0965	0.0236	0.0418	0.1045	0.1205
0.5532	113.0	1695	0.7115	0.1021	0.0293	0.0490	0.1111	0.1245
0.5657	114.0	1710	0.7121	0.0978	0.0234	0.0418	0.1098	0.1185
0.5678	115.0	1725	0.7121	0.1011	0.0216	0.0385	0.1111	0.1265
0.5542	116.0	1740	0.7136	0.1051	0.0239	0.0423	0.1138	0.1325
0.5471	117.0	1755	0.7136	0.1069	0.0251	0.0427	0.1138	0.1365
0.5647	118.0	1770	0.7109	0.1080	0.0262	0.0447	0.1177	0.1345
0.5586	119.0	1785	0.7123	0.1074	0.0259	0.0443	0.1164	0.1345
0.5479	120.0	1800	0.7104	0.1039	0.0218	0.0378	0.1124	0.1325
0.5455	121.0	1815	0.7129	0.1039	0.0218	0.0378	0.1124	0.1325
0.5571	122.0	1830	0.7110	0.1060	0.0218	0.0368	0.1138	0.1365
0.5642	123.0	1845	0.7148	0.1045	0.0216	0.0377	0.1098	0.1365
0.5414	124.0	1860	0.7170	0.1053	0.0220	0.0378	0.1098	0.1386
0.556	125.0	1875	0.7153	0.1023	0.0218	0.0375	0.1124	0.1285
0.5349	126.0	1890	0.7157	0.1023	0.0219	0.0378	0.1124	0.1285
0.5423	127.0	1905	0.7170	0.1066	0.0248	0.0425	0.1151	0.1345
0.546	128.0	1920	0.7200	0.1006	0.0213	0.0371	0.1085	0.1285
0.5417	129.0	1935	0.7169	0.1074	0.0272	0.0457	0.1177	0.1325
0.5406	130.0	1950	0.7192	0.1085	0.0278	0.0457	0.1124	0.1406
0.5424	131.0	1965	0.7174	0.1059	0.0275	0.0457	0.1058	0.1406
0.5491	132.0	1980	0.7184	0.1054	0.0275	0.0468	0.1045	0.1406
0.5539	133.0	1995	0.7171	0.1049	0.0271	0.0467	0.1071	0.1365
0.5277	134.0	2010	0.7179	0.1108	0.0277	0.0472	0.1177	0.1406
0.5399	135.0	2025	0.7199	0.1075	0.0268	0.0466	0.1098	0.1406
0.5375	136.0	2040	0.7217	0.0972	0.0154	0.0266	0.0939	0.1386
0.5253	137.0	2055	0.7201	0.1018	0.0215	0.0379	0.1032	0.1365
0.547	138.0	2070	0.7204	0.1044	0.0263	0.0459	0.1045	0.1386
0.5452	139.0	2085	0.7189	0.1024	0.0208	0.0367	0.1071	0.1345
0.5425	140.0	2100	0.7195	0.1030	0.0212	0.0371	0.1085	0.1345
0.5448	141.0	2115	0.7179	0.1004	0.0205	0.0359	0.1085	0.1285
0.5519	142.0	2130	0.7203	0.0967	0.0146	0.0256	0.1032	0.1285
0.533	143.0	2145	0.7202	0.0986	0.0147	0.0255	0.1019	0.1345
0.5472	144.0	2160	0.7194	0.0971	0.0155	0.0260	0.1019	0.1305
0.5324	145.0	2175	0.7208	0.0943	0.0159	0.0265	0.0926	0.1325
0.5414	146.0	2190	0.7197	0.0973	0.0224	0.0372	0.0939	0.1345
0.5347	147.0	2205	0.7214	0.0943	0.0160	0.0268	0.0926	0.1325
0.5241	148.0	2220	0.7210	0.0948	0.0216	0.0367	0.0899	0.1325
0.5422	149.0	2235	0.7206	0.0996	0.0159	0.0270	0.1058	0.1325
0.5296	150.0	2250	0.7213	0.0994	0.0219	0.0372	0.0992	0.1345
0.524	151.0	2265	0.7221	0.0989	0.0220	0.0369	0.0939	0.1386
0.5414	152.0	2280	0.7244	0.0959	0.0157	0.0265	0.0926	0.1365
0.528	153.0	2295	0.7208	0.0929	0.0156	0.0264	0.0913	0.1305
0.5304	154.0	2310	0.7247	0.0964	0.0155	0.0266	0.0979	0.1325
0.5388	155.0	2325	0.7214	0.0889	0.0145	0.0251	0.0899	0.1225
0.55	156.0	2340	0.7206	0.0975	0.0208	0.0355	0.1032	0.1265
0.5207	157.0	2355	0.7234	0.0994	0.0219	0.0372	0.1032	0.1305
0.5431	158.0	2370	0.7244	0.0943	0.0217	0.0368	0.0966	0.1245
0.5319	159.0	2385	0.7260	0.0981	0.0219	0.0371	0.1019	0.1285
0.5299	160.0	2400	0.7256	0.0970	0.0232	0.0384	0.0966	0.1305
0.5301	161.0	2415	0.7226	0.1055	0.0235	0.0386	0.1098	0.1386
0.5273	162.0	2430	0.7216	0.1051	0.0242	0.0390	0.1045	0.1426
0.5444	163.0	2445	0.7236	0.1012	0.0231	0.0383	0.1071	0.1305
0.5286	164.0	2460	0.7227	0.1040	0.0240	0.0389	0.1098	0.1345
0.5193	165.0	2475	0.7264	0.1008	0.0238	0.0386	0.1019	0.1345
0.5163	166.0	2490	0.7291	0.1008	0.0238	0.0386	0.1019	0.1345
0.5182	167.0	2505	0.7316	0.0926	0.0168	0.0279	0.0899	0.1305
0.512	168.0	2520	0.7315	0.0900	0.0158	0.0260	0.0899	0.1245
0.5222	169.0	2535	0.7263	0.0922	0.0160	0.0269	0.0913	0.1285
0.5226	170.0	2550	0.7255	0.0975	0.0161	0.0269	0.1045	0.1285
0.5318	171.0	2565	0.7269	0.0910	0.0168	0.0279	0.0899	0.1265
0.5353	172.0	2580	0.7231	0.0915	0.0145	0.0245	0.0966	0.1225
0.5253	173.0	2595	0.7257	0.0926	0.0165	0.0277	0.0899	0.1305
0.5226	174.0	2610	0.7284	0.0914	0.0162	0.0267	0.0913	0.1265
0.5241	175.0	2625	0.7285	0.0955	0.0153	0.0257	0.0939	0.1345
0.5263	176.0	2640	0.7293	0.0971	0.0152	0.0257	0.0939	0.1386
0.5132	177.0	2655	0.7276	0.0949	0.0161	0.0272	0.0939	0.1325
0.5174	178.0	2670	0.7251	0.0949	0.0165	0.0274	0.1019	0.1245
0.5273	179.0	2685	0.7260	0.0949	0.0165	0.0274	0.1019	0.1245
0.5107	180.0	2700	0.7318	0.0937	0.0158	0.0260	0.0913	0.1325
0.5175	181.0	2715	0.7293	0.0905	0.0147	0.0245	0.0899	0.1265
0.5225	182.0	2730	0.7296	0.0926	0.0155	0.0258	0.0966	0.1245
0.5173	183.0	2745	0.7303	0.0883	0.0156	0.0258	0.0899	0.1205
0.5103	184.0	2760	0.7310	0.0925	0.0154	0.0257	0.0966	0.1245
0.5127	185.0	2775	0.7309	0.0920	0.0156	0.0257	0.0952	0.1245
0.5135	186.0	2790	0.7309	0.0948	0.0159	0.0260	0.0979	0.1285
0.5033	187.0	2805	0.7291	0.0953	0.0161	0.0263	0.1032	0.1245
0.522	188.0	2820	0.7294	0.0877	0.0154	0.0258	0.0926	0.1165
0.5238	189.0	2835	0.7305	0.0904	0.0155	0.0257	0.0952	0.1205
0.5161	190.0	2850	0.7302	0.0921	0.0159	0.0261	0.0952	0.1245
0.5283	191.0	2865	0.7267	0.0977	0.0231	0.0377	0.1005	0.1285
0.5087	192.0	2880	0.7266	0.0961	0.0230	0.0377	0.1005	0.1245
0.5141	193.0	2895	0.7325	0.0976	0.0214	0.0361	0.1071	0.1225
0.5058	194.0	2910	0.7314	0.0976	0.0214	0.0361	0.1071	0.1225
0.5126	195.0	2925	0.7278	0.1009	0.0218	0.0362	0.1071	0.1305
0.5179	196.0	2940	0.7274	0.1003	0.0231	0.0376	0.1071	0.1285
0.5113	197.0	2955	0.7272	0.1003	0.0231	0.0376	0.1071	0.1285
0.5092	198.0	2970	0.7247	0.0947	0.0159	0.0260	0.1019	0.1245
0.5069	199.0	2985	0.7253	0.0954	0.0152	0.0249	0.1019	0.1265
0.5151	200.0	3000	0.7270	0.0953	0.0150	0.0249	0.1019	0.1265
0.5158	201.0	3015	0.7285	0.0953	0.0149	0.0247	0.1019	0.1265
0.5001	202.0	3030	0.7281	0.0931	0.0158	0.0260	0.0979	0.1245
0.5081	203.0	3045	0.7292	0.0942	0.0158	0.0259	0.1045	0.1205
0.5037	204.0	3060	0.7285	0.0926	0.0147	0.0244	0.0992	0.1225
0.5198	205.0	3075	0.7278	0.0905	0.0159	0.0260	0.0952	0.1205
0.514	206.0	3090	0.7259	0.0985	0.0163	0.0263	0.1071	0.1285
0.4996	207.0	3105	0.7296	0.1017	0.0161	0.0260	0.1151	0.1285
0.4952	208.0	3120	0.7303	0.0996	0.0162	0.0262	0.1098	0.1285
0.5081	209.0	3135	0.7315	0.0932	0.0149	0.0247	0.1005	0.1225
0.5102	210.0	3150	0.7313	0.0991	0.0224	0.0362	0.1045	0.1285
0.5115	211.0	3165	0.7342	0.0993	0.0233	0.0375	0.1045	0.1285
0.5067	212.0	3180	0.7351	0.0963	0.0156	0.0256	0.1019	0.1285
0.5113	213.0	3195	0.7353	0.0991	0.0223	0.0368	0.1045	0.1285
0.5063	214.0	3210	0.7354	0.0992	0.0228	0.0371	0.1045	0.1285
0.5009	215.0	3225	0.7352	0.0936	0.0156	0.0256	0.0992	0.1245
0.51	216.0	3240	0.7342	0.0931	0.0148	0.0246	0.1005	0.1225
0.5088	217.0	3255	0.7329	0.0916	0.0148	0.0245	0.0966	0.1225
0.4984	218.0	3270	0.7329	0.0916	0.0148	0.0245	0.0966	0.1225
0.4945	219.0	3285	0.7334	0.0937	0.0151	0.0249	0.1019	0.1225
0.4893	220.0	3300	0.7340	0.0988	0.0224	0.0364	0.1058	0.1265
0.5059	221.0	3315	0.7331	0.0932	0.0152	0.0248	0.1005	0.1225
0.5059	222.0	3330	0.7329	0.1016	0.0161	0.0260	0.1151	0.1285
0.5046	223.0	3345	0.7333	0.1016	0.0161	0.0260	0.1151	0.1285
0.5118	224.0	3360	0.7334	0.1001	0.0151	0.0246	0.1098	0.1305
0.5017	225.0	3375	0.7333	0.0932	0.0150	0.0246	0.1005	0.1225
0.4933	226.0	3390	0.7316	0.0911	0.0151	0.0246	0.0952	0.1225
0.5037	227.0	3405	0.7320	0.0985	0.0150	0.0246	0.1058	0.1305
0.5032	228.0	3420	0.7331	0.0916	0.0148	0.0245	0.0966	0.1225
0.4944	229.0	3435	0.7332	0.1001	0.0161	0.0262	0.1111	0.1285
0.498	230.0	3450	0.7332	0.0985	0.0149	0.0245	0.1058	0.1305
0.5138	231.0	3465	0.7321	0.0987	0.0160	0.0258	0.1098	0.1265
0.4964	232.0	3480	0.7334	0.1014	0.0149	0.0247	0.1111	0.1325
0.4927	233.0	3495	0.7334	0.0929	0.0149	0.0247	0.0979	0.1245
0.5175	234.0	3510	0.7339	0.0911	0.0151	0.0249	0.0952	0.1225
0.486	235.0	3525	0.7347	0.0940	0.0149	0.0246	0.1005	0.1245
0.4987	236.0	3540	0.7342	0.1041	0.0148	0.0247	0.1138	0.1365
0.4968	237.0	3555	0.7341	0.1035	0.0147	0.0245	0.1124	0.1365
0.4963	238.0	3570	0.7339	0.1003	0.0148	0.0244	0.1085	0.1325
0.5032	239.0	3585	0.7337	0.0980	0.0163	0.0262	0.1098	0.1245
0.4894	240.0	3600	0.7361	0.1006	0.0160	0.0260	0.1124	0.1285
0.4876	241.0	3615	0.7367	0.1012	0.0164	0.0263	0.1138	0.1285
0.5016	242.0	3630	0.7360	0.1001	0.0152	0.0248	0.1098	0.1305
0.5015	243.0	3645	0.7361	0.1007	0.0153	0.0249	0.1111	0.1305
0.4909	244.0	3660	0.7358	0.1006	0.0152	0.0247	0.1111	0.1305
0.5003	245.0	3675	0.7349	0.1023	0.0153	0.0248	0.1111	0.1345
0.507	246.0	3690	0.7334	0.1023	0.0153	0.0249	0.1111	0.1345
0.4964	247.0	3705	0.7334	0.0954	0.0152	0.0249	0.1019	0.1265
0.4961	248.0	3720	0.7338	0.0954	0.0152	0.0249	0.1019	0.1265
0.5	249.0	3735	0.7341	0.0927	0.0152	0.0249	0.0992	0.1225
0.5045	250.0	3750	0.7346	0.1012	0.0162	0.0263	0.1138	0.1285
0.4859	251.0	3765	0.7336	0.1012	0.0164	0.0262	0.1138	0.1285
0.498	252.0	3780	0.7335	0.1023	0.0153	0.0248	0.1111	0.1345
0.4939	253.0	3795	0.7344	0.1022	0.0151	0.0246	0.1111	0.1345
0.4872	254.0	3810	0.7344	0.1012	0.0164	0.0262	0.1138	0.1285
0.4854	255.0	3825	0.7352	0.1012	0.0164	0.0262	0.1138	0.1285
0.4885	256.0	3840	0.7362	0.1012	0.0165	0.0262	0.1138	0.1285
0.4919	257.0	3855	0.7360	0.1017	0.0165	0.0263	0.1151	0.1285
0.4842	258.0	3870	0.7362	0.1017	0.0162	0.0262	0.1151	0.1285
0.4998	259.0	3885	0.7357	0.1017	0.0161	0.0262	0.1151	0.1285
0.4985	260.0	3900	0.7349	0.1012	0.0162	0.0262	0.1138	0.1285
0.4956	261.0	3915	0.7344	0.1012	0.0162	0.0262	0.1138	0.1285
0.4916	262.0	3930	0.7344	0.1012	0.0162	0.0262	0.1138	0.1285
0.4905	263.0	3945	0.7344	0.1012	0.0162	0.0262	0.1138	0.1285
0.5015	264.0	3960	0.7354	0.1012	0.0162	0.0262	0.1138	0.1285
0.4935	265.0	3975	0.7355	0.1019	0.0158	0.0259	0.1138	0.1305
0.488	266.0	3990	0.7362	0.1024	0.0159	0.0260	0.1151	0.1305
0.4804	267.0	4005	0.7357	0.1024	0.0158	0.0259	0.1151	0.1305
0.5011	268.0	4020	0.7349	0.1024	0.0158	0.0260	0.1151	0.1305
0.501	269.0	4035	0.7345	0.1024	0.0158	0.0260	0.1151	0.1305
0.4829	270.0	4050	0.7346	0.1017	0.0163	0.0262	0.1151	0.1285
0.4994	271.0	4065	0.7352	0.1017	0.0163	0.0262	0.1151	0.1285
0.4878	272.0	4080	0.7353	0.1017	0.0162	0.0262	0.1151	0.1285
0.4967	273.0	4095	0.7353	0.1017	0.0162	0.0262	0.1151	0.1285
0.4822	274.0	4110	0.7351	0.1017	0.0161	0.0262	0.1151	0.1285
0.4777	275.0	4125	0.7354	0.1012	0.0163	0.0264	0.1138	0.1285
0.4834	276.0	4140	0.7360	0.1017	0.0163	0.0265	0.1151	0.1285
0.5063	277.0	4155	0.7361	0.1025	0.0162	0.0264	0.1151	0.1305
0.4879	278.0	4170	0.7369	0.1025	0.0162	0.0264	0.1151	0.1305
0.4883	279.0	4185	0.7374	0.1025	0.0162	0.0264	0.1151	0.1305
0.4841	280.0	4200	0.7374	0.1025	0.0162	0.0264	0.1151	0.1305
0.4989	281.0	4215	0.7372	0.1025	0.0162	0.0264	0.1151	0.1305
0.493	282.0	4230	0.7366	0.1025	0.0162	0.0264	0.1151	0.1305
0.4862	283.0	4245	0.7363	0.1025	0.0161	0.0264	0.1151	0.1305
0.5018	284.0	4260	0.7368	0.1025	0.0161	0.0263	0.1151	0.1305
0.4939	285.0	4275	0.7366	0.1025	0.0160	0.0263	0.1151	0.1305
0.4978	286.0	4290	0.7366	0.1025	0.0160	0.0263	0.1151	0.1305
0.4971	287.0	4305	0.7368	0.1024	0.0158	0.0260	0.1151	0.1305
0.4912	288.0	4320	0.7368	0.1024	0.0159	0.0260	0.1151	0.1305
0.4846	289.0	4335	0.7368	0.1024	0.0159	0.0260	0.1151	0.1305
0.4809	290.0	4350	0.7369	0.1024	0.0159	0.0260	0.1151	0.1305
0.485	291.0	4365	0.7371	0.1024	0.0159	0.0260	0.1151	0.1305
0.4857	292.0	4380	0.7372	0.1024	0.0159	0.0260	0.1151	0.1305
0.4957	293.0	4395	0.7373	0.1024	0.0159	0.0260	0.1151	0.1305
0.4948	294.0	4410	0.7372	0.1024	0.0159	0.0260	0.1151	0.1305
0.4897	295.0	4425	0.7371	0.1024	0.0159	0.0260	0.1151	0.1305
0.4886	296.0	4440	0.7369	0.1024	0.0159	0.0260	0.1151	0.1305
0.4957	297.0	4455	0.7369	0.1024	0.0159	0.0260	0.1151	0.1305
0.4933	298.0	4470	0.7369	0.1024	0.0159	0.0260	0.1151	0.1305
0.4962	299.0	4485	0.7369	0.1024	0.0159	0.0260	0.1151	0.1305
0.4825	300.0	4500	0.7369	0.1024	0.0159	0.0260	0.1151	0.1305

Framework versions

• Transformers 4.31.0
• Pytorch 2.0.1
• Datasets 2.14.4
• Tokenizers 0.13.3