codet5p-770m-py-sanitized-codebleu-1-True-5e-05-0.1-lora-layer_13

This model is a fine-tuned version of Salesforce/codet5p-770m-py on the mbpp dataset. It achieves the following results on the evaluation set:

• Loss: 0.7690
• Codebleu: 0.1033
• Ngram Match Score: 0.0362
• Weighted Ngram Match Score: 0.0619
• Syntax Match Score: 0.0992
• Dataflow Match Score: 0.1345

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 5e-05
• train_batch_size: 8
• eval_batch_size: 8
• seed: 42
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: linear
• lr_scheduler_warmup_steps: 100
• num_epochs: 300

Training results

Training Loss	Epoch	Step	Validation Loss	Codebleu	Ngram Match Score	Weighted Ngram Match Score	Syntax Match Score	Dataflow Match Score
0.9803	1.0	15	0.9246	0.0072	0.0000	0.0000	0.0079	0.0100
0.9642	2.0	30	0.9234	0.0072	0.0000	0.0000	0.0079	0.0100
0.9777	3.0	45	0.9204	0.0072	0.0000	0.0000	0.0079	0.0100
0.9453	4.0	60	0.9138	0.0080	0.0000	0.0000	0.0079	0.0120
0.9543	5.0	75	0.8999	0.0208	0.0000	0.0055	0.0185	0.0321
0.9444	6.0	90	0.8755	0.0675	0.0053	0.0305	0.0794	0.0803
0.9241	7.0	105	0.8525	0.1016	0.0234	0.0560	0.1217	0.1124
0.8693	8.0	120	0.8376	0.0965	0.0217	0.0526	0.1204	0.1024
0.8534	9.0	135	0.8241	0.1009	0.0212	0.0518	0.1257	0.1084
0.8465	10.0	150	0.8100	0.0986	0.0190	0.0494	0.1190	0.1104
0.8282	11.0	165	0.7966	0.0986	0.0134	0.0363	0.1177	0.1165
0.8195	12.0	180	0.7853	0.1030	0.0120	0.0359	0.1310	0.1145
0.7965	13.0	195	0.7765	0.1085	0.0139	0.0408	0.1310	0.1265
0.7765	14.0	210	0.7692	0.1042	0.0135	0.0408	0.1243	0.1225
0.7847	15.0	225	0.7635	0.1014	0.0140	0.0389	0.1138	0.1265
0.7877	16.0	240	0.7605	0.1039	0.0143	0.0393	0.1177	0.1285
0.7741	17.0	255	0.7577	0.1039	0.0143	0.0393	0.1177	0.1285
0.7473	18.0	270	0.7556	0.1083	0.0147	0.0411	0.1323	0.1245
0.7583	19.0	285	0.7530	0.1120	0.0182	0.0480	0.1349	0.1285
0.7412	20.0	300	0.7512	0.1032	0.0181	0.0478	0.1190	0.1225
0.736	21.0	315	0.7485	0.1049	0.0187	0.0484	0.1230	0.1225
0.7241	22.0	330	0.7461	0.1100	0.0220	0.0501	0.1243	0.1325
0.7219	23.0	345	0.7455	0.1116	0.0267	0.0592	0.1230	0.1345
0.7247	24.0	360	0.7440	0.1166	0.0272	0.0581	0.1336	0.1365
0.7439	25.0	375	0.7432	0.1094	0.0257	0.0564	0.1243	0.1285
0.7123	26.0	390	0.7426	0.1068	0.0277	0.0579	0.1151	0.1305
0.7021	27.0	405	0.7400	0.1082	0.0268	0.0570	0.1270	0.1225
0.703	28.0	420	0.7394	0.1124	0.0282	0.0577	0.1310	0.1285
0.6928	29.0	435	0.7398	0.1034	0.0276	0.0559	0.1190	0.1185
0.6903	30.0	450	0.7400	0.1073	0.0282	0.0577	0.1243	0.1225
0.6885	31.0	465	0.7392	0.1097	0.0281	0.0575	0.1243	0.1285
0.6859	32.0	480	0.7386	0.1197	0.0331	0.0674	0.1296	0.1446
0.6808	33.0	495	0.7382	0.1238	0.0359	0.0677	0.1310	0.1526
0.6861	34.0	510	0.7354	0.1116	0.0278	0.0579	0.1270	0.1305
0.6619	35.0	525	0.7368	0.1147	0.0312	0.0586	0.1257	0.1386
0.6889	36.0	540	0.7371	0.1106	0.0290	0.0571	0.1164	0.1386
0.6792	37.0	555	0.7384	0.1176	0.0309	0.0584	0.1190	0.1526
0.6751	38.0	570	0.7384	0.1087	0.0291	0.0571	0.1138	0.1365
0.6703	39.0	585	0.7346	0.1113	0.0293	0.0588	0.1177	0.1386
0.6777	40.0	600	0.7345	0.1114	0.0286	0.0571	0.1164	0.1406
0.6587	41.0	615	0.7353	0.1036	0.0251	0.0497	0.1058	0.1345
0.6564	42.0	630	0.7335	0.1090	0.0305	0.0606	0.1151	0.1345
0.656	43.0	645	0.7344	0.1118	0.0304	0.0596	0.1164	0.1406
0.659	44.0	660	0.7348	0.1112	0.0317	0.0608	0.1164	0.1386
0.6561	45.0	675	0.7358	0.1078	0.0255	0.0514	0.1098	0.1406
0.6471	46.0	690	0.7366	0.1032	0.0224	0.0453	0.1045	0.1365
0.6572	47.0	705	0.7323	0.1048	0.0249	0.0513	0.1085	0.1345
0.6497	48.0	720	0.7328	0.1055	0.0240	0.0481	0.1111	0.1345
0.6472	49.0	735	0.7332	0.1036	0.0242	0.0480	0.1085	0.1325
0.6406	50.0	750	0.7335	0.1018	0.0246	0.0480	0.1058	0.1305
0.6602	51.0	765	0.7342	0.1015	0.0243	0.0480	0.1071	0.1285
0.6557	52.0	780	0.7326	0.0994	0.0246	0.0481	0.1019	0.1285
0.648	53.0	795	0.7320	0.1012	0.0244	0.0481	0.1085	0.1265
0.6192	54.0	810	0.7330	0.1015	0.0244	0.0483	0.1111	0.1245
0.6357	55.0	825	0.7330	0.1031	0.0246	0.0483	0.1111	0.1285
0.6399	56.0	840	0.7347	0.1003	0.0252	0.0487	0.1058	0.1265
0.6422	57.0	855	0.7341	0.1064	0.0256	0.0504	0.1204	0.1265
0.6271	58.0	870	0.7331	0.1017	0.0263	0.0504	0.1085	0.1265
0.6423	59.0	885	0.7335	0.1043	0.0261	0.0499	0.1111	0.1305
0.6228	60.0	900	0.7330	0.1079	0.0254	0.0501	0.1164	0.1345
0.6333	61.0	915	0.7353	0.1044	0.0274	0.0506	0.1151	0.1265
0.6245	62.0	930	0.7346	0.0999	0.0255	0.0494	0.1085	0.1225
0.6253	63.0	945	0.7331	0.0995	0.0261	0.0505	0.1071	0.1225
0.6118	64.0	960	0.7363	0.1039	0.0256	0.0495	0.1124	0.1285
0.641	65.0	975	0.7344	0.1028	0.0267	0.0506	0.1071	0.1305
0.6037	66.0	990	0.7349	0.1018	0.0263	0.0494	0.1071	0.1285
0.6268	67.0	1005	0.7353	0.1040	0.0247	0.0492	0.1111	0.1305
0.6209	68.0	1020	0.7366	0.1016	0.0241	0.0492	0.1111	0.1245
0.6071	69.0	1035	0.7373	0.1003	0.0265	0.0495	0.1071	0.1245
0.6301	70.0	1050	0.7364	0.1026	0.0263	0.0494	0.1071	0.1305
0.6162	71.0	1065	0.7355	0.1039	0.0254	0.0494	0.1085	0.1325
0.6219	72.0	1080	0.7343	0.1041	0.0264	0.0508	0.1124	0.1285
0.6135	73.0	1095	0.7367	0.1031	0.0256	0.0496	0.1124	0.1265
0.6013	74.0	1110	0.7348	0.1013	0.0249	0.0481	0.1085	0.1265
0.5978	75.0	1125	0.7355	0.1023	0.0250	0.0480	0.1111	0.1265
0.6143	76.0	1140	0.7335	0.1028	0.0249	0.0494	0.1098	0.1285
0.6098	77.0	1155	0.7322	0.1009	0.0247	0.0492	0.1071	0.1265
0.5996	78.0	1170	0.7347	0.1013	0.0247	0.0485	0.1124	0.1225
0.6046	79.0	1185	0.7373	0.0998	0.0252	0.0485	0.1045	0.1265
0.6001	80.0	1200	0.7336	0.1001	0.0256	0.0487	0.1071	0.1245
0.6004	81.0	1215	0.7345	0.0971	0.0204	0.0393	0.0992	0.1285
0.5954	82.0	1230	0.7364	0.0983	0.0238	0.0485	0.1071	0.1205
0.6229	83.0	1245	0.7363	0.0956	0.0197	0.0395	0.1058	0.1185
0.6012	84.0	1260	0.7343	0.1020	0.0242	0.0483	0.1124	0.1245
0.5748	85.0	1275	0.7354	0.0979	0.0198	0.0404	0.1071	0.1225
0.5846	86.0	1290	0.7356	0.1032	0.0248	0.0488	0.1151	0.1245
0.5848	87.0	1305	0.7345	0.1009	0.0248	0.0496	0.1071	0.1265
0.5915	88.0	1320	0.7368	0.0984	0.0198	0.0398	0.1045	0.1265
0.588	89.0	1335	0.7394	0.0901	0.0196	0.0393	0.0899	0.1205
0.5866	90.0	1350	0.7388	0.1018	0.0243	0.0490	0.1098	0.1265
0.5908	91.0	1365	0.7381	0.1002	0.0226	0.0451	0.1071	0.1265
0.5859	92.0	1380	0.7380	0.1018	0.0225	0.0450	0.1111	0.1265
0.5668	93.0	1395	0.7397	0.0971	0.0229	0.0450	0.0992	0.1265
0.573	94.0	1410	0.7392	0.0995	0.0229	0.0450	0.1071	0.1245
0.5822	95.0	1425	0.7392	0.0960	0.0197	0.0406	0.1045	0.1205
0.5891	96.0	1440	0.7416	0.0967	0.0189	0.0405	0.1045	0.1225
0.5813	97.0	1455	0.7401	0.0939	0.0200	0.0406	0.0992	0.1205
0.5726	98.0	1470	0.7406	0.0965	0.0197	0.0398	0.1058	0.1205
0.5959	99.0	1485	0.7432	0.0880	0.0198	0.0401	0.0886	0.1165
0.584	100.0	1500	0.7419	0.0930	0.0195	0.0397	0.0992	0.1185
0.5685	101.0	1515	0.7432	0.0926	0.0199	0.0406	0.0979	0.1185
0.5665	102.0	1530	0.7397	0.0935	0.0193	0.0392	0.1005	0.1185
0.5762	103.0	1545	0.7412	0.0929	0.0199	0.0408	0.1005	0.1165
0.5732	104.0	1560	0.7405	0.0977	0.0238	0.0485	0.1058	0.1205
0.5617	105.0	1575	0.7424	0.0887	0.0204	0.0409	0.0899	0.1165
0.5846	106.0	1590	0.7423	0.0932	0.0236	0.0459	0.0952	0.1205
0.584	107.0	1605	0.7435	0.0877	0.0213	0.0411	0.0873	0.1165
0.5589	108.0	1620	0.7454	0.0855	0.0205	0.0409	0.0780	0.1205
0.5708	109.0	1635	0.7430	0.0917	0.0201	0.0393	0.0979	0.1165
0.58	110.0	1650	0.7447	0.0879	0.0211	0.0408	0.0899	0.1145
0.5645	111.0	1665	0.7433	0.0923	0.0245	0.0459	0.0926	0.1205
0.5601	112.0	1680	0.7457	0.0971	0.0243	0.0461	0.1005	0.1245
0.5586	113.0	1695	0.7459	0.0968	0.0247	0.0457	0.1019	0.1225
0.5668	114.0	1710	0.7446	0.0933	0.0214	0.0413	0.0992	0.1185
0.5679	115.0	1725	0.7445	0.0960	0.0211	0.0413	0.1058	0.1185
0.5621	116.0	1740	0.7441	0.0967	0.0208	0.0412	0.1058	0.1205
0.5532	117.0	1755	0.7469	0.0976	0.0214	0.0415	0.1058	0.1225
0.5725	118.0	1770	0.7474	0.0923	0.0217	0.0411	0.0966	0.1185
0.5704	119.0	1785	0.7433	0.1012	0.0210	0.0406	0.1111	0.1265
0.5599	120.0	1800	0.7425	0.0953	0.0207	0.0407	0.1005	0.1225
0.5562	121.0	1815	0.7458	0.0954	0.0232	0.0413	0.1019	0.1205
0.5605	122.0	1830	0.7425	0.0947	0.0221	0.0410	0.1005	0.1205
0.5682	123.0	1845	0.7444	0.0902	0.0210	0.0396	0.0939	0.1165
0.5554	124.0	1860	0.7431	0.0952	0.0223	0.0405	0.1058	0.1165
0.5589	125.0	1875	0.7450	0.0950	0.0222	0.0408	0.0992	0.1225
0.5434	126.0	1890	0.7458	0.0938	0.0222	0.0395	0.0966	0.1225
0.5456	127.0	1905	0.7484	0.0934	0.0221	0.0413	0.0952	0.1225
0.5443	128.0	1920	0.7475	0.0948	0.0218	0.0398	0.0992	0.1225
0.5552	129.0	1935	0.7460	0.0908	0.0228	0.0414	0.0926	0.1185
0.5432	130.0	1950	0.7451	0.0935	0.0220	0.0398	0.0979	0.1205
0.55	131.0	1965	0.7464	0.0900	0.0201	0.0381	0.0939	0.1165
0.5596	132.0	1980	0.7503	0.0905	0.0213	0.0396	0.0926	0.1185
0.5651	133.0	1995	0.7502	0.0900	0.0210	0.0398	0.0913	0.1185
0.5324	134.0	2010	0.7501	0.0913	0.0208	0.0398	0.0926	0.1205
0.5502	135.0	2025	0.7513	0.0919	0.0213	0.0403	0.0979	0.1165
0.5534	136.0	2040	0.7489	0.0946	0.0203	0.0385	0.0992	0.1225
0.5203	137.0	2055	0.7495	0.0946	0.0205	0.0385	0.0992	0.1225
0.5486	138.0	2070	0.7499	0.0965	0.0221	0.0402	0.1032	0.1225
0.5468	139.0	2085	0.7511	0.0965	0.0221	0.0402	0.1032	0.1225
0.5377	140.0	2100	0.7503	0.0962	0.0213	0.0403	0.1045	0.1205
0.5516	141.0	2115	0.7493	0.0974	0.0212	0.0400	0.1058	0.1225
0.5559	142.0	2130	0.7494	0.0961	0.0218	0.0397	0.1045	0.1205
0.5375	143.0	2145	0.7510	0.0944	0.0209	0.0396	0.1045	0.1165
0.5538	144.0	2160	0.7504	0.0936	0.0204	0.0398	0.1045	0.1145
0.5344	145.0	2175	0.7500	0.0889	0.0202	0.0382	0.0952	0.1124
0.5442	146.0	2190	0.7485	0.0911	0.0209	0.0382	0.1005	0.1124
0.5402	147.0	2205	0.7518	0.0915	0.0208	0.0396	0.0992	0.1145
0.5317	148.0	2220	0.7522	0.0916	0.0217	0.0399	0.0992	0.1145
0.5387	149.0	2235	0.7499	0.0873	0.0214	0.0399	0.0926	0.1104
0.5345	150.0	2250	0.7516	0.0920	0.0231	0.0417	0.0913	0.1225
0.5281	151.0	2265	0.7522	0.0914	0.0226	0.0422	0.0979	0.1145
0.5448	152.0	2280	0.7544	0.0878	0.0213	0.0414	0.0873	0.1165
0.5257	153.0	2295	0.7532	0.0900	0.0218	0.0414	0.0886	0.1205
0.5289	154.0	2310	0.7532	0.0898	0.0212	0.0408	0.0886	0.1205
0.541	155.0	2325	0.7523	0.0932	0.0226	0.0409	0.0966	0.1205
0.5476	156.0	2340	0.7535	0.0910	0.0224	0.0410	0.0952	0.1165
0.5278	157.0	2355	0.7525	0.0955	0.0221	0.0409	0.0966	0.1265
0.5437	158.0	2370	0.7523	0.1022	0.0280	0.0515	0.1032	0.1325
0.538	159.0	2385	0.7533	0.0956	0.0226	0.0415	0.0966	0.1265
0.5302	160.0	2400	0.7542	0.0910	0.0225	0.0410	0.0952	0.1165
0.5262	161.0	2415	0.7556	0.0990	0.0276	0.0512	0.1032	0.1245
0.5354	162.0	2430	0.7539	0.0960	0.0277	0.0511	0.0979	0.1225
0.5451	163.0	2445	0.7552	0.0980	0.0282	0.0515	0.1005	0.1245
0.5283	164.0	2460	0.7542	0.1006	0.0279	0.0514	0.1071	0.1245
0.5217	165.0	2475	0.7567	0.1006	0.0279	0.0514	0.1071	0.1245
0.5203	166.0	2490	0.7569	0.0955	0.0241	0.0445	0.0992	0.1225
0.5265	167.0	2505	0.7576	0.0954	0.0243	0.0429	0.0952	0.1265
0.5145	168.0	2520	0.7560	0.0938	0.0244	0.0428	0.0952	0.1225
0.5225	169.0	2535	0.7530	0.0914	0.0232	0.0408	0.0899	0.1225
0.5265	170.0	2550	0.7573	0.0918	0.0227	0.0404	0.0913	0.1225
0.5309	171.0	2565	0.7562	0.1022	0.0285	0.0514	0.1071	0.1285
0.5343	172.0	2580	0.7542	0.1014	0.0280	0.0511	0.1032	0.1305
0.5313	173.0	2595	0.7570	0.0995	0.0287	0.0505	0.1005	0.1285
0.5218	174.0	2610	0.7595	0.0979	0.0278	0.0509	0.1045	0.1205
0.5222	175.0	2625	0.7594	0.0951	0.0234	0.0406	0.0952	0.1265
0.5302	176.0	2640	0.7572	0.1006	0.0279	0.0511	0.1032	0.1285
0.5132	177.0	2655	0.7582	0.0951	0.0232	0.0406	0.0952	0.1265
0.5145	178.0	2670	0.7595	0.0961	0.0227	0.0403	0.0979	0.1265
0.533	179.0	2685	0.7570	0.0961	0.0227	0.0403	0.0979	0.1265
0.5108	180.0	2700	0.7581	0.0945	0.0224	0.0415	0.0979	0.1225
0.5277	181.0	2715	0.7590	0.0935	0.0229	0.0417	0.0952	0.1225
0.5229	182.0	2730	0.7600	0.0935	0.0229	0.0417	0.0952	0.1225
0.5223	183.0	2745	0.7600	0.1037	0.0277	0.0508	0.1032	0.1365
0.5073	184.0	2760	0.7614	0.0976	0.0225	0.0403	0.1019	0.1265
0.5073	185.0	2775	0.7588	0.0961	0.0223	0.0415	0.1019	0.1225
0.5018	186.0	2790	0.7595	0.0935	0.0227	0.0417	0.0992	0.1185
0.5013	187.0	2805	0.7622	0.0952	0.0229	0.0420	0.0992	0.1225
0.524	188.0	2820	0.7632	0.0920	0.0232	0.0423	0.0952	0.1185
0.5232	189.0	2835	0.7642	0.0981	0.0288	0.0521	0.1005	0.1245
0.5166	190.0	2850	0.7619	0.0955	0.0288	0.0523	0.0939	0.1245
0.5178	191.0	2865	0.7629	0.0989	0.0369	0.0652	0.0992	0.1225
0.5067	192.0	2880	0.7637	0.1007	0.0376	0.0637	0.0979	0.1285
0.5142	193.0	2895	0.7653	0.0972	0.0292	0.0508	0.0926	0.1305
0.5041	194.0	2910	0.7640	0.0957	0.0289	0.0519	0.0926	0.1265
0.5126	195.0	2925	0.7625	0.1030	0.0365	0.0644	0.1058	0.1265
0.5177	196.0	2940	0.7629	0.0911	0.0238	0.0425	0.0926	0.1185
0.5052	197.0	2955	0.7619	0.0904	0.0231	0.0422	0.0952	0.1145
0.5036	198.0	2970	0.7586	0.0915	0.0223	0.0406	0.0926	0.1205
0.5066	199.0	2985	0.7596	0.0991	0.0271	0.0503	0.1019	0.1265
0.5085	200.0	3000	0.7618	0.0984	0.0276	0.0509	0.1019	0.1245
0.5088	201.0	3015	0.7625	0.0940	0.0226	0.0406	0.0926	0.1265
0.4979	202.0	3030	0.7615	0.0930	0.0231	0.0408	0.0899	0.1265
0.5133	203.0	3045	0.7603	0.0983	0.0288	0.0507	0.0952	0.1305
0.5016	204.0	3060	0.7622	0.1016	0.0282	0.0503	0.1019	0.1325
0.5148	205.0	3075	0.7637	0.1003	0.0284	0.0501	0.0966	0.1345
0.5109	206.0	3090	0.7622	0.0951	0.0229	0.0412	0.0952	0.1265
0.508	207.0	3105	0.7628	0.0974	0.0228	0.0408	0.0992	0.1285
0.4963	208.0	3120	0.7626	0.0959	0.0230	0.0408	0.0952	0.1285
0.5114	209.0	3135	0.7638	0.0981	0.0290	0.0520	0.1005	0.1245
0.5119	210.0	3150	0.7623	0.1046	0.0371	0.0634	0.1058	0.1305
0.5138	211.0	3165	0.7626	0.1054	0.0372	0.0630	0.1058	0.1325
0.5026	212.0	3180	0.7641	0.1085	0.0356	0.0618	0.1085	0.1386
0.5033	213.0	3195	0.7644	0.1054	0.0361	0.0623	0.1085	0.1305
0.4936	214.0	3210	0.7660	0.1021	0.0329	0.0559	0.1045	0.1285
0.4992	215.0	3225	0.7673	0.1030	0.0360	0.0616	0.1005	0.1325
0.5046	216.0	3240	0.7690	0.1026	0.0285	0.0493	0.1045	0.1325
0.5006	217.0	3255	0.7678	0.1002	0.0315	0.0544	0.1045	0.1245
0.4956	218.0	3270	0.7654	0.1052	0.0362	0.0627	0.1098	0.1285
0.4987	219.0	3285	0.7628	0.1036	0.0362	0.0627	0.1098	0.1245
0.4864	220.0	3300	0.7649	0.1036	0.0362	0.0627	0.1098	0.1245
0.4985	221.0	3315	0.7666	0.1054	0.0373	0.0634	0.1098	0.1285
0.5049	222.0	3330	0.7674	0.1053	0.0373	0.0626	0.1058	0.1325
0.5141	223.0	3345	0.7672	0.1039	0.0361	0.0625	0.1005	0.1345
0.51	224.0	3360	0.7653	0.1053	0.0367	0.0626	0.1058	0.1325
0.5003	225.0	3375	0.7652	0.1053	0.0367	0.0626	0.1058	0.1325
0.4862	226.0	3390	0.7649	0.1053	0.0371	0.0626	0.1098	0.1285
0.5022	227.0	3405	0.7668	0.1026	0.0283	0.0492	0.1045	0.1325
0.5011	228.0	3420	0.7660	0.1051	0.0360	0.0621	0.1098	0.1285
0.4936	229.0	3435	0.7644	0.1051	0.0357	0.0620	0.1058	0.1325
0.4953	230.0	3450	0.7646	0.1035	0.0355	0.0620	0.1058	0.1285
0.5059	231.0	3465	0.7658	0.1051	0.0355	0.0620	0.1058	0.1325
0.495	232.0	3480	0.7668	0.1012	0.0357	0.0622	0.0979	0.1305
0.4953	233.0	3495	0.7681	0.0983	0.0357	0.0630	0.0926	0.1285
0.5041	234.0	3510	0.7696	0.1000	0.0361	0.0632	0.0926	0.1325
0.479	235.0	3525	0.7697	0.1028	0.0357	0.0625	0.1019	0.1305
0.4886	236.0	3540	0.7678	0.1057	0.0344	0.0613	0.1098	0.1305
0.4928	237.0	3555	0.7675	0.1066	0.0351	0.0620	0.1098	0.1325
0.4983	238.0	3570	0.7665	0.1066	0.0351	0.0620	0.1098	0.1325
0.5049	239.0	3585	0.7664	0.1068	0.0363	0.0623	0.1098	0.1325
0.4927	240.0	3600	0.7669	0.1047	0.0371	0.0620	0.1045	0.1325
0.4982	241.0	3615	0.7665	0.1047	0.0369	0.0623	0.1045	0.1325
0.4955	242.0	3630	0.7649	0.1047	0.0369	0.0623	0.1045	0.1325
0.4897	243.0	3645	0.7649	0.1032	0.0358	0.0617	0.0992	0.1345
0.4912	244.0	3660	0.7660	0.1032	0.0356	0.0619	0.0992	0.1345
0.4944	245.0	3675	0.7665	0.1016	0.0356	0.0619	0.0992	0.1305
0.5002	246.0	3690	0.7668	0.1016	0.0356	0.0619	0.0992	0.1305
0.4962	247.0	3705	0.7677	0.1033	0.0363	0.0620	0.0992	0.1345
0.4951	248.0	3720	0.7676	0.1034	0.0366	0.0624	0.0992	0.1345
0.4998	249.0	3735	0.7676	0.1034	0.0366	0.0624	0.0992	0.1345
0.5066	250.0	3750	0.7684	0.1034	0.0366	0.0624	0.0992	0.1345
0.4846	251.0	3765	0.7692	0.1000	0.0287	0.0497	0.0939	0.1365
0.4949	252.0	3780	0.7690	0.1000	0.0287	0.0497	0.0939	0.1365
0.4924	253.0	3795	0.7679	0.1032	0.0358	0.0617	0.0992	0.1345
0.4848	254.0	3810	0.7670	0.1032	0.0358	0.0617	0.0992	0.1345
0.4861	255.0	3825	0.7688	0.1059	0.0358	0.0617	0.1058	0.1345
0.4821	256.0	3840	0.7692	0.1059	0.0356	0.0619	0.1058	0.1345
0.4795	257.0	3855	0.7701	0.1027	0.0290	0.0499	0.1005	0.1365
0.4769	258.0	3870	0.7707	0.1061	0.0370	0.0627	0.1058	0.1345
0.4921	259.0	3885	0.7703	0.1034	0.0369	0.0627	0.0992	0.1345
0.4967	260.0	3900	0.7686	0.1034	0.0369	0.0627	0.0992	0.1345
0.4865	261.0	3915	0.7688	0.1034	0.0365	0.0624	0.0992	0.1345
0.4919	262.0	3930	0.7694	0.1034	0.0365	0.0624	0.0992	0.1345
0.4886	263.0	3945	0.7692	0.1035	0.0370	0.0627	0.0992	0.1345
0.4968	264.0	3960	0.7691	0.1033	0.0360	0.0622	0.0992	0.1345
0.4832	265.0	3975	0.7697	0.1033	0.0360	0.0622	0.0992	0.1345
0.4951	266.0	3990	0.7691	0.1033	0.0357	0.0622	0.0992	0.1345
0.4734	267.0	4005	0.7685	0.1033	0.0358	0.0622	0.0992	0.1345
0.4914	268.0	4020	0.7687	0.1033	0.0357	0.0622	0.0992	0.1345
0.4966	269.0	4035	0.7685	0.1033	0.0357	0.0622	0.0992	0.1345
0.4794	270.0	4050	0.7685	0.1033	0.0360	0.0622	0.0992	0.1345
0.4933	271.0	4065	0.7683	0.1033	0.0358	0.0622	0.0992	0.1345
0.4854	272.0	4080	0.7679	0.1033	0.0357	0.0622	0.0992	0.1345
0.4883	273.0	4095	0.7677	0.1033	0.0357	0.0622	0.0992	0.1345
0.4716	274.0	4110	0.7682	0.1033	0.0357	0.0622	0.0992	0.1345
0.4723	275.0	4125	0.7685	0.1033	0.0360	0.0622	0.0992	0.1345
0.494	276.0	4140	0.7689	0.1039	0.0363	0.0622	0.1005	0.1345
0.5029	277.0	4155	0.7690	0.1039	0.0363	0.0622	0.1005	0.1345
0.4992	278.0	4170	0.7690	0.1039	0.0363	0.0622	0.1005	0.1345
0.4894	279.0	4185	0.7680	0.1039	0.0363	0.0622	0.1005	0.1345
0.4767	280.0	4200	0.7683	0.1039	0.0363	0.0622	0.1005	0.1345
0.4905	281.0	4215	0.7687	0.1039	0.0363	0.0622	0.1005	0.1345
0.483	282.0	4230	0.7689	0.1039	0.0363	0.0622	0.1005	0.1345
0.4819	283.0	4245	0.7687	0.1033	0.0362	0.0619	0.0992	0.1345
0.5006	284.0	4260	0.7686	0.1033	0.0362	0.0619	0.0992	0.1345
0.484	285.0	4275	0.7685	0.1033	0.0362	0.0619	0.0992	0.1345
0.4803	286.0	4290	0.7685	0.1033	0.0362	0.0619	0.0992	0.1345
0.4926	287.0	4305	0.7688	0.1033	0.0362	0.0619	0.0992	0.1345
0.4876	288.0	4320	0.7687	0.1033	0.0360	0.0622	0.0992	0.1345
0.4811	289.0	4335	0.7686	0.1033	0.0362	0.0619	0.0992	0.1345
0.4783	290.0	4350	0.7687	0.1033	0.0362	0.0619	0.0992	0.1345
0.4779	291.0	4365	0.7689	0.1033	0.0362	0.0619	0.0992	0.1345
0.4829	292.0	4380	0.7689	0.1033	0.0362	0.0619	0.0992	0.1345
0.4968	293.0	4395	0.7691	0.1033	0.0362	0.0619	0.0992	0.1345
0.4938	294.0	4410	0.7691	0.1033	0.0362	0.0619	0.0992	0.1345
0.4854	295.0	4425	0.7691	0.1033	0.0362	0.0619	0.0992	0.1345
0.4843	296.0	4440	0.7690	0.1033	0.0362	0.0619	0.0992	0.1345
0.4926	297.0	4455	0.7689	0.1033	0.0362	0.0619	0.0992	0.1345
0.493	298.0	4470	0.7690	0.1033	0.0362	0.0619	0.0992	0.1345
0.496	299.0	4485	0.7690	0.1033	0.0362	0.0619	0.0992	0.1345
0.4781	300.0	4500	0.7690	0.1033	0.0362	0.0619	0.0992	0.1345

Framework versions

• Transformers 4.31.0
• Pytorch 2.0.1
• Datasets 2.14.4
• Tokenizers 0.13.3