codet5p-770m-py-sanitized-codebleu-1-True-5e-05-0.1-lora-layer_20

This model is a fine-tuned version of Salesforce/codet5p-770m-py on the mbpp dataset. It achieves the following results on the evaluation set:

• Loss: 0.7247
• Codebleu: 0.1013
• Ngram Match Score: 0.0212
• Weighted Ngram Match Score: 0.0415
• Syntax Match Score: 0.1230
• Dataflow Match Score: 0.1145

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 5e-05
• train_batch_size: 8
• eval_batch_size: 8
• seed: 42
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: linear
• lr_scheduler_warmup_steps: 100
• num_epochs: 300

Training results

Training Loss	Epoch	Step	Validation Loss	Codebleu	Ngram Match Score	Weighted Ngram Match Score	Syntax Match Score	Dataflow Match Score
0.9713	1.0	15	0.9247	0.0072	0.0000	0.0000	0.0079	0.0100
0.9611	2.0	30	0.9237	0.0072	0.0000	0.0000	0.0079	0.0100
0.9741	3.0	45	0.9214	0.0072	0.0000	0.0000	0.0079	0.0100
0.9426	4.0	60	0.9161	0.0080	0.0000	0.0000	0.0079	0.0120
0.959	5.0	75	0.9046	0.0096	0.0000	0.0002	0.0079	0.0161
0.9467	6.0	90	0.8848	0.0385	0.0004	0.0196	0.0410	0.0502
0.9409	7.0	105	0.8581	0.0826	0.0132	0.0415	0.1045	0.0884
0.8873	8.0	120	0.8350	0.1033	0.0199	0.0482	0.1349	0.1064
0.8668	9.0	135	0.8164	0.1042	0.0218	0.0495	0.1323	0.1104
0.8406	10.0	150	0.7982	0.1036	0.0152	0.0368	0.1296	0.1165
0.8112	11.0	165	0.7822	0.1019	0.0139	0.0364	0.1138	0.1285
0.8022	12.0	180	0.7703	0.1055	0.0129	0.0334	0.1217	0.1305
0.7819	13.0	195	0.7635	0.1054	0.0127	0.0356	0.1349	0.1165
0.7624	14.0	210	0.7577	0.1037	0.0114	0.0331	0.1296	0.1185
0.7754	15.0	225	0.7522	0.1016	0.0120	0.0330	0.1243	0.1185
0.7779	16.0	240	0.7483	0.0984	0.0121	0.0326	0.1124	0.1225
0.7611	17.0	255	0.7447	0.1102	0.0167	0.0422	0.1243	0.1365
0.7445	18.0	270	0.7417	0.1170	0.0187	0.0444	0.1402	0.1365
0.7501	19.0	285	0.7383	0.1158	0.0182	0.0437	0.1336	0.1406
0.7402	20.0	300	0.7358	0.1085	0.0181	0.0449	0.1230	0.1325
0.7272	21.0	315	0.7329	0.1128	0.0231	0.0510	0.1270	0.1365
0.7275	22.0	330	0.7297	0.1169	0.0242	0.0532	0.1323	0.1406
0.7245	23.0	345	0.7282	0.1149	0.0239	0.0520	0.1296	0.1386
0.7232	24.0	360	0.7262	0.1176	0.0251	0.0517	0.1323	0.1426
0.7386	25.0	375	0.7241	0.1162	0.0259	0.0522	0.1283	0.1426
0.7172	26.0	390	0.7218	0.1146	0.0284	0.0580	0.1283	0.1365
0.7028	27.0	405	0.7202	0.1135	0.0280	0.0580	0.1296	0.1325
0.7139	28.0	420	0.7190	0.1121	0.0241	0.0509	0.1270	0.1345
0.697	29.0	435	0.7175	0.1114	0.0273	0.0563	0.1270	0.1305
0.6983	30.0	450	0.7166	0.1142	0.0290	0.0589	0.1270	0.1365
0.6931	31.0	465	0.7160	0.1180	0.0304	0.0607	0.1296	0.1426
0.6856	32.0	480	0.7149	0.1172	0.0301	0.0608	0.1296	0.1406
0.6918	33.0	495	0.7136	0.1182	0.0310	0.0627	0.1336	0.1386
0.6935	34.0	510	0.7105	0.1205	0.0314	0.0610	0.1296	0.1486
0.6745	35.0	525	0.7106	0.1206	0.0328	0.0628	0.1349	0.1426
0.6977	36.0	540	0.7104	0.1202	0.0309	0.0611	0.1349	0.1426
0.6811	37.0	555	0.7089	0.1187	0.0323	0.0609	0.1310	0.1426
0.6853	38.0	570	0.7083	0.1160	0.0312	0.0608	0.1243	0.1426
0.6759	39.0	585	0.7065	0.1160	0.0312	0.0608	0.1243	0.1426
0.682	40.0	600	0.7059	0.1160	0.0312	0.0608	0.1243	0.1426
0.667	41.0	615	0.7048	0.1159	0.0312	0.0606	0.1243	0.1426
0.6618	42.0	630	0.7032	0.1187	0.0320	0.0613	0.1310	0.1426
0.661	43.0	645	0.7025	0.1163	0.0327	0.0626	0.1243	0.1426
0.6642	44.0	660	0.7020	0.1160	0.0311	0.0608	0.1243	0.1426
0.6563	45.0	675	0.7008	0.1155	0.0329	0.0629	0.1243	0.1406
0.6554	46.0	690	0.7009	0.1163	0.0325	0.0629	0.1243	0.1426
0.659	47.0	705	0.6995	0.1153	0.0329	0.0629	0.1217	0.1426
0.6593	48.0	720	0.6990	0.1153	0.0329	0.0629	0.1217	0.1426
0.6545	49.0	735	0.6991	0.1150	0.0361	0.0676	0.1190	0.1426
0.6479	50.0	750	0.6987	0.1131	0.0358	0.0676	0.1164	0.1406
0.6646	51.0	765	0.6973	0.1139	0.0342	0.0666	0.1190	0.1406
0.6618	52.0	780	0.6961	0.1092	0.0305	0.0574	0.1164	0.1345
0.652	53.0	795	0.6958	0.1104	0.0298	0.0574	0.1217	0.1325
0.6266	54.0	810	0.6962	0.1077	0.0315	0.0576	0.1124	0.1345
0.6376	55.0	825	0.6946	0.1096	0.0322	0.0576	0.1151	0.1365
0.6414	56.0	840	0.6950	0.1081	0.0325	0.0576	0.1151	0.1325
0.6429	57.0	855	0.6972	0.1096	0.0322	0.0576	0.1151	0.1365
0.6393	58.0	870	0.6957	0.1119	0.0307	0.0552	0.1217	0.1365
0.6471	59.0	885	0.6946	0.1084	0.0303	0.0552	0.1151	0.1345
0.6276	60.0	900	0.6952	0.1084	0.0303	0.0552	0.1151	0.1345
0.6373	61.0	915	0.6959	0.1067	0.0293	0.0552	0.1151	0.1305
0.6249	62.0	930	0.6955	0.1062	0.0302	0.0550	0.1138	0.1305
0.6249	63.0	945	0.6966	0.1117	0.0303	0.0561	0.1190	0.1386
0.6174	64.0	960	0.6967	0.1117	0.0307	0.0561	0.1190	0.1386
0.6379	65.0	975	0.6968	0.1060	0.0302	0.0552	0.1111	0.1325
0.61	66.0	990	0.6953	0.1125	0.0303	0.0561	0.1190	0.1406
0.6338	67.0	1005	0.6936	0.1105	0.0282	0.0519	0.1217	0.1345
0.6182	68.0	1020	0.6941	0.1047	0.0286	0.0521	0.1111	0.1305
0.608	69.0	1035	0.6950	0.1091	0.0296	0.0526	0.1177	0.1345
0.631	70.0	1050	0.6935	0.1040	0.0298	0.0519	0.1071	0.1325
0.6134	71.0	1065	0.6944	0.1024	0.0298	0.0519	0.1071	0.1285
0.6163	72.0	1080	0.6952	0.1017	0.0301	0.0555	0.1085	0.1245
0.6142	73.0	1095	0.6946	0.1032	0.0291	0.0519	0.1071	0.1305
0.6082	74.0	1110	0.6939	0.1135	0.0386	0.0659	0.1230	0.1345
0.6008	75.0	1125	0.6949	0.1093	0.0291	0.0522	0.1124	0.1406
0.6076	76.0	1140	0.6943	0.1046	0.0300	0.0521	0.1164	0.1245
0.6117	77.0	1155	0.6934	0.1162	0.0304	0.0532	0.1270	0.1426
0.604	78.0	1170	0.6937	0.1081	0.0261	0.0461	0.1217	0.1305
0.6014	79.0	1185	0.6950	0.1055	0.0265	0.0456	0.1151	0.1305
0.6003	80.0	1200	0.6938	0.1023	0.0264	0.0457	0.1071	0.1305
0.6051	81.0	1215	0.6958	0.1098	0.0314	0.0520	0.1230	0.1305
0.6045	82.0	1230	0.6951	0.1040	0.0258	0.0454	0.1098	0.1325
0.6177	83.0	1245	0.6946	0.1135	0.0309	0.0526	0.1204	0.1426
0.6023	84.0	1260	0.6933	0.0967	0.0248	0.0419	0.0966	0.1285
0.5806	85.0	1275	0.6930	0.0981	0.0269	0.0461	0.1005	0.1265
0.5917	86.0	1290	0.6945	0.0996	0.0246	0.0420	0.1019	0.1305
0.5841	87.0	1305	0.6938	0.1010	0.0270	0.0459	0.1058	0.1285
0.5948	88.0	1320	0.6940	0.1026	0.0270	0.0459	0.1058	0.1325
0.5916	89.0	1335	0.6942	0.1063	0.0274	0.0458	0.1190	0.1285
0.592	90.0	1350	0.6950	0.0970	0.0240	0.0410	0.1019	0.1245
0.5833	91.0	1365	0.6949	0.1046	0.0243	0.0419	0.1164	0.1285
0.5877	92.0	1380	0.6962	0.1020	0.0267	0.0456	0.1085	0.1285
0.5665	93.0	1395	0.6963	0.1055	0.0268	0.0458	0.1151	0.1305
0.5727	94.0	1410	0.6976	0.1033	0.0245	0.0419	0.1111	0.1305
0.5899	95.0	1425	0.6987	0.1034	0.0252	0.0420	0.1111	0.1305
0.5871	96.0	1440	0.6982	0.1013	0.0240	0.0416	0.1085	0.1285
0.5881	97.0	1455	0.6968	0.1046	0.0242	0.0424	0.1164	0.1285
0.5754	98.0	1470	0.6970	0.1009	0.0272	0.0470	0.1071	0.1265
0.588	99.0	1485	0.6975	0.1022	0.0250	0.0433	0.1098	0.1285
0.582	100.0	1500	0.6981	0.1021	0.0245	0.0433	0.1098	0.1285
0.5748	101.0	1515	0.6974	0.0990	0.0295	0.0520	0.1045	0.1225
0.5669	102.0	1530	0.6969	0.0970	0.0233	0.0414	0.1019	0.1245
0.5788	103.0	1545	0.6975	0.1024	0.0240	0.0419	0.1111	0.1285
0.5729	104.0	1560	0.6975	0.1021	0.0245	0.0433	0.1098	0.1285
0.5629	105.0	1575	0.6992	0.1024	0.0240	0.0419	0.1111	0.1285
0.583	106.0	1590	0.6990	0.1029	0.0236	0.0419	0.1124	0.1285
0.5881	107.0	1605	0.6986	0.1045	0.0237	0.0418	0.1124	0.1325
0.5566	108.0	1620	0.6994	0.1045	0.0237	0.0418	0.1124	0.1325
0.569	109.0	1635	0.6990	0.1042	0.0243	0.0431	0.1111	0.1325
0.5729	110.0	1650	0.6997	0.1075	0.0305	0.0543	0.1151	0.1325
0.5682	111.0	1665	0.7005	0.0963	0.0267	0.0471	0.1098	0.1124
0.5609	112.0	1680	0.7004	0.1050	0.0225	0.0401	0.1124	0.1345
0.5532	113.0	1695	0.6989	0.0946	0.0191	0.0346	0.1005	0.1225
0.5707	114.0	1710	0.6981	0.0878	0.0225	0.0402	0.0873	0.1165
0.5646	115.0	1725	0.6993	0.1029	0.0233	0.0417	0.1124	0.1285
0.5518	116.0	1740	0.7000	0.1026	0.0223	0.0400	0.1124	0.1285
0.5566	117.0	1755	0.7000	0.0962	0.0194	0.0349	0.1085	0.1185
0.5625	118.0	1770	0.6999	0.0948	0.0256	0.0469	0.1085	0.1104
0.5572	119.0	1785	0.7011	0.0994	0.0271	0.0483	0.1111	0.1185
0.5454	120.0	1800	0.7014	0.1010	0.0270	0.0483	0.1111	0.1225
0.5536	121.0	1815	0.7016	0.0983	0.0258	0.0473	0.1151	0.1124
0.5567	122.0	1830	0.7006	0.1006	0.0283	0.0512	0.1151	0.1165
0.5647	123.0	1845	0.7006	0.0890	0.0189	0.0350	0.0926	0.1165
0.5564	124.0	1860	0.7016	0.1029	0.0231	0.0425	0.1164	0.1245
0.5562	125.0	1875	0.7032	0.1037	0.0231	0.0423	0.1164	0.1265
0.5487	126.0	1890	0.7031	0.1056	0.0289	0.0531	0.1190	0.1245
0.5474	127.0	1905	0.7031	0.1048	0.0289	0.0531	0.1190	0.1225
0.5425	128.0	1920	0.7029	0.1045	0.0275	0.0514	0.1190	0.1225
0.5434	129.0	1935	0.7035	0.0990	0.0210	0.0400	0.1138	0.1185
0.5408	130.0	1950	0.7037	0.1050	0.0218	0.0407	0.1164	0.1305
0.5465	131.0	1965	0.7040	0.1050	0.0218	0.0407	0.1164	0.1305
0.5512	132.0	1980	0.7051	0.1023	0.0251	0.0472	0.1151	0.1225
0.5503	133.0	1995	0.7060	0.1076	0.0278	0.0528	0.1164	0.1325
0.5357	134.0	2010	0.7061	0.1077	0.0277	0.0537	0.1164	0.1325
0.5377	135.0	2025	0.7050	0.1064	0.0283	0.0539	0.1190	0.1265
0.5431	136.0	2040	0.7055	0.1097	0.0286	0.0539	0.1190	0.1345
0.5213	137.0	2055	0.7055	0.1077	0.0226	0.0430	0.1164	0.1365
0.5487	138.0	2070	0.7057	0.1078	0.0227	0.0432	0.1164	0.1365
0.5476	139.0	2085	0.7057	0.1013	0.0218	0.0407	0.1111	0.1265
0.5372	140.0	2100	0.7047	0.1043	0.0291	0.0530	0.1098	0.1305
0.5494	141.0	2115	0.7047	0.1036	0.0293	0.0533	0.1098	0.1285
0.548	142.0	2130	0.7054	0.1026	0.0284	0.0521	0.1138	0.1225
0.5317	143.0	2145	0.7060	0.0994	0.0216	0.0406	0.1085	0.1245
0.548	144.0	2160	0.7059	0.0950	0.0192	0.0359	0.1032	0.1205
0.5348	145.0	2175	0.7060	0.0983	0.0270	0.0480	0.1085	0.1185
0.5403	146.0	2190	0.7055	0.1013	0.0269	0.0491	0.1098	0.1245
0.5398	147.0	2205	0.7063	0.0966	0.0196	0.0363	0.1071	0.1205
0.5298	148.0	2220	0.7065	0.0953	0.0196	0.0361	0.1058	0.1185
0.5403	149.0	2235	0.7059	0.0974	0.0189	0.0340	0.1058	0.1245
0.5214	150.0	2250	0.7071	0.1078	0.0224	0.0408	0.1151	0.1386
0.536	151.0	2265	0.7073	0.0998	0.0195	0.0359	0.1111	0.1245
0.5442	152.0	2280	0.7064	0.0955	0.0194	0.0358	0.1045	0.1205
0.5223	153.0	2295	0.7059	0.0978	0.0221	0.0400	0.1045	0.1245
0.5281	154.0	2310	0.7066	0.0997	0.0194	0.0354	0.1111	0.1245
0.5424	155.0	2325	0.7067	0.1073	0.0235	0.0433	0.1151	0.1365
0.5396	156.0	2340	0.7071	0.1011	0.0207	0.0369	0.1138	0.1245
0.5228	157.0	2355	0.7081	0.0981	0.0240	0.0414	0.1085	0.1205
0.5346	158.0	2370	0.7089	0.0958	0.0189	0.0343	0.1058	0.1205
0.5261	159.0	2385	0.7107	0.0961	0.0199	0.0359	0.1058	0.1205
0.5318	160.0	2400	0.7106	0.0988	0.0217	0.0373	0.1098	0.1225
0.5367	161.0	2415	0.7098	0.0974	0.0210	0.0368	0.1085	0.1205
0.5146	162.0	2430	0.7102	0.1041	0.0251	0.0438	0.1124	0.1305
0.5389	163.0	2445	0.7104	0.1038	0.0242	0.0422	0.1124	0.1305
0.5301	164.0	2460	0.7094	0.0967	0.0190	0.0345	0.1058	0.1225
0.5187	165.0	2475	0.7091	0.0932	0.0189	0.0344	0.0992	0.1205
0.5175	166.0	2490	0.7102	0.0947	0.0217	0.0390	0.0992	0.1225
0.5243	167.0	2505	0.7104	0.0959	0.0190	0.0344	0.1058	0.1205
0.5134	168.0	2520	0.7107	0.0987	0.0200	0.0355	0.1085	0.1245
0.512	169.0	2535	0.7114	0.0967	0.0191	0.0347	0.1058	0.1225
0.5213	170.0	2550	0.7119	0.0963	0.0201	0.0353	0.1085	0.1185
0.5242	171.0	2565	0.7126	0.0985	0.0213	0.0375	0.1111	0.1205
0.5281	172.0	2580	0.7131	0.0923	0.0193	0.0359	0.1005	0.1165
0.5245	173.0	2595	0.7131	0.0921	0.0184	0.0343	0.1005	0.1165
0.5204	174.0	2610	0.7135	0.0954	0.0234	0.0419	0.1058	0.1165
0.5211	175.0	2625	0.7139	0.0966	0.0180	0.0343	0.1058	0.1225
0.5198	176.0	2640	0.7146	0.0963	0.0185	0.0344	0.1071	0.1205
0.5125	177.0	2655	0.7141	0.0921	0.0186	0.0344	0.1005	0.1165
0.5176	178.0	2670	0.7131	0.0921	0.0186	0.0344	0.1005	0.1165
0.5263	179.0	2685	0.7125	0.0951	0.0276	0.0502	0.1058	0.1124
0.5074	180.0	2700	0.7131	0.0954	0.0286	0.0519	0.1058	0.1124
0.5149	181.0	2715	0.7141	0.0933	0.0222	0.0406	0.1032	0.1145
0.5141	182.0	2730	0.7151	0.0983	0.0203	0.0367	0.1111	0.1205
0.5156	183.0	2745	0.7160	0.0966	0.0186	0.0345	0.1098	0.1185
0.5067	184.0	2760	0.7164	0.1047	0.0231	0.0419	0.1151	0.1305
0.5112	185.0	2775	0.7153	0.0961	0.0191	0.0345	0.1085	0.1185
0.505	186.0	2790	0.7151	0.0926	0.0218	0.0390	0.1019	0.1145
0.5019	187.0	2805	0.7155	0.0926	0.0218	0.0390	0.1019	0.1145
0.513	188.0	2820	0.7160	0.0976	0.0197	0.0351	0.1098	0.1205
0.5149	189.0	2835	0.7169	0.0927	0.0188	0.0344	0.1019	0.1165
0.5212	190.0	2850	0.7175	0.0961	0.0190	0.0345	0.1085	0.1185
0.5195	191.0	2865	0.7175	0.1047	0.0230	0.0419	0.1151	0.1305
0.503	192.0	2880	0.7178	0.0988	0.0190	0.0351	0.1111	0.1225
0.5075	193.0	2895	0.7188	0.0923	0.0180	0.0345	0.1032	0.1145
0.5044	194.0	2910	0.7184	0.0974	0.0186	0.0348	0.1098	0.1205
0.5109	195.0	2925	0.7184	0.0967	0.0175	0.0340	0.1124	0.1165
0.514	196.0	2940	0.7182	0.0974	0.0172	0.0327	0.1124	0.1185
0.5217	197.0	2955	0.7178	0.0939	0.0170	0.0326	0.1058	0.1165
0.5101	198.0	2970	0.7175	0.0941	0.0180	0.0343	0.1058	0.1165
0.508	199.0	2985	0.7174	0.0939	0.0169	0.0326	0.1058	0.1165
0.5119	200.0	3000	0.7176	0.0950	0.0178	0.0330	0.1085	0.1165
0.5126	201.0	3015	0.7169	0.0921	0.0173	0.0328	0.1032	0.1145
0.5001	202.0	3030	0.7164	0.0955	0.0212	0.0393	0.1032	0.1205
0.5058	203.0	3045	0.7160	0.0983	0.0203	0.0390	0.1124	0.1185
0.4948	204.0	3060	0.7164	0.0967	0.0204	0.0389	0.1124	0.1145
0.5173	205.0	3075	0.7162	0.0955	0.0191	0.0367	0.1124	0.1124
0.5126	206.0	3090	0.7166	0.0965	0.0200	0.0375	0.1124	0.1145
0.4983	207.0	3105	0.7171	0.0946	0.0198	0.0372	0.1058	0.1165
0.487	208.0	3120	0.7180	0.0984	0.0208	0.0391	0.1124	0.1185
0.5015	209.0	3135	0.7189	0.0994	0.0208	0.0391	0.1151	0.1185
0.5053	210.0	3150	0.7188	0.0948	0.0202	0.0388	0.1058	0.1165
0.5059	211.0	3165	0.7184	0.0946	0.0198	0.0372	0.1058	0.1165
0.5084	212.0	3180	0.7193	0.0984	0.0209	0.0391	0.1124	0.1185
0.5091	213.0	3195	0.7191	0.0984	0.0209	0.0391	0.1124	0.1185
0.5044	214.0	3210	0.7193	0.0976	0.0182	0.0345	0.1124	0.1185
0.501	215.0	3225	0.7195	0.0933	0.0181	0.0343	0.1058	0.1145
0.5	216.0	3240	0.7195	0.0968	0.0182	0.0345	0.1124	0.1165
0.5025	217.0	3255	0.7190	0.0974	0.0172	0.0327	0.1124	0.1185
0.4941	218.0	3270	0.7190	0.0981	0.0199	0.0374	0.1124	0.1185
0.4894	219.0	3285	0.7200	0.0984	0.0208	0.0391	0.1124	0.1185
0.4866	220.0	3300	0.7204	0.0981	0.0201	0.0374	0.1124	0.1185
0.4964	221.0	3315	0.7203	0.0981	0.0201	0.0374	0.1124	0.1185
0.4983	222.0	3330	0.7199	0.0957	0.0202	0.0375	0.1124	0.1124
0.4979	223.0	3345	0.7194	0.0930	0.0198	0.0373	0.1058	0.1124
0.5048	224.0	3360	0.7195	0.0956	0.0195	0.0370	0.1124	0.1124
0.5006	225.0	3375	0.7202	0.0955	0.0176	0.0329	0.1138	0.1124
0.4873	226.0	3390	0.7197	0.0974	0.0172	0.0327	0.1124	0.1185
0.4987	227.0	3405	0.7199	0.0983	0.0207	0.0391	0.1124	0.1185
0.499	228.0	3420	0.7191	0.0948	0.0203	0.0389	0.1058	0.1165
0.4977	229.0	3435	0.7199	0.0976	0.0207	0.0392	0.1124	0.1165
0.4901	230.0	3450	0.7210	0.0983	0.0207	0.0391	0.1124	0.1185
0.5032	231.0	3465	0.7209	0.0983	0.0207	0.0391	0.1124	0.1185
0.4933	232.0	3480	0.7213	0.0941	0.0207	0.0389	0.1058	0.1145
0.4932	233.0	3495	0.7212	0.0941	0.0207	0.0389	0.1058	0.1145
0.5075	234.0	3510	0.7209	0.0941	0.0207	0.0389	0.1058	0.1145
0.487	235.0	3525	0.7212	0.0941	0.0206	0.0389	0.1058	0.1145
0.4927	236.0	3540	0.7213	0.0949	0.0206	0.0389	0.1058	0.1165
0.5003	237.0	3555	0.7211	0.0959	0.0216	0.0405	0.1138	0.1104
0.4846	238.0	3570	0.7213	0.0959	0.0214	0.0404	0.1138	0.1104
0.4994	239.0	3585	0.7219	0.0939	0.0195	0.0388	0.1058	0.1145
0.4847	240.0	3600	0.7224	0.0939	0.0195	0.0388	0.1058	0.1145
0.4862	241.0	3615	0.7231	0.0950	0.0196	0.0388	0.1085	0.1145
0.4924	242.0	3630	0.7235	0.0950	0.0196	0.0388	0.1085	0.1145
0.4928	243.0	3645	0.7235	0.0953	0.0209	0.0404	0.1085	0.1145
0.4897	244.0	3660	0.7232	0.0953	0.0208	0.0404	0.1085	0.1145
0.4899	245.0	3675	0.7229	0.0953	0.0208	0.0404	0.1085	0.1145
0.4953	246.0	3690	0.7224	0.0954	0.0214	0.0405	0.1085	0.1145
0.4938	247.0	3705	0.7222	0.0985	0.0210	0.0404	0.1164	0.1145
0.4927	248.0	3720	0.7216	0.0985	0.0212	0.0404	0.1164	0.1145
0.4949	249.0	3735	0.7218	0.0972	0.0203	0.0390	0.1138	0.1145
0.5024	250.0	3750	0.7217	0.0972	0.0200	0.0390	0.1138	0.1145
0.4854	251.0	3765	0.7221	0.0969	0.0191	0.0373	0.1138	0.1145
0.4984	252.0	3780	0.7222	0.0969	0.0194	0.0373	0.1138	0.1145
0.4894	253.0	3795	0.7225	0.0969	0.0194	0.0373	0.1138	0.1145
0.4816	254.0	3810	0.7227	0.0980	0.0189	0.0371	0.1164	0.1145
0.4941	255.0	3825	0.7231	0.0970	0.0197	0.0373	0.1138	0.1145
0.4889	256.0	3840	0.7230	0.0970	0.0197	0.0373	0.1138	0.1145
0.4823	257.0	3855	0.7226	0.0969	0.0194	0.0373	0.1138	0.1145
0.4768	258.0	3870	0.7227	0.0969	0.0194	0.0373	0.1138	0.1145
0.4956	259.0	3885	0.7226	0.0969	0.0188	0.0371	0.1138	0.1145
0.4998	260.0	3900	0.7226	0.0969	0.0188	0.0371	0.1138	0.1145
0.4903	261.0	3915	0.7227	0.0969	0.0188	0.0371	0.1138	0.1145
0.4861	262.0	3930	0.7229	0.0969	0.0189	0.0371	0.1138	0.1145
0.4862	263.0	3945	0.7233	0.0969	0.0194	0.0373	0.1138	0.1145
0.49	264.0	3960	0.7240	0.0970	0.0195	0.0373	0.1138	0.1145
0.4839	265.0	3975	0.7244	0.0970	0.0195	0.0373	0.1138	0.1145
0.4892	266.0	3990	0.7245	0.0969	0.0194	0.0373	0.1138	0.1145
0.4718	267.0	4005	0.7244	0.1004	0.0190	0.0373	0.1204	0.1165
0.4851	268.0	4020	0.7244	0.0995	0.0186	0.0368	0.1204	0.1145
0.491	269.0	4035	0.7247	0.0995	0.0186	0.0368	0.1204	0.1145
0.4811	270.0	4050	0.7249	0.0995	0.0186	0.0368	0.1204	0.1145
0.4988	271.0	4065	0.7247	0.0988	0.0191	0.0374	0.1204	0.1124
0.4889	272.0	4080	0.7247	0.0988	0.0191	0.0374	0.1204	0.1124
0.4922	273.0	4095	0.7244	0.1047	0.0214	0.0416	0.1296	0.1165
0.4845	274.0	4110	0.7243	0.1047	0.0214	0.0416	0.1296	0.1165
0.4826	275.0	4125	0.7242	0.1013	0.0212	0.0415	0.1230	0.1145
0.4808	276.0	4140	0.7243	0.1013	0.0212	0.0415	0.1230	0.1145
0.4961	277.0	4155	0.7243	0.1047	0.0214	0.0416	0.1296	0.1165
0.4929	278.0	4170	0.7242	0.1047	0.0214	0.0416	0.1296	0.1165
0.4868	279.0	4185	0.7241	0.1047	0.0214	0.0416	0.1296	0.1165
0.4777	280.0	4200	0.7241	0.1013	0.0212	0.0415	0.1230	0.1145
0.4801	281.0	4215	0.7243	0.1013	0.0212	0.0415	0.1230	0.1145
0.4856	282.0	4230	0.7243	0.1028	0.0211	0.0413	0.1230	0.1185
0.4896	283.0	4245	0.7244	0.0969	0.0194	0.0373	0.1138	0.1145
0.4942	284.0	4260	0.7244	0.1013	0.0212	0.0415	0.1230	0.1145
0.4881	285.0	4275	0.7245	0.1028	0.0211	0.0413	0.1230	0.1185
0.4882	286.0	4290	0.7247	0.1013	0.0212	0.0415	0.1230	0.1145
0.4828	287.0	4305	0.7250	0.1013	0.0212	0.0415	0.1230	0.1145
0.4849	288.0	4320	0.7250	0.1013	0.0212	0.0415	0.1230	0.1145
0.4786	289.0	4335	0.7250	0.1013	0.0212	0.0415	0.1230	0.1145
0.4802	290.0	4350	0.7250	0.1013	0.0212	0.0415	0.1230	0.1145
0.4842	291.0	4365	0.7249	0.1013	0.0212	0.0415	0.1230	0.1145
0.4868	292.0	4380	0.7248	0.1013	0.0212	0.0415	0.1230	0.1145
0.4926	293.0	4395	0.7248	0.1013	0.0212	0.0415	0.1230	0.1145
0.5018	294.0	4410	0.7247	0.1013	0.0212	0.0415	0.1230	0.1145
0.4843	295.0	4425	0.7247	0.1013	0.0212	0.0415	0.1230	0.1145
0.4764	296.0	4440	0.7247	0.1013	0.0212	0.0415	0.1230	0.1145
0.4942	297.0	4455	0.7247	0.1013	0.0212	0.0415	0.1230	0.1145
0.4818	298.0	4470	0.7246	0.1013	0.0212	0.0415	0.1230	0.1145
0.4942	299.0	4485	0.7247	0.1013	0.0212	0.0415	0.1230	0.1145
0.4832	300.0	4500	0.7247	0.1013	0.0212	0.0415	0.1230	0.1145

Framework versions

• Transformers 4.31.0
• Pytorch 2.0.1
• Datasets 2.14.4
• Tokenizers 0.13.3