codet5p-770m-py-sanitized-codebleu-1-True-5e-05-0.1-lora-layer_18

This model is a fine-tuned version of Salesforce/codet5p-770m-py on the mbpp dataset. It achieves the following results on the evaluation set:

• Loss: 0.7220
• Codebleu: 0.1099
• Ngram Match Score: 0.0246
• Weighted Ngram Match Score: 0.0467
• Syntax Match Score: 0.1243
• Dataflow Match Score: 0.1325

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 5e-05
• train_batch_size: 8
• eval_batch_size: 8
• seed: 42
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: linear
• lr_scheduler_warmup_steps: 100
• num_epochs: 300

Training results

Training Loss	Epoch	Step	Validation Loss	Codebleu	Ngram Match Score	Weighted Ngram Match Score	Syntax Match Score	Dataflow Match Score
0.9722	1.0	15	0.9245	0.0072	0.0000	0.0000	0.0079	0.0100
0.9621	2.0	30	0.9229	0.0072	0.0000	0.0000	0.0079	0.0100
0.9698	3.0	45	0.9189	0.0080	0.0000	0.0000	0.0079	0.0120
0.9429	4.0	60	0.9098	0.0080	0.0000	0.0000	0.0079	0.0120
0.951	5.0	75	0.8922	0.0424	0.0009	0.0230	0.0397	0.0602
0.9374	6.0	90	0.8685	0.0832	0.0186	0.0471	0.1032	0.0884
0.9244	7.0	105	0.8486	0.1022	0.0220	0.0499	0.1270	0.1104
0.8686	8.0	120	0.8329	0.1000	0.0238	0.0526	0.1243	0.1064
0.8546	9.0	135	0.8174	0.1016	0.0167	0.0412	0.1230	0.1165
0.8403	10.0	150	0.8048	0.1014	0.0161	0.0400	0.1230	0.1165
0.8203	11.0	165	0.7938	0.1012	0.0157	0.0409	0.1243	0.1145
0.8138	12.0	180	0.7795	0.1019	0.0181	0.0458	0.1243	0.1145
0.7923	13.0	195	0.7715	0.1017	0.0174	0.0441	0.1243	0.1145
0.7721	14.0	210	0.7623	0.1023	0.0156	0.0411	0.1270	0.1145
0.7821	15.0	225	0.7551	0.1044	0.0176	0.0423	0.1336	0.1124
0.7829	16.0	240	0.7522	0.1053	0.0190	0.0439	0.1310	0.1165
0.7673	17.0	255	0.7485	0.1055	0.0204	0.0448	0.1310	0.1165
0.7486	18.0	270	0.7453	0.1037	0.0189	0.0437	0.1230	0.1205
0.7558	19.0	285	0.7413	0.1028	0.0196	0.0450	0.1243	0.1165
0.7464	20.0	300	0.7384	0.1055	0.0186	0.0439	0.1296	0.1185
0.7309	21.0	315	0.7347	0.1067	0.0193	0.0446	0.1283	0.1225
0.7311	22.0	330	0.7316	0.1053	0.0202	0.0459	0.1323	0.1145
0.7257	23.0	345	0.7304	0.1001	0.0224	0.0474	0.1204	0.1124
0.7327	24.0	360	0.7287	0.0983	0.0225	0.0480	0.1177	0.1104
0.7456	25.0	375	0.7268	0.1043	0.0229	0.0485	0.1204	0.1225
0.7225	26.0	390	0.7250	0.1068	0.0249	0.0531	0.1310	0.1165
0.706	27.0	405	0.7229	0.1063	0.0255	0.0531	0.1296	0.1165
0.7161	28.0	420	0.7216	0.0996	0.0237	0.0493	0.1204	0.1104
0.7058	29.0	435	0.7207	0.1079	0.0254	0.0533	0.1296	0.1205
0.6978	30.0	450	0.7192	0.1090	0.0265	0.0550	0.1296	0.1225
0.6989	31.0	465	0.7181	0.1024	0.0256	0.0511	0.1204	0.1165
0.6948	32.0	480	0.7168	0.1046	0.0247	0.0502	0.1204	0.1225
0.695	33.0	495	0.7155	0.1059	0.0232	0.0486	0.1204	0.1265
0.6929	34.0	510	0.7127	0.1078	0.0231	0.0487	0.1230	0.1285
0.6765	35.0	525	0.7112	0.1070	0.0236	0.0486	0.1230	0.1265
0.7021	36.0	540	0.7095	0.1086	0.0250	0.0524	0.1257	0.1265
0.6846	37.0	555	0.7088	0.1073	0.0262	0.0543	0.1257	0.1225
0.6906	38.0	570	0.7081	0.1005	0.0242	0.0524	0.1217	0.1104
0.6829	39.0	585	0.7061	0.0990	0.0230	0.0488	0.1151	0.1145
0.6835	40.0	600	0.7056	0.0961	0.0234	0.0486	0.1138	0.1084
0.6701	41.0	615	0.7050	0.0944	0.0232	0.0483	0.1138	0.1044
0.6646	42.0	630	0.7042	0.0945	0.0234	0.0485	0.1138	0.1044
0.6674	43.0	645	0.7035	0.0995	0.0242	0.0497	0.1177	0.1124
0.6688	44.0	660	0.7029	0.0995	0.0242	0.0497	0.1177	0.1124
0.6574	45.0	675	0.7022	0.0985	0.0256	0.0516	0.1164	0.1104
0.6516	46.0	690	0.7018	0.0975	0.0249	0.0504	0.1164	0.1084
0.661	47.0	705	0.7011	0.1013	0.0244	0.0497	0.1243	0.1104
0.6535	48.0	720	0.7012	0.0985	0.0251	0.0499	0.1190	0.1084
0.6565	49.0	735	0.7002	0.0959	0.0250	0.0504	0.1164	0.1044
0.6447	50.0	750	0.7003	0.0959	0.0253	0.0504	0.1164	0.1044
0.6625	51.0	765	0.6996	0.1012	0.0264	0.0541	0.1243	0.1084
0.6625	52.0	780	0.6974	0.0987	0.0258	0.0517	0.1190	0.1084
0.6562	53.0	795	0.6965	0.0958	0.0246	0.0500	0.1164	0.1044
0.6284	54.0	810	0.6978	0.0959	0.0250	0.0504	0.1164	0.1044
0.6408	55.0	825	0.6976	0.0958	0.0248	0.0500	0.1164	0.1044
0.6461	56.0	840	0.6964	0.0958	0.0248	0.0500	0.1164	0.1044
0.6454	57.0	855	0.6964	0.0945	0.0243	0.0504	0.1111	0.1064
0.6344	58.0	870	0.6949	0.0996	0.0260	0.0523	0.1190	0.1104
0.6464	59.0	885	0.6951	0.0925	0.0212	0.0441	0.1085	0.1064
0.6252	60.0	900	0.6973	0.0997	0.0253	0.0508	0.1217	0.1084
0.6369	61.0	915	0.6973	0.0971	0.0242	0.0502	0.1138	0.1104
0.6232	62.0	930	0.6969	0.0999	0.0252	0.0506	0.1164	0.1145
0.6235	63.0	945	0.6966	0.0996	0.0253	0.0502	0.1138	0.1165
0.6106	64.0	960	0.6980	0.1061	0.0268	0.0523	0.1230	0.1225
0.6432	65.0	975	0.6955	0.1017	0.0235	0.0458	0.1124	0.1245
0.608	66.0	990	0.6956	0.1042	0.0264	0.0520	0.1204	0.1205
0.6276	67.0	1005	0.6923	0.1043	0.0263	0.0529	0.1204	0.1205
0.616	68.0	1020	0.6933	0.1097	0.0271	0.0536	0.1257	0.1285
0.6025	69.0	1035	0.6936	0.1082	0.0279	0.0537	0.1257	0.1245
0.6295	70.0	1050	0.6931	0.1090	0.0279	0.0537	0.1257	0.1265
0.6143	71.0	1065	0.6930	0.1090	0.0277	0.0534	0.1257	0.1265
0.6125	72.0	1080	0.6922	0.1041	0.0227	0.0464	0.1164	0.1265
0.6167	73.0	1095	0.6942	0.1050	0.0235	0.0468	0.1164	0.1285
0.6019	74.0	1110	0.6930	0.1030	0.0226	0.0467	0.1138	0.1265
0.5963	75.0	1125	0.6943	0.1082	0.0278	0.0537	0.1217	0.1285
0.6006	76.0	1140	0.6941	0.1077	0.0276	0.0537	0.1204	0.1285
0.6038	77.0	1155	0.6949	0.1088	0.0279	0.0537	0.1230	0.1285
0.6004	78.0	1170	0.6951	0.1099	0.0281	0.0537	0.1257	0.1285
0.5971	79.0	1185	0.6944	0.1055	0.0325	0.0591	0.1204	0.1205
0.5915	80.0	1200	0.6935	0.1076	0.0339	0.0603	0.1190	0.1265
0.5999	81.0	1215	0.6964	0.1034	0.0265	0.0521	0.1204	0.1185
0.6001	82.0	1230	0.6961	0.1054	0.0273	0.0527	0.1190	0.1245
0.6093	83.0	1245	0.6947	0.1039	0.0281	0.0532	0.1190	0.1205
0.5939	84.0	1260	0.6932	0.1067	0.0327	0.0600	0.1190	0.1245
0.578	85.0	1275	0.6931	0.1094	0.0330	0.0600	0.1217	0.1285
0.5899	86.0	1290	0.6936	0.1127	0.0354	0.0646	0.1243	0.1325
0.581	87.0	1305	0.6943	0.1110	0.0346	0.0636	0.1243	0.1285
0.5895	88.0	1320	0.6941	0.1094	0.0347	0.0636	0.1243	0.1245
0.592	89.0	1335	0.6945	0.1096	0.0336	0.0594	0.1243	0.1265
0.5885	90.0	1350	0.6957	0.1113	0.0340	0.0599	0.1243	0.1305
0.5832	91.0	1365	0.6949	0.1092	0.0336	0.0582	0.1257	0.1245
0.5809	92.0	1380	0.6944	0.1117	0.0360	0.0622	0.1283	0.1265
0.5614	93.0	1395	0.6966	0.1128	0.0366	0.0637	0.1204	0.1365
0.5647	94.0	1410	0.6970	0.1090	0.0345	0.0599	0.1243	0.1245
0.5792	95.0	1425	0.6977	0.1088	0.0320	0.0580	0.1230	0.1265
0.5858	96.0	1440	0.6984	0.1090	0.0328	0.0571	0.1257	0.1245
0.5823	97.0	1455	0.6982	0.1090	0.0344	0.0601	0.1243	0.1245
0.5674	98.0	1470	0.6981	0.1072	0.0349	0.0597	0.1177	0.1265
0.5934	99.0	1485	0.6989	0.1099	0.0354	0.0598	0.1243	0.1265
0.5803	100.0	1500	0.6988	0.1102	0.0375	0.0637	0.1177	0.1325
0.5732	101.0	1515	0.6992	0.1056	0.0339	0.0582	0.1124	0.1285
0.5537	102.0	1530	0.6986	0.1024	0.0347	0.0574	0.1085	0.1245
0.5707	103.0	1545	0.6989	0.1018	0.0304	0.0534	0.1071	0.1265
0.5725	104.0	1560	0.6997	0.1052	0.0334	0.0604	0.1151	0.1245
0.5599	105.0	1575	0.7012	0.1093	0.0346	0.0597	0.1151	0.1345
0.5758	106.0	1590	0.6984	0.1091	0.0365	0.0636	0.1151	0.1325
0.5827	107.0	1605	0.6976	0.1091	0.0366	0.0642	0.1151	0.1325
0.548	108.0	1620	0.6989	0.1076	0.0346	0.0587	0.1151	0.1305
0.5656	109.0	1635	0.6983	0.1075	0.0336	0.0589	0.1151	0.1305
0.5665	110.0	1650	0.7006	0.1069	0.0329	0.0587	0.1098	0.1345
0.5662	111.0	1665	0.7006	0.1055	0.0332	0.0603	0.1098	0.1305
0.5597	112.0	1680	0.6997	0.1037	0.0337	0.0603	0.1071	0.1285
0.5507	113.0	1695	0.6988	0.1080	0.0361	0.0642	0.1124	0.1325
0.5581	114.0	1710	0.6989	0.1070	0.0362	0.0642	0.1098	0.1325
0.5626	115.0	1725	0.7005	0.1061	0.0350	0.0643	0.1098	0.1305
0.5474	116.0	1740	0.7021	0.1065	0.0336	0.0621	0.1098	0.1325
0.5533	117.0	1755	0.7037	0.1079	0.0352	0.0636	0.1124	0.1325
0.5544	118.0	1770	0.7028	0.1040	0.0314	0.0580	0.1071	0.1305
0.5582	119.0	1785	0.7019	0.1074	0.0361	0.0639	0.1151	0.1285
0.5428	120.0	1800	0.7010	0.1082	0.0366	0.0625	0.1151	0.1305
0.5449	121.0	1815	0.7025	0.1082	0.0370	0.0625	0.1151	0.1305
0.5534	122.0	1830	0.7010	0.1072	0.0351	0.0626	0.1151	0.1285
0.554	123.0	1845	0.7008	0.0989	0.0277	0.0509	0.1032	0.1245
0.5537	124.0	1860	0.7011	0.1037	0.0302	0.0564	0.1071	0.1305
0.5511	125.0	1875	0.7022	0.1094	0.0350	0.0630	0.1164	0.1325
0.5361	126.0	1890	0.7018	0.1094	0.0350	0.0630	0.1164	0.1325
0.542	127.0	1905	0.7039	0.1082	0.0345	0.0626	0.1138	0.1325
0.5457	128.0	1920	0.7024	0.1083	0.0351	0.0626	0.1138	0.1325
0.5424	129.0	1935	0.7010	0.1037	0.0284	0.0526	0.1045	0.1345
0.5386	130.0	1950	0.7030	0.1128	0.0340	0.0612	0.1177	0.1406
0.5419	131.0	1965	0.7042	0.1112	0.0318	0.0574	0.1151	0.1406
0.5481	132.0	1980	0.7050	0.1127	0.0331	0.0606	0.1177	0.1406
0.5468	133.0	1995	0.7043	0.1098	0.0330	0.0586	0.1151	0.1365
0.5289	134.0	2010	0.7038	0.1124	0.0355	0.0630	0.1177	0.1386
0.5303	135.0	2025	0.7040	0.1041	0.0279	0.0522	0.1058	0.1345
0.5346	136.0	2040	0.7047	0.1068	0.0280	0.0522	0.1085	0.1386
0.5226	137.0	2055	0.7031	0.1099	0.0332	0.0590	0.1151	0.1365
0.5413	138.0	2070	0.7030	0.1104	0.0320	0.0575	0.1151	0.1386
0.5405	139.0	2085	0.7043	0.1079	0.0281	0.0520	0.1071	0.1426
0.5427	140.0	2100	0.7035	0.1049	0.0277	0.0520	0.1058	0.1365
0.5463	141.0	2115	0.7035	0.1079	0.0283	0.0520	0.1071	0.1426
0.5324	142.0	2130	0.7055	0.1069	0.0276	0.0509	0.1071	0.1406
0.5316	143.0	2145	0.7062	0.1105	0.0287	0.0511	0.1177	0.1386
0.544	144.0	2160	0.7065	0.1099	0.0283	0.0511	0.1164	0.1386
0.5264	145.0	2175	0.7067	0.1101	0.0291	0.0517	0.1164	0.1386
0.5385	146.0	2190	0.7058	0.1061	0.0235	0.0442	0.1098	0.1386
0.5359	147.0	2205	0.7058	0.1061	0.0235	0.0442	0.1098	0.1386
0.5275	148.0	2220	0.7056	0.1063	0.0243	0.0455	0.1098	0.1386
0.5387	149.0	2235	0.7066	0.1065	0.0254	0.0459	0.1098	0.1386
0.5211	150.0	2250	0.7063	0.1067	0.0248	0.0458	0.1085	0.1406
0.5259	151.0	2265	0.7059	0.1069	0.0265	0.0468	0.1085	0.1406
0.5386	152.0	2280	0.7073	0.1074	0.0260	0.0468	0.1098	0.1406
0.5299	153.0	2295	0.7053	0.0976	0.0211	0.0390	0.1045	0.1245
0.5256	154.0	2310	0.7068	0.1075	0.0258	0.0455	0.1124	0.1386
0.5324	155.0	2325	0.7070	0.1075	0.0258	0.0455	0.1124	0.1386
0.5376	156.0	2340	0.7065	0.1078	0.0254	0.0455	0.1111	0.1406
0.5147	157.0	2355	0.7067	0.1070	0.0254	0.0455	0.1111	0.1386
0.5311	158.0	2370	0.7071	0.1070	0.0253	0.0455	0.1111	0.1386
0.5212	159.0	2385	0.7094	0.1085	0.0265	0.0468	0.1124	0.1406
0.5237	160.0	2400	0.7101	0.1126	0.0317	0.0557	0.1151	0.1446
0.5233	161.0	2415	0.7081	0.1131	0.0312	0.0557	0.1164	0.1446
0.5218	162.0	2430	0.7067	0.1123	0.0312	0.0557	0.1164	0.1426
0.5401	163.0	2445	0.7075	0.1116	0.0315	0.0562	0.1164	0.1406
0.5278	164.0	2460	0.7071	0.1105	0.0315	0.0562	0.1138	0.1406
0.5158	165.0	2475	0.7076	0.1121	0.0305	0.0543	0.1164	0.1426
0.517	166.0	2490	0.7079	0.1025	0.0263	0.0484	0.1111	0.1265
0.5196	167.0	2505	0.7088	0.1112	0.0300	0.0543	0.1164	0.1406
0.502	168.0	2520	0.7104	0.1017	0.0263	0.0484	0.1111	0.1245
0.5098	169.0	2535	0.7084	0.1115	0.0300	0.0543	0.1190	0.1386
0.5174	170.0	2550	0.7096	0.1115	0.0298	0.0543	0.1190	0.1386
0.5199	171.0	2565	0.7103	0.1115	0.0300	0.0543	0.1190	0.1386
0.5195	172.0	2580	0.7117	0.1017	0.0261	0.0484	0.1111	0.1245
0.521	173.0	2595	0.7120	0.1112	0.0299	0.0543	0.1164	0.1406
0.5132	174.0	2610	0.7114	0.1112	0.0303	0.0543	0.1164	0.1406
0.5225	175.0	2625	0.7112	0.1107	0.0302	0.0543	0.1151	0.1406
0.5131	176.0	2640	0.7106	0.1017	0.0261	0.0484	0.1111	0.1245
0.5094	177.0	2655	0.7105	0.1112	0.0298	0.0543	0.1164	0.1406
0.511	178.0	2670	0.7100	0.1101	0.0298	0.0543	0.1138	0.1406
0.5185	179.0	2685	0.7098	0.1101	0.0298	0.0543	0.1138	0.1406
0.504	180.0	2700	0.7114	0.1112	0.0299	0.0543	0.1164	0.1406
0.5179	181.0	2715	0.7129	0.1110	0.0303	0.0543	0.1177	0.1386
0.5098	182.0	2730	0.7132	0.1193	0.0352	0.0615	0.1336	0.1406
0.5127	183.0	2745	0.7136	0.1096	0.0311	0.0559	0.1257	0.1265
0.5061	184.0	2760	0.7140	0.1148	0.0306	0.0554	0.1230	0.1426
0.5073	185.0	2775	0.7136	0.1148	0.0306	0.0554	0.1230	0.1426
0.497	186.0	2790	0.7145	0.1148	0.0306	0.0554	0.1230	0.1426
0.5041	187.0	2805	0.7132	0.1118	0.0303	0.0543	0.1177	0.1406
0.5089	188.0	2820	0.7135	0.1109	0.0307	0.0556	0.1151	0.1406
0.5099	189.0	2835	0.7146	0.1132	0.0318	0.0566	0.1204	0.1406
0.5113	190.0	2850	0.7145	0.1132	0.0318	0.0566	0.1204	0.1406
0.5141	191.0	2865	0.7129	0.1142	0.0313	0.0566	0.1230	0.1406
0.5004	192.0	2880	0.7128	0.1132	0.0313	0.0566	0.1204	0.1406
0.5038	193.0	2895	0.7135	0.1132	0.0313	0.0566	0.1204	0.1406
0.4979	194.0	2910	0.7137	0.1123	0.0311	0.0566	0.1204	0.1386
0.5084	195.0	2925	0.7130	0.1124	0.0316	0.0566	0.1204	0.1386
0.5074	196.0	2940	0.7126	0.1122	0.0309	0.0554	0.1204	0.1386
0.5053	197.0	2955	0.7140	0.1172	0.0304	0.0554	0.1270	0.1446
0.5065	198.0	2970	0.7134	0.1172	0.0299	0.0553	0.1270	0.1446
0.4976	199.0	2985	0.7140	0.1166	0.0295	0.0553	0.1257	0.1446
0.5079	200.0	3000	0.7148	0.1179	0.0293	0.0553	0.1310	0.1426
0.5026	201.0	3015	0.7157	0.1176	0.0292	0.0553	0.1323	0.1406
0.4957	202.0	3030	0.7152	0.1179	0.0293	0.0553	0.1310	0.1426
0.5011	203.0	3045	0.7143	0.1192	0.0293	0.0553	0.1362	0.1406
0.4944	204.0	3060	0.7145	0.1192	0.0293	0.0553	0.1362	0.1406
0.5129	205.0	3075	0.7138	0.1166	0.0297	0.0552	0.1296	0.1406
0.4982	206.0	3090	0.7136	0.1142	0.0259	0.0493	0.1323	0.1345
0.5012	207.0	3105	0.7136	0.1135	0.0261	0.0494	0.1323	0.1325
0.4901	208.0	3120	0.7142	0.1135	0.0263	0.0494	0.1323	0.1325
0.504	209.0	3135	0.7146	0.1135	0.0263	0.0494	0.1323	0.1325
0.5047	210.0	3150	0.7145	0.1122	0.0263	0.0494	0.1270	0.1345
0.5065	211.0	3165	0.7160	0.1122	0.0263	0.0494	0.1270	0.1345
0.5019	212.0	3180	0.7172	0.1122	0.0267	0.0495	0.1270	0.1345
0.499	213.0	3195	0.7178	0.1122	0.0267	0.0495	0.1270	0.1345
0.5018	214.0	3210	0.7186	0.1133	0.0271	0.0495	0.1296	0.1345
0.496	215.0	3225	0.7181	0.1122	0.0267	0.0495	0.1270	0.1345
0.493	216.0	3240	0.7173	0.1092	0.0263	0.0491	0.1217	0.1325
0.5004	217.0	3255	0.7163	0.1122	0.0307	0.0555	0.1243	0.1345
0.4883	218.0	3270	0.7171	0.1086	0.0262	0.0481	0.1164	0.1365
0.4897	219.0	3285	0.7168	0.1116	0.0266	0.0484	0.1217	0.1386
0.4846	220.0	3300	0.7173	0.1116	0.0266	0.0484	0.1217	0.1386
0.4929	221.0	3315	0.7177	0.1116	0.0266	0.0484	0.1217	0.1386
0.4928	222.0	3330	0.7180	0.1116	0.0266	0.0484	0.1217	0.1386
0.4948	223.0	3345	0.7177	0.1103	0.0268	0.0484	0.1164	0.1406
0.4994	224.0	3360	0.7174	0.1116	0.0268	0.0484	0.1217	0.1386
0.492	225.0	3375	0.7166	0.1074	0.0273	0.0484	0.1151	0.1345
0.4815	226.0	3390	0.7166	0.1076	0.0281	0.0497	0.1151	0.1345
0.4897	227.0	3405	0.7177	0.1118	0.0276	0.0497	0.1217	0.1386
0.4912	228.0	3420	0.7190	0.1105	0.0276	0.0497	0.1164	0.1406
0.4917	229.0	3435	0.7196	0.1118	0.0274	0.0497	0.1217	0.1386
0.4833	230.0	3450	0.7205	0.1118	0.0274	0.0497	0.1217	0.1386
0.501	231.0	3465	0.7204	0.1118	0.0274	0.0497	0.1217	0.1386
0.4851	232.0	3480	0.7203	0.1150	0.0276	0.0498	0.1296	0.1386
0.4921	233.0	3495	0.7199	0.1148	0.0269	0.0485	0.1296	0.1386
0.4992	234.0	3510	0.7197	0.1116	0.0268	0.0484	0.1217	0.1386
0.482	235.0	3525	0.7190	0.1148	0.0271	0.0485	0.1296	0.1386
0.4888	236.0	3540	0.7180	0.1148	0.0271	0.0485	0.1296	0.1386
0.4909	237.0	3555	0.7177	0.1148	0.0271	0.0485	0.1296	0.1386
0.4826	238.0	3570	0.7179	0.1161	0.0269	0.0485	0.1349	0.1365
0.4965	239.0	3585	0.7183	0.1116	0.0268	0.0484	0.1217	0.1386
0.4868	240.0	3600	0.7187	0.1161	0.0269	0.0485	0.1349	0.1365
0.4901	241.0	3615	0.7182	0.1131	0.0265	0.0481	0.1296	0.1345
0.4888	242.0	3630	0.7184	0.1131	0.0265	0.0481	0.1296	0.1345
0.4915	243.0	3645	0.7190	0.1131	0.0265	0.0481	0.1296	0.1345
0.486	244.0	3660	0.7191	0.1131	0.0265	0.0481	0.1296	0.1345
0.4852	245.0	3675	0.7197	0.1131	0.0265	0.0481	0.1296	0.1345
0.4977	246.0	3690	0.7195	0.1161	0.0269	0.0485	0.1349	0.1365
0.4883	247.0	3705	0.7200	0.1161	0.0269	0.0485	0.1349	0.1365
0.4832	248.0	3720	0.7196	0.1161	0.0269	0.0485	0.1349	0.1365
0.488	249.0	3735	0.7192	0.1161	0.0269	0.0485	0.1349	0.1365
0.4993	250.0	3750	0.7190	0.1161	0.0269	0.0485	0.1349	0.1365
0.4816	251.0	3765	0.7192	0.1161	0.0269	0.0485	0.1349	0.1365
0.4934	252.0	3780	0.7194	0.1129	0.0266	0.0484	0.1270	0.1365
0.4864	253.0	3795	0.7194	0.1140	0.0267	0.0485	0.1296	0.1365
0.4805	254.0	3810	0.7198	0.1140	0.0267	0.0485	0.1296	0.1365
0.4769	255.0	3825	0.7205	0.1140	0.0267	0.0485	0.1296	0.1365
0.4848	256.0	3840	0.7203	0.1140	0.0267	0.0485	0.1296	0.1365
0.4834	257.0	3855	0.7195	0.1140	0.0267	0.0485	0.1296	0.1365
0.4727	258.0	3870	0.7195	0.1140	0.0267	0.0485	0.1296	0.1365
0.4931	259.0	3885	0.7189	0.1140	0.0267	0.0485	0.1296	0.1365
0.497	260.0	3900	0.7188	0.1140	0.0267	0.0485	0.1296	0.1365
0.4843	261.0	3915	0.7191	0.1127	0.0269	0.0485	0.1243	0.1386
0.4847	262.0	3930	0.7185	0.1127	0.0269	0.0485	0.1243	0.1386
0.4791	263.0	3945	0.7184	0.1127	0.0269	0.0485	0.1243	0.1386
0.4908	264.0	3960	0.7190	0.1116	0.0268	0.0484	0.1217	0.1386
0.4775	265.0	3975	0.7200	0.1129	0.0266	0.0484	0.1270	0.1365
0.4735	266.0	3990	0.7209	0.1121	0.0262	0.0484	0.1270	0.1345
0.4626	267.0	4005	0.7214	0.1121	0.0262	0.0484	0.1270	0.1345
0.4831	268.0	4020	0.7217	0.1129	0.0266	0.0484	0.1270	0.1365
0.4879	269.0	4035	0.7219	0.1121	0.0262	0.0484	0.1270	0.1345
0.4764	270.0	4050	0.7219	0.1121	0.0262	0.0484	0.1270	0.1345
0.4897	271.0	4065	0.7215	0.1121	0.0262	0.0484	0.1270	0.1345
0.4779	272.0	4080	0.7211	0.1131	0.0263	0.0485	0.1296	0.1345
0.4877	273.0	4095	0.7212	0.1129	0.0250	0.0471	0.1296	0.1345
0.4746	274.0	4110	0.7213	0.1129	0.0250	0.0471	0.1296	0.1345
0.474	275.0	4125	0.7214	0.1129	0.0250	0.0471	0.1296	0.1345
0.4697	276.0	4140	0.7216	0.1099	0.0246	0.0467	0.1243	0.1325
0.4978	277.0	4155	0.7216	0.1101	0.0259	0.0481	0.1243	0.1325
0.4807	278.0	4170	0.7216	0.1099	0.0246	0.0467	0.1243	0.1325
0.4864	279.0	4185	0.7214	0.1099	0.0246	0.0467	0.1243	0.1325
0.4726	280.0	4200	0.7212	0.1099	0.0246	0.0467	0.1243	0.1325
0.4886	281.0	4215	0.7212	0.1099	0.0246	0.0467	0.1243	0.1325
0.4767	282.0	4230	0.7212	0.1131	0.0263	0.0485	0.1296	0.1345
0.4862	283.0	4245	0.7212	0.1131	0.0263	0.0485	0.1296	0.1345
0.493	284.0	4260	0.7211	0.1131	0.0263	0.0485	0.1296	0.1345
0.4853	285.0	4275	0.7210	0.1131	0.0263	0.0485	0.1296	0.1345
0.48	286.0	4290	0.7212	0.1101	0.0259	0.0481	0.1243	0.1325
0.4849	287.0	4305	0.7215	0.1101	0.0259	0.0481	0.1243	0.1325
0.483	288.0	4320	0.7216	0.1101	0.0259	0.0481	0.1243	0.1325
0.4719	289.0	4335	0.7217	0.1101	0.0259	0.0481	0.1243	0.1325
0.473	290.0	4350	0.7218	0.1101	0.0259	0.0481	0.1243	0.1325
0.4776	291.0	4365	0.7217	0.1101	0.0259	0.0481	0.1243	0.1325
0.4723	292.0	4380	0.7218	0.1101	0.0259	0.0481	0.1243	0.1325
0.4826	293.0	4395	0.7219	0.1101	0.0259	0.0481	0.1243	0.1325
0.489	294.0	4410	0.7220	0.1101	0.0259	0.0481	0.1243	0.1325
0.4824	295.0	4425	0.7220	0.1101	0.0259	0.0481	0.1243	0.1325
0.478	296.0	4440	0.7220	0.1099	0.0246	0.0467	0.1243	0.1325
0.485	297.0	4455	0.7220	0.1099	0.0246	0.0467	0.1243	0.1325
0.4795	298.0	4470	0.7220	0.1099	0.0246	0.0467	0.1243	0.1325
0.4893	299.0	4485	0.7220	0.1099	0.0246	0.0467	0.1243	0.1325
0.4856	300.0	4500	0.7220	0.1099	0.0246	0.0467	0.1243	0.1325

Framework versions

• Transformers 4.31.0
• Pytorch 2.0.1
• Datasets 2.14.4
• Tokenizers 0.13.3