codet5p-770m-py-sanitized-codebleu-1-True-5e-05-0.1-lora-layer_5

This model is a fine-tuned version of Salesforce/codet5p-770m-py on the mbpp dataset. It achieves the following results on the evaluation set:

• Loss: 0.7038
• Codebleu: 0.1018
• Ngram Match Score: 0.0300
• Weighted Ngram Match Score: 0.0510
• Syntax Match Score: 0.1177
• Dataflow Match Score: 0.1165

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 5e-05
• train_batch_size: 8
• eval_batch_size: 8
• seed: 42
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: linear
• lr_scheduler_warmup_steps: 100
• num_epochs: 300

Training results

Training Loss	Epoch	Step	Validation Loss	Codebleu	Ngram Match Score	Weighted Ngram Match Score	Syntax Match Score	Dataflow Match Score
0.9815	1.0	15	0.9243	0.0072	0.0000	0.0000	0.0079	0.0100
0.9633	2.0	30	0.9220	0.0072	0.0000	0.0000	0.0079	0.0100
0.9699	3.0	45	0.9170	0.0080	0.0000	0.0000	0.0079	0.0120
0.9419	4.0	60	0.9062	0.0096	0.0000	0.0002	0.0079	0.0161
0.9391	5.0	75	0.8859	0.0472	0.0015	0.0261	0.0489	0.0622
0.9233	6.0	90	0.8616	0.0901	0.0166	0.0463	0.1151	0.0944
0.9078	7.0	105	0.8475	0.0989	0.0211	0.0502	0.1270	0.1024
0.8665	8.0	120	0.8388	0.1003	0.0214	0.0508	0.1243	0.1084
0.8525	9.0	135	0.8315	0.1003	0.0214	0.0508	0.1243	0.1084
0.855	10.0	150	0.8230	0.0992	0.0208	0.0508	0.1217	0.1084
0.8455	11.0	165	0.8140	0.1012	0.0194	0.0506	0.1230	0.1124
0.8518	12.0	180	0.8044	0.0987	0.0135	0.0390	0.1190	0.1145
0.8266	13.0	195	0.7965	0.0903	0.0106	0.0354	0.1058	0.1084
0.8066	14.0	210	0.7882	0.0921	0.0093	0.0337	0.1111	0.1084
0.8148	15.0	225	0.7805	0.0960	0.0107	0.0368	0.1177	0.1104
0.8246	16.0	240	0.7734	0.1002	0.0112	0.0382	0.1257	0.1124
0.8043	17.0	255	0.7671	0.1006	0.0122	0.0386	0.1243	0.1145
0.7839	18.0	270	0.7616	0.1011	0.0110	0.0373	0.1283	0.1124
0.7932	19.0	285	0.7563	0.1024	0.0119	0.0383	0.1310	0.1124
0.7798	20.0	300	0.7530	0.1009	0.0130	0.0434	0.1257	0.1124
0.7689	21.0	315	0.7493	0.1009	0.0135	0.0434	0.1257	0.1124
0.7757	22.0	330	0.7462	0.1020	0.0138	0.0433	0.1283	0.1124
0.7679	23.0	345	0.7446	0.1023	0.0153	0.0442	0.1283	0.1124
0.7679	24.0	360	0.7426	0.1008	0.0163	0.0447	0.1243	0.1124
0.7886	25.0	375	0.7397	0.1046	0.0166	0.0446	0.1296	0.1165
0.7568	26.0	390	0.7383	0.1073	0.0168	0.0449	0.1323	0.1205
0.7432	27.0	405	0.7365	0.1070	0.0166	0.0449	0.1296	0.1225
0.7523	28.0	420	0.7351	0.1095	0.0165	0.0434	0.1323	0.1265
0.7378	29.0	435	0.7344	0.1059	0.0166	0.0450	0.1270	0.1225
0.7356	30.0	450	0.7325	0.1081	0.0174	0.0450	0.1323	0.1225
0.7371	31.0	465	0.7293	0.1103	0.0189	0.0460	0.1349	0.1245
0.7336	32.0	480	0.7240	0.1100	0.0167	0.0435	0.1376	0.1225
0.7262	33.0	495	0.7215	0.1092	0.0160	0.0435	0.1376	0.1205
0.7369	34.0	510	0.7198	0.1082	0.0188	0.0440	0.1283	0.1265
0.7189	35.0	525	0.7180	0.1081	0.0186	0.0438	0.1323	0.1225
0.742	36.0	540	0.7164	0.1055	0.0191	0.0434	0.1217	0.1265
0.7271	37.0	555	0.7164	0.1055	0.0191	0.0434	0.1217	0.1265
0.7286	38.0	570	0.7157	0.1099	0.0193	0.0447	0.1283	0.1305
0.7193	39.0	585	0.7144	0.1098	0.0193	0.0434	0.1283	0.1305
0.7311	40.0	600	0.7143	0.1100	0.0197	0.0448	0.1283	0.1305
0.7043	41.0	615	0.7142	0.1081	0.0195	0.0448	0.1257	0.1285
0.7047	42.0	630	0.7141	0.1084	0.0187	0.0433	0.1310	0.1245
0.7122	43.0	645	0.7140	0.1091	0.0197	0.0439	0.1283	0.1285
0.7114	44.0	660	0.7142	0.1068	0.0188	0.0437	0.1270	0.1245
0.711	45.0	675	0.7125	0.1100	0.0186	0.0434	0.1310	0.1285
0.7023	46.0	690	0.7114	0.1092	0.0194	0.0433	0.1310	0.1265
0.7063	47.0	705	0.7109	0.1122	0.0194	0.0431	0.1362	0.1285
0.7007	48.0	720	0.7113	0.1129	0.0186	0.0432	0.1362	0.1305
0.708	49.0	735	0.7098	0.1142	0.0179	0.0437	0.1415	0.1285
0.6929	50.0	750	0.7101	0.1133	0.0179	0.0434	0.1415	0.1265
0.7137	51.0	765	0.7094	0.1114	0.0190	0.0438	0.1362	0.1265
0.7028	52.0	780	0.7091	0.1130	0.0198	0.0437	0.1402	0.1265
0.7007	53.0	795	0.7077	0.1121	0.0177	0.0421	0.1389	0.1265
0.67	54.0	810	0.7067	0.1137	0.0182	0.0416	0.1389	0.1305
0.6943	55.0	825	0.7068	0.1137	0.0179	0.0419	0.1389	0.1305
0.6936	56.0	840	0.7069	0.1123	0.0170	0.0417	0.1376	0.1285
0.7031	57.0	855	0.7059	0.1151	0.0198	0.0456	0.1389	0.1325
0.6822	58.0	870	0.7059	0.1124	0.0178	0.0422	0.1376	0.1285
0.6981	59.0	885	0.7058	0.1147	0.0192	0.0420	0.1389	0.1325
0.684	60.0	900	0.7062	0.1202	0.0216	0.0443	0.1495	0.1345
0.6984	61.0	915	0.7056	0.1202	0.0216	0.0443	0.1495	0.1345
0.683	62.0	930	0.7055	0.1147	0.0190	0.0421	0.1389	0.1325
0.6836	63.0	945	0.7056	0.1166	0.0216	0.0432	0.1429	0.1325
0.6753	64.0	960	0.7058	0.1132	0.0211	0.0439	0.1402	0.1265
0.708	65.0	975	0.7046	0.1140	0.0190	0.0434	0.1389	0.1305
0.6657	66.0	990	0.7060	0.1135	0.0179	0.0417	0.1362	0.1325
0.6942	67.0	1005	0.7043	0.1183	0.0188	0.0415	0.1402	0.1406
0.6873	68.0	1020	0.7036	0.1175	0.0179	0.0417	0.1402	0.1386
0.6647	69.0	1035	0.7050	0.1161	0.0192	0.0428	0.1442	0.1305
0.694	70.0	1050	0.7041	0.1180	0.0197	0.0428	0.1429	0.1365
0.6727	71.0	1065	0.7035	0.1198	0.0207	0.0442	0.1429	0.1406
0.6751	72.0	1080	0.7042	0.1132	0.0199	0.0449	0.1362	0.1305
0.6812	73.0	1095	0.7038	0.1102	0.0187	0.0431	0.1336	0.1265
0.6713	74.0	1110	0.7028	0.1055	0.0178	0.0396	0.1270	0.1225
0.661	75.0	1125	0.7025	0.1101	0.0202	0.0431	0.1349	0.1245
0.6753	76.0	1140	0.7031	0.1093	0.0202	0.0428	0.1349	0.1225
0.6806	77.0	1155	0.7040	0.1105	0.0213	0.0464	0.1429	0.1165
0.6524	78.0	1170	0.7050	0.1098	0.0196	0.0442	0.1402	0.1185
0.6754	79.0	1185	0.7040	0.1070	0.0181	0.0415	0.1362	0.1165
0.6592	80.0	1200	0.7025	0.1103	0.0180	0.0418	0.1362	0.1245
0.6564	81.0	1215	0.7035	0.1037	0.0172	0.0380	0.1270	0.1185
0.6651	82.0	1230	0.7049	0.1106	0.0237	0.0469	0.1362	0.1225
0.6792	83.0	1245	0.7040	0.1102	0.0245	0.0487	0.1429	0.1145
0.6638	84.0	1260	0.7010	0.1018	0.0205	0.0454	0.1296	0.1084
0.6416	85.0	1275	0.7016	0.1042	0.0223	0.0463	0.1310	0.1124
0.6478	86.0	1290	0.7020	0.1089	0.0232	0.0475	0.1402	0.1145
0.6479	87.0	1305	0.7009	0.1110	0.0268	0.0512	0.1336	0.1245
0.6558	88.0	1320	0.7000	0.1039	0.0226	0.0458	0.1283	0.1145
0.6588	89.0	1335	0.6998	0.1136	0.0202	0.0434	0.1415	0.1265
0.6573	90.0	1350	0.7010	0.1129	0.0211	0.0437	0.1415	0.1245
0.647	91.0	1365	0.7000	0.1071	0.0238	0.0442	0.1323	0.1185
0.6516	92.0	1380	0.7009	0.1096	0.0249	0.0443	0.1323	0.1245
0.6366	93.0	1395	0.7018	0.1131	0.0243	0.0429	0.1376	0.1285
0.6357	94.0	1410	0.7009	0.1038	0.0235	0.0434	0.1243	0.1185
0.6573	95.0	1425	0.6996	0.1052	0.0207	0.0415	0.1310	0.1165
0.6522	96.0	1440	0.7003	0.1092	0.0204	0.0420	0.1349	0.1225
0.6454	97.0	1455	0.6997	0.1032	0.0213	0.0417	0.1257	0.1165
0.643	98.0	1470	0.6993	0.1115	0.0252	0.0439	0.1270	0.1345
0.6662	99.0	1485	0.6988	0.1056	0.0245	0.0443	0.1243	0.1225
0.6524	100.0	1500	0.6981	0.1050	0.0226	0.0426	0.1257	0.1205
0.6343	101.0	1515	0.6987	0.1050	0.0226	0.0426	0.1257	0.1205
0.636	102.0	1530	0.6989	0.1072	0.0234	0.0424	0.1230	0.1285
0.6475	103.0	1545	0.6989	0.1066	0.0244	0.0437	0.1230	0.1265
0.6382	104.0	1560	0.6992	0.1096	0.0237	0.0424	0.1310	0.1265
0.6373	105.0	1575	0.7005	0.1144	0.0247	0.0441	0.1402	0.1285
0.649	106.0	1590	0.6991	0.1082	0.0221	0.0406	0.1283	0.1265
0.6515	107.0	1605	0.6975	0.1058	0.0267	0.0494	0.1230	0.1225
0.6315	108.0	1620	0.6985	0.1054	0.0281	0.0490	0.1217	0.1225
0.6406	109.0	1635	0.6976	0.1083	0.0273	0.0477	0.1296	0.1225
0.6528	110.0	1650	0.6974	0.1079	0.0247	0.0428	0.1243	0.1285
0.6445	111.0	1665	0.6974	0.1064	0.0244	0.0442	0.1164	0.1325
0.632	112.0	1680	0.6984	0.1056	0.0245	0.0441	0.1164	0.1305
0.6251	113.0	1695	0.6986	0.1055	0.0241	0.0436	0.1164	0.1305
0.6338	114.0	1710	0.6986	0.1069	0.0230	0.0420	0.1204	0.1305
0.6397	115.0	1725	0.6972	0.1051	0.0234	0.0422	0.1177	0.1285
0.6315	116.0	1740	0.6981	0.1066	0.0229	0.0420	0.1177	0.1325
0.6301	117.0	1755	0.6980	0.1061	0.0216	0.0411	0.1151	0.1345
0.6401	118.0	1770	0.6978	0.1049	0.0221	0.0413	0.1138	0.1325
0.6317	119.0	1785	0.6983	0.1058	0.0214	0.0418	0.1243	0.1245
0.6221	120.0	1800	0.6979	0.1075	0.0219	0.0420	0.1243	0.1285
0.6216	121.0	1815	0.6970	0.1051	0.0215	0.0414	0.1164	0.1305
0.6368	122.0	1830	0.6964	0.1064	0.0209	0.0425	0.1217	0.1285
0.6406	123.0	1845	0.6974	0.1061	0.0220	0.0432	0.1243	0.1245
0.6288	124.0	1860	0.6985	0.1049	0.0230	0.0438	0.1190	0.1265
0.632	125.0	1875	0.6989	0.1059	0.0231	0.0434	0.1217	0.1265
0.6217	126.0	1890	0.6989	0.1035	0.0201	0.0408	0.1230	0.1205
0.6338	127.0	1905	0.6987	0.1023	0.0252	0.0475	0.1190	0.1185
0.6242	128.0	1920	0.6991	0.1047	0.0231	0.0421	0.1190	0.1265
0.6302	129.0	1935	0.6981	0.1046	0.0202	0.0413	0.1257	0.1205
0.6195	130.0	1950	0.6988	0.1040	0.0202	0.0403	0.1204	0.1245
0.6266	131.0	1965	0.6988	0.1024	0.0201	0.0408	0.1243	0.1165
0.6268	132.0	1980	0.6992	0.1025	0.0193	0.0393	0.1190	0.1225
0.6402	133.0	1995	0.6989	0.1051	0.0202	0.0407	0.1270	0.1205
0.6081	134.0	2010	0.6984	0.1086	0.0222	0.0415	0.1270	0.1285
0.6216	135.0	2025	0.6974	0.1086	0.0231	0.0441	0.1323	0.1225
0.6307	136.0	2040	0.6980	0.1080	0.0215	0.0427	0.1336	0.1205
0.6064	137.0	2055	0.6982	0.1099	0.0220	0.0418	0.1323	0.1265
0.6345	138.0	2070	0.6976	0.1137	0.0252	0.0449	0.1402	0.1265
0.6271	139.0	2085	0.6983	0.1172	0.0268	0.0513	0.1429	0.1305
0.62	140.0	2100	0.6993	0.1172	0.0268	0.0513	0.1429	0.1305
0.6299	141.0	2115	0.6977	0.1154	0.0253	0.0513	0.1429	0.1265
0.6469	142.0	2130	0.6988	0.1172	0.0268	0.0513	0.1429	0.1305
0.6255	143.0	2145	0.6984	0.1154	0.0253	0.0513	0.1429	0.1265
0.6278	144.0	2160	0.6999	0.1147	0.0238	0.0504	0.1376	0.1305
0.614	145.0	2175	0.7004	0.1172	0.0268	0.0513	0.1429	0.1305
0.6298	146.0	2190	0.7005	0.1176	0.0279	0.0519	0.1455	0.1285
0.6233	147.0	2205	0.6990	0.1164	0.0269	0.0512	0.1429	0.1285
0.6132	148.0	2220	0.6990	0.1154	0.0251	0.0514	0.1429	0.1265
0.6187	149.0	2235	0.7001	0.1133	0.0251	0.0514	0.1376	0.1265
0.6074	150.0	2250	0.7004	0.1162	0.0251	0.0514	0.1429	0.1285
0.6142	151.0	2265	0.7008	0.1180	0.0266	0.0514	0.1429	0.1325
0.6244	152.0	2280	0.7006	0.1148	0.0274	0.0514	0.1429	0.1245
0.6164	153.0	2295	0.6997	0.1116	0.0249	0.0505	0.1336	0.1265
0.6143	154.0	2310	0.7002	0.1142	0.0249	0.0504	0.1362	0.1305
0.6323	155.0	2325	0.6988	0.1165	0.0269	0.0499	0.1376	0.1345
0.6363	156.0	2340	0.6991	0.1158	0.0281	0.0500	0.1376	0.1325
0.6015	157.0	2355	0.6986	0.1145	0.0276	0.0504	0.1362	0.1305
0.6247	158.0	2370	0.6992	0.1121	0.0278	0.0502	0.1362	0.1245
0.619	159.0	2385	0.7004	0.1122	0.0299	0.0520	0.1296	0.1305
0.6141	160.0	2400	0.6999	0.1119	0.0275	0.0503	0.1257	0.1345
0.6113	161.0	2415	0.6994	0.1114	0.0263	0.0503	0.1310	0.1285
0.6186	162.0	2430	0.6987	0.1067	0.0271	0.0506	0.1310	0.1165
0.6398	163.0	2445	0.6980	0.1070	0.0264	0.0509	0.1336	0.1145
0.6172	164.0	2460	0.6976	0.1081	0.0271	0.0508	0.1323	0.1185
0.6034	165.0	2475	0.6980	0.1082	0.0253	0.0507	0.1310	0.1205
0.6038	166.0	2490	0.6975	0.1075	0.0266	0.0507	0.1310	0.1185
0.6037	167.0	2505	0.6995	0.1130	0.0295	0.0522	0.1376	0.1245
0.6065	168.0	2520	0.7001	0.1111	0.0258	0.0506	0.1362	0.1225
0.5938	169.0	2535	0.6995	0.1062	0.0268	0.0508	0.1257	0.1205
0.6162	170.0	2550	0.6995	0.1062	0.0268	0.0508	0.1257	0.1205
0.6208	171.0	2565	0.7002	0.1082	0.0261	0.0506	0.1310	0.1205
0.6256	172.0	2580	0.7003	0.1096	0.0264	0.0508	0.1362	0.1185
0.6152	173.0	2595	0.7002	0.1102	0.0267	0.0511	0.1336	0.1225
0.6058	174.0	2610	0.7004	0.1097	0.0268	0.0511	0.1323	0.1225
0.6016	175.0	2625	0.7012	0.1083	0.0262	0.0508	0.1310	0.1205
0.6083	176.0	2640	0.7008	0.1088	0.0264	0.0508	0.1323	0.1205
0.6056	177.0	2655	0.6999	0.1074	0.0257	0.0507	0.1270	0.1225
0.5962	178.0	2670	0.6996	0.1074	0.0257	0.0507	0.1270	0.1225
0.6246	179.0	2685	0.7003	0.1080	0.0269	0.0523	0.1257	0.1245
0.5997	180.0	2700	0.7018	0.1073	0.0287	0.0522	0.1257	0.1225
0.6065	181.0	2715	0.7015	0.1081	0.0284	0.0524	0.1257	0.1245
0.6117	182.0	2730	0.7004	0.1079	0.0275	0.0512	0.1257	0.1245
0.6017	183.0	2745	0.6998	0.1075	0.0263	0.0511	0.1270	0.1225
0.599	184.0	2760	0.7004	0.1104	0.0262	0.0506	0.1323	0.1245
0.5937	185.0	2775	0.6998	0.1103	0.0258	0.0505	0.1323	0.1245
0.6019	186.0	2790	0.6993	0.1083	0.0262	0.0508	0.1310	0.1205
0.5897	187.0	2805	0.6995	0.1048	0.0261	0.0509	0.1283	0.1145
0.6161	188.0	2820	0.7005	0.1092	0.0269	0.0511	0.1310	0.1225
0.6132	189.0	2835	0.7008	0.1105	0.0268	0.0511	0.1323	0.1245
0.6085	190.0	2850	0.7000	0.1105	0.0268	0.0511	0.1323	0.1245
0.6144	191.0	2865	0.7011	0.1105	0.0271	0.0512	0.1323	0.1245
0.5996	192.0	2880	0.7012	0.1090	0.0277	0.0510	0.1323	0.1205
0.6081	193.0	2895	0.7022	0.1109	0.0283	0.0511	0.1310	0.1265
0.5868	194.0	2910	0.7022	0.1122	0.0282	0.0511	0.1323	0.1285
0.6058	195.0	2925	0.7015	0.1115	0.0288	0.0512	0.1323	0.1265
0.6124	196.0	2940	0.7011	0.1115	0.0288	0.0512	0.1323	0.1265
0.6055	197.0	2955	0.7010	0.1117	0.0285	0.0512	0.1310	0.1285
0.5899	198.0	2970	0.7012	0.1117	0.0285	0.0512	0.1310	0.1285
0.5891	199.0	2985	0.7016	0.1123	0.0286	0.0512	0.1323	0.1285
0.5934	200.0	3000	0.7024	0.1085	0.0285	0.0510	0.1270	0.1245
0.5982	201.0	3015	0.7006	0.1137	0.0289	0.0514	0.1336	0.1305
0.5938	202.0	3030	0.7005	0.1094	0.0300	0.0524	0.1243	0.1285
0.6007	203.0	3045	0.7002	0.1074	0.0277	0.0512	0.1243	0.1245
0.5911	204.0	3060	0.7011	0.1080	0.0284	0.0510	0.1257	0.1245
0.6121	205.0	3075	0.7022	0.1072	0.0286	0.0510	0.1257	0.1225
0.5937	206.0	3090	0.7016	0.1018	0.0277	0.0510	0.1204	0.1145
0.5959	207.0	3105	0.7016	0.1086	0.0289	0.0511	0.1270	0.1245
0.5881	208.0	3120	0.7010	0.1103	0.0295	0.0514	0.1270	0.1285
0.593	209.0	3135	0.7006	0.1072	0.0281	0.0511	0.1257	0.1225
0.5944	210.0	3150	0.6999	0.1094	0.0293	0.0512	0.1270	0.1265
0.5927	211.0	3165	0.7009	0.1095	0.0299	0.0512	0.1270	0.1265
0.5917	212.0	3180	0.7013	0.1057	0.0287	0.0522	0.1257	0.1185
0.5993	213.0	3195	0.7009	0.1063	0.0272	0.0511	0.1257	0.1205
0.5977	214.0	3210	0.7009	0.1071	0.0274	0.0511	0.1257	0.1225
0.5917	215.0	3225	0.7017	0.1073	0.0288	0.0511	0.1257	0.1225
0.5935	216.0	3240	0.7022	0.1089	0.0305	0.0522	0.1270	0.1245
0.5939	217.0	3255	0.7020	0.1067	0.0304	0.0522	0.1257	0.1205
0.5835	218.0	3270	0.7023	0.1095	0.0298	0.0509	0.1270	0.1265
0.5828	219.0	3285	0.7026	0.1068	0.0290	0.0512	0.1243	0.1225
0.5855	220.0	3300	0.7029	0.1068	0.0290	0.0512	0.1243	0.1225
0.5924	221.0	3315	0.7026	0.1068	0.0290	0.0512	0.1243	0.1225
0.5895	222.0	3330	0.7016	0.1103	0.0299	0.0512	0.1270	0.1285
0.5998	223.0	3345	0.7014	0.1095	0.0298	0.0512	0.1270	0.1265
0.595	224.0	3360	0.7019	0.1095	0.0298	0.0512	0.1270	0.1265
0.5926	225.0	3375	0.7029	0.1103	0.0299	0.0512	0.1270	0.1285
0.5812	226.0	3390	0.7029	0.1103	0.0299	0.0512	0.1270	0.1285
0.5889	227.0	3405	0.7024	0.1103	0.0300	0.0512	0.1270	0.1285
0.5933	228.0	3420	0.7030	0.1103	0.0299	0.0512	0.1270	0.1285
0.5943	229.0	3435	0.7035	0.1103	0.0299	0.0512	0.1270	0.1285
0.596	230.0	3450	0.7025	0.1103	0.0299	0.0512	0.1270	0.1285
0.5959	231.0	3465	0.7017	0.1066	0.0272	0.0510	0.1243	0.1225
0.591	232.0	3480	0.7019	0.1083	0.0286	0.0510	0.1243	0.1265
0.5849	233.0	3495	0.7016	0.1109	0.0286	0.0508	0.1270	0.1305
0.6031	234.0	3510	0.7030	0.1082	0.0299	0.0512	0.1257	0.1245
0.5745	235.0	3525	0.7037	0.1091	0.0302	0.0524	0.1257	0.1265
0.5805	236.0	3540	0.7035	0.1113	0.0297	0.0503	0.1296	0.1285
0.583	237.0	3555	0.7032	0.1113	0.0297	0.0503	0.1296	0.1285
0.5902	238.0	3570	0.7026	0.1102	0.0294	0.0499	0.1230	0.1325
0.5877	239.0	3585	0.7025	0.1113	0.0297	0.0503	0.1296	0.1285
0.5915	240.0	3600	0.7023	0.1113	0.0297	0.0503	0.1296	0.1285
0.582	241.0	3615	0.7015	0.1093	0.0288	0.0503	0.1270	0.1265
0.5928	242.0	3630	0.7022	0.1107	0.0299	0.0503	0.1283	0.1285
0.5833	243.0	3645	0.7028	0.1136	0.0288	0.0511	0.1336	0.1305
0.5871	244.0	3660	0.7034	0.1130	0.0297	0.0514	0.1336	0.1285
0.5824	245.0	3675	0.7036	0.1124	0.0295	0.0512	0.1323	0.1285
0.591	246.0	3690	0.7036	0.1103	0.0300	0.0512	0.1270	0.1285
0.5856	247.0	3705	0.7030	0.1103	0.0300	0.0512	0.1270	0.1285
0.5972	248.0	3720	0.7025	0.1087	0.0300	0.0512	0.1270	0.1245
0.5867	249.0	3735	0.7029	0.1087	0.0299	0.0512	0.1270	0.1245
0.5939	250.0	3750	0.7031	0.1077	0.0299	0.0513	0.1243	0.1245
0.5738	251.0	3765	0.7032	0.1087	0.0299	0.0512	0.1270	0.1245
0.5847	252.0	3780	0.7031	0.1103	0.0299	0.0512	0.1270	0.1285
0.5909	253.0	3795	0.7030	0.1039	0.0295	0.0510	0.1190	0.1205
0.5749	254.0	3810	0.7030	0.1039	0.0295	0.0510	0.1190	0.1205
0.5915	255.0	3825	0.7024	0.1039	0.0295	0.0510	0.1190	0.1205
0.5804	256.0	3840	0.7023	0.1046	0.0286	0.0508	0.1190	0.1225
0.5958	257.0	3855	0.7021	0.1084	0.0290	0.0512	0.1243	0.1265
0.5797	258.0	3870	0.7020	0.1098	0.0301	0.0512	0.1257	0.1285
0.5936	259.0	3885	0.7015	0.1082	0.0301	0.0512	0.1257	0.1245
0.5871	260.0	3900	0.7016	0.1061	0.0300	0.0510	0.1204	0.1245
0.5802	261.0	3915	0.7021	0.1081	0.0296	0.0510	0.1257	0.1245
0.5857	262.0	3930	0.7020	0.1055	0.0301	0.0514	0.1230	0.1205
0.5717	263.0	3945	0.7019	0.1018	0.0300	0.0510	0.1177	0.1165
0.5895	264.0	3960	0.7020	0.1018	0.0300	0.0510	0.1177	0.1165
0.5766	265.0	3975	0.7020	0.1018	0.0300	0.0510	0.1177	0.1165
0.5883	266.0	3990	0.7022	0.1018	0.0300	0.0510	0.1177	0.1165
0.5707	267.0	4005	0.7023	0.1018	0.0300	0.0510	0.1177	0.1165
0.5894	268.0	4020	0.7020	0.1018	0.0300	0.0510	0.1177	0.1165
0.5959	269.0	4035	0.7024	0.1018	0.0300	0.0510	0.1177	0.1165
0.5691	270.0	4050	0.7026	0.1018	0.0300	0.0510	0.1177	0.1165
0.5847	271.0	4065	0.7024	0.1038	0.0296	0.0510	0.1230	0.1165
0.5788	272.0	4080	0.7026	0.1065	0.0296	0.0509	0.1257	0.1205
0.5821	273.0	4095	0.7028	0.1038	0.0296	0.0510	0.1230	0.1165
0.5674	274.0	4110	0.7032	0.1018	0.0300	0.0510	0.1177	0.1165
0.5632	275.0	4125	0.7033	0.1018	0.0300	0.0510	0.1177	0.1165
0.5814	276.0	4140	0.7033	0.1018	0.0300	0.0510	0.1177	0.1165
0.5994	277.0	4155	0.7034	0.1018	0.0300	0.0511	0.1177	0.1165
0.5818	278.0	4170	0.7035	0.1018	0.0300	0.0511	0.1177	0.1165
0.5816	279.0	4185	0.7035	0.1018	0.0300	0.0510	0.1177	0.1165
0.5773	280.0	4200	0.7035	0.1044	0.0300	0.0509	0.1204	0.1205
0.5881	281.0	4215	0.7035	0.1018	0.0300	0.0510	0.1177	0.1165
0.5785	282.0	4230	0.7034	0.1018	0.0300	0.0510	0.1177	0.1165
0.5813	283.0	4245	0.7033	0.1018	0.0300	0.0510	0.1177	0.1165
0.5909	284.0	4260	0.7034	0.1018	0.0300	0.0510	0.1177	0.1165
0.5897	285.0	4275	0.7035	0.1018	0.0300	0.0510	0.1177	0.1165
0.5858	286.0	4290	0.7036	0.1018	0.0300	0.0510	0.1177	0.1165
0.5839	287.0	4305	0.7035	0.1018	0.0300	0.0510	0.1177	0.1165
0.5845	288.0	4320	0.7035	0.1018	0.0300	0.0510	0.1177	0.1165
0.5775	289.0	4335	0.7035	0.1018	0.0300	0.0510	0.1177	0.1165
0.5704	290.0	4350	0.7036	0.1018	0.0300	0.0510	0.1177	0.1165
0.5654	291.0	4365	0.7037	0.1018	0.0300	0.0510	0.1177	0.1165
0.5729	292.0	4380	0.7037	0.1018	0.0300	0.0510	0.1177	0.1165
0.5875	293.0	4395	0.7037	0.1018	0.0300	0.0510	0.1177	0.1165
0.5933	294.0	4410	0.7038	0.1018	0.0300	0.0510	0.1177	0.1165
0.5776	295.0	4425	0.7037	0.1018	0.0300	0.0510	0.1177	0.1165
0.5809	296.0	4440	0.7038	0.1018	0.0300	0.0510	0.1177	0.1165
0.589	297.0	4455	0.7037	0.1018	0.0300	0.0510	0.1177	0.1165
0.5837	298.0	4470	0.7038	0.1018	0.0300	0.0510	0.1177	0.1165
0.592	299.0	4485	0.7038	0.1018	0.0300	0.0510	0.1177	0.1165
0.5738	300.0	4500	0.7038	0.1018	0.0300	0.0510	0.1177	0.1165

Framework versions

• Transformers 4.31.0
• Pytorch 2.0.1
• Datasets 2.14.4
• Tokenizers 0.13.3