codet5p-770m-py-sanitized-codebleu-1-True-5e-05-0.1-lora-layer_9

This model is a fine-tuned version of Salesforce/codet5p-770m-py on the mbpp dataset. It achieves the following results on the evaluation set:

• Loss: 0.7463
• Codebleu: 0.1068
• Ngram Match Score: 0.0175
• Weighted Ngram Match Score: 0.0338
• Syntax Match Score: 0.1177
• Dataflow Match Score: 0.1365

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 5e-05
• train_batch_size: 8
• eval_batch_size: 8
• seed: 42
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: linear
• lr_scheduler_warmup_steps: 100
• num_epochs: 300

Training results

Training Loss	Epoch	Step	Validation Loss	Codebleu	Ngram Match Score	Weighted Ngram Match Score	Syntax Match Score	Dataflow Match Score
0.9845	1.0	15	0.9244	0.0072	0.0000	0.0000	0.0079	0.0100
0.9656	2.0	30	0.9226	0.0072	0.0000	0.0000	0.0079	0.0100
0.9695	3.0	45	0.9185	0.0080	0.0000	0.0000	0.0079	0.0120
0.9405	4.0	60	0.9097	0.0080	0.0000	0.0000	0.0079	0.0120
0.946	5.0	75	0.8927	0.0381	0.0003	0.0207	0.0357	0.0542
0.9395	6.0	90	0.8670	0.0722	0.0087	0.0320	0.0820	0.0884
0.9167	7.0	105	0.8472	0.0993	0.0169	0.0480	0.1217	0.1104
0.868	8.0	120	0.8341	0.0995	0.0178	0.0465	0.1243	0.1084
0.8469	9.0	135	0.8234	0.0996	0.0146	0.0446	0.1217	0.1124
0.8456	10.0	150	0.8136	0.1022	0.0091	0.0306	0.1230	0.1225
0.8308	11.0	165	0.8032	0.1001	0.0085	0.0318	0.1257	0.1145
0.8273	12.0	180	0.7920	0.1029	0.0097	0.0323	0.1283	0.1185
0.8098	13.0	195	0.7832	0.1011	0.0097	0.0323	0.1217	0.1205
0.7901	14.0	210	0.7753	0.1046	0.0107	0.0344	0.1257	0.1245
0.799	15.0	225	0.7701	0.1015	0.0109	0.0328	0.1164	0.1265
0.7987	16.0	240	0.7661	0.0955	0.0104	0.0313	0.1098	0.1185
0.7888	17.0	255	0.7633	0.1019	0.0109	0.0314	0.1257	0.1185
0.7634	18.0	270	0.7598	0.0965	0.0103	0.0313	0.1124	0.1185
0.7726	19.0	285	0.7563	0.1047	0.0127	0.0332	0.1257	0.1245
0.7606	20.0	300	0.7535	0.1014	0.0138	0.0337	0.1190	0.1225
0.7473	21.0	315	0.7499	0.1011	0.0138	0.0338	0.1204	0.1205
0.7497	22.0	330	0.7480	0.1091	0.0178	0.0404	0.1336	0.1245
0.7451	23.0	345	0.7471	0.1072	0.0143	0.0336	0.1376	0.1185
0.7411	24.0	360	0.7450	0.1057	0.0136	0.0319	0.1323	0.1205
0.7642	25.0	375	0.7419	0.1102	0.0172	0.0367	0.1376	0.1245
0.7323	26.0	390	0.7412	0.1158	0.0206	0.0439	0.1429	0.1305
0.7182	27.0	405	0.7404	0.1147	0.0202	0.0437	0.1402	0.1305
0.7287	28.0	420	0.7381	0.1139	0.0202	0.0437	0.1402	0.1285
0.7156	29.0	435	0.7375	0.1140	0.0205	0.0443	0.1402	0.1285
0.7121	30.0	450	0.7365	0.1150	0.0208	0.0437	0.1429	0.1285
0.7144	31.0	465	0.7353	0.1160	0.0207	0.0437	0.1455	0.1285
0.7159	32.0	480	0.7334	0.1146	0.0239	0.0501	0.1455	0.1225
0.7032	33.0	495	0.7325	0.1130	0.0239	0.0501	0.1415	0.1225
0.71	34.0	510	0.7317	0.1098	0.0222	0.0488	0.1362	0.1205
0.6809	35.0	525	0.7312	0.1175	0.0238	0.0502	0.1548	0.1205
0.7156	36.0	540	0.7296	0.1077	0.0224	0.0457	0.1257	0.1265
0.7031	37.0	555	0.7287	0.1101	0.0235	0.0471	0.1270	0.1305
0.6995	38.0	570	0.7292	0.1122	0.0196	0.0406	0.1349	0.1305
0.6933	39.0	585	0.7285	0.1072	0.0185	0.0394	0.1190	0.1345
0.6955	40.0	600	0.7279	0.1111	0.0229	0.0473	0.1336	0.1265
0.6825	41.0	615	0.7273	0.1141	0.0197	0.0410	0.1376	0.1325
0.6785	42.0	630	0.7271	0.1173	0.0197	0.0415	0.1415	0.1365
0.6797	43.0	645	0.7269	0.1250	0.0212	0.0420	0.1481	0.1486
0.6877	44.0	660	0.7281	0.1168	0.0194	0.0416	0.1442	0.1325
0.6837	45.0	675	0.7271	0.1201	0.0194	0.0404	0.1508	0.1345
0.6706	46.0	690	0.7267	0.1159	0.0180	0.0400	0.1429	0.1325
0.6787	47.0	705	0.7257	0.1178	0.0176	0.0397	0.1455	0.1345
0.6727	48.0	720	0.7265	0.1163	0.0169	0.0397	0.1442	0.1325
0.6728	49.0	735	0.7262	0.1177	0.0174	0.0397	0.1455	0.1345
0.6643	50.0	750	0.7265	0.1151	0.0174	0.0398	0.1389	0.1345
0.6807	51.0	765	0.7246	0.1096	0.0164	0.0387	0.1336	0.1265
0.6695	52.0	780	0.7230	0.1219	0.0185	0.0398	0.1455	0.1446
0.6686	53.0	795	0.7214	0.1179	0.0213	0.0453	0.1455	0.1325
0.6412	54.0	810	0.7206	0.1225	0.0193	0.0403	0.1508	0.1406
0.6598	55.0	825	0.7208	0.1225	0.0193	0.0403	0.1508	0.1406
0.6627	56.0	840	0.7232	0.1257	0.0192	0.0401	0.1548	0.1446
0.6616	57.0	855	0.7221	0.1243	0.0188	0.0399	0.1495	0.1466
0.6522	58.0	870	0.7224	0.1281	0.0248	0.0484	0.1534	0.1486
0.6622	59.0	885	0.7216	0.1270	0.0244	0.0483	0.1508	0.1486
0.6443	60.0	900	0.7223	0.1270	0.0241	0.0483	0.1508	0.1486
0.66	61.0	915	0.7227	0.1241	0.0250	0.0502	0.1468	0.1446
0.6443	62.0	930	0.7225	0.1316	0.0269	0.0522	0.1587	0.1506
0.6439	63.0	945	0.7212	0.1302	0.0260	0.0524	0.1614	0.1446
0.6358	64.0	960	0.7246	0.1298	0.0270	0.0524	0.1561	0.1486
0.6711	65.0	975	0.7217	0.1302	0.0260	0.0524	0.1614	0.1446
0.636	66.0	990	0.7204	0.1284	0.0253	0.0508	0.1574	0.1446
0.6515	67.0	1005	0.7199	0.1308	0.0265	0.0524	0.1587	0.1486
0.6414	68.0	1020	0.7197	0.1306	0.0249	0.0520	0.1627	0.1446
0.6295	69.0	1035	0.7201	0.1324	0.0262	0.0524	0.1667	0.1446
0.6548	70.0	1050	0.7188	0.1263	0.0272	0.0512	0.1495	0.1466
0.6339	71.0	1065	0.7186	0.1301	0.0269	0.0524	0.1587	0.1466
0.6323	72.0	1080	0.7187	0.1305	0.0265	0.0524	0.1640	0.1426
0.6411	73.0	1095	0.7194	0.1252	0.0257	0.0504	0.1495	0.1446
0.6226	74.0	1110	0.7186	0.1307	0.0257	0.0496	0.1574	0.1506
0.6287	75.0	1125	0.7195	0.1290	0.0249	0.0495	0.1574	0.1466
0.6298	76.0	1140	0.7200	0.1331	0.0298	0.0588	0.1601	0.1506
0.6394	77.0	1155	0.7191	0.1322	0.0303	0.0600	0.1614	0.1466
0.6137	78.0	1170	0.7196	0.1324	0.0299	0.0598	0.1601	0.1486
0.6288	79.0	1185	0.7194	0.1274	0.0301	0.0600	0.1534	0.1426
0.6151	80.0	1200	0.7177	0.1324	0.0295	0.0598	0.1601	0.1486
0.6174	81.0	1215	0.7186	0.1286	0.0293	0.0593	0.1548	0.1446
0.622	82.0	1230	0.7188	0.1307	0.0297	0.0586	0.1561	0.1486
0.6404	83.0	1245	0.7193	0.1283	0.0298	0.0588	0.1521	0.1466
0.6244	84.0	1260	0.7173	0.1333	0.0295	0.0586	0.1587	0.1526
0.6024	85.0	1275	0.7185	0.1309	0.0311	0.0588	0.1521	0.1526
0.6079	86.0	1290	0.7194	0.1308	0.0301	0.0591	0.1601	0.1446
0.6005	87.0	1305	0.7200	0.1294	0.0299	0.0587	0.1548	0.1466
0.6076	88.0	1320	0.7179	0.1291	0.0299	0.0589	0.1561	0.1446
0.6123	89.0	1335	0.7166	0.1250	0.0293	0.0578	0.1481	0.1426
0.6101	90.0	1350	0.7189	0.1233	0.0288	0.0572	0.1481	0.1386
0.6093	91.0	1365	0.7166	0.1273	0.0289	0.0573	0.1521	0.1446
0.6061	92.0	1380	0.7183	0.1189	0.0293	0.0577	0.1389	0.1365
0.59	93.0	1395	0.7180	0.1211	0.0300	0.0582	0.1481	0.1325
0.5911	94.0	1410	0.7164	0.1213	0.0304	0.0578	0.1508	0.1305
0.6113	95.0	1425	0.7174	0.1184	0.0301	0.0577	0.1455	0.1285
0.6073	96.0	1440	0.7192	0.1168	0.0288	0.0565	0.1402	0.1305
0.6001	97.0	1455	0.7190	0.1144	0.0286	0.0566	0.1362	0.1285
0.599	98.0	1470	0.7197	0.1196	0.0294	0.0567	0.1468	0.1305
0.6196	99.0	1485	0.7182	0.1196	0.0295	0.0568	0.1468	0.1305
0.6086	100.0	1500	0.7182	0.1190	0.0297	0.0566	0.1455	0.1305
0.5941	101.0	1515	0.7192	0.1206	0.0305	0.0578	0.1508	0.1285
0.5872	102.0	1530	0.7177	0.1224	0.0300	0.0580	0.1534	0.1305
0.5967	103.0	1545	0.7205	0.1206	0.0306	0.0579	0.1508	0.1285
0.5948	104.0	1560	0.7209	0.1190	0.0295	0.0564	0.1455	0.1305
0.5934	105.0	1575	0.7206	0.1212	0.0301	0.0570	0.1508	0.1305
0.6072	106.0	1590	0.7199	0.1174	0.0297	0.0565	0.1455	0.1265
0.6074	107.0	1605	0.7182	0.1222	0.0303	0.0581	0.1508	0.1325
0.577	108.0	1620	0.7212	0.1162	0.0303	0.0570	0.1402	0.1285
0.5844	109.0	1635	0.7217	0.1161	0.0297	0.0569	0.1442	0.1245
0.5944	110.0	1650	0.7237	0.1132	0.0281	0.0533	0.1362	0.1265
0.5973	111.0	1665	0.7221	0.1132	0.0282	0.0532	0.1362	0.1265
0.5827	112.0	1680	0.7241	0.1092	0.0279	0.0530	0.1323	0.1205
0.5803	113.0	1695	0.7235	0.1042	0.0249	0.0481	0.1138	0.1285
0.5841	114.0	1710	0.7251	0.1076	0.0273	0.0528	0.1204	0.1285
0.5911	115.0	1725	0.7247	0.1084	0.0276	0.0528	0.1243	0.1265
0.583	116.0	1740	0.7225	0.1092	0.0276	0.0528	0.1243	0.1285
0.5771	117.0	1755	0.7215	0.1058	0.0248	0.0476	0.1098	0.1365
0.5864	118.0	1770	0.7240	0.1127	0.0268	0.0482	0.1243	0.1386
0.5872	119.0	1785	0.7233	0.1130	0.0272	0.0515	0.1323	0.1305
0.5749	120.0	1800	0.7231	0.1091	0.0259	0.0483	0.1217	0.1325
0.5767	121.0	1815	0.7233	0.1128	0.0260	0.0479	0.1230	0.1406
0.5813	122.0	1830	0.7212	0.1154	0.0280	0.0530	0.1296	0.1386
0.5895	123.0	1845	0.7232	0.1122	0.0255	0.0480	0.1296	0.1325
0.5791	124.0	1860	0.7232	0.1148	0.0250	0.0473	0.1323	0.1365
0.5833	125.0	1875	0.7228	0.1115	0.0257	0.0484	0.1296	0.1305
0.5633	126.0	1890	0.7226	0.1161	0.0266	0.0485	0.1349	0.1365
0.5792	127.0	1905	0.7200	0.1153	0.0279	0.0496	0.1283	0.1406
0.5735	128.0	1920	0.7197	0.1131	0.0266	0.0479	0.1257	0.1386
0.5717	129.0	1935	0.7211	0.1147	0.0261	0.0487	0.1336	0.1345
0.5614	130.0	1950	0.7226	0.1126	0.0268	0.0476	0.1204	0.1426
0.5737	131.0	1965	0.7221	0.1194	0.0271	0.0490	0.1349	0.1446
0.5744	132.0	1980	0.7223	0.1194	0.0271	0.0490	0.1349	0.1446
0.586	133.0	1995	0.7254	0.1156	0.0268	0.0486	0.1336	0.1365
0.5607	134.0	2010	0.7246	0.1155	0.0262	0.0485	0.1336	0.1365
0.5711	135.0	2025	0.7253	0.1147	0.0264	0.0485	0.1336	0.1345
0.5793	136.0	2040	0.7246	0.1142	0.0260	0.0482	0.1283	0.1386
0.5463	137.0	2055	0.7260	0.1105	0.0265	0.0478	0.1230	0.1345
0.5788	138.0	2070	0.7284	0.1123	0.0267	0.0476	0.1177	0.1446
0.5697	139.0	2085	0.7265	0.1132	0.0271	0.0484	0.1296	0.1345
0.567	140.0	2100	0.7267	0.1082	0.0239	0.0462	0.1204	0.1325
0.5673	141.0	2115	0.7270	0.1132	0.0271	0.0484	0.1296	0.1345
0.5827	142.0	2130	0.7259	0.1085	0.0260	0.0478	0.1204	0.1325
0.5608	143.0	2145	0.7264	0.1051	0.0182	0.0346	0.1230	0.1265
0.576	144.0	2160	0.7296	0.1065	0.0202	0.0386	0.1230	0.1285
0.5499	145.0	2175	0.7285	0.1073	0.0202	0.0386	0.1230	0.1305
0.5654	146.0	2190	0.7281	0.1086	0.0210	0.0403	0.1257	0.1305
0.5599	147.0	2205	0.7316	0.1065	0.0203	0.0386	0.1190	0.1325
0.5485	148.0	2220	0.7324	0.1073	0.0203	0.0384	0.1230	0.1305
0.5611	149.0	2235	0.7303	0.1139	0.0247	0.0471	0.1283	0.1386
0.5521	150.0	2250	0.7285	0.1115	0.0237	0.0454	0.1230	0.1386
0.5515	151.0	2265	0.7275	0.1012	0.0157	0.0304	0.1151	0.1265
0.5671	152.0	2280	0.7295	0.1059	0.0197	0.0381	0.1177	0.1325
0.5459	153.0	2295	0.7307	0.1139	0.0247	0.0469	0.1283	0.1386
0.5503	154.0	2310	0.7332	0.1000	0.0160	0.0313	0.1138	0.1245
0.5607	155.0	2325	0.7302	0.1051	0.0167	0.0333	0.1217	0.1285
0.5763	156.0	2340	0.7301	0.1030	0.0151	0.0300	0.1217	0.1245
0.5425	157.0	2355	0.7327	0.1025	0.0162	0.0318	0.1177	0.1265
0.5626	158.0	2370	0.7305	0.1067	0.0163	0.0315	0.1204	0.1345
0.5598	159.0	2385	0.7311	0.1017	0.0155	0.0298	0.1085	0.1345
0.5493	160.0	2400	0.7307	0.1130	0.0207	0.0390	0.1190	0.1486
0.5468	161.0	2415	0.7321	0.1061	0.0156	0.0313	0.1151	0.1386
0.557	162.0	2430	0.7317	0.1136	0.0214	0.0413	0.1257	0.1426
0.5757	163.0	2445	0.7317	0.1035	0.0150	0.0300	0.1190	0.1285
0.5579	164.0	2460	0.7302	0.1016	0.0160	0.0304	0.1098	0.1325
0.5353	165.0	2475	0.7323	0.1000	0.0162	0.0302	0.1058	0.1325
0.5341	166.0	2490	0.7352	0.1048	0.0172	0.0320	0.1111	0.1386
0.5454	167.0	2505	0.7338	0.0975	0.0158	0.0299	0.1019	0.1305
0.5436	168.0	2520	0.7324	0.0951	0.0150	0.0302	0.1058	0.1205
0.537	169.0	2535	0.7346	0.1054	0.0168	0.0305	0.1111	0.1406
0.5521	170.0	2550	0.7358	0.1045	0.0157	0.0300	0.1071	0.1426
0.551	171.0	2565	0.7347	0.1034	0.0157	0.0303	0.1085	0.1386
0.5596	172.0	2580	0.7350	0.1039	0.0156	0.0303	0.1098	0.1386
0.5541	173.0	2595	0.7345	0.1056	0.0175	0.0321	0.1151	0.1365
0.5433	174.0	2610	0.7339	0.1056	0.0173	0.0321	0.1151	0.1365
0.5501	175.0	2625	0.7329	0.1025	0.0160	0.0316	0.1177	0.1265
0.5496	176.0	2640	0.7319	0.1030	0.0152	0.0300	0.1177	0.1285
0.5422	177.0	2655	0.7336	0.1025	0.0150	0.0298	0.1085	0.1365
0.5328	178.0	2670	0.7338	0.1015	0.0154	0.0298	0.1058	0.1365
0.5544	179.0	2685	0.7349	0.1030	0.0164	0.0302	0.1032	0.1426
0.5298	180.0	2700	0.7361	0.1022	0.0164	0.0303	0.1032	0.1406
0.5421	181.0	2715	0.7378	0.1031	0.0166	0.0314	0.1032	0.1426
0.5472	182.0	2730	0.7362	0.1105	0.0174	0.0329	0.1151	0.1486
0.5387	183.0	2745	0.7349	0.1036	0.0162	0.0314	0.1085	0.1386
0.5322	184.0	2760	0.7358	0.1049	0.0162	0.0314	0.1138	0.1365
0.5286	185.0	2775	0.7367	0.1041	0.0161	0.0312	0.1098	0.1386
0.5344	186.0	2790	0.7369	0.1042	0.0173	0.0317	0.1098	0.1386
0.5236	187.0	2805	0.7363	0.1039	0.0170	0.0316	0.1071	0.1406
0.5417	188.0	2820	0.7393	0.1100	0.0182	0.0330	0.1177	0.1446
0.5353	189.0	2835	0.7386	0.1107	0.0174	0.0329	0.1217	0.1426
0.5427	190.0	2850	0.7358	0.1103	0.0167	0.0315	0.1190	0.1446
0.5503	191.0	2865	0.7356	0.1110	0.0164	0.0313	0.1230	0.1426
0.532	192.0	2880	0.7373	0.1125	0.0174	0.0317	0.1204	0.1486
0.5376	193.0	2895	0.7369	0.1125	0.0174	0.0317	0.1204	0.1486
0.5235	194.0	2910	0.7370	0.1111	0.0182	0.0332	0.1204	0.1446
0.5361	195.0	2925	0.7360	0.1061	0.0168	0.0328	0.1204	0.1325
0.5363	196.0	2940	0.7362	0.1105	0.0162	0.0312	0.1177	0.1466
0.5324	197.0	2955	0.7357	0.1042	0.0159	0.0305	0.1085	0.1406
0.5221	198.0	2970	0.7358	0.1119	0.0170	0.0317	0.1230	0.1446
0.5286	199.0	2985	0.7375	0.1092	0.0177	0.0333	0.1217	0.1386
0.5282	200.0	3000	0.7386	0.1105	0.0178	0.0333	0.1230	0.1406
0.5261	201.0	3015	0.7392	0.1133	0.0186	0.0336	0.1257	0.1446
0.5219	202.0	3030	0.7387	0.1119	0.0170	0.0317	0.1230	0.1446
0.5354	203.0	3045	0.7371	0.1103	0.0165	0.0315	0.1190	0.1446
0.5267	204.0	3060	0.7364	0.1101	0.0175	0.0319	0.1204	0.1426
0.5398	205.0	3075	0.7384	0.1086	0.0166	0.0305	0.1151	0.1446
0.5252	206.0	3090	0.7377	0.1069	0.0178	0.0341	0.1138	0.1406
0.53	207.0	3105	0.7391	0.1085	0.0178	0.0340	0.1138	0.1446
0.5153	208.0	3120	0.7385	0.1085	0.0178	0.0340	0.1138	0.1446
0.5274	209.0	3135	0.7378	0.1059	0.0185	0.0339	0.1071	0.1446
0.5256	210.0	3150	0.7383	0.1069	0.0178	0.0341	0.1138	0.1406
0.5297	211.0	3165	0.7389	0.1088	0.0180	0.0341	0.1124	0.1466
0.5241	212.0	3180	0.7391	0.1083	0.0184	0.0344	0.1151	0.1426
0.5297	213.0	3195	0.7392	0.1075	0.0184	0.0344	0.1151	0.1406
0.5245	214.0	3210	0.7386	0.1092	0.0189	0.0344	0.1151	0.1446
0.5244	215.0	3225	0.7397	0.1083	0.0184	0.0344	0.1151	0.1426
0.5232	216.0	3240	0.7402	0.1090	0.0187	0.0359	0.1164	0.1426
0.5245	217.0	3255	0.7384	0.1078	0.0181	0.0341	0.1138	0.1426
0.5184	218.0	3270	0.7397	0.1072	0.0191	0.0355	0.1138	0.1406
0.5211	219.0	3285	0.7417	0.1063	0.0186	0.0355	0.1138	0.1386
0.5183	220.0	3300	0.7408	0.1064	0.0189	0.0357	0.1138	0.1386
0.5171	221.0	3315	0.7414	0.1043	0.0179	0.0341	0.1111	0.1365
0.5177	222.0	3330	0.7411	0.1073	0.0185	0.0341	0.1124	0.1426
0.5373	223.0	3345	0.7397	0.1093	0.0180	0.0341	0.1138	0.1466
0.5324	224.0	3360	0.7383	0.1124	0.0190	0.0351	0.1230	0.1446
0.5222	225.0	3375	0.7386	0.1117	0.0191	0.0353	0.1190	0.1466
0.5082	226.0	3390	0.7391	0.1097	0.0181	0.0356	0.1204	0.1406
0.5117	227.0	3405	0.7409	0.1115	0.0185	0.0366	0.1204	0.1446
0.5242	228.0	3420	0.7429	0.1090	0.0184	0.0358	0.1164	0.1426
0.5184	229.0	3435	0.7435	0.1107	0.0191	0.0358	0.1164	0.1466
0.5272	230.0	3450	0.7419	0.1074	0.0185	0.0358	0.1164	0.1386
0.5254	231.0	3465	0.7396	0.1100	0.0192	0.0368	0.1204	0.1406
0.5162	232.0	3480	0.7408	0.1072	0.0178	0.0337	0.1085	0.1466
0.5115	233.0	3495	0.7420	0.1093	0.0180	0.0341	0.1138	0.1466
0.5301	234.0	3510	0.7440	0.1086	0.0183	0.0341	0.1138	0.1446
0.5116	235.0	3525	0.7453	0.1093	0.0180	0.0341	0.1138	0.1466
0.5092	236.0	3540	0.7438	0.1080	0.0181	0.0340	0.1124	0.1446
0.5115	237.0	3555	0.7433	0.1072	0.0182	0.0341	0.1124	0.1426
0.5187	238.0	3570	0.7430	0.1056	0.0177	0.0341	0.1124	0.1386
0.5316	239.0	3585	0.7411	0.1029	0.0178	0.0333	0.1098	0.1345
0.5165	240.0	3600	0.7423	0.1116	0.0181	0.0351	0.1190	0.1466
0.5136	241.0	3615	0.7434	0.1096	0.0178	0.0352	0.1283	0.1325
0.5222	242.0	3630	0.7434	0.1068	0.0186	0.0346	0.1111	0.1426
0.5195	243.0	3645	0.7432	0.1055	0.0174	0.0336	0.1204	0.1305
0.5164	244.0	3660	0.7431	0.1068	0.0189	0.0346	0.1111	0.1426
0.5086	245.0	3675	0.7438	0.1084	0.0189	0.0349	0.1151	0.1426
0.5168	246.0	3690	0.7436	0.1089	0.0183	0.0347	0.1124	0.1466
0.5138	247.0	3705	0.7452	0.1076	0.0186	0.0346	0.1111	0.1446
0.5317	248.0	3720	0.7447	0.1097	0.0170	0.0330	0.1190	0.1426
0.5203	249.0	3735	0.7443	0.1089	0.0181	0.0347	0.1124	0.1466
0.5235	250.0	3750	0.7442	0.1072	0.0176	0.0347	0.1124	0.1426
0.509	251.0	3765	0.7443	0.1018	0.0176	0.0337	0.1071	0.1345
0.5181	252.0	3780	0.7441	0.1061	0.0171	0.0328	0.1204	0.1325
0.5111	253.0	3795	0.7430	0.1059	0.0166	0.0332	0.1177	0.1345
0.517	254.0	3810	0.7431	0.1049	0.0177	0.0347	0.1085	0.1406
0.5133	255.0	3825	0.7430	0.1033	0.0177	0.0349	0.1085	0.1365
0.5158	256.0	3840	0.7439	0.1062	0.0161	0.0318	0.1190	0.1345
0.517	257.0	3855	0.7445	0.1062	0.0161	0.0318	0.1190	0.1345
0.5058	258.0	3870	0.7456	0.1031	0.0175	0.0337	0.1085	0.1365
0.5117	259.0	3885	0.7449	0.1031	0.0174	0.0337	0.1085	0.1365
0.5177	260.0	3900	0.7451	0.1048	0.0177	0.0337	0.1085	0.1406
0.5083	261.0	3915	0.7439	0.1048	0.0177	0.0337	0.1085	0.1406
0.5162	262.0	3930	0.7431	0.1067	0.0168	0.0326	0.1177	0.1365
0.504	263.0	3945	0.7441	0.1034	0.0177	0.0337	0.1071	0.1386
0.5119	264.0	3960	0.7455	0.1034	0.0179	0.0337	0.1071	0.1386
0.5164	265.0	3975	0.7460	0.1067	0.0170	0.0327	0.1177	0.1365
0.5127	266.0	3990	0.7453	0.1074	0.0167	0.0324	0.1217	0.1345
0.4968	267.0	4005	0.7456	0.1074	0.0166	0.0324	0.1217	0.1345
0.51	268.0	4020	0.7461	0.1074	0.0166	0.0324	0.1217	0.1345
0.5203	269.0	4035	0.7463	0.1067	0.0168	0.0327	0.1177	0.1365
0.4976	270.0	4050	0.7461	0.1019	0.0178	0.0340	0.1071	0.1345
0.513	271.0	4065	0.7460	0.1032	0.0177	0.0340	0.1085	0.1365
0.5099	272.0	4080	0.7452	0.1031	0.0175	0.0337	0.1085	0.1365
0.5157	273.0	4095	0.7452	0.1054	0.0160	0.0318	0.1151	0.1365
0.4999	274.0	4110	0.7454	0.1066	0.0167	0.0323	0.1177	0.1365
0.4948	275.0	4125	0.7453	0.1068	0.0171	0.0335	0.1177	0.1365
0.5105	276.0	4140	0.7456	0.1068	0.0171	0.0335	0.1177	0.1365
0.5201	277.0	4155	0.7459	0.1051	0.0168	0.0335	0.1177	0.1325
0.5136	278.0	4170	0.7459	0.1052	0.0172	0.0338	0.1177	0.1325
0.5065	279.0	4185	0.7460	0.1052	0.0172	0.0338	0.1177	0.1325
0.5059	280.0	4200	0.7458	0.1052	0.0172	0.0338	0.1177	0.1325
0.5185	281.0	4215	0.7459	0.1052	0.0172	0.0338	0.1177	0.1325
0.504	282.0	4230	0.7455	0.1052	0.0172	0.0338	0.1177	0.1325
0.5042	283.0	4245	0.7454	0.1020	0.0180	0.0348	0.1071	0.1345
0.5171	284.0	4260	0.7462	0.1020	0.0180	0.0348	0.1071	0.1345
0.5185	285.0	4275	0.7458	0.1020	0.0180	0.0348	0.1071	0.1345
0.5141	286.0	4290	0.7458	0.1020	0.0180	0.0348	0.1071	0.1345
0.5055	287.0	4305	0.7454	0.1020	0.0180	0.0348	0.1071	0.1345
0.5043	288.0	4320	0.7459	0.1052	0.0172	0.0338	0.1177	0.1325
0.5051	289.0	4335	0.7462	0.1052	0.0172	0.0338	0.1177	0.1325
0.4958	290.0	4350	0.7463	0.1052	0.0172	0.0338	0.1177	0.1325
0.4997	291.0	4365	0.7466	0.1052	0.0172	0.0338	0.1177	0.1325
0.5042	292.0	4380	0.7464	0.1052	0.0172	0.0338	0.1177	0.1325
0.515	293.0	4395	0.7462	0.1052	0.0172	0.0338	0.1177	0.1325
0.5184	294.0	4410	0.7462	0.1052	0.0172	0.0338	0.1177	0.1325
0.5087	295.0	4425	0.7463	0.1052	0.0172	0.0338	0.1177	0.1325
0.5096	296.0	4440	0.7463	0.1052	0.0172	0.0338	0.1177	0.1325
0.5166	297.0	4455	0.7463	0.1068	0.0175	0.0338	0.1177	0.1365
0.5103	298.0	4470	0.7463	0.1068	0.0175	0.0338	0.1177	0.1365
0.5188	299.0	4485	0.7463	0.1068	0.0175	0.0338	0.1177	0.1365
0.5105	300.0	4500	0.7463	0.1068	0.0175	0.0338	0.1177	0.1365

Framework versions

• Transformers 4.31.0
• Pytorch 2.0.1
• Datasets 2.14.4
• Tokenizers 0.13.3