beto-finetuned-token-reqadjinsiders

This model is a fine-tuned version of dccuchile/bert-base-spanish-wwm-cased on an unknown dataset. It achieves the following results on the evaluation set:

• Loss: 0.7385
• Precision: 0.0833
• Recall: 0.1
• F1: 0.0909
• Accuracy: 0.9092

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 0.0001
• train_batch_size: 8
• eval_batch_size: 8
• seed: 42
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: linear
• num_epochs: 200

Training results

Training Loss	Epoch	Step	Validation Loss	Precision	Recall	F1	Accuracy
0.5869	1.0	10	0.4001	0.0	0.0	0.0	0.8196
0.2986	2.0	20	0.4095	0.0	0.0	0.0	0.8876
0.2215	3.0	30	0.3336	0.0	0.0	0.0	0.8643
0.1356	4.0	40	0.3362	0.0	0.0	0.0	0.8954
0.0717	5.0	50	0.3489	0.0	0.0	0.0	0.8987
0.0424	6.0	60	0.4066	0.0	0.0	0.0	0.9044
0.0301	7.0	70	0.3172	0.0741	0.1	0.0851	0.9227
0.0191	8.0	80	0.5007	0.0435	0.05	0.0465	0.9050
0.0155	9.0	90	0.5146	0.1	0.05	0.0667	0.9133
0.0174	10.0	100	0.3293	0.0465	0.1	0.0635	0.9122
0.0113	11.0	110	0.4793	0.0714	0.1	0.0833	0.9179
0.0136	12.0	120	0.4758	0.1905	0.2	0.1951	0.9259
0.0095	13.0	130	0.3407	0.0571	0.1	0.0727	0.9231
0.0113	14.0	140	0.3864	0.0833	0.1	0.0909	0.9076
0.0036	15.0	150	0.4718	0.0741	0.1	0.0851	0.9096
0.0036	16.0	160	0.5261	0.0882	0.15	0.1111	0.8965
0.0021	17.0	170	0.6655	0.0417	0.05	0.0455	0.8902
0.0033	18.0	180	0.5417	0.1212	0.2	0.1509	0.9054
0.0023	19.0	190	0.6521	0.1111	0.1	0.1053	0.9083
0.0021	20.0	200	0.4450	0.0909	0.15	0.1132	0.9214
0.0038	21.0	210	0.5652	0.1429	0.1	0.1176	0.9194
0.0088	22.0	220	0.5791	0.0833	0.1	0.0909	0.8874
0.0036	23.0	230	0.4630	0.1034	0.15	0.1224	0.9063
0.003	24.0	240	0.5352	0.12	0.15	0.1333	0.9144
0.0028	25.0	250	0.5582	0.1111	0.1	0.1053	0.9107
0.0016	26.0	260	0.6038	0.075	0.15	0.1	0.9009
0.0024	27.0	270	0.5846	0.0909	0.1	0.0952	0.9124
0.0011	28.0	280	0.5600	0.125	0.15	0.1364	0.8993
0.0007	29.0	290	0.5614	0.0938	0.15	0.1154	0.8954
0.0006	30.0	300	0.5480	0.1176	0.1	0.1081	0.9129
0.006	31.0	310	0.5170	0.1176	0.2	0.1481	0.9039
0.0012	32.0	320	0.5699	0.0769	0.05	0.0606	0.8961
0.0004	33.0	330	0.6046	0.0476	0.05	0.0488	0.8928
0.0002	34.0	340	0.6708	0.0556	0.05	0.0526	0.8919
0.0001	35.0	350	0.7087	0.0435	0.05	0.0465	0.8948
0.0002	36.0	360	0.7225	0.05	0.05	0.0500	0.8976
0.0	37.0	370	0.7294	0.0435	0.05	0.0465	0.8985
0.0003	38.0	380	0.7182	0.0370	0.05	0.0426	0.9026
0.0002	39.0	390	0.7298	0.05	0.05	0.0500	0.9061
0.0003	40.0	400	0.7313	0.0588	0.05	0.0541	0.9068
0.0	41.0	410	0.7412	0.0526	0.05	0.0513	0.9068
0.0	42.0	420	0.7447	0.0556	0.05	0.0526	0.9068
0.0	43.0	430	0.7465	0.0588	0.05	0.0541	0.9076
0.0	44.0	440	0.7500	0.0455	0.05	0.0476	0.9070
0.0	45.0	450	0.7525	0.0435	0.05	0.0465	0.9065
0.0002	46.0	460	0.7540	0.0476	0.05	0.0488	0.9068
0.0003	47.0	470	0.7422	0.0455	0.05	0.0476	0.9068
0.0	48.0	480	0.7378	0.0435	0.05	0.0465	0.9070
0.0	49.0	490	0.7384	0.0417	0.05	0.0455	0.9068
0.0	50.0	500	0.7414	0.0455	0.05	0.0476	0.9070
0.0	51.0	510	0.7446	0.0455	0.05	0.0476	0.9070
0.0	52.0	520	0.7432	0.0385	0.05	0.0435	0.9061
0.0003	53.0	530	0.7474	0.0417	0.05	0.0455	0.9065
0.0002	54.0	540	0.7513	0.04	0.05	0.0444	0.9068
0.0	55.0	550	0.7505	0.0455	0.05	0.0476	0.9076
0.0003	56.0	560	0.7419	0.0417	0.05	0.0455	0.9072
0.0	57.0	570	0.7352	0.04	0.05	0.0444	0.9070
0.0	58.0	580	0.7330	0.04	0.05	0.0444	0.9068
0.0	59.0	590	0.7330	0.04	0.05	0.0444	0.9063
0.0	60.0	600	0.7343	0.04	0.05	0.0444	0.9061
0.0	61.0	610	0.7370	0.0385	0.05	0.0435	0.9063
0.0003	62.0	620	0.7303	0.04	0.05	0.0444	0.9063
0.0	63.0	630	0.7275	0.04	0.05	0.0444	0.9059
0.0	64.0	640	0.7283	0.04	0.05	0.0444	0.9057
0.0	65.0	650	0.7312	0.04	0.05	0.0444	0.9059
0.0002	66.0	660	0.7243	0.0345	0.05	0.0408	0.9074
0.0001	67.0	670	0.7195	0.05	0.05	0.0500	0.9081
0.0001	68.0	680	0.7350	0.0714	0.05	0.0588	0.9061
0.0001	69.0	690	0.7750	0.0625	0.05	0.0556	0.9061
0.0005	70.0	700	0.6559	0.0571	0.1	0.0727	0.9031
0.0003	71.0	710	0.6497	0.0385	0.05	0.0435	0.9131
0.0002	72.0	720	0.6621	0.0588	0.05	0.0541	0.9133
0.0007	73.0	730	0.6093	0.0741	0.1	0.0851	0.9126
0.0004	74.0	740	0.6184	0.0909	0.1	0.0952	0.9135
0.0005	75.0	750	0.5911	0.0952	0.1	0.0976	0.9142
0.0001	76.0	760	0.5567	0.0625	0.1	0.0769	0.9102
0.0002	77.0	770	0.5670	0.0571	0.1	0.0727	0.9096
0.0002	78.0	780	0.5940	0.0588	0.1	0.0741	0.9129
0.0001	79.0	790	0.6299	0.0455	0.05	0.0476	0.9139
0.0	80.0	800	0.6449	0.0455	0.05	0.0476	0.9135
0.0	81.0	810	0.6519	0.0417	0.05	0.0455	0.9131
0.0002	82.0	820	0.6378	0.0690	0.1	0.0816	0.9118
0.0	83.0	830	0.6267	0.0588	0.1	0.0741	0.9046
0.0004	84.0	840	0.6174	0.0625	0.1	0.0769	0.9065
0.0002	85.0	850	0.6174	0.0714	0.1	0.0833	0.9124
0.0001	86.0	860	0.6225	0.0909	0.1	0.0952	0.9135
0.0001	87.0	870	0.6384	0.0526	0.05	0.0513	0.9144
0.0	88.0	880	0.6604	0.0625	0.05	0.0556	0.9139
0.0	89.0	890	0.6694	0.0625	0.05	0.0556	0.9137
0.0	90.0	900	0.6711	0.0588	0.05	0.0541	0.9133
0.0001	91.0	910	0.6526	0.0435	0.05	0.0465	0.9124
0.0	92.0	920	0.6450	0.0417	0.05	0.0455	0.9124
0.0002	93.0	930	0.6504	0.0417	0.05	0.0455	0.9113
0.0	94.0	940	0.6711	0.0455	0.05	0.0476	0.9118
0.0	95.0	950	0.6789	0.0417	0.05	0.0455	0.9118
0.0	96.0	960	0.6828	0.0476	0.05	0.0488	0.9111
0.0	97.0	970	0.6863	0.0455	0.05	0.0476	0.9111
0.0001	98.0	980	0.6811	0.04	0.05	0.0444	0.9115
0.0	99.0	990	0.6787	0.0833	0.1	0.0909	0.9133
0.0001	100.0	1000	0.6914	0.0476	0.05	0.0488	0.9120
0.0	101.0	1010	0.7028	0.0588	0.05	0.0541	0.9118
0.0	102.0	1020	0.7089	0.0556	0.05	0.0526	0.9109
0.0	103.0	1030	0.7152	0.0588	0.05	0.0541	0.9111
0.0	104.0	1040	0.7151	0.0625	0.05	0.0556	0.9107
0.0	105.0	1050	0.7126	0.0556	0.05	0.0526	0.9105
0.0	106.0	1060	0.7065	0.0526	0.05	0.0513	0.9094
0.0002	107.0	1070	0.7154	0.05	0.05	0.0500	0.9089
0.0001	108.0	1080	0.6777	0.12	0.15	0.1333	0.9078
0.0	109.0	1090	0.6683	0.1	0.15	0.12	0.9074
0.0001	110.0	1100	0.6622	0.0909	0.15	0.1132	0.9070
0.0003	111.0	1110	0.6750	0.08	0.1	0.0889	0.9057
0.0001	112.0	1120	0.7000	0.1053	0.1	0.1026	0.9061
0.0001	113.0	1130	0.7136	0.1053	0.1	0.1026	0.9046
0.0001	114.0	1140	0.7234	0.1	0.1	0.1000	0.9037
0.0	115.0	1150	0.7643	0.0870	0.1	0.0930	0.8998
0.0001	116.0	1160	0.7801	0.0769	0.1	0.0870	0.9002
0.0	117.0	1170	0.7872	0.0769	0.1	0.0870	0.9009
0.0003	118.0	1180	0.7597	0.0690	0.1	0.0816	0.8983
0.0002	119.0	1190	0.7564	0.0606	0.1	0.0755	0.8989
0.0	120.0	1200	0.7558	0.0606	0.1	0.0755	0.8998
0.0	121.0	1210	0.7566	0.0625	0.1	0.0769	0.9002
0.0	122.0	1220	0.7579	0.0606	0.1	0.0755	0.8991
0.0	123.0	1230	0.7603	0.0606	0.1	0.0755	0.8989
0.0	124.0	1240	0.7626	0.0667	0.1	0.08	0.8980
0.0	125.0	1250	0.7645	0.0690	0.1	0.0816	0.8980
0.0	126.0	1260	0.7666	0.0625	0.1	0.0769	0.8978
0.0	127.0	1270	0.7689	0.0645	0.1	0.0784	0.8976
0.0	128.0	1280	0.7707	0.0645	0.1	0.0784	0.8974
0.0	129.0	1290	0.7718	0.0645	0.1	0.0784	0.8967
0.0	130.0	1300	0.7730	0.0606	0.1	0.0755	0.8976
0.0	131.0	1310	0.7738	0.0606	0.1	0.0755	0.8989
0.0003	132.0	1320	0.7744	0.0588	0.1	0.0741	0.9002
0.0	133.0	1330	0.7762	0.0606	0.1	0.0755	0.9013
0.0	134.0	1340	0.7784	0.0606	0.1	0.0755	0.9037
0.0	135.0	1350	0.7798	0.0667	0.1	0.08	0.9048
0.0002	136.0	1360	0.7357	0.0588	0.1	0.0741	0.9002
0.0002	137.0	1370	0.6891	0.08	0.1	0.0889	0.9
0.0001	138.0	1380	0.6732	0.0769	0.1	0.0870	0.9065
0.0001	139.0	1390	0.6808	0.0870	0.1	0.0930	0.9096
0.0	140.0	1400	0.6845	0.0833	0.1	0.0909	0.9098
0.0	141.0	1410	0.6880	0.0870	0.1	0.0930	0.9096
0.0	142.0	1420	0.6915	0.0870	0.1	0.0930	0.9096
0.0	143.0	1430	0.6945	0.08	0.1	0.0889	0.9096
0.0	144.0	1440	0.6966	0.0769	0.1	0.0870	0.9094
0.0	145.0	1450	0.6986	0.0909	0.1	0.0952	0.9109
0.0	146.0	1460	0.7015	0.0952	0.1	0.0976	0.9109
0.0	147.0	1470	0.7036	0.1	0.1	0.1000	0.9113
0.0	148.0	1480	0.7054	0.1	0.1	0.1000	0.9113
0.0	149.0	1490	0.7078	0.1	0.1	0.1000	0.9113
0.0	150.0	1500	0.7091	0.1	0.1	0.1000	0.9113
0.0	151.0	1510	0.7111	0.1	0.1	0.1000	0.9113
0.0	152.0	1520	0.7127	0.1	0.1	0.1000	0.9113
0.0	153.0	1530	0.7141	0.1	0.1	0.1000	0.9113
0.0	154.0	1540	0.7160	0.1	0.1	0.1000	0.9113
0.0	155.0	1550	0.7191	0.1053	0.1	0.1026	0.9109
0.0	156.0	1560	0.7205	0.1053	0.1	0.1026	0.9109
0.0	157.0	1570	0.7217	0.1053	0.1	0.1026	0.9109
0.0	158.0	1580	0.7225	0.1	0.1	0.1000	0.9113
0.0	159.0	1590	0.7231	0.1	0.1	0.1000	0.9113
0.0	160.0	1600	0.7238	0.1	0.1	0.1000	0.9113
0.0	161.0	1610	0.7245	0.1	0.1	0.1000	0.9113
0.0	162.0	1620	0.7252	0.1	0.1	0.1000	0.9113
0.0	163.0	1630	0.7258	0.1	0.1	0.1000	0.9113
0.0	164.0	1640	0.7261	0.1	0.1	0.1000	0.9113
0.0	165.0	1650	0.7266	0.1	0.1	0.1000	0.9113
0.0	166.0	1660	0.7273	0.1	0.1	0.1000	0.9113
0.0	167.0	1670	0.7278	0.1	0.1	0.1000	0.9113
0.0	168.0	1680	0.7286	0.1	0.1	0.1000	0.9113
0.0	169.0	1690	0.7295	0.1	0.1	0.1000	0.9113
0.0	170.0	1700	0.7303	0.1	0.1	0.1000	0.9113
0.0	171.0	1710	0.7310	0.1	0.1	0.1000	0.9113
0.0	172.0	1720	0.7316	0.1	0.1	0.1000	0.9113
0.0002	173.0	1730	0.7248	0.1	0.1	0.1000	0.9107
0.0	174.0	1740	0.7180	0.0909	0.1	0.0952	0.9096
0.0003	175.0	1750	0.7154	0.0909	0.1	0.0952	0.9096
0.0	176.0	1760	0.7161	0.0909	0.1	0.0952	0.9094
0.0	177.0	1770	0.7251	0.0870	0.1	0.0930	0.9094
0.0	178.0	1780	0.7282	0.0870	0.1	0.0930	0.9094
0.0	179.0	1790	0.7297	0.0870	0.1	0.0930	0.9094
0.0	180.0	1800	0.7304	0.0870	0.1	0.0930	0.9094
0.0	181.0	1810	0.7308	0.0870	0.1	0.0930	0.9094
0.0	182.0	1820	0.7315	0.0870	0.1	0.0930	0.9094
0.0	183.0	1830	0.7334	0.0833	0.1	0.0909	0.9092
0.0	184.0	1840	0.7345	0.0833	0.1	0.0909	0.9092
0.0	185.0	1850	0.7349	0.0833	0.1	0.0909	0.9092
0.0	186.0	1860	0.7353	0.0833	0.1	0.0909	0.9092
0.0	187.0	1870	0.7356	0.0833	0.1	0.0909	0.9092
0.0	188.0	1880	0.7360	0.0833	0.1	0.0909	0.9092
0.0	189.0	1890	0.7365	0.0833	0.1	0.0909	0.9092
0.0	190.0	1900	0.7368	0.0833	0.1	0.0909	0.9092
0.0	191.0	1910	0.7370	0.0833	0.1	0.0909	0.9092
0.0	192.0	1920	0.7374	0.0833	0.1	0.0909	0.9092
0.0	193.0	1930	0.7375	0.0833	0.1	0.0909	0.9092
0.0	194.0	1940	0.7378	0.0833	0.1	0.0909	0.9092
0.0	195.0	1950	0.7379	0.0833	0.1	0.0909	0.9092
0.0	196.0	1960	0.7378	0.0833	0.1	0.0909	0.9092
0.0	197.0	1970	0.7381	0.0833	0.1	0.0909	0.9092
0.0	198.0	1980	0.7384	0.0833	0.1	0.0909	0.9092
0.0	199.0	1990	0.7385	0.0833	0.1	0.0909	0.9092
0.0	200.0	2000	0.7385	0.0833	0.1	0.0909	0.9092

Framework versions

• Transformers 4.31.0.dev0
• Pytorch 2.0.0
• Datasets 2.1.0
• Tokenizers 0.13.3