BertSeq

This model was trained from scratch on an unknown dataset. It achieves the following results on the evaluation set:

• Loss: 0.7569
• Accuracy: 0.4
• F1: 0.4
• Precision: 0.625
• Recall: 0.625

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 5e-05
• train_batch_size: 16
• eval_batch_size: 32
• seed: 42
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: linear
• num_epochs: 100

Training results

Training Loss	Epoch	Step	Validation Loss	Accuracy	F1	Precision	Recall
No log	0.33	1	0.6913	0.8	0.4444	0.4	0.5
No log	0.67	2	0.6867	0.8	0.4444	0.4	0.5
No log	1.0	3	0.6792	0.8	0.4444	0.4	0.5
No log	1.33	4	0.6714	0.8	0.4444	0.4	0.5
0.6918	1.67	5	0.6658	0.8	0.4444	0.4	0.5
0.6918	2.0	6	0.6597	0.8	0.4444	0.4	0.5
0.6918	2.33	7	0.6529	0.8	0.4444	0.4	0.5
0.6918	2.67	8	0.6485	0.8	0.4444	0.4	0.5
0.6918	3.0	9	0.6440	0.8	0.4444	0.4	0.5
0.685	3.33	10	0.6398	0.8	0.4444	0.4	0.5
0.685	3.67	11	0.6369	0.8	0.4444	0.4	0.5
0.685	4.0	12	0.6331	0.8	0.4444	0.4	0.5
0.685	4.33	13	0.6295	0.8	0.4444	0.4	0.5
0.685	4.67	14	0.6259	0.8	0.4444	0.4	0.5
0.6808	5.0	15	0.6230	0.8	0.4444	0.4	0.5
0.6808	5.33	16	0.6205	0.8	0.4444	0.4	0.5
0.6808	5.67	17	0.6178	0.8	0.4444	0.4	0.5
0.6808	6.0	18	0.6157	0.8	0.4444	0.4	0.5
0.6808	6.33	19	0.6132	0.8	0.4444	0.4	0.5
0.6719	6.67	20	0.6102	0.8	0.4444	0.4	0.5
0.6719	7.0	21	0.6092	0.8	0.4444	0.4	0.5
0.6719	7.33	22	0.6093	0.8	0.4444	0.4	0.5
0.6719	7.67	23	0.6083	0.8	0.4444	0.4	0.5
0.6719	8.0	24	0.6076	0.8	0.4444	0.4	0.5
0.7038	8.33	25	0.6076	0.8	0.4444	0.4	0.5
0.7038	8.67	26	0.6073	0.8	0.4444	0.4	0.5
0.7038	9.0	27	0.6068	0.8	0.4444	0.4	0.5
0.7038	9.33	28	0.6073	0.8	0.4444	0.4	0.5
0.7038	9.67	29	0.6067	0.8	0.4444	0.4	0.5
0.6746	10.0	30	0.6063	0.8	0.4444	0.4	0.5
0.6746	10.33	31	0.6072	0.8	0.4444	0.4	0.5
0.6746	10.67	32	0.6077	0.8	0.4444	0.4	0.5
0.6746	11.0	33	0.6070	0.8	0.4444	0.4	0.5
0.6746	11.33	34	0.6066	0.8	0.4444	0.4	0.5
0.6942	11.67	35	0.6073	0.8	0.4444	0.4	0.5
0.6942	12.0	36	0.6068	0.8	0.4444	0.4	0.5
0.6942	12.33	37	0.6058	0.8	0.4444	0.4	0.5
0.6942	12.67	38	0.6051	0.8	0.4444	0.4	0.5
0.6942	13.0	39	0.6050	0.8	0.4444	0.4	0.5
0.661	13.33	40	0.6047	0.8	0.4444	0.4	0.5
0.661	13.67	41	0.6043	0.8	0.4444	0.4	0.5
0.661	14.0	42	0.6045	0.8	0.4444	0.4	0.5
0.661	14.33	43	0.6045	0.8	0.4444	0.4	0.5
0.661	14.67	44	0.6044	0.8	0.4444	0.4	0.5
0.6879	15.0	45	0.6049	0.8	0.4444	0.4	0.5
0.6879	15.33	46	0.6045	0.8	0.4444	0.4	0.5
0.6879	15.67	47	0.6044	0.8	0.4444	0.4	0.5
0.6879	16.0	48	0.6052	0.8	0.4444	0.4	0.5
0.6879	16.33	49	0.6054	0.8	0.4444	0.4	0.5
0.6766	16.67	50	0.6058	0.8	0.4444	0.4	0.5
0.6766	17.0	51	0.6066	0.8	0.4444	0.4	0.5
0.6766	17.33	52	0.6082	0.8	0.4444	0.4	0.5
0.6766	17.67	53	0.6095	0.8	0.4444	0.4	0.5
0.6766	18.0	54	0.6097	0.8	0.4444	0.4	0.5
0.691	18.33	55	0.6103	0.8	0.4444	0.4	0.5
0.691	18.67	56	0.6103	0.8	0.4444	0.4	0.5
0.691	19.0	57	0.6105	0.8	0.4444	0.4	0.5
0.691	19.33	58	0.6108	0.8	0.4444	0.4	0.5
0.691	19.67	59	0.6114	0.8	0.4444	0.4	0.5
0.6759	20.0	60	0.6114	0.8	0.4444	0.4	0.5
0.6759	20.33	61	0.6115	0.8	0.4444	0.4	0.5
0.6759	20.67	62	0.6110	0.8	0.4444	0.4	0.5
0.6759	21.0	63	0.6113	0.8	0.4444	0.4	0.5
0.6759	21.33	64	0.6116	0.8	0.4444	0.4	0.5
0.6768	21.67	65	0.6113	0.8	0.4444	0.4	0.5
0.6768	22.0	66	0.6117	0.8	0.4444	0.4	0.5
0.6768	22.33	67	0.6123	0.8	0.4444	0.4	0.5
0.6768	22.67	68	0.6130	0.8	0.4444	0.4	0.5
0.6768	23.0	69	0.6130	0.8	0.4444	0.4	0.5
0.6796	23.33	70	0.6124	0.8	0.4444	0.4	0.5
0.6796	23.67	71	0.6117	0.8	0.4444	0.4	0.5
0.6796	24.0	72	0.6120	0.8	0.4444	0.4	0.5
0.6796	24.33	73	0.6120	0.8	0.4444	0.4	0.5
0.6796	24.67	74	0.6128	0.8	0.4444	0.4	0.5
0.6877	25.0	75	0.6129	0.8	0.4444	0.4	0.5
0.6877	25.33	76	0.6138	0.8	0.4444	0.4	0.5
0.6877	25.67	77	0.6148	0.8	0.4444	0.4	0.5
0.6877	26.0	78	0.6147	0.8	0.4444	0.4	0.5
0.6877	26.33	79	0.6147	0.8	0.4444	0.4	0.5
0.6733	26.67	80	0.6141	0.8	0.4444	0.4	0.5
0.6733	27.0	81	0.6142	0.8	0.4444	0.4	0.5
0.6733	27.33	82	0.6140	0.8	0.4444	0.4	0.5
0.6733	27.67	83	0.6146	0.8	0.4444	0.4	0.5
0.6733	28.0	84	0.6146	0.8	0.4444	0.4	0.5
0.6944	28.33	85	0.6154	0.8	0.4444	0.4	0.5
0.6944	28.67	86	0.6155	0.8	0.4444	0.4	0.5
0.6944	29.0	87	0.6153	0.8	0.4444	0.4	0.5
0.6944	29.33	88	0.6145	0.8	0.4444	0.4	0.5
0.6944	29.67	89	0.6149	0.8	0.4444	0.4	0.5
0.6702	30.0	90	0.6147	0.8	0.4444	0.4	0.5
0.6702	30.33	91	0.6142	0.8	0.4444	0.4	0.5
0.6702	30.67	92	0.6136	0.8	0.4444	0.4	0.5
0.6702	31.0	93	0.6137	0.8	0.4444	0.4	0.5
0.6702	31.33	94	0.6146	0.8	0.4444	0.4	0.5
0.682	31.67	95	0.6147	0.8	0.4444	0.4	0.5
0.682	32.0	96	0.6147	0.8	0.4444	0.4	0.5
0.682	32.33	97	0.6143	0.8	0.4444	0.4	0.5
0.682	32.67	98	0.6145	0.8	0.4444	0.4	0.5
0.682	33.0	99	0.6144	0.8	0.4444	0.4	0.5
0.6794	33.33	100	0.6144	0.8	0.4444	0.4	0.5
0.6794	33.67	101	0.6142	0.8	0.4444	0.4	0.5
0.6794	34.0	102	0.6143	0.8	0.4444	0.4	0.5
0.6794	34.33	103	0.6145	0.8	0.4444	0.4	0.5
0.6794	34.67	104	0.6147	0.8	0.4444	0.4	0.5
0.6773	35.0	105	0.6148	0.8	0.4444	0.4	0.5
0.6773	35.33	106	0.6150	0.8	0.4444	0.4	0.5
0.6773	35.67	107	0.6163	0.8	0.4444	0.4	0.5
0.6773	36.0	108	0.6164	0.8	0.4444	0.4	0.5
0.6773	36.33	109	0.6166	0.8	0.4444	0.4	0.5
0.6741	36.67	110	0.6164	0.8	0.4444	0.4	0.5
0.6741	37.0	111	0.6164	0.8	0.4444	0.4	0.5
0.6741	37.33	112	0.6166	0.8	0.4444	0.4	0.5
0.6741	37.67	113	0.6165	0.8	0.4444	0.4	0.5
0.6741	38.0	114	0.6167	0.8	0.4444	0.4	0.5
0.684	38.33	115	0.6175	0.8	0.4444	0.4	0.5
0.684	38.67	116	0.6179	0.8	0.4444	0.4	0.5
0.684	39.0	117	0.6180	0.8	0.4444	0.4	0.5
0.684	39.33	118	0.6175	0.8	0.4444	0.4	0.5
0.684	39.67	119	0.6172	0.8	0.4444	0.4	0.5
0.6723	40.0	120	0.6179	0.8	0.4444	0.4	0.5
0.6723	40.33	121	0.6182	0.8	0.4444	0.4	0.5
0.6723	40.67	122	0.6187	0.8	0.4444	0.4	0.5
0.6723	41.0	123	0.6195	0.8	0.4444	0.4	0.5
0.6723	41.33	124	0.6205	0.8	0.4444	0.4	0.5
0.6877	41.67	125	0.6228	0.8	0.4444	0.4	0.5
0.6877	42.0	126	0.6235	0.8	0.4444	0.4	0.5
0.6877	42.33	127	0.6238	0.8	0.4444	0.4	0.5
0.6877	42.67	128	0.6240	0.8	0.4444	0.4	0.5
0.6877	43.0	129	0.6254	0.8	0.4444	0.4	0.5
0.6698	43.33	130	0.6270	0.8	0.4444	0.4	0.5
0.6698	43.67	131	0.6289	0.8	0.4444	0.4	0.5
0.6698	44.0	132	0.6307	0.8	0.4444	0.4	0.5
0.6698	44.33	133	0.6337	0.8	0.4444	0.4	0.5
0.6698	44.67	134	0.6343	0.8	0.4444	0.4	0.5
0.6681	45.0	135	0.6369	0.8	0.4444	0.4	0.5
0.6681	45.33	136	0.6400	0.8	0.4444	0.4	0.5
0.6681	45.67	137	0.6434	0.8	0.4444	0.4	0.5
0.6681	46.0	138	0.6458	0.8	0.4444	0.4	0.5
0.6681	46.33	139	0.6468	0.8	0.4444	0.4	0.5
0.667	46.67	140	0.6492	0.8	0.4444	0.4	0.5
0.667	47.0	141	0.6523	0.8	0.4444	0.4	0.5
0.667	47.33	142	0.6583	0.8	0.4444	0.4	0.5
0.667	47.67	143	0.6612	0.8	0.4444	0.4	0.5
0.667	48.0	144	0.6679	0.8	0.4444	0.4	0.5
0.6618	48.33	145	0.6742	0.8	0.4444	0.4	0.5
0.6618	48.67	146	0.6781	0.8	0.4444	0.4	0.5
0.6618	49.0	147	0.6852	0.8	0.4444	0.4	0.5
0.6618	49.33	148	0.6896	0.8	0.4444	0.4	0.5
0.6618	49.67	149	0.6971	0.2	0.1667	0.1	0.5
0.6611	50.0	150	0.7019	0.2	0.1667	0.1	0.5
0.6611	50.33	151	0.7118	0.2	0.1667	0.1	0.5
0.6611	50.67	152	0.7170	0.2	0.1667	0.1	0.5
0.6611	51.0	153	0.7179	0.2	0.1667	0.1	0.5
0.6611	51.33	154	0.7217	0.2	0.1667	0.1	0.5
0.6516	51.67	155	0.7235	0.2	0.1667	0.1	0.5
0.6516	52.0	156	0.7217	0.2	0.1667	0.1	0.5
0.6516	52.33	157	0.7202	0.2	0.1667	0.1	0.5
0.6516	52.67	158	0.7177	0.2	0.1667	0.1	0.5
0.6516	53.0	159	0.7185	0.2	0.1667	0.1	0.5
0.6358	53.33	160	0.7179	0.2	0.1667	0.1	0.5
0.6358	53.67	161	0.7165	0.2	0.1667	0.1	0.5
0.6358	54.0	162	0.7207	0.2	0.1667	0.1	0.5
0.6358	54.33	163	0.7256	0.2	0.1667	0.1	0.5
0.6358	54.67	164	0.7297	0.2	0.1667	0.1	0.5
0.6295	55.0	165	0.7336	0.2	0.1667	0.1	0.5
0.6295	55.33	166	0.7434	0.2	0.1667	0.1	0.5
0.6295	55.67	167	0.7461	0.2	0.1667	0.1	0.5
0.6295	56.0	168	0.7472	0.2	0.1667	0.1	0.5
0.6295	56.33	169	0.7446	0.2	0.1667	0.1	0.5
0.6182	56.67	170	0.7411	0.2	0.1667	0.1	0.5
0.6182	57.0	171	0.7421	0.2	0.1667	0.1	0.5
0.6182	57.33	172	0.7470	0.2	0.1667	0.1	0.5
0.6182	57.67	173	0.7480	0.2	0.1667	0.1	0.5
0.6182	58.0	174	0.7504	0.2	0.1667	0.1	0.5
0.6169	58.33	175	0.7498	0.2	0.1667	0.1	0.5
0.6169	58.67	176	0.7548	0.2	0.1667	0.1	0.5
0.6169	59.0	177	0.7550	0.2	0.1667	0.1	0.5
0.6169	59.33	178	0.7544	0.2	0.1667	0.1	0.5
0.6169	59.67	179	0.7544	0.2	0.1667	0.1	0.5
0.6146	60.0	180	0.7587	0.2	0.1667	0.1	0.5
0.6146	60.33	181	0.7656	0.2	0.1667	0.1	0.5
0.6146	60.67	182	0.7764	0.2	0.1667	0.1	0.5
0.6146	61.0	183	0.7805	0.2	0.1667	0.1	0.5
0.6146	61.33	184	0.7861	0.2	0.1667	0.1	0.5
0.6133	61.67	185	0.7938	0.2	0.1667	0.1	0.5
0.6133	62.0	186	0.7960	0.2	0.1667	0.1	0.5
0.6133	62.33	187	0.7994	0.2	0.1667	0.1	0.5
0.6133	62.67	188	0.8011	0.2	0.1667	0.1	0.5
0.6133	63.0	189	0.7986	0.2	0.1667	0.1	0.5
0.5957	63.33	190	0.7995	0.2	0.1667	0.1	0.5
0.5957	63.67	191	0.7967	0.2	0.1667	0.1	0.5
0.5957	64.0	192	0.7897	0.2	0.1667	0.1	0.5
0.5957	64.33	193	0.7878	0.2	0.1667	0.1	0.5
0.5957	64.67	194	0.7830	0.2	0.1667	0.1	0.5
0.6276	65.0	195	0.7744	0.2	0.1667	0.1	0.5
0.6276	65.33	196	0.7713	0.2	0.1667	0.1	0.5
0.6276	65.67	197	0.7645	0.2	0.1667	0.1	0.5
0.6276	66.0	198	0.7542	0.2	0.1667	0.1	0.5
0.6276	66.33	199	0.7457	0.2	0.1667	0.1	0.5
0.5971	66.67	200	0.7409	0.2	0.1667	0.1	0.5
0.5971	67.0	201	0.7327	0.2	0.1667	0.1	0.5
0.5971	67.33	202	0.7211	0.2	0.1667	0.1	0.5
0.5971	67.67	203	0.7144	0.2	0.1667	0.1	0.5
0.5971	68.0	204	0.7128	0.2	0.1667	0.1	0.5
0.6056	68.33	205	0.7151	0.2	0.1667	0.1	0.5
0.6056	68.67	206	0.7161	0.2	0.1667	0.1	0.5
0.6056	69.0	207	0.7132	0.4	0.4	0.625	0.625
0.6056	69.33	208	0.7126	0.4	0.4	0.625	0.625
0.6056	69.67	209	0.7158	0.4	0.4	0.625	0.625
0.59	70.0	210	0.7151	0.4	0.4	0.625	0.625
0.59	70.33	211	0.7183	0.2	0.1667	0.1	0.5
0.59	70.67	212	0.7205	0.2	0.1667	0.1	0.5
0.59	71.0	213	0.7192	0.4	0.4	0.625	0.625
0.59	71.33	214	0.7219	0.2	0.1667	0.1	0.5
0.6029	71.67	215	0.7269	0.2	0.1667	0.1	0.5
0.6029	72.0	216	0.7280	0.2	0.1667	0.1	0.5
0.6029	72.33	217	0.7269	0.2	0.1667	0.1	0.5
0.6029	72.67	218	0.7251	0.2	0.1667	0.1	0.5
0.6029	73.0	219	0.7269	0.2	0.1667	0.1	0.5
0.5955	73.33	220	0.7311	0.2	0.1667	0.1	0.5
0.5955	73.67	221	0.7313	0.2	0.1667	0.1	0.5
0.5955	74.0	222	0.7350	0.2	0.1667	0.1	0.5
0.5955	74.33	223	0.7417	0.2	0.1667	0.1	0.5
0.5955	74.67	224	0.7507	0.2	0.1667	0.1	0.5
0.5958	75.0	225	0.7554	0.2	0.1667	0.1	0.5
0.5958	75.33	226	0.7612	0.2	0.1667	0.1	0.5
0.5958	75.67	227	0.7662	0.2	0.1667	0.1	0.5
0.5958	76.0	228	0.7698	0.2	0.1667	0.1	0.5
0.5958	76.33	229	0.7701	0.2	0.1667	0.1	0.5
0.5857	76.67	230	0.7687	0.2	0.1667	0.1	0.5
0.5857	77.0	231	0.7699	0.2	0.1667	0.1	0.5
0.5857	77.33	232	0.7739	0.2	0.1667	0.1	0.5
0.5857	77.67	233	0.7747	0.2	0.1667	0.1	0.5
0.5857	78.0	234	0.7752	0.2	0.1667	0.1	0.5
0.5869	78.33	235	0.7728	0.2	0.1667	0.1	0.5
0.5869	78.67	236	0.7735	0.2	0.1667	0.1	0.5
0.5869	79.0	237	0.7748	0.2	0.1667	0.1	0.5
0.5869	79.33	238	0.7786	0.2	0.1667	0.1	0.5
0.5869	79.67	239	0.7795	0.2	0.1667	0.1	0.5
0.5839	80.0	240	0.7808	0.2	0.1667	0.1	0.5
0.5839	80.33	241	0.7836	0.2	0.1667	0.1	0.5
0.5839	80.67	242	0.7859	0.2	0.1667	0.1	0.5
0.5839	81.0	243	0.7856	0.2	0.1667	0.1	0.5
0.5839	81.33	244	0.7836	0.2	0.1667	0.1	0.5
0.5806	81.67	245	0.7840	0.2	0.1667	0.1	0.5
0.5806	82.0	246	0.7821	0.2	0.1667	0.1	0.5
0.5806	82.33	247	0.7825	0.2	0.1667	0.1	0.5
0.5806	82.67	248	0.7837	0.2	0.1667	0.1	0.5
0.5806	83.0	249	0.7824	0.2	0.1667	0.1	0.5
0.5889	83.33	250	0.7799	0.2	0.1667	0.1	0.5
0.5889	83.67	251	0.7756	0.2	0.1667	0.1	0.5
0.5889	84.0	252	0.7739	0.2	0.1667	0.1	0.5
0.5889	84.33	253	0.7744	0.2	0.1667	0.1	0.5
0.5889	84.67	254	0.7732	0.2	0.1667	0.1	0.5
0.5746	85.0	255	0.7702	0.2	0.1667	0.1	0.5
0.5746	85.33	256	0.7656	0.2	0.1667	0.1	0.5
0.5746	85.67	257	0.7634	0.2	0.1667	0.1	0.5
0.5746	86.0	258	0.7635	0.2	0.1667	0.1	0.5
0.5746	86.33	259	0.7618	0.2	0.1667	0.1	0.5
0.6002	86.67	260	0.7619	0.2	0.1667	0.1	0.5
0.6002	87.0	261	0.7617	0.2	0.1667	0.1	0.5
0.6002	87.33	262	0.7598	0.2	0.1667	0.1	0.5
0.6002	87.67	263	0.7599	0.2	0.1667	0.1	0.5
0.6002	88.0	264	0.7585	0.2	0.1667	0.1	0.5
0.569	88.33	265	0.7557	0.2	0.1667	0.1	0.5
0.569	88.67	266	0.7533	0.2	0.1667	0.1	0.5
0.569	89.0	267	0.7526	0.4	0.4	0.625	0.625
0.569	89.33	268	0.7531	0.4	0.4	0.625	0.625
0.569	89.67	269	0.7548	0.2	0.1667	0.1	0.5
0.5593	90.0	270	0.7550	0.2	0.1667	0.1	0.5
0.5593	90.33	271	0.7539	0.4	0.4	0.625	0.625
0.5593	90.67	272	0.7541	0.4	0.4	0.625	0.625
0.5593	91.0	273	0.7550	0.4	0.4	0.625	0.625
0.5593	91.33	274	0.7565	0.2	0.1667	0.1	0.5
0.5702	91.67	275	0.7567	0.4	0.4	0.625	0.625
0.5702	92.0	276	0.7579	0.2	0.1667	0.1	0.5
0.5702	92.33	277	0.7580	0.2	0.1667	0.1	0.5
0.5702	92.67	278	0.7590	0.2	0.1667	0.1	0.5
0.5702	93.0	279	0.7592	0.2	0.1667	0.1	0.5
0.5735	93.33	280	0.7598	0.2	0.1667	0.1	0.5
0.5735	93.67	281	0.7598	0.2	0.1667	0.1	0.5
0.5735	94.0	282	0.7599	0.2	0.1667	0.1	0.5
0.5735	94.33	283	0.7593	0.4	0.4	0.625	0.625
0.5735	94.67	284	0.7595	0.4	0.4	0.625	0.625
0.5795	95.0	285	0.7594	0.4	0.4	0.625	0.625
0.5795	95.33	286	0.7588	0.4	0.4	0.625	0.625
0.5795	95.67	287	0.7577	0.4	0.4	0.625	0.625
0.5795	96.0	288	0.7574	0.4	0.4	0.625	0.625
0.5795	96.33	289	0.7566	0.4	0.4	0.625	0.625
0.5802	96.67	290	0.7564	0.4	0.4	0.625	0.625
0.5802	97.0	291	0.7567	0.4	0.4	0.625	0.625
0.5802	97.33	292	0.7573	0.4	0.4	0.625	0.625
0.5802	97.67	293	0.7575	0.4	0.4	0.625	0.625
0.5802	98.0	294	0.7575	0.4	0.4	0.625	0.625
0.5866	98.33	295	0.7573	0.4	0.4	0.625	0.625
0.5866	98.67	296	0.7574	0.4	0.4	0.625	0.625
0.5866	99.0	297	0.7573	0.4	0.4	0.625	0.625
0.5866	99.33	298	0.7570	0.4	0.4	0.625	0.625
0.5866	99.67	299	0.7569	0.4	0.4	0.625	0.625
0.5556	100.0	300	0.7569	0.4	0.4	0.625	0.625

Framework versions

• Transformers 4.35.2
• Pytorch 2.1.1
• Tokenizers 0.15.0