pretrained-bert-uncased-200

This model is a fine-tuned version of on an unknown dataset. It achieves the following results on the evaluation set:

• Train Loss: nan
• Validation Loss: nan
• Epoch: 199

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• optimizer: {'name': 'Adam', 'learning_rate': 1e-04, 'decay': 0.0, 'beta_1': 0.9, 'beta_2': 0.999, 'epsilon': 1e-07, 'amsgrad': False}
• training_precision: float32

Training results

Train Loss	Validation Loss	Epoch
8.9076	9.5544	0
7.0572	9.6310	1
6.5781	10.4973	2
6.1054	10.4749	3
6.1980	10.4411	4
6.0896	11.1385	5
6.1630	10.8668	6
5.9313	11.2520	7
5.7459	10.9396	8
5.8505	11.1343	9
5.8592	11.6048	10
5.7595	12.0371	11
5.7283	11.4402	12
5.7948	11.6117	13
5.7973	11.7393	14
5.6228	11.9450	15
5.6996	11.9938	16
5.7468	12.3826	17
5.6336	11.7692	18
5.6287	12.1970	19
5.7435	12.3895	20
5.6587	12.2124	21
5.6767	12.1633	22
5.7494	12.1844	23
5.5532	12.4163	24
5.4826	12.3235	25
5.7103	12.7326	26
5.6399	12.3326	27
5.6171	12.4726	28
5.8517	12.3647	29
5.6446	12.4943	30
5.5662	12.6303	31
5.8222	12.5869	32
5.5710	13.0406	33
5.6011	12.5007	34
5.6860	12.2958	35
5.6071	12.5690	36
5.5824	12.4472	37
5.5800	12.8570	38
5.6298	12.9604	39
5.4751	13.0937	40
5.5724	12.8909	41
5.6251	13.1132	42
5.5483	12.7036	43
5.6252	13.1233	44
5.4592	13.1353	45
5.5780	13.2373	46
5.5350	13.4289	47
5.4859	13.3994	48
5.6908	13.1062	49
5.7516	13.1705	50
5.5373	13.3196	51
5.6078	13.3352	52
5.5998	13.3831	53
5.6833	13.4430	54
5.6047	12.7287	55
5.7165	13.1647	56
5.5246	13.5831	57
5.5244	13.4733	58
5.5659	13.8621	59
5.6702	13.0873	60
5.5403	13.2744	61
5.4980	13.5826	62
5.5052	13.4584	63
5.5921	13.6191	64
5.5647	13.2221	65
5.6330	13.4804	66
5.6607	13.0722	67
5.7957	13.6183	68
5.7403	13.5204	69
5.5702	13.4229	70
5.4891	13.6547	71
5.7374	13.5464	72
5.6032	13.3607	73
5.5891	14.0467	74
5.7014	13.7621	75
5.6749	13.4568	76
5.6180	13.7552	77
5.6203	13.7563	78
5.6290	13.4801	79
5.6179	13.6345	80
5.5856	13.8037	81
5.6667	14.1205	82
5.5012	14.2115	83
5.6736	13.9032	84
5.6132	13.7493	85
5.6931	13.5402	86
5.4744	13.9974	87
5.6554	14.0855	88
5.5775	13.7100	89
5.6002	13.7944	90
5.6341	14.4328	91
nan	nan	92
nan	nan	93
nan	nan	94
nan	nan	95
nan	nan	96
nan	nan	97
nan	nan	98
nan	nan	99
nan	nan	100
nan	nan	101
nan	nan	102
nan	nan	103
nan	nan	104
nan	nan	105
nan	nan	106
nan	nan	107
nan	nan	108
nan	nan	109
nan	nan	110
nan	nan	111
nan	nan	112
nan	nan	113
nan	nan	114
nan	nan	115
nan	nan	116
nan	nan	117
nan	nan	118
nan	nan	119
nan	nan	120
nan	nan	121
nan	nan	122
nan	nan	123
nan	nan	124
nan	nan	125
nan	nan	126
nan	nan	127
nan	nan	128
nan	nan	129
nan	nan	130
nan	nan	131
nan	nan	132
nan	nan	133
nan	nan	134
nan	nan	135
nan	nan	136
nan	nan	137
nan	nan	138
nan	nan	139
nan	nan	140
nan	nan	141
nan	nan	142
nan	nan	143
nan	nan	144
nan	nan	145
nan	nan	146
nan	nan	147
nan	nan	148
nan	nan	149
nan	nan	150
nan	nan	151
nan	nan	152
nan	nan	153
nan	nan	154
nan	nan	155
nan	nan	156
nan	nan	157
nan	nan	158
nan	nan	159
nan	nan	160
nan	nan	161
nan	nan	162
nan	nan	163
nan	nan	164
nan	nan	165
nan	nan	166
nan	nan	167
nan	nan	168
nan	nan	169
nan	nan	170
nan	nan	171
nan	nan	172
nan	nan	173
nan	nan	174
nan	nan	175
nan	nan	176
nan	nan	177
nan	nan	178
nan	nan	179
nan	nan	180
nan	nan	181
nan	nan	182
nan	nan	183
nan	nan	184
nan	nan	185
nan	nan	186
nan	nan	187
nan	nan	188
nan	nan	189
nan	nan	190
nan	nan	191
nan	nan	192
nan	nan	193
nan	nan	194
nan	nan	195
nan	nan	196
nan	nan	197
nan	nan	198
nan	nan	199

Framework versions

• Transformers 4.27.0.dev0
• TensorFlow 2.9.2
• Datasets 2.9.0
• Tokenizers 0.13.2