viorel123/dt-classifier

This model is a fine-tuned version of distilbert-base-uncased on an unknown dataset. It achieves the following results on the evaluation set:

• Train Loss: 0.1870
• Validation Loss: 0.2287
• Epoch: 98

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• optimizer: {'name': 'Adam', 'weight_decay': None, 'clipnorm': None, 'global_clipnorm': None, 'clipvalue': None, 'use_ema': False, 'ema_momentum': 0.99, 'ema_overwrite_frequency': None, 'jit_compile': True, 'is_legacy_optimizer': False, 'learning_rate': {'module': 'keras.optimizers.schedules', 'class_name': 'PolynomialDecay', 'config': {'initial_learning_rate': 2e-05, 'decay_steps': 6500, 'end_learning_rate': 0.0, 'power': 1.0, 'cycle': False, 'name': None}, 'registered_name': None}, 'beta_1': 0.9, 'beta_2': 0.999, 'epsilon': 1e-08, 'amsgrad': False}
• training_precision: float32

Training results

Train Loss	Validation Loss	Epoch
0.5182	0.3906	0
0.3398	0.3523	1
0.3172	0.3509	2
0.3120	0.3493	3
0.3101	0.3482	4
0.3079	0.3424	5
0.3061	0.3411	6
0.3024	0.3370	7
0.3005	0.3336	8
0.2958	0.3291	9
0.2952	0.3262	10
0.2916	0.3229	11
0.2873	0.3200	12
0.2867	0.3162	13
0.2816	0.3124	14
0.2783	0.3086	15
0.2743	0.3068	16
0.2730	0.3032	17
0.2686	0.2983	18
0.2666	0.2942	19
0.2648	0.2922	20
0.2628	0.2914	21
0.2553	0.2865	22
0.2541	0.2833	23
0.2525	0.2826	24
0.2489	0.2786	25
0.2476	0.2765	26
0.2436	0.2748	27
0.2428	0.2743	28
0.2387	0.2698	29
0.2404	0.2685	30
0.2318	0.2649	31
0.2329	0.2636	32
0.2282	0.2625	33
0.2290	0.2597	34
0.2299	0.2579	35
0.2271	0.2546	36
0.2237	0.2530	37
0.2228	0.2548	38
0.2170	0.2518	39
0.2180	0.2526	40
0.2172	0.2504	41
0.2121	0.2492	42
0.2142	0.2464	43
0.2143	0.2468	44
0.2099	0.2460	45
0.2065	0.2441	46
0.2064	0.2424	47
0.2085	0.2453	48
0.2082	0.2428	49
0.2024	0.2407	50
0.2045	0.2413	51
0.2040	0.2411	52
0.2009	0.2401	53
0.2011	0.2376	54
0.2001	0.2374	55
0.1986	0.2367	56
0.2030	0.2365	57
0.1971	0.2374	58
0.1993	0.2351	59
0.2003	0.2348	60
0.1989	0.2345	61
0.2010	0.2347	62
0.1977	0.2336	63
0.1933	0.2343	64
0.1932	0.2341	65
0.1934	0.2338	66
0.1894	0.2331	67
0.1937	0.2330	68
0.1928	0.2324	69
0.1901	0.2314	70
0.1914	0.2327	71
0.1926	0.2317	72
0.1911	0.2316	73
0.1885	0.2312	74
0.1910	0.2317	75
0.1845	0.2311	76
0.1896	0.2311	77
0.1864	0.2299	78
0.1922	0.2299	79
0.1880	0.2302	80
0.1878	0.2300	81
0.1847	0.2302	82
0.1880	0.2300	83
0.1822	0.2298	84
0.1795	0.2297	85
0.1869	0.2297	86
0.1820	0.2295	87
0.1826	0.2292	88
0.1864	0.2292	89
0.1876	0.2288	90
0.1857	0.2289	91
0.1855	0.2286	92
0.1858	0.2288	93
0.1862	0.2286	94
0.1858	0.2287	95
0.1811	0.2289	96
0.1836	0.2287	97
0.1870	0.2287	98

Framework versions

• Transformers 4.38.2
• TensorFlow 2.15.0
• Datasets 2.18.0
• Tokenizers 0.15.2