bedus-creation/mBart-small-dataset-ii-eng-lim-003

This model is a fine-tuned version of bedus-creation/mBart-small-dataset-ii-eng-lim-003 on an unknown dataset. It achieves the following results on the evaluation set:

• Train Loss: 0.1015
• Validation Loss: 0.4146
• Epoch: 149

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• optimizer: {'name': 'AdamWeightDecay', 'learning_rate': 1e-04, 'decay': 0.0, 'beta_1': 0.9, 'beta_2': 0.999, 'epsilon': 1e-07, 'amsgrad': False, 'weight_decay_rate': 0.01}
• training_precision: float32

Training results

Train Loss	Validation Loss	Epoch
0.2093	0.2072	0
0.2068	0.2056	1
0.2062	0.2023	2
0.2045	0.2054	3
0.2027	0.2188	4
0.2019	0.2067	5
0.1997	0.2056	6
0.1991	0.2074	7
0.1978	0.2024	8
0.1962	0.2067	9
0.1955	0.2074	10
0.1945	0.2089	11
0.1928	0.2168	12
0.1907	0.2201	13
0.1900	0.2102	14
0.1888	0.2130	15
0.1882	0.2211	16
0.1870	0.2117	17
0.1857	0.2134	18
0.1838	0.2147	19
0.1824	0.2187	20
0.1812	0.2224	21
0.1813	0.2249	22
0.1798	0.2200	23
0.1787	0.2273	24
0.1772	0.2263	25
0.1780	0.2273	26
0.1764	0.2270	27
0.1754	0.2245	28
0.1738	0.2260	29
0.1730	0.2327	30
0.1720	0.2300	31
0.1702	0.2347	32
0.1698	0.2396	33
0.1689	0.2340	34
0.1693	0.2345	35
0.1661	0.2424	36
0.1663	0.2388	37
0.1658	0.2436	38
0.1654	0.2506	39
0.1639	0.2406	40
0.1635	0.2524	41
0.1619	0.2379	42
0.1609	0.2449	43
0.1602	0.2466	44
0.1602	0.2537	45
0.1586	0.2457	46
0.1576	0.2589	47
0.1573	0.2547	48
0.1566	0.2532	49
0.1546	0.2565	50
0.1540	0.2544	51
0.1545	0.2637	52
0.1515	0.2580	53
0.1520	0.2654	54
0.1524	0.2650	55
0.1513	0.2701	56
0.1500	0.2767	57
0.1492	0.2646	58
0.1483	0.2696	59
0.1480	0.2729	60
0.1475	0.2709	61
0.1458	0.2757	62
0.1460	0.2778	63
0.1446	0.2775	64
0.1440	0.2727	65
0.1438	0.2862	66
0.1444	0.2719	67
0.1423	0.2827	68
0.1418	0.2830	69
0.1402	0.2787	70
0.1404	0.2799	71
0.1388	0.2857	72
0.1392	0.2889	73
0.1398	0.2868	74
0.1389	0.2920	75
0.1359	0.3010	76
0.1369	0.2873	77
0.1366	0.2921	78
0.1358	0.2895	79
0.1343	0.3071	80
0.1344	0.2981	81
0.1341	0.3033	82
0.1328	0.3008	83
0.1332	0.2933	84
0.1317	0.3155	85
0.1310	0.3091	86
0.1307	0.3205	87
0.1295	0.3142	88
0.1295	0.3141	89
0.1299	0.3103	90
0.1282	0.3209	91
0.1284	0.3167	92
0.1272	0.3242	93
0.1270	0.3159	94
0.1245	0.3275	95
0.1244	0.3218	96
0.1248	0.3270	97
0.1241	0.3354	98
0.1231	0.3430	99
0.1233	0.3318	100
0.1222	0.3387	101
0.1225	0.3367	102
0.1221	0.3501	103
0.1214	0.3370	104
0.1207	0.3391	105
0.1197	0.3436	106
0.1193	0.3388	107
0.1208	0.3383	108
0.1186	0.3526	109
0.1177	0.3471	110
0.1179	0.3490	111
0.1179	0.3498	112
0.1177	0.3379	113
0.1169	0.3518	114
0.1165	0.3590	115
0.1161	0.3550	116
0.1159	0.3545	117
0.1150	0.3562	118
0.1123	0.3641	119
0.1137	0.3658	120
0.1153	0.3613	121
0.1130	0.3767	122
0.1129	0.3812	123
0.1127	0.3696	124
0.1118	0.3704	125
0.1116	0.3689	126
0.1107	0.3776	127
0.1103	0.3775	128
0.1108	0.3803	129
0.1097	0.3877	130
0.1093	0.3860	131
0.1080	0.3919	132
0.1082	0.3886	133
0.1091	0.3888	134
0.1071	0.3931	135
0.1072	0.3925	136
0.1069	0.3933	137
0.1065	0.3940	138
0.1072	0.3919	139
0.1059	0.3944	140
0.1049	0.4003	141
0.1045	0.4060	142
0.1040	0.4025	143
0.1055	0.3955	144
0.1033	0.4048	145
0.1033	0.4029	146
0.1019	0.4061	147
0.1030	0.4104	148
0.1015	0.4146	149

Framework versions

• Transformers 4.33.3
• TensorFlow 2.13.0
• Datasets 2.14.5
• Tokenizers 0.13.3