Hugging Face's logo

bedus-creation
/
mBart-small-dataset-ii-eng-lim-003

Text2Text Generation
Transformers
TensorFlow
t5
generated_from_keras_callback
Inference Endpoints
Model card Files Community
mBart-small-dataset-ii-eng-lim-003 / README.md
bedus-creation's picture
bedus-creation
Training in progress epoch 132
8b8b4d9
preview code
|
raw
history blame
6.89 kB
metadata
license: apache-2.0
base_model: bedus-creation/mBart-small-dataset-ii-eng-lim-003
tags:
  - generated_from_keras_callback
model-index:
  - name: bedus-creation/mBart-small-dataset-ii-eng-lim-003
    results: []

bedus-creation/mBart-small-dataset-ii-eng-lim-003

This model is a fine-tuned version of bedus-creation/mBart-small-dataset-ii-eng-lim-003 on an unknown dataset. It achieves the following results on the evaluation set:

  • Train Loss: 0.1080
  • Validation Loss: 0.3919
  • Epoch: 132

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

  • optimizer: {'name': 'AdamWeightDecay', 'learning_rate': 1e-04, 'decay': 0.0, 'beta_1': 0.9, 'beta_2': 0.999, 'epsilon': 1e-07, 'amsgrad': False, 'weight_decay_rate': 0.01}
  • training_precision: float32

Training results

Train Loss Validation Loss Epoch
0.2093 0.2072 0
0.2068 0.2056 1
0.2062 0.2023 2
0.2045 0.2054 3
0.2027 0.2188 4
0.2019 0.2067 5
0.1997 0.2056 6
0.1991 0.2074 7
0.1978 0.2024 8
0.1962 0.2067 9
0.1955 0.2074 10
0.1945 0.2089 11
0.1928 0.2168 12
0.1907 0.2201 13
0.1900 0.2102 14
0.1888 0.2130 15
0.1882 0.2211 16
0.1870 0.2117 17
0.1857 0.2134 18
0.1838 0.2147 19
0.1824 0.2187 20
0.1812 0.2224 21
0.1813 0.2249 22
0.1798 0.2200 23
0.1787 0.2273 24
0.1772 0.2263 25
0.1780 0.2273 26
0.1764 0.2270 27
0.1754 0.2245 28
0.1738 0.2260 29
0.1730 0.2327 30
0.1720 0.2300 31
0.1702 0.2347 32
0.1698 0.2396 33
0.1689 0.2340 34
0.1693 0.2345 35
0.1661 0.2424 36
0.1663 0.2388 37
0.1658 0.2436 38
0.1654 0.2506 39
0.1639 0.2406 40
0.1635 0.2524 41
0.1619 0.2379 42
0.1609 0.2449 43
0.1602 0.2466 44
0.1602 0.2537 45
0.1586 0.2457 46
0.1576 0.2589 47
0.1573 0.2547 48
0.1566 0.2532 49
0.1546 0.2565 50
0.1540 0.2544 51
0.1545 0.2637 52
0.1515 0.2580 53
0.1520 0.2654 54
0.1524 0.2650 55
0.1513 0.2701 56
0.1500 0.2767 57
0.1492 0.2646 58
0.1483 0.2696 59
0.1480 0.2729 60
0.1475 0.2709 61
0.1458 0.2757 62
0.1460 0.2778 63
0.1446 0.2775 64
0.1440 0.2727 65
0.1438 0.2862 66
0.1444 0.2719 67
0.1423 0.2827 68
0.1418 0.2830 69
0.1402 0.2787 70
0.1404 0.2799 71
0.1388 0.2857 72
0.1392 0.2889 73
0.1398 0.2868 74
0.1389 0.2920 75
0.1359 0.3010 76
0.1369 0.2873 77
0.1366 0.2921 78
0.1358 0.2895 79
0.1343 0.3071 80
0.1344 0.2981 81
0.1341 0.3033 82
0.1328 0.3008 83
0.1332 0.2933 84
0.1317 0.3155 85
0.1310 0.3091 86
0.1307 0.3205 87
0.1295 0.3142 88
0.1295 0.3141 89
0.1299 0.3103 90
0.1282 0.3209 91
0.1284 0.3167 92
0.1272 0.3242 93
0.1270 0.3159 94
0.1245 0.3275 95
0.1244 0.3218 96
0.1248 0.3270 97
0.1241 0.3354 98
0.1231 0.3430 99
0.1233 0.3318 100
0.1222 0.3387 101
0.1225 0.3367 102
0.1221 0.3501 103
0.1214 0.3370 104
0.1207 0.3391 105
0.1197 0.3436 106
0.1193 0.3388 107
0.1208 0.3383 108
0.1186 0.3526 109
0.1177 0.3471 110
0.1179 0.3490 111
0.1179 0.3498 112
0.1177 0.3379 113
0.1169 0.3518 114
0.1165 0.3590 115
0.1161 0.3550 116
0.1159 0.3545 117
0.1150 0.3562 118
0.1123 0.3641 119
0.1137 0.3658 120
0.1153 0.3613 121
0.1130 0.3767 122
0.1129 0.3812 123
0.1127 0.3696 124
0.1118 0.3704 125
0.1116 0.3689 126
0.1107 0.3776 127
0.1103 0.3775 128
0.1108 0.3803 129
0.1097 0.3877 130
0.1093 0.3860 131
0.1080 0.3919 132

Framework versions

  • Transformers 4.33.3
  • TensorFlow 2.13.0
  • Datasets 2.14.5
  • Tokenizers 0.13.3